Als Google letzten Monat sein neues KI-Recherchetool namens AI Overviews vorstellte, schien das Unternehmen zuversichtlich, das Tool ausreichend getestet zu haben, und stellte in der Ankündigung fest, dass „Menschen AI Overviews dank unserer Erfahrung in Search Labs bereits milliardenfach genutzt haben.“ Das Tool gibt nicht nur Links zu Webseiten zurück, wie bei einer klassischen Google-Suche, sondern liefert eine Antwort, die es auf Basis verschiedener Quellen generiert hat, auf die es unterhalb der Antwort verlinkt. Aber unmittelbar nach der Veröffentlichung begannen Benutzer, Beispiele für äußerst falsche Antworten zu posten, darunter ein Pizzarezept mit Kleber und die interessante Tatsache, dass ein Hund in der NBA spielte.
Als Leiterin der technischen Forschung am Stanford Internet Observatory verfolgt Renée DiResta seit vielen Jahren Online-Fehlinformationen.
Während das Pizzarezept wahrscheinlich niemanden davon überzeugen wird, sich für Elmer’s zu entscheiden, sind nicht alle extrem falschen Antworten von AI Overview so offensichtlich – und einige können ziemlich gefährlich sein. Renée DiResta verfolgt als Leiterin der technischen Forschung am Stanford Internet Observatory seit vielen Jahren Online-Desinformation und hat ein neues Buch über Online-Propagandisten veröffentlicht, die „Lügen in die Realität umsetzen“. Sie untersuchte die Verbreitung medizinischer Fehlinformationen über soziale Medien. IEEE-Spektrum fragte, ob die KI-Forschung wahrscheinlich eine Welle falscher medizinischer Ratschläge für unvorsichtige Benutzer auslösen würde.
Ich weiß, dass Sie seit vielen Jahren Fehlinformationen im Internet verfolgen. Glauben Sie, dass die Einführung von KI-gestützten Suchtools wie Googles AI Previews die Situation verschlimmern oder verbessern wird?
Renee DiResta: Das ist eine wirklich interessante Frage. Es gibt einige Richtlinien, die Google schon seit langem anwendet und die offenbar im Widerspruch zu den Ergebnissen der KI-generierten Suche stehen. Dadurch hatte ich den Eindruck, dass Google teilweise versucht, mit dem Markt Schritt zu halten. Die Veröffentlichung generativer KI-Tools hat eine unglaubliche Beschleunigung erfahren, und wir erleben, dass große Technologiekonzerne versuchen, ihre Wettbewerbsfähigkeit aufrechtzuerhalten. Ich denke, das ist eines der Dinge, die hier passieren.
Wir wissen seit langem, dass Halluzinationen bei großen Sprachmustern auftreten. Das ist nicht neu. Ich denke, ihr Einsatz zu Suchzwecken erfolgte überstürzt und unüberlegt, weil die Leute von Suchmaschinen erwarten, dass sie ihnen verlässliche Informationen liefern. Das ist es, was Sie bei der Suche erwarten, während Sie diese Erwartung in den sozialen Medien möglicherweise nicht haben.
Es gibt viele Beispiele für lächerlich schlechte Ergebnisse der KI-Forschung, beispielsweise wie viele Steine wir pro Tag essen sollten. [a response that was drawn for an Onion article]. Aber ich frage mich, ob wir uns über schwerwiegendere medizinische Fehlinformationen Sorgen machen sollten. Ich bin auf einen Blogbeitrag über die Antworten von Google AI Previews zu Stammzellenbehandlungen gestoßen. Das Problem schien darin zu liegen, dass das KI-Suchtool seine Antworten von unseriösen Kliniken erhielt, die unbewiesene Behandlungen anboten. Haben Sie andere Beispiele dieser Art gesehen?
DiResta: Ich habe. Es gibt Informationen zurück, die aus den Daten synthetisiert wurden, auf denen es trainiert wurde. Das Problem besteht darin, dass offenbar nicht dieselben Standards eingehalten werden, die seit langem die Art und Weise regeln, wie Google Suchergebnisse für Gesundheitsinformationen zurückgeben will. Damit meine ich, dass Google seit über 10 Jahren eine Suchrichtlinie namens „Ihr Geld oder Ihr Leben“ hat. Weisst du das?
Das glaub ich nicht.
DiResta: Your Money or Your Life erkennt an, dass Google bei Finanz- und Gesundheitsanfragen dafür verantwortlich ist, die Suchergebnisse auf einem sehr hohen Niveau zu halten, und dass es von größter Bedeutung ist, dass die Informationen korrekt sind. Menschen kommen mit sensiblen Fragen zu Google und suchen nach Informationen, um Entscheidungen zu treffen, die große Auswirkungen auf ihr Leben haben. Sie sind nicht dazu da, sich unterhalten zu lassen, wenn sie beispielsweise Fragen dazu stellen, wie sie auf eine neue Krebsdiagnose reagieren sollen oder welche Art von Altersvorsorge sie abschließen sollten. Sie möchten also nicht, dass Content-Farmen, zufällige Reddit-Beiträge und Müll als Ergebnisse zurückgegeben werden. Sie möchten zuverlässige Suchergebnisse.
Dieses Framework, Your Money or Your Life, prägt seit einiger Zeit die Arbeit von Google zu diesen wichtigen Themen. Und deshalb halte ich es für besorgniserregend für die Menschen, wenn KI-generierte Suchergebnisse eindeutig fehlerhafte Gesundheitsinformationen von minderwertigen Websites wiedergeben, die möglicherweise in den Trainingsdaten enthalten waren.
Es scheint also, dass KI-Vorschauen nicht derselben Richtlinie folgen – oder sieht es von außen so aus?
DiResta: So sieht es von außen aus. Ich weiß nicht, wie sie intern darüber denken. Aber die Screenshots, die Sie sehen (viele dieser Fälle gehen auf einen einzelnen Social-Media-Beitrag oder eine verrufene, aber bestehende Klinik zurück) sind im Internet verfügbar. Es geht nicht nur darum, Dinge zu erfinden. Aber er liefert auch nicht das, was wir als qualitativ hochwertiges Ergebnis bei der Formulierung seiner Antwort bezeichnen würden.
Ich habe gesehen, dass Google auf einige Probleme mit einem Blogbeitrag reagiert hat, in dem es hieß, dass man sich dieser schlechten Ergebnisse bewusst sei und versuche, Verbesserungen vorzunehmen. Und ich kann Ihnen den einzigen Punkt vorlesen, der sich mit Gesundheit befasst. Er sagte: „Für Themen wie aktuelle Angelegenheiten und Gesundheit verfügen wir bereits über strenge Sicherheitsvorkehrungen. Im Gesundheitsbereich haben wir zusätzliche Trigger-Verbesserungen eingeführt, um unseren Qualitätsschutz zu verbessern. Weißt du, was das bedeutet?
DiResta: Diese Blogbeiträge sind eine Erklärung dafür [AI Overviews] ist nicht nur umwerfend: Die Tatsache, dass es auf URLs verweist, soll ein Schutz sein, da es dem Benutzer ermöglicht, das Ergebnis bis zu seiner Quelle zurückzuverfolgen. Das ist eine gute Sache. Sie sollten diese Quellen zur Transparenz und zur Überprüfung durch Dritte angeben. Angesichts des Vertrauens, das Google im Laufe der Zeit durch die Bereitstellung qualitativ hochwertiger Ergebnisse in seinen Suchrankings für Gesundheitsinformationen aufgebaut hat, stellt dies jedoch auch eine große Verantwortung für die Öffentlichkeit dar.
Ich weiß, dass ein Thema, das Sie im Laufe der Jahre verfolgt haben, Fehlinformationen über die Sicherheit von Impfstoffen sind. Haben Sie Hinweise darauf gesehen, dass diese Art von Fehlinformationen in die KI-Suche Einzug gehalten hat?
DiResta: Dies ist nicht der Fall, obwohl ich mir vorstellen kann, dass externe Forschungsteams derzeit die Ergebnisse testen, um zu sehen, was sich zeigt. Impfstoffe stehen seit einiger Zeit im Mittelpunkt der Diskussionen über Fehlinformationen im Gesundheitsbereich. Ich kann mir vorstellen, dass Google die Leute gebeten hat, dieses Thema in internen Rezensionen gezielt zu überprüfen, während einige dieser anderen Themen möglicherweise weniger im Vordergrund stehen. Qualitätsteams, die dafür verantwortlich sind, zu prüfen, ob schlechte Ergebnisse zurückgegeben werden.
Was sollte Google Ihrer Meinung nach als nächstes tun, um medizinische Fehlinformationen bei der KI-Suche zu verhindern?
DiResta: Google verfolgt eine sehr gute Politik. Ihr Geld oder Ihr Leben ist eine starke ethische Richtlinie, die Sie in diese Manifestation der Zukunft der Forschung integrieren müssen. Ich denke also nicht, dass wir eine neue ethische Grundlage schaffen müssen. Ich denke, es geht eher darum sicherzustellen, dass bestehende ethische Grundlagen für neue KI-Forschungsinstrumente grundlegend bleiben.