Die Chatbot-Revolution hat unsere Welt mit KI-generiertem Text überflutet: Sie hat unsere Newsfeeds, unsere Aufsätze und unsere Posteingänge infiltriert. Es ist so absurd reichlich vorhanden, dass Industrien entstanden sind, die Maßnahmen und Gegenmaßnahmen ergreifen. Einige Unternehmen bieten Dienste zur Identifizierung von KI-generiertem Text durch Analyse des Materials an, während andere behaupten, dass ihre Tools Ihren KI-generierten Text „humanisieren“ und ihn nicht mehr erkennbar machen. Die Leistung beider Arten von Tools ist fraglich, und mit der Verbesserung von Chatbots wird es immer schwieriger zu erkennen, ob Wörter von einem Menschen oder einem Algorithmus aneinandergereiht wurden.
Hier ist ein anderer Ansatz: Fügen Sie dem Text von Anfang an eine Art Wasserzeichen oder eine Inhaltsidentifizierung hinzu, damit Benutzer leicht überprüfen können, ob der Text von KI generiert wurde. Neue Forschungsergebnisse von Google DeepMind, heute in der Zeitschrift beschrieben Naturbietet eine Möglichkeit, genau das zu tun. Das System mit dem Namen SynthID-Text beeinträchtigt nicht „die Qualität, Genauigkeit, Kreativität oder Geschwindigkeit der Textgenerierung“, sagt Pushmeet Kohli, Vizepräsident für Forschung bei Google DeepMind und Co-Autor des Artikels. Die Forscher erkennen jedoch, dass ihr System alles andere als unfehlbar und noch nicht für jedermann zugänglich ist: Es handelt sich eher um eine Demonstration als um eine sich entwickelnde Lösung.
Google hat dieses neue Wasserzeichensystem bereits in seinen Gemini-Chatbot integriert, gab das Unternehmen heute bekannt. Er stellte das Tool auch als Open Source zur Verfügung und stellte es Entwicklern und Unternehmen zur Verfügung, sodass sie mit dem Tool feststellen konnten, ob die Textausgabe von ihren eigenen Large Language Models (LLM) stammt, den KI-Systemen, die Chatbots antreiben. Allerdings haben derzeit nur Google und diese Entwickler Zugriff auf den Detektor, der das Wasserzeichen prüft. Wie Kohli sagt: „Obwohl SynthID kein Allheilmittel zur Identifizierung von KI-generierten Inhalten ist, ist es ein wichtiger Teil der Entwicklung zuverlässigerer KI-Identifizierungstools.“ »
Der Aufstieg der Content-Anmeldeinformationen
Inhaltsnachweise sind ein heißes Thema für Bilder und Videos und werden als Mittel zur Bekämpfung der Verbreitung von Deepfakes angesehen. Technologieunternehmen und große Medienunternehmen haben sich in einer Initiative namens C2PA zusammengeschlossen, die ein System zum Anhängen verschlüsselter Metadaten an Bild- und Videodateien entwickelt hat, das anzeigt, ob sie echt oder KI-generiert sind. Text ist jedoch ein viel schwierigeres Problem, da er sehr leicht bearbeitet werden kann, um ein Wasserzeichen zu verbergen oder zu entfernen. Obwohl SynthID-Text nicht der erste Versuch ist, ein Wasserzeichensystem für Text zu erstellen, ist es der erste, der an 20 Millionen Eingabeaufforderungen getestet wurde.
Externe Experten, die sich mit Content-Referenzen befassen, sehen in der DeepMind-Forschung einen guten Schritt. „Es ist vielversprechend, die Verwendung der dauerhaften Inhaltsnachweise von C2PA für Dokumente und Klartext zu verbessern“, sagt Andrew Jenks, Director of Media Provenance bei Microsoft und Executive Chairman von C2PA. „Es ist ein schwer zu lösendes Problem, und es ist schön zu sehen, dass Fortschritte erzielt werden“, sagt Bruce MacCormack, Mitglied des C2PA-Lenkungsausschusses.
So funktionieren Google-Textwasserzeichen
SynthID-Text greift unauffällig in den Generierungsprozess ein: Es modifiziert einige der Wörter, die ein Chatbot an den Benutzer sendet, auf eine Weise, die für Menschen unsichtbar, für einen SynthID-Detektor jedoch klar ist. „Solche Modifikationen führen eine statistische Signatur in den generierten Text ein“, schreiben die Forscher in der Arbeit. „Während der Wasserzeichenerkennungsphase kann die Signatur gemessen werden, um festzustellen, ob der Text tatsächlich vom mit Wasserzeichen versehenen LLM generiert wurde.“
Die LLMs, die Chatbots antreiben, arbeiten, indem sie Sätze Wort für Wort generieren und dabei den Kontext des Vorhergehenden betrachten, um das wahrscheinlich nächste Wort auszuwählen. Im Wesentlichen greift SynthID-Text ein, indem es Kandidatenwörtern zufällig numerische Bewertungen zuweist und das LLM veranlasst, Wörter mit höheren Bewertungen zu erzeugen. Später kann ein Detektor einen Textabschnitt erfassen und dessen Gesamtpunktzahl berechnen; Text mit Wasserzeichen erhält eine höhere Punktzahl als Text ohne Wasserzeichen. Das DeepMind-Team überprüfte die Leistung seines Systems im Vergleich zu anderen Text-Wasserzeichen-Tools, die den Generierungsprozess modifizieren, und stellte fest, dass es Text mit Wasserzeichen besser erkennen konnte.
Allerdings räumen die Forscher in ihrer Arbeit ein, dass es immer noch leicht ist, von Gemini generierten Text zu ändern und den Detektor zu täuschen. Auch wenn Benutzer nicht wissen, welche Wörter sie ändern sollen, wird das Wasserzeichen wahrscheinlich ausgeblendet, wenn sie den Text erheblich ändern oder sogar einen anderen Chatbot bitten, den Text zusammenzufassen.
Testen von Textwasserzeichen im großen Maßstab
Um sicherzustellen, dass SynthID-Text tatsächlich nicht dazu führte, dass Chatbots schlechtere Antworten lieferten, testete das Team es an 20 Millionen an Gemini gesendeten Eingabeaufforderungen. Die Hälfte dieser Eingabeaufforderungen wurde an das SynthID-Text-System weitergeleitet und erhielt eine mit Wasserzeichen versehene Antwort, während die andere Hälfte die Standardantwort von Gemini erhielt. Gemessen an den „Daumen hoch“- und „Daumen runter“-Kommentaren der Nutzer waren die Antworten mit Wasserzeichen für die Nutzer genauso zufriedenstellend wie die Standardantworten.
Das ist ideal für Google und Entwickler, die auf Gemini vertrauen. Um jedoch das Problem der Identifizierung von KI-generiertem Text (von manchen als KI-Slop bezeichnet) vollständig zu lösen, müssen viel mehr KI-Unternehmen Wasserzeichentechnologien implementieren – im Idealfall auf interoperable Weise, sodass ein einziger Detektor den Text vieler verschiedener Texte identifizieren kann LLMs. Und selbst für den unwahrscheinlichen Fall, dass alle großen KI-Unternehmen einen Vertrag unterzeichnen, gäbe es immer noch das Problem der Open-Source-LLMs, die leicht geändert werden können, um jegliche Wasserzeichenfunktionalität zu entfernen.
MacCormack von C2PA weist darauf hin, dass die Erkennung ein besonderes Problem darstellt, wenn man konkret über die Implementierung nachdenkt. „Das Überarbeiten von Text in freier Wildbahn stellt eine Herausforderung dar“, sagt er, „weil man wissen muss, welches Wasserzeichenmodell angewendet wurde, um zu wissen, wie und wo nach dem Signal gesucht werden muss.“ Insgesamt, sagt er, haben die Forscher noch viel zu tun. Diese Bemühungen „sind keine Sackgasse“, sagt MacCormack, „aber es ist der erste Schritt auf einem langen Weg.“