Im Februar kündigte OpenAI Sora an, ein hervorragendes „Text-to-Video“-Tool. Geben Sie einfach eine Eingabeaufforderung ein und Sora generiert in Sekundenschnelle ein realistisches Video. Der Öffentlichkeit war es jedoch nicht sofort zugänglich. Ein Teil der Verzögerung ist darauf zurückzuführen, dass OpenAI eine Expertengruppe namens „Red Team“ haben wird, die, so das Unternehmen, das Modell untersuchen wird, um seine Fähigkeit zu verstehen, Deepfake-Videos, Fehlinformationen, Voreingenommenheit und hasserfüllte Inhalte zu erstellen.
Obwohl sich Red Teaming für Cybersicherheitsanwendungen als nützlich erwiesen hat, handelt es sich um ein militärisches Tool, das nie für eine groß angelegte Einführung im Privatsektor gedacht war.
„Gut gemacht, kann Red Teaming KI-Schwachstellen identifizieren und dabei helfen, sie zu beheben“, sagt Brian Chen, Policy Director beim New Yorker Think Tank Data & Society. „Was es nicht tut, ist, die strukturelle Lücke bei der Regulierung der Technologie im öffentlichen Interesse zu schließen.“
Was ist das rote Team?
Die Praxis des Red Teaming hat ihren frühesten Ursprung in Sun Tzus militärischer Strategie DER Kunst des Krieges: „Wenn du den Feind kennst und dich selbst kennst, brauchst du den Ausgang von hundert Schlachten nicht zu fürchten.“ Das Ziel der Übungen des roten Teams besteht darin, in die Rolle des Gegners (des roten Teams) zu schlüpfen und versteckte Schwachstellen in der Verteidigung des blauen Teams (den Verteidigern) zu finden, das dann kreativ darüber nachdenkt, wie die Lücken geschlossen werden können.
Diese Praxis entstand in den 1960er Jahren in Regierungs- und Militärkreisen der USA, um Bedrohungen durch die Sowjetunion zuvorzukommen. Heutzutage ist es vor allem als zuverlässige Cybersicherheitstechnik bekannt, die zum Schutz von Computernetzwerken, Software und proprietären Daten eingesetzt wird.
Zumindest ist das die Idee. Und in der Cybersicherheit, wo die Rolle von Hackern und Verteidigern klar ist, können rote Teams eine beachtliche Erfolgsbilanz vorweisen. Aber wie die blauen und roten Teams bei der KI aufgeteilt sein könnten – und was die Spieler in dieser ganzen Übung dazu motiviert, letztendlich im Idealfall das Gemeinwohl zu fördern – ist unklar.
Wer spielt in einem Szenario, in dem rote Teams angeblich dazu dienen, die Gesellschaft vor den potenziellen Schäden der KI zu schützen, die blauen und roten Teams? Besteht das blaue Team aus Entwicklern und das rote Team aus Hackern? Oder ist das rote Team das Vorbild für KI? Und wer betreut das blaue Team?
Micah Zenko, Autor von Rotes Team: Wie man Erfolg hat, indem man wie der Feind denkt, stellt fest, dass das Konzept des Red Teaming nicht immer klar definiert ist und in seinen Anwendungen variieren kann. Er sagt, dass rote KI-Teams „mit Vorsicht vorgehen müssen: Machen Sie sich Klarheit über die Argumentation, den Umfang, die Absicht und die Lernergebnisse.“ Stellen Sie sicher, dass Sie Ihr Denken und Ihre Annahmen hinterfragen.
Zenko offenbart auch eine eklatante Diskrepanz zwischen dem roten Team und dem Tempo des KI-Fortschritts. Ziel sei es, bestehende Schwachstellen zu identifizieren und diese dann zu beheben. „Wenn das getestete System nicht ausreichend statisch ist“, sagt er, „dann jagen wir der Vergangenheit hinterher.“
Warum sind rote Teams jetzt Teil der öffentlichen KI-Richtlinien?
Am 30. Oktober letzten Jahres erließ Präsident Joe Biden die Executive Order 14110, mit der er das US-amerikanische National Institute of Standards and Technology (NIST) anwies, wissenschaftlich fundierte Richtlinien zu entwickeln, um den Einsatz sicherer und vertrauenswürdiger Systeme, auch für KI-Red-Teams, zu unterstützen.
Drei Monate später unternahm NIST die ersten Schritte zur Umsetzung seiner neuen Verantwortlichkeiten – Red Teaming und andere. Er sammelte öffentliche Kommentare zum Bundesregister, kündigte die erste Führung des US-amerikanischen Artificial Intelligence Security Institute an und gründete ein Konsortium zur Bewertung von KI-Systemen und zur Verbesserung ihrer Zuverlässigkeit und Sicherheit.
Dies ist jedoch nicht das erste Mal, dass sich die Biden-Regierung an das rote KI-Team wendet.
Die Popularität der Technik in Kreisen der Biden-Regierung begann Anfang dieses Jahres. Entsprechend PolitikIm März trafen sich Beamte des Weißen Hauses mit Organisatoren der DEFCON-Hackerkonferenz und einigten sich dann darauf, eine öffentliche Red-Teaming-Übung zu unterstützen. Im Mai kündigten Regierungsvertreter ihre Unterstützung für eine versuchte KI-Red-Team-Übung auf der bevorstehenden DEFCON 31-Konferenz in Las Vegas an. Dann strömten im August wie geplant Tausende Menschen zum Caesar’s Forum in Las Vegas, um die Schadensfähigkeit der KI-Modelle zu testen. Zum Zeitpunkt der Drucklegung waren die Ergebnisse dieser Übung noch nicht veröffentlicht.
Was kann das KI-Rotteam tun?
Wie jede Computersoftware weisen KI-Modelle dieselben Cyber-Schwachstellen auf: Sie können von böswilligen Akteuren gehackt werden, um eine Vielzahl von Zielen zu erreichen, einschließlich Datendiebstahl oder Sabotage. Daher kann Red Teaming einen Ansatz zum Schutz von KI-Modellen vor externen Bedrohungen bieten. Beispielsweise nutzt Google Red Teaming, um seine KI-Modelle vor Bedrohungen wie Schnellangriffen, Datenvergiftung und Hintertüren zu schützen. Sobald diese Schwachstellen identifiziert sind, können sie Lücken in der Software schließen.
Um den potenziellen Risiken der KI zu begegnen, haben Technologieentwickler Netzwerke externer Experten aufgebaut, die sie bei der Bewertung der Sicherheit ihrer Modelle unterstützen. Sie neigen jedoch dazu, Auftragnehmer zu beauftragen und diese zur Unterzeichnung von Geheimhaltungsvereinbarungen aufzufordern. Die Übungen finden stets hinter verschlossenen Türen statt und die Ergebnisse werden allgemein veröffentlicht.
Insbesondere im Fall von KI sagen Experten von Data & Society, einem Technologie-Think Tank, dass Red Teaming nicht intern innerhalb eines Unternehmens stattfinden sollte. Zenko schlägt vor, dass „nicht nur eine unabhängige Validierung durch Dritte notwendig ist, sondern Unternehmen auch funktionsübergreifende, multidisziplinäre Teams aufbauen sollten, nicht nur Ingenieure und Hacker.“
Dan Hendrycks, Geschäftsführer und Forschungsdirektor des in San Francisco ansässigen Center for AI Safety, sagt, dass Red Teaming auch nicht als schlüsselfertige Lösung betrachtet werden sollte. „Die Technik ist auf jeden Fall nützlich“, sagt er. „Aber dies stellt nur eine Verteidigungslinie gegen die potenziellen Risiken der KI dar, und ein breiteres Ökosystem von Richtlinien und Methoden ist unerlässlich.“ »
Das neue AI Safety Institute des NIST hat nun die Möglichkeit, die Art und Weise zu ändern, wie Red Teaming in der KI eingesetzt wird. Das Konsortium des Instituts aus mehr als 200 Organisationen hat Berichten zufolge bereits mit der Entwicklung von Standards für das KI-Red-Team begonnen. Tech-Entwickler haben auch damit begonnen, selbst Best Practices zu erkunden. Anthropic, Google, Microsoft und OpenAI haben beispielsweise das Frontier Model Forum (FMF) ins Leben gerufen, um KI-Sicherheitsstandards zu entwickeln und Best Practices branchenweit auszutauschen.
Chris Meserole, Geschäftsführer des FMF, sagt: „Red Teaming kann ein guter Ausgangspunkt für die Bewertung potenzieller Risiken sein, die ein Modell mit sich bringen könnte.“ Er fügt jedoch hinzu, dass KI-Modelle an der Spitze der technologischen Entwicklung eine Reihe von Strategien erfordern und nicht nur ein Werkzeug, das aus der Cybersicherheit – und letztendlich dem Kalten Krieg – recycelt wird.
Laut Meserole ist Red Teaming alles andere als „ein Allheilmittel, weshalb wir unbedingt die Entwicklung anderer Bewertungs- und Schadensbegrenzungstechniken unterstützen wollten, um die Sicherheit modernster KI-Modelle zu gewährleisten“.