Organisationen, die künstliche Intelligenzsysteme entwickeln oder einsetzen, wissen, dass der Einsatz von KI eine Vielzahl von Risiken birgt, darunter rechtliche und regulatorische Konsequenzen, potenzielle Reputationsschäden und ethische Probleme wie Voreingenommenheit und mangelnde Transparenz. Sie wissen auch, dass sie mit einer guten Governance Risiken mindern und sicherstellen können, dass KI-Systeme verantwortungsvoll entwickelt und genutzt werden. Zu den Zielen gehört es sicherzustellen, dass die Systeme fair, transparent, rechenschaftspflichtig und für die Gesellschaft von Nutzen sind.
Selbst Organisationen, die eine verantwortungsvolle KI implementieren möchten, haben Schwierigkeiten zu beurteilen, ob sie ihre Ziele erreichen. Aus diesem Grund hat das IEEE-USA AI Policy Committee „A Flexible Maturity Model for AI Governance Based on the NIST AI Risk Management Framework“ veröffentlicht, das Organisationen dabei hilft, ihre Fortschritte zu bewerten und zu verfolgen. Das Reifegradmodell basiert auf Richtlinien, die im AI Risk Management Framework (RMF) des U.S. National Institute of Standards and Technology und anderen NIST-Dokumenten dargelegt sind.
Aufbauend auf der Arbeit von NIST
Das RMF des NIST, ein angesehenes Dokument zur KI-Governance, beschreibt Best Practices für den Umgang mit KI-Risiken. Das Rahmenwerk bietet jedoch keine spezifischen Leitlinien dazu, wie Organisationen die darin beschriebenen Best Practices umsetzen könnten, und schlägt auch nicht vor, wie Organisationen bewerten können, wie gut sie die Richtlinien befolgen. Organisationen fragen sich daher möglicherweise, wie sie das Framework implementieren sollen. Darüber hinaus könnte es für externe Stakeholder, darunter Investoren und Verbraucher, schwierig sein, das Dokument zur Bewertung der Praktiken eines KI-Anbieters zu verwenden.
Das neue IEEE-USA-Reifemodell ergänzt das RMF und ermöglicht es Unternehmen, den Stand ihrer verantwortungsvollen KI-Governance-Reise zu bestimmen, ihre Fortschritte zu verfolgen und einen Fahrplan für Verbesserungen zu erstellen. Reifegradmodelle sind Instrumente zur Messung des Engagements oder der Einhaltung eines technischen Standards durch eine Organisation sowie ihrer Fähigkeit, sich in einer bestimmten Disziplin kontinuierlich zu verbessern. Organisationen nutzen diese Modelle seit den 1980er Jahren, um komplexe Fähigkeiten zu bewerten und zu entwickeln.
Die Aktivitäten des Rahmenwerks sind um die vier Säulen des RMF herum strukturiert, die Dialog, Verständnis und Aktivitäten zum Management von KI-Risiken und zur Rechenschaftspflicht bei der Entwicklung vertrauenswürdiger KI-Systeme ermöglichen. Die Säulen sind wie folgt:
- Karte: Der Kontext wird erkannt und die mit dem Kontext verbundenen Risiken werden identifiziert.
- Messung: Identifizierte Risiken werden bewertet, analysiert oder überwacht.
- Verwalten: Risiken werden anhand der prognostizierten Auswirkungen priorisiert und angegangen.
- Regieren: Eine Kultur des Risikomanagements ist gepflegt und vorhanden.
Ein flexibler Fragebogen
Das IEEE-USA-Reifegradmodell basiert auf einem flexiblen Fragebogen auf Basis des RMF. Der Fragebogen enthält eine Liste von Aussagen, die jeweils eine oder mehrere der empfohlenen RMF-Aktivitäten abdecken. Eine davon lautet beispielsweise: „Wir bewerten und dokumentieren Voreingenommenheits- und Fairnessprobleme, die durch unsere KI-Systeme verursacht werden.“ » Die Aussagen konzentrieren sich auf konkrete, überprüfbare Maßnahmen, die Unternehmen umsetzen können, vermeiden jedoch allgemeine, abstrakte Aussagen wie „Unsere KI-Systeme sind fair.“ »
Die Aussagen sind in Themen gegliedert, die mit den Säulen des RFM übereinstimmen. Die Themen wiederum sind in Phasen des KI-Entwicklungslebenszyklus unterteilt, wie im RMF beschrieben: Planung und Design, Datenerfassung und Modellerstellung sowie Bereitstellung. Ein Gutachter, der ein KI-System in einer bestimmten Phase bewertet, kann problemlos nur relevante Themen überprüfen.
Bewertungsrichtlinien
Das Reifegradmodell umfasst diese Bewertungsrichtlinien, die die im RMF dargelegten Ideale widerspiegeln:
- Robustheit, die von der einmaligen bis zur systematischen Umsetzung von Aktivitäten reicht.
- Decke,Die Bandbreite reicht von der Nichtteilnahme an einer der Aktivitäten bis hin zur Teilnahme an allen.
- Vielfalt der Einträge, angefangen vonAktivitäten, die auf den Beiträgen eines einzelnen Teams und auf den vielfältigen Beiträgen interner und externer Stakeholder basieren.
Bewerter können einzelne Aussagen oder umfassendere Themen bewerten und so den Grad der Granularität der Bewertung steuern. Darüber hinaus wird von den Bewertern erwartet, dass sie dokumentarische Nachweise vorlegen, um die ihnen zugewiesenen Bewertungen zu erläutern. Als Beweis können interne Unternehmensdokumente wie Verfahrenshandbücher sowie Jahresberichte, Nachrichtenartikel und andere externe Dokumente dienen.
Nach der Bewertung einzelner Aussagen oder Themen aggregieren die Bewerter die Ergebnisse, um eine Gesamtbewertung zu erhalten. Das Reifegradmodell ermöglicht je nach den Interessen des Gutachters eine gewisse Flexibilität. Beispielsweise können Bewertungen nach NIST-Säulen aggregiert werden, wodurch Bewertungen für „Karte“, „Messung“, „Verwaltung“ und „Regierung“ entstehen.
Bei interner Verwendung kann das Reifegradmodell Unternehmen dabei helfen, ihre Position zu verantwortungsvoller KI zu bestimmen und Maßnahmen zu identifizieren, die sie zur Verbesserung ihrer Governance ergreifen können.
Durch die Aggregation können systematische Schwächen im Ansatz einer Organisation zur KI-Verantwortung aufgedeckt werden. Wenn ein Unternehmen beispielsweise bei „Governance“-Aktivitäten gut abschneidet, bei anderen Säulen jedoch schlecht, entwickelt es möglicherweise solide Richtlinien, die jedoch nicht umgesetzt werden.
Eine weitere Bewertungsoption besteht darin, die Zahlen nach einigen der im RMF hervorgehobenen Dimensionen der KI-Verantwortung zu gruppieren: Leistung, Fairness, Datenschutz, Ökologie, Transparenz, Sicherheit, Erklärbarkeit, Sicherheit und Dritte (geistiges Eigentum und Urheberrechte). Diese Aggregationsmethode kann dabei helfen, festzustellen, ob Organisationen bestimmte Probleme ignorieren. Einige Organisationen rühmen sich beispielsweise möglicherweise ihrer KI-Verantwortung aufgrund ihrer Aktivitäten in einigen wenigen Risikobereichen, während sie andere Kategorien ignorieren.
Ein Weg zu besserer Entscheidungsfindung
Bei interner Anwendung kann das Reifegradmodell Unternehmen dabei helfen, ihren Standpunkt zu verantwortungsvoller KI zu bestimmen und Schritte zu identifizieren, die sie zur Verbesserung ihrer Governance unternehmen können. Das Modell ermöglicht es Unternehmen, Ziele zu setzen und ihre Fortschritte durch wiederholte Bewertungen zu verfolgen. Investoren, Käufer, Verbraucher und andere externe Stakeholder können das Modell nutzen, um Entscheidungen über das Unternehmen und seine Produkte zu treffen.
Wenn es von internen oder externen Stakeholdern verwendet wird, kann das neue IEEE-USA-Reifemodell das AI RMF von NIST ergänzen und dabei helfen, den Fortschritt einer Organisation auf dem Weg zu verantwortungsvoller Governance zu verfolgen.