Vor einigen Monaten führte mein Arzt ein KI-Transkriptionstool ein, mit dem er seine Treffen mit seinen Patienten aufzeichnete und zusammenfasste. In meinem Fall war die Zusammenfassung gut, aber die von den Forschern zitierten ABC-Nachrichten Ich habe herausgefunden, dass dies bei Whisper von OpenAI, das ein von vielen Krankenhäusern verwendetes Tool unterstützt, nicht immer der Fall ist – manchmal erfindet es die Dinge komplett.
Whisper wird von einem Unternehmen namens Nabla für ein medizinisches Transkriptionstool verwendet, das laut eigenen Angaben 7 Millionen medizinische Gespräche transkribiert hat ABC-Nachrichten. Mehr als 30.000 Ärzte und 40 Gesundheitssysteme nutzen es, schreiben die Medien. Berichten zufolge ist sich Nabla bewusst, dass Whisper möglicherweise halluziniert und „das Problem angeht“.
Eine Gruppe von Forschern der Cornell University, der University of Washington und anderen stellte in einer Studie fest, dass Whisper in etwa 1 Prozent der Transkripte halluzinierte und während der Stille der Aufnahmen ganze Sätze mit manchmal gewalttätigen Gefühlen oder unsinnigen Sätzen verfasste. Die Forscher, die im Rahmen der Studie Audioproben aus der AphasiaBank von TalkBank gesammelt haben, stellen fest, dass Schweigen besonders häufig vorkommt, wenn jemand mit einer Sprachstörung namens Aphasie spricht.
Eine der Forscherinnen, Allison Koenecke von der Cornel University, veröffentlichte Beispiele wie das folgende in einem Diskussionsthread über die Studie.
Die Forscher fanden heraus, dass die Halluzinationen auch erfundene medizinische Zustände oder Ausdrücke beinhalteten, die man von einem YouTube-Video erwarten würde, wie zum Beispiel „Danke fürs Zuschauen!“ » (OpenAI hat Berichten zufolge über eine Million Stunden YouTube-Videos transkribiert, um GPT-4 zu trainieren.)
Die Studie wurde im Juni auf der FAccT-Konferenz der Association for Computing Machinery in Brasilien vorgestellt. Es ist unklar, ob es einem Peer-Review unterzogen wurde.
OpenAI-Sprecherin Taya Christianson schickte eine Erklärung per E-Mail an Der Rand:
Wir nehmen dieses Problem ernst und arbeiten kontinuierlich an Verbesserungen, einschließlich der Reduzierung von Halluzinationen. Für die Verwendung von Whisper auf unserer API-Plattform verbieten unsere Nutzungsrichtlinien die Verwendung in bestimmten Entscheidungskontexten mit hohem Risiko, und unsere Modellkarte für die Open-Source-Nutzung enthält Empfehlungen gegen die Verwendung in Hochrisikobereichen. Wir danken den Forschern für die Weitergabe ihrer Ergebnisse.