Nach dem Tod eines Teenagers wurde eine Klage gegen Character.AI, seine Gründer Noam Shazeer und Daniel De Freitas und Google wegen ungerechtfertigter Tötung, Fahrlässigkeit, betrügerischer Marketingpraktiken und Produkthaftung eingereicht. Die von der Mutter des Teenagers, Megan Garcia, eingereichte Klage behauptet, die personalisierte KI-Chatbot-Plattform sei „unverhältnismäßig gefährlich“ gewesen und habe bei der Vermarktung an Kinder keine Sicherheitsvorkehrungen getroffen.
Wie in der Klageschrift angegeben, begann der 14-jährige Sewell Setzer III letztes Jahr, Character.AI zu nutzen und mit Chatbots zu interagieren, die den Charakteren von nachempfunden waren Game of Throneseinschließlich Daenerys Targaryen. Setzer, der in den Monaten vor seinem Tod ständig mit den Robotern chattete, beging am 28. Februar 2024 Selbstmord, „Sekunden“ nach seiner letzten Interaktion mit dem Roboter.
Zu den Vorwürfen gehört, dass die Website KI-Charaktere „anthropomorphisiert“ und dass die Chatbots der Plattform „nicht lizenzierte Psychotherapie“ anbieten. Character.AI hostet Chatbots mit Schwerpunkt auf psychischer Gesundheit wie „Therapist“ und „Are You Feeling Lonely“, mit denen Setzer interagiert hat.
Garcias Anwälte zitieren Shazeer in einem Interview mit den Worten, er und De Freitas hätten Google verlassen, um sein eigenes Unternehmen zu gründen, weil „das Markenrisiko in großen Unternehmen einfach zu hoch sei, als dass man irgendetwas Spaß machen könnte, und dass er „so viel wie möglich beschleunigen“ wollte. die Technologie. Er sagt, sie seien gegangen, nachdem das Unternehmen beschlossen hatte, das von ihnen gebaute Meena LLM nicht auf den Markt zu bringen. Google hat im August das Managementteam von Character.AI übernommen.
Die Website und die mobile App von Character.AI enthalten Hunderte personalisierter KI-Chatbots, von denen viele beliebten Charakteren aus Fernsehsendungen, Filmen und Videospielen nachempfunden sind. Vor ein paar Monaten, Der Rand schrieb über die Millionen junger Menschen, darunter Teenager, die den größten Teil seiner Nutzerbasis ausmachen und mit Bots interagieren, die sich möglicherweise als Harry Styles oder als Therapeuten ausgeben. Ein weiterer aktueller Bericht von Verdrahtet wies auf Probleme mit den personalisierten Chatbots von Character.AI hin, die sich ohne deren Zustimmung als echte Menschen ausgaben, darunter einer, der sich 2006 als ermordeter Teenager ausgab.
Aufgrund der Art und Weise, wie Chatbots wie Character.ai Ergebnisse generieren, die von den Eingaben des Benutzers abhängen, geraten sie in ein seltsames Tal heikler Fragen zu benutzergenerierten Inhalten und Verantwortlichkeit, auf die es bisher keine klaren Antworten gibt.
Character.AI hat nun mehrere Änderungen an der Plattform angekündigt, wie Kommunikationsmanagerin Chelsea Harrison in einer E-Mail an erklärte Der Rand„Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen.“
Zu den Änderungen gehören:
„Als Unternehmen nehmen wir die Sicherheit unserer Benutzer sehr ernst, und unser Trust and Safety-Team hat in den letzten sechs Monaten viele neue Sicherheitsmaßnahmen implementiert, darunter ein Popup, das Benutzer zur nationalen Rettungsleine zur Suizidprävention weiterleitet, die durch ausgelöst wird Selbstverletzung oder Selbstmordgedanken“, sagte Harrison. Google reagierte nicht sofort Der RandBitte um Kommentar.