Können Algorithmusverzerrungen uns helfen, unsere eigenen zu erkennen?

Algorithmen sollten unser Leben einfacher und gerechter machen: Sie sollten uns helfen, die besten Kandidaten zu finden, Richtern helfen, Risiken bei Kautions- und Kautionsentscheidungen unparteiisch einzuschätzen, und sicherstellen, dass die Gesundheitsversorgung den Patienten zur Verfügung gestellt wird, die sie am dringendsten benötigen. Aber wir wissen jetzt, dass Algorithmen genauso voreingenommen sein können wie die menschlichen Entscheidungsträger, die sie informieren und ersetzen.

Was wäre, wenn das keine schlechte Sache wäre?

Eine neue Studie unter der Leitung von Carey Morewedge, Professor für Marketing an der Questrom School of Business der Boston University und Everett W. Lord Distinguished Scholar, ergab, dass Menschen ihre Vorurteile eher in den Entscheidungen von Algorithmen als in ihren eigenen erkennen, selbst wenn diese Entscheidungen dieselben sind. sogar. Die Studie, veröffentlicht in der Verfahren der Nationalen Akademie der Wissenschaftenschlägt Möglichkeiten vor, wie Bewusstsein menschlichen Entscheidungsträgern helfen könnte, ihre Vorurteile zu erkennen und zu korrigieren.

„Ein gesellschaftliches Problem besteht darin, dass Algorithmen lernen und in großem Umfang Voreingenommenheit in die menschlichen Entscheidungen einbringen, auf die sie trainiert wurden“, sagt Morewedge, der auch die Marketingabteilung von Questrom leitet. Zum Beispiel: Im Jahr 2015 testete Amazon einen Algorithmus (und gab ihn schnell wieder auf), der seinen Personalmanagern dabei helfen sollte, Kandidaten zu filtern. Sie fanden heraus, dass das Programm Lebensläufe, die angeblich von männlichen Bewerbern stammten, verbesserte und diejenigen von weiblichen Bewerbern abwertete, ein klarer Fall von geschlechtsspezifischer Voreingenommenheit.

Doch im selben Jahr waren nur 39 % der Amazon-Belegschaft Frauen. Wenn der Algorithmus anhand der vorhandenen Einstellungsdaten von Amazon trainiert worden wäre, wäre es kein Wunder, dass er männliche Kandidaten priorisiert hätte – Amazon hatte dies bereits getan. Wenn sein Algorithmus eine geschlechtsspezifische Voreingenommenheit enthielt, „liegt das daran, dass Amazon-Manager bei ihren Einstellungsentscheidungen voreingenommen waren“, erklärt Morewedge.

„Algorithmen können menschliche Vorurteile kodifizieren und verstärken, sie offenbaren aber auch die strukturellen Vorurteile unserer Gesellschaft“, sagt er. „Viele Vorurteile können nicht auf individueller Ebene beobachtet werden. Es ist schwierig, Vorurteile beispielsweise bei einer einzelnen Einstellungsentscheidung nachzuweisen. Aber wenn wir Entscheidungen innerhalb und zwischen Menschen addieren, wie wir es bei der Entwicklung von Algorithmen tun, kann dies strukturelle Vorurteile aufdecken.“ in unseren Systemen und Organisationen.

Morewedge und ihre Mitarbeiter Begüm Çeliktutan und Romain Cadario, beide von der Erasmus-Universität in den Niederlanden, entwarfen eine Reihe von Experimenten, die darauf abzielten, die sozialen Vorurteile der Menschen (einschließlich Rassismus, Sexismus und Altersdiskriminierung) zu entmystifizieren.

Anschließend verglich das Team die Erkenntnis der Forschungsteilnehmer, wie diese Vorurteile ihre eigenen Entscheidungen beeinflussten, mit Entscheidungen, die von einem Algorithmus getroffen wurden. In den Experimenten sahen die Teilnehmer teilweise die Entscheidungen realer Algorithmen. Aber es gab einen Haken: Manchmal waren die den Algorithmen zugeschriebenen Entscheidungen tatsächlich verschleierte Entscheidungen der Teilnehmer.

Insgesamt sahen die Teilnehmer eher Voreingenommenheit bei Entscheidungen, von denen sie glaubten, dass sie von Algorithmen stammten, als bei ihren eigenen Entscheidungen. Die Teilnehmer sahen auch in den Entscheidungen der Algorithmen eine ebenso große Voreingenommenheit wie in denen anderer Menschen. (Menschen sind im Allgemeinen besser darin, Voreingenommenheit bei anderen zu erkennen als bei sich selbst, ein Phänomen, das als „Blinder Fleck der Voreingenommenheit“ bezeichnet wird.) Die Wahrscheinlichkeit, dass die Teilnehmer diese Entscheidungen nachträglich korrigierten, ist ein entscheidender Schritt zur Minimierung von Vorurteilen Zukunft.

Algorithmen beseitigen den blinden Fleck der Voreingenommenheit

Die Forscher führten Gruppen von insgesamt mehr als 6.000 Teilnehmern durch neun Experimente. Im ersten Schritt bewerteten die Teilnehmer eine Reihe von Airbnb-Inseraten, die einige Informationen zu jedem Inserat enthielten: seine durchschnittliche Sternebewertung (auf einer Skala von 1 bis 5) und den Namen des Gastgebers. Die Forscher ordneten diese fiktiven Einträge Gastgebern zu, deren Namen „eindeutig Afroamerikaner oder Weiße“ waren, basierend auf früheren Untersuchungen, die rassistische Vorurteile identifizierten, heißt es in der Studie. Die Teilnehmer bewerteten ihre Wahrscheinlichkeit, jede Unterkunft zu mieten.

In der zweiten Hälfte des Experiments wurden die Teilnehmer über ein Forschungsergebnis informiert, das erklärt, wie die Rasse des Gastgebers die Bewertungen beeinflussen könnte. Als nächstes zeigten die Forscher den Teilnehmern eine Reihe von Bewertungen und baten sie, (auf einer Skala von 1 bis 7) die Wahrscheinlichkeit einzuschätzen, dass Voreingenommenheit die Bewertungen beeinflusste.

Die Teilnehmer sahen entweder ihre eigene Bewertung zurückgespiegelt, ihre eigene Bewertung unter dem Deckmantel eines Algorithmus, ihre eigene Bewertung unter dem Deckmantel der jemand anderen oder eine tatsächliche Bewertung eines Algorithmus basierend auf ihren Präferenzen.

Die Forscher wiederholten diesen Aufbau mehrmals und testeten die Profile von Lyft-Fahrern und Airbnb-Gastgebern auf Vorurteile in Bezug auf Rasse, Geschlecht, Alter und Attraktivität. Die Ergebnisse waren jedes Mal konsistent. Teilnehmer, die glaubten, die Bewertungen eines Algorithmus oder einer anderen Person gesehen zu haben (unabhängig davon, ob dies tatsächlich der Fall war oder nicht), nahmen eher eine Verzerrung in den Ergebnissen wahr.

Morewedge führt dies auf die unterschiedlichen Beweise zurück, die wir verwenden, um Voreingenommenheit bei anderen und Voreingenommenheit bei uns selbst zu beurteilen. Da wir Einblick in unseren eigenen Denkprozess haben, sagt er, ist es wahrscheinlicher, dass wir unserem Denken nachgehen und entscheiden, dass es nicht voreingenommen war und vielleicht von einem anderen Faktor bestimmt wurde, der unsere Entscheidungen beeinflusst hat. Wenn wir jedoch die Entscheidungen anderer Menschen analysieren, müssen wir nur das Ergebnis beurteilen.

„Nehmen wir an, Sie organisieren ein Rednerpanel für eine Veranstaltung“, sagt Morewedge. „Wenn alle diese Redner Männer wären, könnte man sagen, dass das Ergebnis nicht das Ergebnis einer geschlechtsspezifischen Voreingenommenheit ist, weil man bei der Einladung dieser Redner nicht einmal über das Geschlecht nachgedacht hat. Aber wenn man bei dieser Veranstaltung wäre und eine Diskussionsrunde gesehen hätte Da es sich bei allen „männlichen Sprechern“ eher um den Schluss handelt, dass bei der Auswahl eine geschlechtsspezifische Voreingenommenheit vorlag.

Tatsächlich fanden die Forscher in einem ihrer Experimente heraus, dass Teilnehmer, die anfälliger für diesen blinden Fleck der Voreingenommenheit waren, auch eher Voreingenommenheit bei Entscheidungen sahen, die auf Algorithmen oder andere zurückgeführt wurden, als bei ihren eigenen Entscheidungen. In einem anderen Experiment fanden sie heraus, dass Menschen ihre eigenen Entscheidungen eher von relativ neutralen oder vernünftigen Faktoren wie der Sternebewertung eines Airbnb-Gastgebers beeinflusst sehen, als von einer voreingenommenen Voreingenommenheit wie der Rasse, die möglicherweise darauf zurückzuführen ist, dass sie zugegeben haben, sie zu bevorzugen Eine Fünf-Sterne-Bewertung Das Verleihen von Sternen gefährdet nicht so sehr das Selbstwertgefühl oder die Art und Weise, wie andere uns wahrnehmen, schlägt Morewedge vor.

Algorithmen als Spiegel: Menschliche Vorurteile erkennen und korrigieren

Im letzten Experiment der Forscher gaben die Forscher den Teilnehmern die Möglichkeit, Verzerrungen in ihren Bewertungen oder in den Bewertungen eines Algorithmus (echt oder nicht) zu korrigieren. Es war wahrscheinlicher, dass Menschen die Entscheidungen des Algorithmus korrigierten, was die tatsächliche Verzerrung seiner Bewertungen verringerte.

Dies sei ein entscheidender Schritt für Morewedge und seine Kollegen, sagt er. Für jeden, der motiviert ist, Vorurteile abzubauen, ist es der erste Schritt, sie erkennen zu können. Ihre Forschung zeigt, dass Algorithmen als Spiegel verwendet werden können, um Vorurteile zu erkennen, selbst wenn Menschen sie selbst nicht erkennen können.

„Im Moment halte ich die Literatur zu algorithmischer Verzerrung für düster“, sagt Morewedge. „In vielen Fällen heißt es, dass wir statistische Methoden entwickeln müssen, um Voreingenommenheit in Algorithmen zu reduzieren. Aber ein Teil des Problems besteht darin, dass Voreingenommenheit von Menschen kommt. Wir sollten daran arbeiten, Algorithmen zu verbessern, aber wir sollten auch daran arbeiten, unsere Voreingenommenheit zu verringern.“

„Das Spannende an dieser Arbeit ist, dass sie zeigt, dass Algorithmen menschliche Vorurteile kodifizieren oder verstärken können, dass Algorithmen aber auch Werkzeuge sein können, die Menschen dabei helfen, ihre eigenen Vorurteile besser zu erkennen und sie zu korrigieren“, sagte er. „Algorithmen sind ein zweischneidiges Schwert. Sie können ein Werkzeug sein, das unsere schlimmsten Tendenzen verstärkt. Und Algorithmen können ein Werkzeug sein, das uns helfen kann, uns zu verbessern.“