Algorithmen, die von Universitäten zur Vorhersage des Studienerfolgs verwendet werden, können rassistisch voreingenommen sein

Vorhersagealgorithmen, die üblicherweise von Hochschulen und Universitäten verwendet werden, um zu bestimmen, ob Studenten erfolgreich sein werden, könnten laut einer heute in veröffentlichten neuen Studie rassistisch voreingenommen gegenüber schwarzen und hispanischen Studenten sein AERA geöffnet.

Die von Denisa Gándara (University of Texas at Austin), Hadis Anahideh (University of Illinois at Chicago), Matthew Ison (Northern Illinois University) und Lorenzo Picchiarini (University of Illinois at Chicago) geleitete Studie ergab, dass Vorhersagemodelle ebenfalls dazu neigen überschätzen das Erfolgspotenzial weißer und asiatischer Studierender.

„Unsere Ergebnisse zeigen, dass Vorhersagemodelle für schwarze und hispanische Studierende weniger genaue Ergebnisse liefern und durchweg mehr Fehler machen“, sagte Denisa Gándara, Co-Autorin der Studie und Assistenzprofessorin am College of Education in Austin.

Diese Modelle sagten in 19 % bzw. 21 % der Fälle ein Scheitern für schwarze und hispanische Studierende falsch voraus, verglichen mit falsch-negativen Raten von 12 % bzw. 6 % für weiße und asiatische Gruppen. Gleichzeitig sagten die Modelle den Erfolg für weiße und asiatische Studierende in 65 % bzw. 73 % der Fälle falsch voraus, verglichen mit falsch-negativen Raten von 33 % bzw. 28 % für schwarze und hispanische Studierende.

„Unsere Ergebnisse zeigen einen besorgniserregenden Trend: Modelle, die Merkmale berücksichtigen, die üblicherweise zur Vorhersage des Erfolgs von College-Studenten verwendet werden, sagen am Ende schlechtere Ergebnisse für rassische Minderheitengruppen voraus und sind oft ungenau“, sagte Hadis Anahideh, Co-Autor und Assistenzprofessor für Wirtschaftsingenieurwesen an der Universität von Illinois in Chicago. „Dies unterstreicht die Notwendigkeit, die Vorurteile zu beseitigen, die der prädiktiven Analyse im Bildungsumfeld innewohnen. »

Für die Studie wurden landesweit repräsentative Daten des National Center for Education Statistics des US-Bildungsministeriums über einen Zeitraum von 10 Jahren verwendet, darunter 15.244 Studenten.

Die Studienergebnisse unterstreichen auch den potenziellen Wert des Einsatzes statistischer Techniken zur Minderung von Verzerrungen, auch wenn einige Einschränkungen bestehen bleiben.

„Obwohl unsere Forschung verschiedene Techniken zur Verzerrungsminderung testete, stellten wir fest, dass kein einzelner Ansatz Unterschiede in den Vorhersageergebnissen oder der Genauigkeit zwischen verschiedenen Vorstellungen von Fairness vollständig beseitigen kann“, sagte Anahideh.

Hochschuleinrichtungen greifen zunehmend auf Algorithmen des maschinellen Lernens und der künstlichen Intelligenz zurück, die den Erfolg der Studierenden vorhersagen, um eine Vielzahl von Entscheidungen zu treffen, einschließlich solcher im Zusammenhang mit Zulassungen, Budgetierung und studentischen Interventionen. In den letzten Jahren befürchten einige, dass diese Vorhersagemodelle die sozialen Ungleichheiten verewigen werden.

„Da Universitäten und Hochschulen zunehmend datengesteuert werden, ist es unerlässlich, dass Vorhersagemodelle unter Berücksichtigung ihrer Vorurteile und potenziellen Konsequenzen entwickelt werden“, sagte Gándara. „Es ist wichtig, dass institutionelle Nutzer sich der historischen Diskriminierung bewusst sind, die sich in den Daten widerspiegelt, und keine Gruppen bestrafen, die rassenbedingte soziale Benachteiligung erfahren haben.“ »

Die Autoren der Studie betonten, dass die praktischen Implikationen der Ergebnisse wichtig seien, aber davon abhängen, wie die prognostizierten Ergebnisse genutzt würden. Wenn Modelle verwendet werden, um Entscheidungen über die Hochschulzulassung zu treffen, kann Studierenden, die einer ethnischen Minderheit angehören, die Zulassung verweigert werden, wenn die Modelle zeigen, dass frühere Studierende derselben Rassenkategorie weniger erfolgreich waren. Beobachter der Hochschulbildung warnten außerdem davor, dass die Vorhersagen zu einer Angleichung der Bildung führen und schwarze und hispanische Studierende dazu ermutigen könnten, Kurse oder Hauptfächer zu belegen, die als weniger schwierig angesehen werden.

Andererseits können voreingenommene Modelle zu einer stärkeren Unterstützung benachteiligter Studierender führen. Durch die falsche Vorhersage des Scheiterns erfolgreicher Schüler, die ethnischen Minderheiten angehören, kann das Modell mehr Ressourcen für diese Schüler bereitstellen. Dennoch, so Gándara, müssen Praktiker darauf achten, keine Defizitnarrative über Minderheitsschüler zu produzieren und sie so zu behandeln, als hätten sie eine geringere Erfolgswahrscheinlichkeit.

„Unsere Ergebnisse unterstreichen, wie wichtig es für Institutionen ist, Endbenutzer über mögliche algorithmische Vorurteile aufzuklären“, sagte Gándara. „Die Sensibilisierung kann Benutzern helfen, Vorhersagen für jeden Schüler zu kontextualisieren und fundiertere Entscheidungen zu treffen. »

Sie wies darauf hin, dass politische Entscheidungsträger Richtlinien zur Überwachung oder Bewertung des Einsatzes prädiktiver Analysen in Betracht ziehen könnten, einschließlich ihres Designs, der Verzerrungen bei den vorhergesagten Ergebnissen und ihrer Anwendungen.