Wider den Mythos von neutraler Technik.
Text: Bianca Prietl
Frei von menschlichen Fehlern, soll künstliche Intelligenz objektive Wahrheiten liefern. Fälle algorithmischer Diskriminierung enttäuschen dieses Versprechen jedoch regelmässig. Welche Zukunftsszenarien gibt es jenseits von Hoffnungen auf technische Neutralität?
Wenn wir heute von KI sprechen, meinen wir in der Regel einen datenbasierten, auf «maschinellem Lernen» beruhenden Ansatz: Algorithmen werten riesige Datensätze aus (Stichwort big data), um darin Muster zu identifizieren und Regeln über das betrachtete Phänomen abzuleiten. Diese dienen wiederum für Prognosen über zukünftige Entwicklungen.
Die gegenwärtige Konjunktur von KI ist nur dank digitaler Technologien möglich, die Unmengen an Daten generieren. Sie basiert aber auch auf dem weitverbreiteten Glauben an einen Datensolutionismus, demzufolge Daten ein Informationspotenzial innewohnt, dessen «Bergung» eine Reihe an Problemen zu lösen verspricht – allen voran menschliche Leistungsgrenzen und Vorurteile.
Vor diesem Hintergrund erklingen heute verstärkt Rufe nach dem Einsatz von KI, etwa um faire Personalentscheidungen zu erreichen, juristische Verfahren zu beschleunigen und gleichzeitig gerechter zu machen oder den Einsatz von Sozialhilfeleistungen zu optimieren. «Lernende Algorithmen» kommen dann zum Einsatz, um soziale Sachverhalte zu beurteilen, und befinden so unmittelbar über die Lebens- und Partizipationschancen von Menschen.
Diskriminierende Algorithmen
Dies ist vor allem deshalb brisant, weil regelmässig Fälle von diskriminierender KI publik werden. So musste beispielsweise Amazon ein zur Personalrekrutierung entwickeltes KI-Tool zurückziehen, nachdem bekannt wurde, dass dieses die Bewerbungen von Männern gegenüber jenen von Frauen bevorzugte.
Eine vom Arbeitsmarktservice Österreich getestete Technologie zur Beurteilung der Wiedereingliederungschancen von Arbeitssuchenden machte Negativschlagzeilen, weil es diese für Frauen mit Kindern, Migrant:innen und Ältere systematisch schlechter bewertete. Ein in vielen US-Bundesstaaten im Strafvollzug eingesetztes System kam in die Kritik, als sich herausstellte, dass es Schwarzen und anderen People of Color ein höheres Risiko attestiert, erneut straffällig zu werden, als sogenannten weissen Angeklagten.
Weniger bekannt ist über die Tücken von KI-Systemen, die in der Schweiz bereits in der Polizeiarbeit, im Strafvollzug, der öffentlichen Verwaltung und der Medizin zum Einsatz kommen. Laut dem «Automating Society Report 2020» bewertet beispielsweise auch in allen Kantonen der Deutschschweiz ein automatisiertes Risikoanalyse-Tool das Rückfallrisiko einer straffällig gewordenen Person. Mit welchen Konsequenzen, lässt sich aufgrund der mangelnden Transparenz der meist kommerziell entwickelten Produkte nicht beurteilen.
Wo Fälle algorithmischer Diskriminierung bekannt sind, ziehen sie nicht nur die datensolutionistischen Versprechen in Zweifel. Sie demonstrieren auch, dass immer wieder Personen von KI-Technologien benachteiligt werden, die in unserer Gesellschaft ohnehin mit Marginalisierung, Exklusion und Ungleichheit konfrontiert sind.
Das ist auch nicht verwunderlich, wenn KI in Datensätzen, die zwangsläufig immer aus der Vergangenheit stammen, Muster sucht und daraus Prognosen über die Zukunft ableitet: Denn dann konserviert sie die Strukturmuster, die sie in den Daten findet – und zwar auch die ungerechten.
So hat das von Amazon entwickelte Rekrutierungs-Tool auf Basis von Bewerbungsdaten der vorangegangenen zehn Jahre «gelernt», dass sich vormals überdurchschnittlich viele Männer erfolgreich auf Stellen beworben haben. Das vom Arbeitsmarktservice Österreich entwickelte Entscheidungssystem hat «erkannt», dass es Frauen mit Kindern, Migrant:innen und ältere Personen bei ihrer Suche nach Arbeit schwerer haben. Die symbolische Autorität von Daten und Algorithmen legitimiert nun jedoch die vormals menschlichen Entscheidungen und macht sie schwerer angreifbar. In beiden Fällen verfestigt der Technikeinsatz etablierte soziale Ungleichheitsstrukturen und unterminiert den Wandel hin zu einer gerechteren Gesellschaft, den man sich von ihr versprach.
Kein reines Abbild der Realität
Im aktuellen «Goldrausch» der Big Data und datenbasierter KI wird zudem rasch vergessen, dass es nicht genügt, schlechte Datensätze zu bereinigen, um den Datensolutionismus doch noch Realität werden zu lassen. Daten bilden nämlich nicht einfach eine von ihnen vorgefundene Wirklichkeit ab. Sie sind selbst das Produkt von sozialen Prozessen und Praktiken der Entscheidung über Ein- und Auszuschliessendes, Relevantes und Nicht-Relevantes.
Amazons Recruiting-KI lernte anhand eines Datensatzes, der das Ergebnis mehrjähriger Entscheidungspraktiken von Personalverantwortlichen war, die in der Vergangenheit Männer favorisiert haben. Dass der zugrundeliegende Bewerbungsdatensatz nur zwischen Frauen und Männern unterscheidet, zeugt ausserdem von einer heteronormativen Geschlechterordnung, die nur zwei Geschlechter kennt. Nicht-binäre oder Trans*Personen werden so gar nicht erst datenförmig erfasst.
Daten erlauben also keinen unmittelbaren Zugriff auf die soziale Wirklichkeit. Sie sind selbst mit unserer kulturellen Ordnung verflochten und ermöglichen folglich auch keine neutrale Beurteilung sozialer Realität.
Wofür wir Sorge tragen
Genau diese Einsicht birgt aber auch eine Chance. Wenn wir die Hoffnung auf technische Neutralität und objektive KI aufgeben, können wir uns auf die Suche nach technowissenschaftlichen Zukunftsszenarien machen, deren Gestaltung nicht an Rationalisierungsbestrebungen und Profitinteressen orientiert ist, sondern am Prinzip der Sorge. Als alternative Leitschnur lässt das Prinzip Sorge uns danach fragen, woran uns als Gesellschaft etwas liegt, worum wir uns «sorgen» beziehungsweise wofür wir «Sorge tragen» wollen, und welche Technologien wir hierfür wie entwickeln und einsetzen möchten.
Antworten auf diese Fragen müssen (und können) nicht neutral sein. Aber sie müssten in einer möglichst breit angelegten gesellschaftlichen Diskussion gefunden werden, welche die Vielfalt an Lebensrealitäten einschliesst. Dabei könnten gerade die Stimmen derjenigen, die nur selten Gehör in der Gesellschaft finden, neue Perspektiven für die sorg-same Entwicklung und den sorg-samen Einsatz von Technik eröffnen.
Weitere Artikel in dieser Ausgabe von UNI NOVA (Mai 2023).