Contents

I. Einleitung

Die Künstliche Intelligenz (KI) zählt zu den wichtigsten Zukunftsthemen unserer Zeit. In den Bereichen Wirtschaft, Wissenschaft und Politik wird dies durch neue und wachsende Investitionen deutlich. In dem Feld der Menschenrechte und Antidiskriminierung wurde die KI jedoch relativ spät behandelt. Im Zentrum stehen dabei die Gefahren, die KI für die gleichberechtigte Teilhabe und den gesellschaftlichen Zusammenhalt darstellt. Erst seit kurzem thematisieren Menschenrechtsorganisationen und -mechanismen KI als ein Handlungsfeld, das von Rassismus und Diskriminierung geprägt ist und entsprechend menschenrechtlichen Standards reguliert werden muss. Der Ausschuss für die Beseitigung der Rassendiskriminierung (Committee on the Elimination of Racial Discrimination, CERD) befasste sich 2020 in seiner Allgemeinen Empfehlung Nr. 36¹ mit der KI in Bezug auf Racial Profiling und das Handeln von Strafverfolgungsbehörden. Er stellte darin fest, dass wegen der KI diskriminierende Ergebnisse in der Strafverfolgung entstehen können, weil die zunehmend verwendeten Algorithmic-Profiling-Systeme sowohl im Design als auch in den Daten gesellschaftliche und kulturelle Vorurteile aufweisen. Der Einsatz von Softwares, die zukünftige Straftaten vorhersehen sollen, ist vor allem in Industrieländern zu beobachten, darunter Deutschland, Großbritannien, USA, Niederlande und Schweiz.² Auch im Justizwesen komme Algorithmic Profiling zum Einsatz, wenn Entscheidungen darüber, ob eine Person eine Gefängnisstrafe erhalten, auf Kaution freigelassen oder eine andere Strafe erhalten soll, von Prognosen hinsichtlich möglicher Straftaten abhängig gemacht werden.³ Diese Entwicklung ist insbesondere in den USA zu beobachten. In der Europäischen Union (EU) ist mittlerweile auch ein Problembewusstsein vorhanden. Nachdem die EU sich lange schwer damit getan hat, die Handlungen von großen Tech-Konzernen zu kontrollieren, hat sie am 13. Juni 2024 als erste Organisation ein Gesetz zur Regulierung der KI verabschiedet. Darin erkennt sie an, dass KI-Systeme historische Muster der Diskriminierung aufgrund von Rasse und ethnischer Herkunft, Geschlecht, Behinderung, Alter oder sexueller Orientierung fortschreiben und neue Diskriminierungsformen schaffen können. Vor diesem Hintergrund wurden Bereiche und Arten von KI-Systemen identifiziert, die zu einer Verletzung der Grundrechte führen können.

In den Entwicklungen und Debatten um die KI scheint ein relevanter Akteur im Kontext der Menschenrechte und Antidiskriminierung außen vor zu sein: die Zivilgesellschaft. Das ist insofern problematisch, da ohne die Beteiligung von zivilgesellschaftlichen Organisationen und betroffenen Gruppen rassismus- und antisemitismuskritische Perspektiven fehlen, mit denen sichtbar gemacht werden kann, in welchem Ausmaß die KI soziale Ungleichheiten verschärft. Darüber hinaus ist es von Bedeutung, zu erfahren, wie die Zivilgesellschaft mit den Risiken, die die KI für die Demokratie mit sich bringt, umgeht und welche Forderungen sich aus der Arbeitspraxis von Organisationen für die Politik ergeben. Zentral ist dabei die Frage, ob die KI grundsätzlich als Feind für die Grund- und Menschenrechte zu betrachten ist, oder ob sie unter bestimmten Voraussetzungen ein Ally sein kann.

Der Band von Marie-Sophie Adeoso, Eva Berendsen, Leo Fischer und Deborah Schnabel mit dem Titel “Code & Vorurteil. Über Künstliche Intelligenz, Rassismus und Antisemitismus” befasst sich mit dieser Frage aus verschiedenen fachlichen und erfahrungsbasierten Blickwinkeln und zentriert insbesondere das Anliegen der Zivilgesellschaft, sich an formalen Debatten und Entscheidungen, die die KI betreffen, zu beteiligen. Das Buchprojekt geht auf die Bildungsstätte Anne Frank zurück, mit der allgemein die politische Bildungsarbeit zu Antisemitismus und Rassismus in Deutschland verbunden wird. Das erklärte Ziel der Herausgeber*innen ist es, als Einrichtung der politischen Bildung einen gesamtgesellschaftlichen Dialog über den Umgang mit der KI anzustoßen. Die Autor*innen sind Mitarbeiter*innen der Bildungsstätte Anne Frank, Wissenschaftler*innen, Journalist*innen und Schriftsteller*innen. Sie kommen aus der Techniksoziologie, der Antisemitismusforschung, der Psychologie, der Informatik, dem Journalismus sowie der bildenden Kunst. Unter ihnen sind Theoretiker*innen und Anwender*innen der KI. Neben schriftlichen Beiträgen enthält der Band zudem Interviews mit Erfahrungsberichten. Das Buch bringt somit unterschiedliche Perspektiven auf die KI im Kontext der Demokratieförderung und der Rassismus- und Antisemitismusbekämpfung zusammen.

II. Inhaltlicher Überblick

Das Buch beginnt in der Einleitung mit einer Fragestellung der Herausgeber*innen, die Leser*innen sofort zum Kern der Debatte bringt: „Täterin, Ally, Komplizin – Wer oder was ist eigentlich Künstliche Intelligenz?“ Es werden Beispiele präsentiert, die im Widerspruch stehen zum positiven Marketing aus dem Silicon-Valley hinsichtlich der großen Möglichkeiten, die die KI für die Überwindung von Ungleichheiten bereithält. Zu diesen Beispielen zählen eine Software der neuseeländischen Passbehörde, die asiatische Pässe nicht anerkannte, weil das Programm annahm, die Augen der Abgebildeten seien geschlossen. Oder eine Google-Software, die das Foto einer Afroamerikanerin mit „Gorilla“ beschriftete. Für die Herausgeber*innen steht fest, dass viele KI-Anwendungen strukturelle Ungleichheit und Diskriminierungsmuster in der Gesellschaft reproduzieren und dazu beitragen, dass diese weiterverbreitet werden. Die Problemstellung, die in der Einleitung skizziert wird, ist, dass für viele jedoch nach wie vor nicht klar ist, was die KI genau ist. Die Zivilgesellschaft muss in die Lage versetzt werden, KI mitzugestalten, denn weder Politik noch Recht können sie kontrollieren. Dafür muss jedoch die KI entmystifiziert werden.

Das Buch ist in drei inhaltliche Schwerpunkte unterteilt: Kapitel 1 hat den Titel „KI und strukturelle (Un)Gleichheit“. Die Beiträge beleuchten die Fehlannahme, dass Daten objektiv und neutral sind und Wahrheiten erzeugen können. Im Gegenteil: Sie sind ein marginalisierendes und kolonialistisches Herrschaftsinstrument. In der Auswahl der zu erfassenden Daten, der Modellierung ihrer Strukturen und den Analysen werden Stereotype bedient und reproduziert. Sie weisen zudem Machtverhältnisse auf, wenn es beispielsweise um Entscheidungen darüber geht, welche Daten erfasst werden und wie die Strukturen aussehen sollen. KI-Systeme gründen sich auf das Training von statistischen Systemen auf großen Datenmengen. Sie beziehen ihre Inhalte aus den Trainingsdaten und können diese anwenden. Sie können darauf basierend auch neue Daten klassifizieren und erzeugen. In den Beiträgen wird anschaulich beschrieben, wie von der Programmierung bis zur Datengenerierung der Mensch und somit auch menschliche Haltungen einen Einfluss auf die KI haben. Weil sowohl das Arbeitsumfeld als auch das Internet, die die KI-Systeme „füttern“, weiß und westlich dominiert sind, sind die Ergebnisse entsprechend nicht divers. Die mangelnde Diversität in den Daten kann Diskriminierungen zur Folge haben. Automatisierte Entscheidungen führen beispielsweise zur Ablehnung von Krediten aufgrund von Alter und Geschlecht, bei „untypischen“ Nachnamen können Online-Formulare nicht ausgefüllt oder abgeschickt werden, Gesichtserkennungssoftwares erkennen Gesichter von Schwarzen Frauen nicht als Motiv, oder Stellenausschreibungen richten sich überwiegend an ein Geschlecht. Testing-Verfahren sind eine mögliche Methode, um Diskriminierung zu überprüfen oder sichtbar zu machen. Jedoch sind die Hürden vor Gericht hoch.

Neben diesen Manifestationen der Diskriminierung innerhalb von Staaten thematisieren die Beiträge auch die globale Ungleichheit, die durch die global agierende Tech-Branche entsteht bzw. verschärft wird. Nicht nur gibt es ein Machtungleichgewicht, dadurch bedingt, dass westliche Unternehmen den Markt für KI-Lösungen dominieren. Die Aufbereitung, Begleitung und Korrektur der KI-Trainingsdaten erfolgen oft durch Arbeiter*innen aus dem Globalen Süden, die diese Tätigkeiten für extrem niedrige Löhne verrichten. Vor diesem Hintergrund argumentieren einige Autor*innen, dass nicht die KI selbst die Lösung für rassistische Algorithmen sein kann. Vielmehr müssen sich die gesellschaftlichen Verhältnisse ändern, die Rassismus und Antisemitismus begünstigen.

Auch die Diskriminierung und mangelnde Repräsentation von Schwarzen Menschen und People of Color in Tech-Unternehmen, die zu den Gründen für die fehlende Diversität in KI-Daten gehören, werden thematisiert. Das Interview mit Kave Bulambo, der Gründerin der Community „Black in Tech Berlin“ und der Vermittlungsform „TalentDiverse“, gibt einen Einblick in die Diskriminierungserfahrungen von Schwarzen Fachkräften in der Tech-Branche. Es verdeutlicht, dass Vorurteile darüber, dass Schwarze Menschen keine Tech-Kompetenzen haben und keine Führungskräfte sein können – auch im Gegensatz zu Menschen asiatischer Herkunft – in einer kolonialen Kontinuität des Anti-Schwarzen Rassismus stehen.

Im zweiten Kapitel gehen die Beiträge auf das Gefährdungspotenzial der KI für die Demokratie ein und zeigen, wie sie für die Propaganda der extremen Rechten und auch allgemein für Desinformation, Verschwörungstheorien und Fake News eingesetzt wird. Zugleich diskutieren die Beiträge, ob und unter welchen Bedingungen KI genutzt werden kann, um diese Entwicklung aufzuhalten. Bereits jetzt ist es für rechtsextreme Parteien wie die AfD möglich, mit Hilfe von generativer KI rassistische und geflüchtetenfeindliche Motive für ihre Öffentlichkeitsarbeit zu erstellen. Es gibt einen programmierten Rassismus von KI-Modellen, auf die die rechtsextreme Szene zugreifen kann, um Hass und Desinformation zu schüren. Interessant ist in diesem Zusammenhang, dass es Tech-Unternehmen gibt, wie OpenAI, zu dem der bekannte Chatbot ChatGPT gehört, die ihre KI-Modelle einschränken und extremistische Inhalte erschweren. Jedoch entstehen als Reaktion darauf bereits rechte Gegenbewegungen mit der Intention KI-Tools zu entwickeln, die keinen Restriktionen unterliegen. Es gibt dennoch Zuspruch von den Autor*innen für die KI als Waffe gegen Fake News, Desinformation und Verschwörungstheorien. Aufgrund ihres Zugangs zu großen Datenmengen kann die KI nützlich sein, um Falschinformationen zu identifizieren und Fakten-Checks zu erstellen. Auch in der politischen Bildung kann die KI förderlich sein, etwa bei der Interaktion mit historischen Personen, die mit der KI lebendig wirken können. Die USC Shoah Foundation hat das weltweit erste Programm für Hologramme entwickelt, das Schüler*innen ermöglicht, Fragen an Holocaust-Zeitzeug*innen zu stellen, die in Klassenzimmern an eine Leinwand projiziert werden. Für die Antworten greift die KI auf Inhalte aus zuvor geführten Interviews zurück. Eine weitere Perspektive in den Beiträgen ist der Ansatz, sich nicht auf die Sender*innen von Falschinformationen zu fokussieren, sondern auf die Rezipient*innen. Weil Studien zufolge die Anfälligkeit für Verschwörungstheorien mit dem Einkommen, Bildungsstand und der gefühlten Bedrohung des eigenen Status zusammenhängt, ist eine Empfehlung, in das Bildungssystem zu investieren, um soziale Ungleichheiten zu verringern. Außerdem soll eine Demokratisierung der Kommunikationsmittel erfolgen. Einerseits kann so die KI gezielt dafür genutzt werden, um mehr Teilhabe zu erreichen. Andererseits entsteht eine starke, pluralistische und robuste Gesellschaft, die KI versteht und sich den destruktiven Kräften widersetzen kann.

Das dritte Kapitel beschäftigt sich mit KI und Kontrolle. Die Beiträge behandeln die Frage, wie mit Bias in der KI umgegangen und durch welche Ansätze struktureller Rassismus in der Tech-Industrie abgebaut werden kann. Schwarze feministische Perspektiven sind geeignet, um strukturelle und subtile Formen des Rassismus aufzudecken, wo liberale Positionen den technologischen Fortschritt sehen. Jedoch zeigen die Reaktionen von Tech-Unternehmen auf die Rassismuskritik von Schwarzen Frauen auch die Grenzen eines solchen Engagements und die strukturelle Diskriminierung von BIPOC in der Tech-Branche auf. So wurde die Schwarze KI-Ethikerin Timnit Gebru, die als Führungsperson bei Google arbeitete, entlassen, nachdem sie sich an einem wissenschaftlichen Artikel über die Gefahren von Large Language Models (LLM) – KI-Programme, die u.a. Texte erkennen und generieren können – beteiligt hatte. Es wird zudem ein Beispiel genannt, in dem Studierende für eine Datenbank von Microsoft Gesichtserkennungsalgorithmen entwickelt haben, um sie diverser zu machen, nachdem Wissenschaftler*innen aufgefallen war, dass die Trainingsdaten überwiegend weiße Gesichter aufwiesen. Später entwickelten chinesische Forschungsunternehmen aus dieser Datengrundlage Gesichtserkennungsalgorithmen, die sich gegen die muslimische Minderheit der Uiguren richteten. Auch für die Kontrolle der KI zeigt sich, dass langfristige Lösungen bei der Rassismusbekämpfung in der Gesellschaft ansetzen müssen.

III. Fazit

Der vorliegende Band ist zeitgemäß und schafft einen einfachen Zugang zum Bereich der KI und technologischen Entwicklung. Auch wenn vielen bewusst sein mag, dass die KI eine Gefahr für die Gleichheit und Teilhabe von Betroffenen von Rassismus und Antisemitismus darstellt, gibt es dennoch eine große Distanz zu diesem Themenfeld. Das mag an der Komplexität, die mit technologischen Anwendungen in Verbindung gebracht wird und der Annahme, dass man sich erst genügend Wissen aneignen muss, liegen. Zutreffend ist jedoch auch, dass die Tech-Welt für Außenstehende nicht transparent ist und für viele deshalb eine Black Box bleibt. Das Resultat ist ein Gefühl der Hilfs- und Machtlosigkeit. Eine wichtige Erkenntnis des Buchs ist deshalb, dass die Fähigkeiten der KI allgemein überschätzt werden, und der Einfluss von uns, Menschen, dagegen unterschätzt wird. Die KI ist jedoch keine selbstständige Technologie, die aus dem Nichts Ergebnisse erzeugt und unkontrollierbar wäre. Die KI ist man-made. Wenn Menschen sie geschafft haben, können Menschen sie auch regulieren.

Ein wiederkehrender Schluss aus den Beiträgen des Buchs ist außerdem, dass die rassistischen Vorurteile in der KI eine logische Folge des Rassismus sind, der in der Gesellschaft vorherrscht. Die Autor*innen des Bands sind sich deshalb uneinig, inwieweit der KI zuzutrauen ist, dass sie selbst die Ungleichheiten, die sie erzeugt, korrigieren oder abschaffen kann. Für einige kommt das Zusammendenken von KI und Gleichberechtigung einem Widerspruch gleich, weil die KI und die Tech-Industrie in rassistische und diskriminierende Strukturen eingebettet sind. Diese strukturelle Kritik erfordert strukturelle Lösungen, die die KI nicht bereitstellen kann. Sie ist Teil eines größeren Problems, und es muss zunächst Rassismus und Antisemitismus in der Gesellschaft bekämpft werden, bevor sich die KI verbessern kann. Darin stimmen die Autor*innen überein.

Was im Buch vor allem prägend ist, sind die Multidimensionalität dieses Themas und die vielen zeitgleichen Dilemmata. Hegemonie und epistemische Gewalt in der Historie des Rassismus, Antisemitismus und Sexismus erschweren eine Kooperation mit einem System, das die kontinuierliche Diskriminierung der Opfer in Kauf nimmt und sie zudem befördert – auch indem es die Repräsentation von marginalisierten Gruppen verhindert. Dies spricht gegen eine Selbstregulierung durch Tech-Unternehmen. Die Herausgeber*innen und Autor*innen sehen jedoch auch weder die Politik noch die Justiz als geeignete Akteur*innen für diese Rolle. Ihr Votum ist eine starke Zivilgesellschaft. Auch wenn diese Conclusio einleuchtet, bleibt die Frage unbeantwortet, wie die Zivilgesellschaft die Entwicklungen in der KI kritisch begleiten und zu einem Strukturwandel beitragen kann. Denn es besteht ein Kapazitätsproblem. Zivilgesellschaftliche Organisationen haben damit zu kämpfen, dass sie für ihre Arbeit nur wenig Ressourcen haben. Schaut man sich Selbstorganisationen an, die sich für den Abbau von Rassismus einsetzen, ist ihre Lage in den meisten Fällen prekär. Die Forderung nach einer starken Zivilgesellschaft setzt voraus, dass öffentliche Programme für die strukturelle Förderung von zivilgesellschaftlichen Organisationen, die zu Rassismus und Antisemitismus arbeiten, ausgebaut werden. Zivilgesellschaftliche Organisationen benötigen darüber hinaus Weiterbildungsangebote zur KI und Unterstützung bei der Begleitung von Diskriminierungsfällen.

Zu kurz kommen zudem antidiskriminierungsrechtliche Empfehlungen für den Abbau der Diskriminierung, des Rassismus und des Antisemitismus durch KI. CERD hat in der AE Nr. 36 Staaten Empfehlungen gegeben, um sicherzustellen, dass KI nach menschenrechtlichen Normen und diskriminierungsfrei gestaltet wird. Dazu zählen eine für die Öffentlichkeit transparente Verwendung der KI; die Errichtung von Aufsichtsbehörden, die die Befugnis für das Monitoring von KI im öffentlichen Sektor haben; Maßnahmen, die garantieren, dass der Privatsektor bei der Entwicklung und Durchführung von KI im Bereich der Strafverfolgung Menschenrechte respektiert; und Richtlinien und Verhaltenskodexe für Unternehmen, die sie bei der Programmierung, Benutzung und Vermarktung von Algorithmen, die zu rassischer Diskriminierung führen könnten, beachten müssen. In dem Buch werden Testing-Verfahren als zentrale Handlungsoption für die Antidiskriminierungsarbeit genannt. Es wird zwar darauf hingewiesen, dass die Chancen, dass Testing-Verfahren vor Gericht anerkannt werden, gering sind. Zusätzlich muss in Betracht gezogen werden, dass diese Form von Maßnahmen für Opfer von Diskriminierung sehr aufwendig und belastend ist – sowohl emotional als auch finanziell. Es ist daher wichtig, rechtliche Maßnahmen zu schaffen, die Betroffene unterstützen und entlasten.

Die Herausgeber*innen haben mit dem Band ihr Ziel erreicht, einen gesamtgesellschaftlichen Dialog zur KI und ihre Auswirkung auf Ungleichheiten anzustoßen. Die Beiträge vermitteln neues Wissen und werfen zugleich wichtige Fragen auf. Sie inspirieren zudem neue Überlegungen und motivieren dazu, sich mehr mit der KI zu befassen und aktiv zu werden. Besonders ansprechend sind die Analysen aus verschiedenen Fachrichtungen und Erfahrungen sowie die Meinungsvielfalt der Autor*innen. Positiv anzumerken ist außerdem, dass die Perspektiven von Betroffenen und Ansätze des Schwarzen Feminismus für den Abbau von Rassismus und Diskriminierung eingebunden wurden. Dieses Buch ist aus diesen Gründen sehr zu empfehlen.