Öffentlichkeit

KI lernt aus dem, was war. Sie kann nicht anders, als die Welt von gestern fortzuschreiben.

Vorurteile, alte Machtverhältnisse, blinde Flecken. Alles, was in den Trainingsdaten steckt, kommt als Antwort zurück.

Sprachmodelle lernen aus Texten. Aus sehr vielen Texten, geschrieben von Menschen in den letzten Jahrzehnten, mit allem, was diese Menschen über die Welt dachten. Diese Texte sind das Trainingsmaterial. Was darin häufig vorkommt, gilt für das Modell als wahrscheinlich. Was wahrscheinlich ist, gilt als normal. Und was normal ist, bekommen Sie als Antwort.

Das ist kein Schönheitsfehler, das ist das Funktionsprinzip. Ein Modell, das aus historischen Daten lernt, verstärkt die Muster dieser Daten, samt allen Schieflagen, die darin stecken. Wenn Bewerbungsdaten zehn Jahre lang Männer bevorzugt haben, lernt das Modell, Männer zu bevorzugen. Wenn medizinische Behandlungskosten ungleich verteilt waren, lernt das Modell die ungleiche Verteilung als Maßstab für Bedarf. Wenn afrikanische Städte in den Trainingsdaten unterrepräsentiert sind, vergisst das Modell sie häufiger als europäische.

Die Beispiele sind dokumentiert. Amazon hat ein Recruiting-Tool eingestampft, das Frauen aussortierte. Kommerzielle Gesichtserkennung versagte bei dunkelhäutigen Frauen um ein Vielfaches häufiger als bei hellhäutigen Männern. Ein US-Krankenversicherungs-Algorithmus hielt schwarze Patienten für gesünder, weil weniger Geld für sie ausgegeben wurde. In keinem dieser Fälle wollte irgendjemand diskriminieren. Die Diskriminierung steckte in den Daten, der Algorithmus hat sie abgerufen.

Das Problem skaliert mit dem Einsatz. KI entscheidet heute mit bei Bewerbungen, Kreditvergabe, medizinischer Vorbefundung, juristischen Einschätzungen, Bildungsempfehlungen. Überall dort, wo eine Maschine Vorentscheidungen trifft und der Mensch nur noch bestätigt, wird historische Schieflage zu aktueller Praxis. Wer früher benachteiligt war, wird in der KI-Welt nicht plötzlich neutral behandelt. Die Benachteiligung tritt nur neutraler auf: leiser, systematischer, schwerer angreifbar.

Das trifft nicht nur die, über die entschieden wird. Wenn mehr als eine Milliarde Menschen Woche für Woche dieselben Systeme fragen, sickert die Schieflage auch in sie. Sie wollen ein Beispiel, eine Illustration, eine Einschätzung und bekommen den statistischen Durchschnitt: Der Ingenieur ist männlich, die Pflegekraft weiblich, die Beispielstadt liegt in Europa. Keine einzelne Antwort ist falsch. Aber millionenfach wiederholt verschiebt sich leise, was als normal gilt. In kontrollierten Studien übernehmen Menschen die Schlagseite des Systems, mit dem sie arbeiten, und halten sie hinterher für ausgewogen. Eine Diskriminierung kann man anfechten. Eine Vorannahme, die man unbemerkt teilt, nicht.

Dazu kommt eine rein maschinelle Rückkopplung. Je mehr Texte mit KI entstehen, desto mehr KI-Texte landen im Trainingsmaterial der nächsten Generation. Seltene Formulierungen und regionale Eigenheiten verschwinden zuerst. Die Mitte wird breiter, die Ränder werden dünner. Eine Sprache, die sich selbst kopiert, wird mit jeder Runde durchschnittlicher.

KI ist kein Spiegel der Zukunft. Sie ist ein präziser Spiegel der Vergangenheit, geglättet auf den Mittelwert. Wo sie mitentscheidet, muss deshalb jemand benennbar verantwortlich bleiben. Und wenn wir sie als Entscheidungshilfe in immer mehr Lebensbereiche einbauen, müssen wir wissen, was wir da spiegeln.

Darüber müssen wir reden

Was löst dieses Thema bei Ihnen aus?

Vertiefung

Drei dokumentierte Fälle

Amazon entwickelte ab 2014 ein internes Tool, das Bewerbungen automatisch bewerten sollte. Trainiert wurde es auf zehn Jahren eingegangener Lebensläufe. Weil im Tech-Sektor mehrheitlich Männer arbeiten, lernte das System, männliche Profile zu bevorzugen. Lebensläufe mit dem Wort "Frauen" (etwa "Captain im Frauen-Schachclub") wurden abgewertet, ebenso Absolventinnen reiner Frauenhochschulen. Amazon stellte das Projekt 2017 ein, Reuters machte den Fall 2018 öffentlich.

Joy Buolamwini und Timnit Gebru testeten 2018 kommerzielle Gesichtserkennungssysteme von IBM, Microsoft und Face++. Bei hellhäutigen Männern lag die Fehlerquote beim Erkennen des Geschlechts unter einem Prozent. Bei dunkelhäutigen Frauen erreichte sie bis zu 34,7 Prozent. Die gängigen Benchmark-Datensätze der Branche bestanden zu rund 80 bis 86 Prozent aus hellhäutigen Gesichtern.

2019 wiesen Obermeyer und Kollegen in Science nach, dass ein in den USA millionenfach eingesetzter Krankenversicherungs-Algorithmus schwarze Patienten systematisch unterschätzte. Das Modell prognostizierte Behandlungskosten statt Krankheitsschwere. Weil für schwarze Patienten historisch weniger ausgegeben wurde, galten sie dem Algorithmus als gesünder. Hätte das Modell die tatsächliche Krankheitsschwere als Maßstab genommen statt der Kosten, wäre der Anteil schwarzer Patienten in der Hochrisiko-Gruppe von 17,7 auf 46,5 Prozent gestiegen.

Warum das nicht einfach wegtrainierbar ist

Sprachmodelle lernen, was statistisch wahrscheinlich ist. Wenn in Millionen Texten "Pflegekraft" häufiger im weiblichen und "Ingenieur" häufiger im männlichen Kontext vorkommt, wird das Modell diese Muster fortschreiben. Es kennt keine Ausnahmen, es kennt nur Verteilungen.

Bender, Gebru und Kolleginnen argumentierten 2021 im Paper "On the Dangers of Stochastic Parrots", dass mit der Größe der Modelle auch das Problem wächst. Größere Trainingskorpora enthalten mehr historische Schieflagen, nicht weniger, und sie werden schwieriger zu kuratieren. Fairness-Filter und nachträgliche Korrekturen können einzelne Schieflagen abmildern. Die Grundfrage lösen sie nicht: ob ein System, das gelernt hat, wie die Welt war, als Torwächter über Zukunftsentscheidungen taugt.

Bei geografischem Wissen zeigt sich derselbe Effekt. Studien wie WorldBench (2024) messen, dass KI-Modelle bei Fakten über Länder in Subsahara-Afrika rund anderthalbmal so oft falsch liegen wie bei nordamerikanischen. Was selten in den Daten vorkommt, kommt selten in den Antworten vor.

Was es mit den Nutzern macht

Dass Menschen die Haltung eines KI-Systems übernehmen, ist experimentell belegt. Maurice Jakesch und Kollegen ließen 2023 rund 1.500 Personen einen Text mit einem Schreibassistenten verfassen, der einseitig eine bestimmte Position favorisierte. Wer mit der zustimmenden Variante schrieb, vertrat diese Position danach auch in einer eigenen Umfrage häufiger: 45 statt 35 Prozent. Die meisten hielten die einseitigen Vorschläge für ausgewogen und bemerkten den Einfluss nicht (Jakesch et al., CHI 2023).

Der Effekt summiert sich. Doshi und Hauser zeigten 2024 in Science Advances, dass KI-Vorschläge einzelne Texte zwar kreativer wirken lassen, die Texte untereinander aber ähnlicher werden. Individuell ein Gewinn, kollektiv eine Verengung. Am Ende entsteht weniger wirklich Verschiedenes.

Die Rückkopplung

Inzwischen schreiben Millionen Menschen ihre Texte mit KI. Diese Texte landen wieder im Netz, im nächsten Trainingsdurchgang, in den nächsten Modellen. Shumailov und Kollegen beschrieben den Effekt als "Model Collapse": Wenn Modelle auf den Ausgaben früherer Modelle trainieren, verschwinden die Ränder der Verteilung zuerst. Seltene Formulierungen, ungewöhnliche Perspektiven, regionale Eigenheiten.

Studien zur LLM-Sprachhomogenisierung zeigen denselben Befund auf der Output-Seite. Texte, die mit KI-Unterstützung entstehen, ähneln einander stärker als rein menschlich geschriebene. Die Mitte wird breiter, die Ränder werden dünner. Was wir mit KI schreiben, ist nicht falsch. Es ist nur immer ähnlicher.

Quellen