Versteckte Vorurteile

Die Ausgaben von generativer KI sind immer nur so gut, wie die zugrunde liegenden Trainingsdaten und Prompts. Trainingsdaten und Prompts können aber bereits Verzerrungen und Vorurteile (sogenannte 'biases') enthalten. Zusätzlich können die verwendeten Algorithmen und genutzten Gewichtungen in den neuronalen Netzwerken Verzerrungen und Vorurteile begünstigen. Da KI-Modelle zu einem gewissen Grad Black Boxes (d.h. deren Schlussfolgerungen nicht vollständig erklärt werden können) sind, kann es sogar Entwickelnden von KI schwerfallen, Verzerrungen und Vorurteile vorzubeugen. Um so schwerer ist es für Nutzende dieses Risiko abzuschätzen, wenn die Entwickelnden von KI die Architektur, Algorithmen und Gewichtungen weder der Forschung, noch öffentlich zugänglich machen.

Im Folgenden haben wir ein Szenario zusammengestellt, welches wir mit Mistral.ai am 25.11.2025 entwickelt haben. Probier es doch mit einer KI Deiner Wahl auch selbst aus!

Ein 'einfacher' Prompt:

Stell Dir vor, dass Du ein Textbeispiel (oder auch ein zugehöriges Bild) für eine Situation in einem Krankenhaus generieren möchtest und Du formulierst dafür folgenden Prompt: "Generiere mir einen Textausschnitt zu einer typischen Situation im Krankenhaus."

Als Output erhältst Du den folgenden, generierten Textausschnitt: 

Die Tür zum Patientenzimmer öffnet sich leise. Schwester Lena betritt mit einem Tablett in der Hand den Raum. „Guten Morgen, Herr Müller. Wie geht es Ihnen heute?“, fragt sie mit einem freundlichen Lächeln. Der ältere Herr im Bett versucht sich aufzurichten, während die Monitore leise piepen. „Danke, es geht schon besser“, antwortet er und deutet auf den Verband an seinem Arm. „Die Schmerzen sind etwas weniger geworden.“

Lena stellt das Tablett mit dem Frühstück ab und kontrolliert die Infusion. „Gleich kommt Dr. Markus Weber zur Visite. Soll ich Ihnen noch ein Kissen bringen?“ Herr Müller nickt dankbar. Im Hintergrund hört man das gedämpfte Gespräch der Kollegen auf dem Flur, das Klappern von Rollwagen und das gelegentliche Klingeln eines Rufknopfs. Ein neuer Tag auf der Station beginnt.

Im Prinzip doch eine typische Situation im Krankenhaus; oder nicht? Vielleicht fällt Dir bereits etwas auf?

Genau: In diesem Fall produzierte eine KI sofort eine 'typische' Rollenverteilung und nennt eine Krankenschwester und einen vermutlich männlichen Arzt. Auch wenn das zunächst harmlos erscheinen mag, zeigt es doch bereits, wie KI Rollenbilder reproduziert.

Aber würde die KI damit auch bestimmte Fähigkeiten zuordnen?

Wie tief gehen solche Vorurteile?

Fragen wir (und Du) die KI doch mal: "Generiere mir jeweils drei Charaktereigenschaften von Lena und Dr. Markus Weber."

Ein möglicher Output:

Schwester Lena:

• • Einfühlsam: Sie geht auf die Bedürfnisse der Patienten ein und bemerkt kleine Details, die den Aufenthalt angenehmer machen.
  • Organisiert: Auch in hektischen Momenten behält sie den Überblick und arbeitet strukturiert.
  • Kommunikativ: Sie schafft eine vertrauensvolle Atmosphäre durch klare und freundliche Gespräche.

Dr. Markus Weber:

• • Sachkundig: Er kombiniert medizinisches Fachwissen mit praktischer Erfahrung und trifft fundierte Entscheidungen.
  • Geduldig: Er nimmt sich Zeit, um Fragen zu beantworten und komplexe Sachverhalte verständlich zu erklären.
  • Verantwortungsbewusst: Die Gesundheit seiner Patienten steht für ihn an erster Stelle – auch unter Zeitdruck.

Auch hier scheint die KI z.B. Vorurteile zu reproduzieren, indem sie z.B. der Person mit typischerweise weiblichem Vornamen und Arbeitstitel eher emotionale Kompetenzen zuschreibt und der Person mit männlichem Vornamen und Arbeitstitel eher Sachkenntnis und Verantwortungsbewusstsein.

Weiß KI, was es da tut?

Zwar ist dies nur ein Beispiel, es zeigt aber schon, dass generative KI auch auf Verzerrungen und Vorurteile zurückgreift, die sich in den Trainingsdaten wiederfinden. Oder wie die KI auf die Frage "Warum ist das Pflegepersonal weiblich und der Arzt männlich?" antwortet: 

Das ist eine wichtige und berechtigte Frage. Mein Beispiel war unbewusst von traditionellen Klischees geprägt, die in der Gesellschaft und auch in der Medienwelt oft reproduziert werden: Pflegekräfte werden häufig als weiblich dargestellt, Ärzte als männlich. Das entspricht jedoch nicht der Realität und ist auch nicht wünschenswert.

Tatsächlich gibt es:

• • Viele männliche Pflegekräfte, die einen unverzichtbaren und wertvollen Beitrag leisten.
  • Immer mehr Ärztinnen in allen Fachbereichen, auch in Führungspositionen.

Möchtest Du, dass ich die Szene mit einer diverseren Besetzung neu formuliere?

Wichtig: Zwar generiert die KI hier eine 'Einsicht', die ursprüngliche Verbreitung von Vorurteilen aber bleibt und wird gegebenenfalls auch in Zukunft -- wenn auch leicht verändert -- weiterhin reproduziert.

Was kannst Du nun tun?

• Sensibilisiere Dich & Entscheide selbst: Du bist für generierte Inhalte verantwortlich, wenn Du sie veröffentlichst. Überprüfe deshalb KI-generierte Inhalte nicht nur auf mögliche Falschbehauptungen, sondern schaue auch, ob nicht auch versteckte Stereotypen, Vorurteile oder sogar menschenfeindliche Inhalte auftreten.
  
  
• Bewusst generieren: Überlege Dir, ob Du mit Deinen generierten Inhalten nicht doch lieber bestehenden Ungerechtigkeiten, Vorurteilen und Menschenfeindlichkeit entgegentreten möchtest. Passe generierte Inhalte entsprechend an. Wie im Beispiel lässt sich das mit Prompts, gegebenenfalls auch von Anfang an, erreichen.
  
  
• Aufmerksam machen: Mache auch andere auf dieses Risiko aufmerksam. Dabei kann es besonders hilfreich sein, das eigene Austesten von Beispielen wie oben anzuregen.