Verzerrungen (Bias) bei KI-gestützten Ermessensentscheidungen

Woher kommen Verzerrungen in KI-Ergebnissen?

Eine KI lernt aus Daten. Spiegeln diese Daten frühere Ungleichbehandlung wider, gibt die KI sie weiter, oft ohne dass ein Merkmal wie Geschlecht oder Herkunft ausdrücklich vorkommt. Typische Quellen:

• Trainingsdaten: Frühere Entscheidungen bevorzugten eine Gruppe; die KI übernimmt das Muster.
• Stellvertretende Merkmale: Postleitzahl, Vorname, Lücken im Lebenslauf oder Sprachstil stehen statistisch für geschützte Merkmale.
• Sprachmodelle: Sie formulieren je nach Name oder Herkunft einer Person unterschiedlich, etwa in einer Zusammenfassung oder Bewertung.
• Automatisierungsbias: Menschen neigen dazu, einem Vorschlag des Systems zu folgen, statt ihn zu prüfen. Die KI-Verordnung nennt diese Neigung ausdrücklich (Art. 14).

Bei Ermessensentscheidungen wiegt das besonders schwer, weil es dort keinen einzig richtigen Ausgang gibt und die Abwägung im Einzelfall den Kern der Entscheidung bildet.

Wann wird ein KI-Vorschlag zur automatisierten Entscheidung nach Art. 22 DSGVO?

Art. 22 DSGVO gibt jeder Person das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Im SCHUFA-Urteil vom 7. Dezember 2023 (C-634/21) hat der EuGH entschieden: Schon der automatisch berechnete Wert kann eine solche Entscheidung sein, wenn die eigentliche Entscheidung eines anderen maßgeblich davon abhängt.

Für die Praxis heißt das: Ein Mensch, der den Vorschlag einer KI nur bestätigt, reicht nicht. Die Prüfung muss echt sein. Daran lässt sich das festmachen:

Hinweis auf echte menschliche Entscheidung	Hinweis auf maßgebliche KI-Entscheidung
Die Sachbearbeitung sieht die Unterlagen selbst ein	Sie sieht nur das Ergebnis der KI
Sie hat Zeit und Befugnis, abzuweichen	Abweichungen müssen aufwendig begründet werden
Abweichungen kommen messbar vor	Der Vorschlag wird fast immer übernommen
Sie kennt Stärken und Grenzen des Systems	Sie hält das Ergebnis für objektiv

Im Februar 2025 hat der EuGH nachgelegt (C-203/22): Wer eine automatisierte Entscheidung trifft, muss der betroffenen Person verständlich erklären, wie und auf welcher Grundlage sie zustande kam.

Was gilt für Behörden?

Ein Verwaltungsakt darf nur dann vollständig automatisiert erlassen werden, wenn eine Rechtsvorschrift das zulässt und weder Ermessen noch ein Beurteilungsspielraum besteht (§ 35a VwVfG; für Sozialleistungsträger § 31a SGB X). Ermessensentscheidungen bleiben damit Sache von Menschen. Eine KI darf sie vorbereiten, etwa Unterlagen zusammenfassen oder Rechtsgrundlagen heraussuchen.

Vor Diskriminierung schützt bei hoheitlichem Handeln Art. 3 Grundgesetz: Niemand darf unter anderem wegen seines Geschlechts, seiner Herkunft, seines Glaubens oder einer Behinderung benachteiligt werden. Eine Behörde muss eine Ermessensentscheidung begründen können. Ein Hinweis auf den Vorschlag einer KI ersetzt diese Begründung nicht.

Was verlangt das AGG?

Das Allgemeine Gleichbehandlungsgesetz verbietet Benachteiligungen wegen Rasse oder ethnischer Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter oder sexueller Identität (§ 1 AGG). Es gilt im Arbeitsleben, auch für den öffentlichen Dienst als Arbeitgeber, und für bestimmte zivilrechtliche Geschäfte (§ 19 AGG).

• Mittelbare Benachteiligung (§ 3 Abs. 2 AGG): Ein neutral wirkendes Kriterium benachteiligt eine Gruppe besonders. Genau so wirken verzerrte KI-Systeme meist.
• Wer haftet: Der Arbeitgeber oder das Unternehmen, das die KI einsetzt, nicht der Hersteller. Ansprüche auf Schadensersatz und Entschädigung ergeben sich aus § 15 AGG.
• Beweislast: Legt die betroffene Person Indizien für eine Benachteiligung dar, muss die Gegenseite beweisen, dass keine vorlag (§ 22 AGG).

Ein Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes hielt 2023 das AGG für KI nicht für ausreichend. Ein Gesetzentwurf zur Änderung des AGG liegt seit Mai 2026 im Bundestag; der Bundesrat fordert Regeln für automatisierte Entscheidungssysteme, die Bundesregierung sieht dafür derzeit keinen Bedarf (Stand 11. Oktober 2026).

Was regelt die KI-Verordnung?

Einige Einsatzbereiche stuft die KI-Verordnung als Hochrisiko ein (Anhang III), darunter:

• Auswahl, Beförderung und Kündigung von Beschäftigten
• Prüfung des Anspruchs auf öffentliche Unterstützungsleistungen und Dienste, einschließlich Gesundheitsdiensten
• Kreditwürdigkeit sowie Risiko und Preis bei Lebens- und Krankenversicherungen

Für Hochrisiko-Systeme verlangt die Verordnung unter anderem geprüfte Trainingsdaten, die auf mögliche Verzerrungen untersucht werden (Art. 10), wirksame menschliche Aufsicht (Art. 14), Pflichten der Betreiber (Art. 26) und für Behörden eine Grundrechte-Folgenabschätzung (Art. 27). Ausgenommen sind nach Art. 6 Systeme, die nur eine vorbereitende oder eng begrenzte Aufgabe erfüllen, aber nie solche, die ein Profiling von Personen vornehmen.

Fristen: Mit der Änderungsverordnung (EU) 2026/1744, in Kraft seit dem 27. Juli 2026, gelten die Pflichten für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027. Die Verordnung erlaubt außerdem unter strengen Bedingungen, besondere Kategorien personenbezogener Daten zu verarbeiten, um Verzerrungen zu erkennen und zu beheben (neuer Art. 4a). Prüfen Sie die Fristen vor Ihrer Planung im Amtsblatt, weil weitere Änderungen möglich sind.

Wie beugen Sie Verzerrungen vor?

1. Einsatz eingrenzen: Die KI bereitet vor (zusammenfassen, sortieren, Rechtsgrundlagen suchen); sie bewertet keine Personen und vergibt keine Punktwerte.
2. Echte Prüfung sichern: Zeit, Befugnis und Unterlagen für die Sachbearbeitung; Abweichungen vom Vorschlag sind erwünscht.
3. Messen: Ergebnisse stichprobenartig nach Gruppen vergleichen, etwa Bewilligungsquoten oder Einladungen zum Gespräch.
4. Begründen: Die Begründung der Entscheidung stützt sich auf die Unterlagen, nicht auf das Ergebnis der KI.
5. Dokumentieren: Welches Modell in welcher Version beteiligt war und wer entschieden hat.
6. Beteiligen: Datenschutzbeauftragte, Gleichstellungsbeauftragte und Betriebsrat, Personalrat oder Mitarbeitervertretung früh einbinden; vor dem Einsatz eine Datenschutz-Folgenabschätzung prüfen.

Wie geht das mit basebox?

basebox ist eine Plattform, kein Hochrisikosystem. Welche Pflichten Sie haben, hängt vom Einsatz ab. Personen einschätzen, Profiling oder Beweise bewerten gilt nach der KI-Verordnung als Hochrisiko; dafür ist basebox nicht gebaut. basebox macht Vorschläge, Entscheidungen treffen Menschen.

Für die Prüfung der Vorschläge hilft: Jede Aussage aus Dokumenten trägt eine Quellenmarke, ein Klick öffnet die Textstelle. Welches Modell in welcher Version geantwortet hat, ist dokumentiert, und das Audit-Log hält fest, wer was wann getan hat. Nachvollziehbare KI →

Keine Rechtsberatung: Dieser Artikel gibt einen Überblick nach dem Stand vom 11. Oktober 2026. KI-Verordnung und AGG werden derzeit geändert. Für Ihren Fall fragen Sie Ihren Datenschutzbeauftragten, Ihre Rechtsabteilung oder eine Anwältin.