Arbeitgeber setzen zunehmend auf Künstliche Intelligenz (KI), um Personalentscheidungen vorzubereiten oder zu treffen. Doch was gilt, wenn die KI bestimmte Personengruppen benachteiligt? In diesem Beitrag geben wir einen Überblick über die Herausforderungen bei der Anwendung des Allgemeinen Gleichbehandlungsgesetz (AGG) auf mögliche KI-bedingte Diskriminierungssachverhalte.
Vorgaben des Anti-Diskriminierungsrechts
Gemäß § 7 I i.V.m. § 1 I AGG dürfen Menschen nicht aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität benachteiligt werden. Das AGG unterscheidet zwischen unmittelbaren und mittelbaren Benachteiligungen, die jeweils unterschiedlich gerechtfertigt werden können. Während unmittelbare Benachteiligungen als schärfste Form der Diskriminierung nur ausnahmsweise nach den strengen Anforderungen der §§ 8–10 AGG gerechtfertigt werden können, ist die Rechtfertigungslast bei bloß mittelbaren Benachteiligungen geringer. Eine unmittelbare Benachteiligung liegt gemäß § 3 I AGG vor, wenn eine Person wegen eines in § 1 AGG genannten Grundes eine weniger günstige Behandlung erfährt als eine andere Person in einer vergleichbaren Situation. Von einer mittelbaren Benachteiligung ist hingegen gemäß § 3 II AGG auszugehen, wenn dem Anschein nach neutrale Vorschriften, Kriterien oder Verfahren Personen wegen eines der genannten Gründe gegenüber anderen Personen in besonderer Weise benachteiligen können, es sei denn, es liegt eine Rechtfertigung für die Ungleichbehandlung vor.
Von der allgemeinen Beweislastverteilung, wonach der Anspruchsteller die für ihn günstigen Voraussetzungen beweisen muss, weicht § 22 AGG im Anti-Diskriminierungsrecht ab. Die Norm enthält eine Beweislastumkehr für den Fall, dass der Betroffene Indizien anführen kann, die es überwiegend wahrscheinlich machen, dass die Benachteiligung zumindest auch wegen geschützter Merkmale erfolgt. Im Arbeitsleben müsste der Arbeitnehmer oder Bewerber also darlegen, dass es überwiegend wahrscheinlich ist, dass die Benachteiligung wegen eines der in § 1 AGG genannten Gründe erfolgt. Gelingt ihm dies, müsste anschließend der Arbeitgeber nachweisen, dass die von ihm mithilfe einer KI getroffene Entscheidung auf anderen als den in § 1 AGG genannten Gründe beruhte oder die Berücksichtigung eines Merkmals aus § 1 AGG zumindest gerechtfertigt war.
Das Diskriminierungspotential von Algorithmen
Selbst fortschrittliche KI-Systeme sind nicht immun gegen Diskriminierungsrisiken. Das liegt daran, dass die Lerndaten, mit denen KI-Anwendungen trainiert werden, für sich genommen möglicherweise nicht repräsentativ sind und Ungleichbehandlungen erlauben können. Jede Verzerrung im Lerndatensatz beeinflusst in diesem Fall das KI-System, sodass sich systematische Verzerrungen auch im Output der KI widerspiegeln können. Vor diesem Hintergrund überrascht es nicht, dass sich Berichte mehren, in denen mittels KI bestimmte Personengruppen im laufenden Arbeitsverhältnis benachteiligt oder sogar bereits ungleich behandelt wurden, bevor sie sich überhaupt beworben hatten. Dieses letztgenannte Diskriminierungspotential ergibt sich erst aus den Möglichkeiten moderner Algorithmen: So können Arbeitgeber die Differenzierungsmöglichkeiten von sozialen Netzwerken nutzen, um etwa selektive Stellenanzeigen nur für Männer auf der jeweiligen Plattform zu schalten. In der Folge fällt es Frauen schwerer, überhaupt davon Kenntnis zu erlangen, dass ein Arbeitgeber für bestimmte Positionen Mitarbeiter sucht.
Die Diskriminierung durch KI erfolgt dabei grundsätzlich in den gleichen Kategorien wie im Falle eines menschlichen Entscheidungsträgers: Ein Beispiel für eine unmittelbare Benachteiligung wäre, wenn eine KI bei der Unterstützung der Bewerberauswahl das Geschlecht als relevantes Kriterium heranzieht. Eine mittelbare Benachteiligung läge beispielsweise nahe, wenn eine KI bei der Leistungsbeurteilung die durchschnittliche Arbeitszeit als Maßstab verwendet und dadurch Arbeitnehmer, die häufiger in Teilzeit arbeiten, ungünstiger bewertet werden. In diesem Fall bestünde ebenfalls das Risiko einer Geschlechterdiskriminierung, da Frauen statistisch häufiger in Teilzeitmodellen tätig sind.
Lücken im AGG?
Das AGG wurde in einer Zeit konzipiert, als KI-Systeme noch nicht relevant waren. Deshalb verwundert es nicht, dass das Gesetz bei KI-bedingten Diskriminierungen an seine Grenzen gelangt. Bereits die bisherige Unterscheidung zwischen unmittelbaren und mittelbaren Benachteiligungen gestaltet sich bei KI-gestützten Entscheidungen schwierig. Denn die genaue Ursache der von einer KI vorgenommenen Benachteiligung ist nicht ohne Weiteres zu identifizieren, weil die Entscheidungsfindung häufig nicht transparent ist. Wie ein KI-System von einer konkreten Anfrage zum produzierten Output gelangt, bleibt verborgen. Dadurch ist es für Anwender besonders anspruchsvoll, nachzuvollziehen, ob eine KI-Entscheidung unmittelbar wegen eines Merkmals aus § 1 AGG getroffen worden ist oder die KI zumindest scheinbar neutrale (Zahlen-)Werte herangezogen hat, die aber mittelbar diskriminierende Wirkung haben können. Auf die Abgrenzung von unmittelbarer und mittelbarer Diskriminierung kann jedoch aufgrund der unterschiedlichen Rechtfertigungsvoraussetzungen nicht verzichtet werden.
Ferner geraten die Parteien aufgrund des intransparenten Entscheidungsprozesses in Beweisnot. Für Arbeitnehmer kann es schwierig sein, darzulegen, dass die KI wahrscheinlich ein Merkmal aus § 1 AGG herangezogen hat. „Kippt“ die Beweislast nach § 22 AGG zum Arbeitgeber, stünde dieser vor der Herausforderung, zu beweisen, dass die KI die Merkmale aus § 1 AGG außer Acht gelassen hat.
Drohende Haftungsrisiken im Fall von KI-bedingten Diskriminierungen
Selbst wenn die Lösung KI-spezifischer Diskriminierungsprobleme mit dem herkömmlichen Normenkanon des AGG herausfordernd sein kann, haftet der Arbeitgeber grundsätzlich für KI-bedingte Diskriminierungen. Zwar sind die Einzelheiten der Haftung in Rechtsprechung und arbeitsrechtlicher Literatur noch nicht endgültig geklärt. Jedoch ist der Arbeitgeber etwa nach § 12 I 1 AGG verpflichtet, die erforderlichen Maßnahmen zum Schutz vor Benachteiligungen wegen eines Grundes aus § 1 AGG zu ergreifen. Delegiert er Aufgaben, ist er für die Überwachung der Weisungsempfänger zuständig, egal ob ein Mensch oder eine Maschine die „ausführende Hand“ ist. Die Gefahr einer Haftung für KI-bedingte Fehler und Ungleichbehandlungen sollte der Arbeitgeber deshalb in jedem Fall ernst nehmen.
Ausblick
Im Koalitionsvertrag 2021–2025 haben sich die Regierungsparteien eine AGG-Novelle zum Ziel gesetzt, die „Schutzlücken schließen, den Rechtsschutz verbessern und den Anwendungsbereich ausweiten“ soll. Es bleibt abzuwarten, ob und falls ja wie diese politische Absichtserklärung umgesetzt wird. Selbst wenn der deutsche Gesetzgeber die nationalen Haftungsregeln im AGG unangetastet lässt, steht jedenfalls mit dem von der EU-Kommission vorgestellten Entwurf einer KI-Haftungs-Richtlinie auf europäischer Ebene ein weiterer Regulierungsansatz in den Startlöchern. Arbeitgeber sollten bereits heute den KI-Einsatz möglichst gut dokumentieren, um im Fall von Rechtsstreitigkeiten über etwaige Benachteiligungen Beweismittel zur Hand zu haben.
Weiterleiten