Robot-Recruiting.: Datenschutz- und antidiskriminierungsrechtliche Herausforderungen beim Einsatz von KI-Systemen im Einstellungsverfahren. [1 ed.] 3428189833, 9783428189830

Citation preview

Internetrecht und Digitale Gesellschaft Band 55

Robot-Recruiting Datenschutz- und antidiskriminierungsrechtliche Herausforderungen beim Einsatz von KI-Systemen im Einstellungsverfahren

Von

Kay Alexander Köhn

Duncker & Humblot · Berlin

KAY ALEXANDER KÖHN

Robot-Recruiting

Internetrecht und Digitale Gesellschaft Herausgegeben von

Dirk Heckmann

Band 55

Robot-Recruiting Datenschutz- und antidiskriminierungsrechtliche Herausforderungen beim Einsatz von KI-Systemen im Einstellungsverfahren

Von

Kay Alexander Köhn

Duncker & Humblot · Berlin

Die Rechts- und Staatswissenschaftliche Fakultät der Rheinischen Friedrich-Wilhelms-Universität Bonn hat diese Arbeit im Jahr 2023 als Dissertation angenommen.

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Alle Rechte vorbehalten

© 2024 Duncker & Humblot GmbH, Berlin Satz: L101 Mediengestaltung, Fürstenwalde Druck: CPI books GmbH, Leck Printed in Germany ISSN 2363-5479 ISBN 978-3-428-18983-0 (Print) ISBN 978-3-428-58983-8 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706 Internet: http://www.duncker-humblot.de

Meinen Eltern

Vorwort Die vorliegende Arbeit wurde im März 2023 von der Rechts- und Staatswissenschaftlichen Fakultät der Rheinischen Friedrich-Wilhelms-Universität Bonn als Dissertation angenommen. Rechtsprechung und Literatur sind bis August 2022 berücksichtigt. An dieser Stelle möchte ich mich bei all jenen bedanken, die mich während des Verfassens dieser Arbeit unterstützt haben. An erster Stelle möchte ich meinem Doktorvater, Herrn Prof. Dr. Raimund Waltermann, herzlich für seine Betreuung und Unterstützung danken. Er hat mir den wissenschaftlichen Freiraum für dieses innovative Thema eingeräumt und durch seine stete Diskussionsbereitschaft zum Gelingen dieser Arbeit beigetragen. Des Weiteren möchte ich Frau Prof. Dr. Louisa Specht-Riemenschneider danken, die das Zweitgutachten trotz anderer Herausforderungen zügig erstellt hat. Ferner gebührt mein Dank Herrn Prof. Dr. Dirk Heckmann für die Aufnahme der Arbeit in diese Schriftenreihe. Diese Arbeit ist das Ergebnis einer gemeinschaftlichen Anstrengung. In vielerlei Hinsicht habe ich von der Hilfe von Menschen aus meinem privaten Umfeld profitiert. Daher möchte ich all meinen Wegbegleiterinnen und Wegbegleitern für ihre bedingungslose Unterstützung, ermutigenden Worte in Momenten der Unsicherheit und wertvollen Ratschläge danken. Mein größter Dank gilt dabei meinen Eltern, die mir stets Orientierung und Rückhalt geboten haben. Ohne sie wäre diese Arbeit nicht möglich gewesen. Ihnen ist diese Arbeit gewidmet. Köln, Juli 2023

Kay Alexander Köhn

Inhaltsverzeichnis 1. Kapitel

Einleitung 

21

A. War Of Talents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 B. Software-Einsatz im Einstellungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 C. Phasen des Einstellungsverfahrens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 D. Arten von Softwaresystemen  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 E. Verbreitung von KI-Systemen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 F. Grundlegende Kritikpunkte  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 G. Untersuchungsgegenstand der Arbeit  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2. Kapitel

Technische Grundlagen 

31

A. Verschiedene Methoden des maschinellen Lernens . . . . . . . . . . . . . . . . . . . . . 31 B. Training der Modelle durch Methode des überwachten Lernens . . . . . . . . . . . 32 C. Evaluation und Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 D. Anwendung des KI-Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3. Kapitel

Datenschutzrechtliche Konformität 

39

A. Grundlegende Vorgaben der DS-GVO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 I. Der Arbeitgeber als Verantwortlicher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 II. Personenbezogene Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1. „Einfache“ personenbezogene Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2. Besondere Kategorien personenbezogener Daten . . . . . . . . . . . . . . . . . 41 a) Biometrische Daten zur eindeutigen Identifizierung . . . . . . . . . . . . 42 aa) Vorliegen biometrischer Daten . . . . . . . . . . . . . . . . . . . . . . . . . 42 (1) Biometrische Daten – Sprachdaten  . . . . . . . . . . . . . . . . . . 42 (2) Biometrische Daten – Videoanalyse . . . . . . . . . . . . . . . . . 44 bb) Zweckrichtung der Datenverarbeitung – Identifizierung einer natürlichen Person . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

10 Inhaltsverzeichnis b) Daten, aus denen sensible Aspekte hervorgehen  . . . . . . . . . . . . . . 45 aa) Unmittelbar sensible Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 bb) Mittelbar sensible Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 (1) Erste Auffassung – Objektiver Empfängerhorizont . . . . . . 47 (2) Zweite Auffassung – Gesamtverarbeitungszusammenhang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 (3) Dritte Auffassung -Auswertungsabsicht . . . . . . . . . . . . . . . 48 (4) Streitentscheid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 c) Weitere Kategorien sensibler Daten . . . . . . . . . . . . . . . . . . . . . . . . . 50 d) Zwischenergebnis – besondere Kategorien personenbezogener Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 III. Art und Weise der Datenverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 1. Profiling – Generierung von Ausgabedaten . . . . . . . . . . . . . . . . . . . . . 51 2. Scoring – Europarechtskonformität und Anwendbarkeit im Beschäftigungskontext  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 a) Europarechtswidrigkeit des § 31 BDSG . . . . . . . . . . . . . . . . . . . . . 53 b) Keine Anwendbarkeit des § 31 BDSG im Beschäftigungskontext  . 53 B. Erlaubnistatbestand für die Datenverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . 55 I. Datenverarbeitung bei Bestandsmitarbeitern – Entwicklung von KI-Systemen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 1. Untauglichkeit des § 26 Abs. 1 BDSG als Erlaubnistatbestand für die Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 2. Einzelfallabwägung bei Art. 6 Abs. 1 lit. f) DS-GVO  . . . . . . . . . . . . . 58 a) Interessenabwägung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 b) Zweckändernde Weiterverarbeitung  . . . . . . . . . . . . . . . . . . . . . . . . 60 c) Zwischenergebnis – Art. 6 Abs. 1 lit. f) DS-GVO  . . . . . . . . . . . . . 61 3. Einwilligung – Risiko eines Widerrufs . . . . . . . . . . . . . . . . . . . . . . . . . 62 II. Datenverarbeitung bei Bewerbern – Robot-Recruiting . . . . . . . . . . . . . . . 64 1. Datenverarbeitung auf der Grundlage von Tarifverträgen und ­Betriebsvereinbarungen  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 a) Betriebsvereinbarungen – Arbeitnehmerbegriff des BetrVG  . . . . . 65 aa) Erste Auffassung – Regelungsmacht des Betriebsrats  . . . . . . 65 bb) Zweite Auffassung – Keine Regelungsmacht des Betriebsrats  . 65 cc) Streitentscheid – Keine Regelungsmacht . . . . . . . . . . . . . . . . . 66 b) Tarifverträge – Geringer Regelungsspielraum . . . . . . . . . . . . . . . . . 67 2. Erlaubnistatbestand des § 26 Abs. 1 BDSG – Erforderlichkeit des Einsatzes von KI-Systemen zur Sprachanalyse . . . . . . . . . . . . . . . . . . . 68 a) (Legitime) Zwecke des Beschäftigungsverhältnisses . . . . . . . . . . . 69 b) Erforderlichkeit der Datenverarbeitung  . . . . . . . . . . . . . . . . . . . . . 69 aa) Geeignetheit – Erwägungsgrund 71, S. 6 und Anforderungen an valide Eignungsdiagnostik . . . . . . . . . . . . . . . . . . . . . . . . . . 70 (1) Mathematisch-statistische Komponente . . . . . . . . . . . . . . . 71 (2) Eignungsdiagnostische Komponente . . . . . . . . . . . . . . . . . 73

Inhaltsverzeichnis11 (a) Theoretische Fundierung . . . . . . . . . . . . . . . . . . . . . . . 74 (b) Objektivität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 (c) Reliabilität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 (d) Validität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 (e) Ergebnis & Konsequenzen  . . . . . . . . . . . . . . . . . . . . . 76 (3) Zwischenergebnis – Geeignetheit der Datenverarbeitung . 77 bb) Erforderlichkeit – Effektivere Alternativen . . . . . . . . . . . . . . . 77 cc) Verhältnismäßigkeit im engeren Sinne/Angemessenheit . . . . . 80 (1) Unzulässige Persönlichkeitsdurchleuchtung . . . . . . . . . . . 80 (a) Erste Auffassung – Übersteigen menschlicher Erkenntnismöglichkeiten . . . . . . . . . . . . . . . . . . . . . . . 81 (b) Zweite Auffassung – Sphärentheorie  . . . . . . . . . . . . . 82 (c) Zwischenergebnis – Persönlichkeitsdurchleuchtung . . 85 (2) Gesamtabwägung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 (a) Fehlende Subjektqualität . . . . . . . . . . . . . . . . . . . . . . . 85 (b) Langzeitfolgen – Beeinflussung der Persönlichkeitsentwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 (c) Langfristige Vertragsbindung  . . . . . . . . . . . . . . . . . . . 88 (d) Relevanz der Hierarchieebene  . . . . . . . . . . . . . . . . . . 88 (e) Bedeutung des Betriebsklimas  . . . . . . . . . . . . . . . . . . 89 (f) Stellenprofil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 (aa) Verkehrswesentliche Eigenschaft . . . . . . . . . . . . 90 (bb) Fragerecht & Arbeitsplatzbezug  . . . . . . . . . . . . 92 (g) Einbeziehung des Betriebsrats . . . . . . . . . . . . . . . . . . . 94 (aa) § 94 Abs. 1 S. 1 BetrVG – KI-System als Personalfragebogen . . . . . . . . . . . . . . . . . . . . . . . 94 (bb) § 94 Abs. 2, 2. Alt. BetrVG – Allgemeine Beurteilungsgrundsätze . . . . . . . . . . . . . . . . . . . . 95 (cc) § 95 Abs. 1 S. 1 BetrVG – KI-System als Auswahlrichtlinie oder Auswahlhilfe . . . . . . . . . 96 (dd) Weitere Rechte des Betriebsrats . . . . . . . . . . . . . 98 (h) Transparenz und Diskriminierungsfreiheit . . . . . . . . . 99 dd) Zwischenergebnis – Erforderlichkeit im Sinne von § 26 Abs. 1 BDSG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3. Videoanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 a) Verarbeitung sensibler Daten zur Emotionserkennung . . . . . . . . . . 101 aa) Art. 9 Abs. 2 lit. b) DS-GVO – Erlaubnistatbestand . . . . . . . . 101 bb) § 26 Abs. 3 S. 1 BDSG – Erlaubnistatbestand . . . . . . . . . . . . . 102 (1) Zwecke des Beschäftigungsverhältnisses . . . . . . . . . . . . . . 102 (2) Erforderlichkeit zur Ausübung von Rechten aus dem Arbeitsrecht  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 (a) Arbeitgeberseitiges Fragerecht als Recht aus dem Arbeitsrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

12 Inhaltsverzeichnis (aa) Erste Auffassung – Kein Recht aus dem Arbeitsrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 (bb) Zweite Auffassung – Recht aus dem Arbeitsrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 (cc) Streitentscheid . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 (b) Erforderlichkeit – Umfang des Fragerechts . . . . . . . . 104 (aa) Geeignetheit – Forschungsstand und Ausblick . . 105 (bb) Erforderlichkeit – Vergleich mit Video­ bewerbung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 (cc) Angemessenheit . . . . . . . . . . . . . . . . . . . . . . . . . . 108 cc) Zwischenergebnis – Einsatz von KI-Systemen zur Emotionserkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 b) Verarbeitung sensibler Daten zur Persönlichkeitsanalyse . . . . . . . . 110 4. Erforderlichkeit der Weiterverarbeitung der Ausgabedaten – ­Speicherung und Abgleich mit Stellenprofil . . . . . . . . . . . . . . . . . . . . . 111 5. Datenschutzrechtliche Einwilligung  . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 a) Einwilligung im Beschäftigungsverhältnis  . . . . . . . . . . . . . . . . . . . 113 b) Inhaltliche Grenzen der Einwilligung – Allgemeines Gleich­ behandlungsgesetz und Persönlichkeitsdurchleuchtung/Fragerecht . 114 aa) Allgemeines Gleichbehandlungsgesetz . . . . . . . . . . . . . . . . . . . 114 bb) Persönlichkeitsdurchleuchtung/Fragerecht . . . . . . . . . . . . . . . . 115 cc) Keine Einwilligung in die Videoanalyse . . . . . . . . . . . . . . . . . 116 c) Voraussetzungen der Einwilligung . . . . . . . . . . . . . . . . . . . . . . . . . . 116 aa) Freiwilligkeit der Erteilung der Einwilligung . . . . . . . . . . . . . 117 (1) Koppelungsverbot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 (a) Begriff der Erforderlichkeit . . . . . . . . . . . . . . . . . . . . . 118 (b) Striktes oder eingeschränktes Koppelungsverbot . . . . 119 (2) Gesamtabwägung – Einzelfallumstände  . . . . . . . . . . . . . . 120 (3) Zwischenergebnis – Keine Freiwilligkeit . . . . . . . . . . . . . 122 bb) Informiertheit des Bewerbers   . . . . . . . . . . . . . . . . . . . . . . . . . 123 (1) Informationsumfang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 (2) Verständlichkeit  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 cc) Unmissverständlichkeit und Formerfordernis . . . . . . . . . . . . . . 124 (1) Ausgangspunkt – Anforderungen bei graphologischen Gutachten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 (2) Konsequenzen für den Einsatz von KI-Systemen  . . . . . . 125 (3) Formerfordernisse im Beschäftigungskontext . . . . . . . . . . 126 d) Zwischenergebnis – Einwilligung . . . . . . . . . . . . . . . . . . . . . . . . . . 127 6. Auskunftsrecht in Bezug auf Ausgabedaten . . . . . . . . . . . . . . . . . . . . . 128 a) Allgemeines – Sinn und Zweck des Auskunftsrechts . . . . . . . . . . . 128 b) Personenbezug der Ausgabedaten . . . . . . . . . . . . . . . . . . . . . . . . . . 129 c) Verarbeitung der Ausgabedaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 d) Entgegenstehende Abwägung mit Fremdinteressen – Meinungsfreiheit  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

Inhaltsverzeichnis13 aa) Persönlichkeit und Emotionen des Bewerbers  . . . . . . . . . . . . bb) (Un-)Geeignetheit des Bewerbers  . . . . . . . . . . . . . . . . . . . . . . 7. Anspruch auf Berichtigung der Ausgabedaten . . . . . . . . . . . . . . . . . . . III. Zwischenergebnis – Erlaubnistatbestand für die Datenverarbeitung . . . . . C. Verwendung der Ausgabedaten(und davon gegebenenfalls abhängige Informations- und Auskunftspflichten) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Entscheidungsunterstützende Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Entscheidungsersetzende Systeme  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Anspruch oder Verbot  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Regelungsgegenstand des Art. 22 Abs. 1 DS-GVO – Automatisierte Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Differenzierung zwischen Datenverarbeitung und Entscheidung  . b) Profiling ≠ Automatisierte Entscheidung . . . . . . . . . . . . . . . . . . . . . c) Zuschreibung von Persönlichkeitsmerkmalen ≠ Automatisierte Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Ausschließlichkeit – Menschliches Dazwischentreten . . . . . . . . . . . . . 4. Rechtliche Wirkung oder ähnlich erhebliche Beeinträchtigung . . . . . . a) Entfaltung rechtlicher Wirkung – Keine rechtliche Status­ veränderung durch Ablehnung eines Vertragsschlusses  . . . . . . . . . b) Ähnlich erhebliche Beeinträchtigung . . . . . . . . . . . . . . . . . . . . . . . . aa) Erste Auffassung – Beschränkung auf monopolistische ­Märkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Zweite Auffassung – Einzelfallumstände  . . . . . . . . . . . . . . . . 5. Zwischenergebnis – Einschlägigkeit des Verbots des Art. 22 Abs. 1 DS-GVO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6. Erlaubnistatbestände des Art. 22 Abs. 2 DS-GVO . . . . . . . . . . . . . . . . a) Art. 22 Abs. 2 lit. a) DS-GVO – Erforderlichkeit für den ­Abschluss eines Vertrages  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Erste Auffassung – Unmittelbarer Sachzusammenhang . . . . . . bb) Zweite Auffassung – Erforderlichkeit der Automatisierung der Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Europäische oder mitgliedstaatliche Rechtsvorschriften . . . . . . . . . aa) Allgemeines – Nationale Zulässigkeitstatbestände . . . . . . . . . . bb) § 31 BDSG – Nationaler Zulässigkeitstatbestand? . . . . . . . . . c) Ausdrückliche Einwilligung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7. Informationspflichten im Falle automatisierter Entscheidungen  . . . . . a) Erstreckung der Informationspflicht  . . . . . . . . . . . . . . . . . . . . . . . . aa) Informationspflicht über die Durchführung von „bloßem“ Profiling („Bestehen einer automatisierten Entscheidungs­ findung“) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Bereitstellung aussagekräftiger Informationen über die ­involvierte Logik sowie die Tragweite der Verarbeitung auch bei der Durchführung von „bloßem“ Profiling? . . . . . . .

131 131 132 133 134 135 135 136 138 138 139 140 141 143 143 144 145 146 147 147 147 148 149 152 152 152 154 155 155 156 157

14 Inhaltsverzeichnis (1) Erste Auffassung – Informationspflicht nur bei ausschließlich auf Profiling beruhender automatisierter Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) Zweite Auffassung – Informationspflicht bei automatisierter E ­ ntscheidung und Möglichkeit freiwilliger Informationserteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (3) Dritte Auffassung – Informationspflicht in anderen Fällen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (a) Erste Unterauffassung – Informationspflicht bei Profiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (b) Zweite Unterauffassung – Informationspflicht bei äquivalenten Risiken   . . . . . . . . . . . . . . . . . . . . . . . . . (4) Zwischenergebnis – Erstreckung des Anwendungs­ bereichs erweiterter Informationspflichten  . . . . . . . . . . . . b) Umfang der Informationspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Mindestrechte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Aussagekräftige Informationen über die involvierte Logik . . . (1) Offenlegung des Algorithmus – Allgemeines . . . . . . . . . . (2) Offenlegung des Algorithmus – SCHUFA-Urteil des BGH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (3) Offenlegung des Algorithmus – DS-GVO und KI-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (a) Offenlegung des Ausgangskonstrukts . . . . . . . . . . . . . (b) Offenlegung des Anwendungsalgorithmus . . . . . . . . . (c) Zwischenergebnis – Keine Offenlegung des ­Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8. Erklärbarkeit von KI-Systemen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Recht auf Erklärung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Art. 15 Abs. 1 lit. h) – Abweichender Bedeutungsgehalt . . . . . bb) Art. 22 Abs. 3 DS-GVO; Erwägungsgrund 71, S. 4; ­Gesamtschau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (1) Recht auf Erklärung als Mindestmaßnahme im Sinne von Art. 22 Abs. 3 DS-GVO . . . . . . . . . . . . . . . . . . . . . . . (2) Recht auf Erklärung als angemessene Maßnahme . . . . . . (3) Recht auf Erklärung als Produkt verschiedener ­Vorschriften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (4) Anwendungsbereich eines Rechts auf Erklärung auf Grundlage von Art. 22 Abs. 3 i. V. m. Erwägungsgrund 71   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Umfang des Rechts auf Erklärung . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Angabe sämtlicher Parameter  . . . . . . . . . . . . . . . . . . . . . . . . . bb) Angabe der wichtigsten Parameter . . . . . . . . . . . . . . . . . . . . . . (1) Globale Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) Lokale Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

158 159 159 160 161 162 163 163 164 164 165 166 166 167 171 172 173 174 176 177 177 179 180 181 182 183 184 185

Inhaltsverzeichnis15 (a) Kontrafaktische Erklärungen . . . . . . . . . . . . . . . . . . . . (b) Lokale Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (aa) Modellagnostische Ansätze . . . . . . . . . . . . . . . . . (bb) Modellspezifische/Dekompositionelle Ansätze . III. Zwischenergebnis – Verwendung der Ausgabedaten und davon ­gegebenenfalls abhängige Informations- und ­Auskunftspflichten . . . . . . .

186 187 188 189 190

D. Potenzielle nachteilige Folgen bei unzulässiger Datenverarbeitung  . . . . . . . . 192 I. Schadensersatzansprüche – Seltenheit materieller Schäden  . . . . . . . . . . . 193 II. Schadensersatz nach Art. 82 DS-GVO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 1. Verstoß gegen die DS-GVO  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 2. Ersatzfähigkeit immaterieller Schäden . . . . . . . . . . . . . . . . . . . . . . . . . 194 3. Kausalität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 4. Exkulpation  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 III. Entschädigungsanspruch gemäß § 823 Abs. 1 BGB i. V. m..Art. 2 Abs. 1, 1 Abs. 1 GG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 1. Schwerwiegende Persönlichkeitsrechtsverletzung . . . . . . . . . . . . . . . . . 196 2. Rechtswidrigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 3. Subsidiarität der Entschädigung in Geld . . . . . . . . . . . . . . . . . . . . . . . . 197 4. Kapitel

Diskriminierungsrisiken und AGG 

198

A. Vermeintliche Diskriminierungsfreiheit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198 B. Gegenteilige Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG . . . . . . . . . . . . . . . . . . I. Anwendbarkeit des AGG – Persönlich und sachlich . . . . . . . . . . . . . . . . . 1. Persönlicher Anwendungsbereich – Formaler Bewerberbegriff . . . . . . 2. Sachlicher Anwendungsbereich – Zugang zu unselbstständiger Erwerbstätigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Zwischenergebnis – Anwendbarkeit des AGG . . . . . . . . . . . . . . . . . . . II. Verstoß gegen das Benachteiligungsverbot des § 7 Abs. 1 AGG . . . . . . . 1. Unmittelbare Benachteiligung – Weniger günstige Behandlung  . . . . . a) Behandlung – Kein Erfordernis menschlichen Tuns oder Unterlassens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Etymologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Wertungswiderspruch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Vermeidung des Wertungswiderspruchs durch Anknüpfung an vorheriges, menschliches Verhalten – Werkzeugtheorie . . . (1) Inbetriebnahme als Benachteiligung  . . . . . . . . . . . . . . . . . (2) (Keine) Unterbrechung des Kausalzusammenhangs  . . . . (3) Maßgeblichkeit der Vorgänge in der konkreten Bewerbungssituation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

199 200 200 200 201 201 201 202 202 203 204 205 205 206

16 Inhaltsverzeichnis (4) Vorverlagerung des Antidiskriminierungsschutzes und die Fiktion des § 3 Abs. 5 AGG . . . . . . . . . . . . . . . . . . . . . dd) Zwischenergebnis – Kein Erfordernis menschlichen Tuns oder Unterlassens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Weniger günstig – Verortung des Nachteils . . . . . . . . . . . . . . . . . . . aa) Entscheidungsersetzende Systeme . . . . . . . . . . . . . . . . . . . . . . (1) Nachteil durch (systeminterne) Prozesse . . . . . . . . . . . . . . (2) Nachteil durch (Vor-)Auswahl  . . . . . . . . . . . . . . . . . . . . . (3) Zwischenergebnis – Verortung des Nachteils bei ­entscheidungsersetzenden KI-Systemen . . . . . . . . . . . . . . . bb) Entscheidungsunterstützende Systeme . . . . . . . . . . . . . . . . . . . (1) Nachteil durch Zuschreibung von Merkmalen . . . . . . . . . (2) Nachteil durch Zahlenwert oder Platzierung  . . . . . . . . . . (a) Vergleichbarkeit mit Suchmaschinen  . . . . . . . . . . . . . (b) Nutzung menschlicher Entscheidungsspielräume . . . . (c) Ankereffekte und Verhaltensfolgen übersteigerten Systemvertrauens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (d) Zwischenergebnis – Nachteil durch Zahlenwert/ Rangfolgenplatzierung . . . . . . . . . . . . . . . . . . . . . . . . . c) Direkte Anknüpfung an Benachteiligungsmerkmal . . . . . . . . . . . . . aa) Maßgeblichkeit des Trainingsprozesses . . . . . . . . . . . . . . . . . . bb) Inbetriebnahme als unmittelbare Benachteiligung . . . . . . . . . . cc) Systemverhalten als unmittelbare Benachteiligung . . . . . . . . . dd) Menschliche (Vor-)Auswahlentscheidung als unmittelbare Benachteiligung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . d) Zwischenergebnis – Unmittelbare Benachteiligung  . . . . . . . . . . . . 2. Mittelbare Benachteiligung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) „dem Anschein nach neutrale Vorschriften, Kriterien oder ­Verfahren“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) „in besonderer Weise benachteiligen“ . . . . . . . . . . . . . . . . . . . . . . . aa) Behinderung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Ethnische Herkunft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Geschlecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . dd) Alter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ee) Videoanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ff) Weitere potenzielle Korrelationen mit Benachteiligungs­ merkmalen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . c) Zwischenergebnis – Mittelbare Benachteiligung . . . . . . . . . . . . . . . 3. Kausalität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. § 22 AGG – Beweislast  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Mögliche Vermutungstatsachen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Statistischer Nachweis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Vergleichsgruppenbildung bei KI-Systemen . . . . . . . . . . . . . . . . . .

207 208 209 209 209 211 211 211 212 213 214 215 215 217 218 218 220 221 222 223 224 224 226 226 227 228 228 228 229 229 230 230 231 232 233

Inhaltsverzeichnis17 b) Vergleich von Teilgruppen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . c) Vergleich benachteiligte Teilgruppe – Gesamtgruppe  . . . . . . . . . . d) EuGH/US-amerikanisches Recht . . . . . . . . . . . . . . . . . . . . . . . . . . . e) Zwischenergebnis – Statistischer Nachweis  . . . . . . . . . . . . . . . . . . 3. Einhegung der Durchsetzungsprobleme . . . . . . . . . . . . . . . . . . . . . . . . a) Auskunftsanspruch und die Rechtssachen Kelly und Meister . . . . b) Datenschutzrechtliche Betroffenenrechte  . . . . . . . . . . . . . . . . . . . . aa) Auskunftsrecht nach Art. 15 Abs. 1 lit. h) DS-GVO . . . . . . . . bb) Alternative – Sekundäre Darlegungslast des Benutzers  . . . . . IV. Rechtfertigung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Rechtfertigung einer mittelbaren Benachteiligung  . . . . . . . . . . . . . . . . a) Rechtmäßiges Ziel  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Mittel zur Zielerreichung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Geeignetheit des Mittels  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (1) Kausalzusammenhang  . . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) Statistischer Zusammenhang . . . . . . . . . . . . . . . . . . . . . . . (3) Prognosegenauigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Erforderlichkeit des Mittels  . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Angemessenheit des Mittels . . . . . . . . . . . . . . . . . . . . . . . . . . . (1) Verzicht auf Differenzierung . . . . . . . . . . . . . . . . . . . . . . . (2) Direkte Ermittlung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (3) Alternative, indirekte Ermittlung . . . . . . . . . . . . . . . . . . . . (a) Alternative Trainingsdatensätze . . . . . . . . . . . . . . . . . . (b) Accuracy-Fairness-Tradeoff . . . . . . . . . . . . . . . . . . . . . (c) Unterschiedliche Konzeptualisierung von Fairness . . 2. Rechtfertigung einer unmittelbaren Benachteiligung  . . . . . . . . . . . . . . a) Erste Auffassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Zweite Auffassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . V. Vertretenmüssen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Verschuldenserfordernis und Unionsrecht . . . . . . . . . . . . . . . . . . . . . . . a) Erste Auffassung – Unionsrechtswidrigkeit  . . . . . . . . . . . . . . . . . . b) Zweite Auffassung – Unionsrechtskonformität . . . . . . . . . . . . . . . . c) Konsequenzen der verschiedenen Auffassungen . . . . . . . . . . . . . . . d) Zwischenergebnis – Verschuldenserfordernis und Unionsrecht . . . 2. Eigenes Verschulden des Arbeitgebers . . . . . . . . . . . . . . . . . . . . . . . . . a) Sorgfaltswidrigkeit des Einsatzes per se . . . . . . . . . . . . . . . . . . . . . b) § 831 BGB/§ 12 Abs. 1 AGG – Auswahl und Überwachung . . . . . aa) Ordnungsgemäße Auswahl des KI-Systems . . . . . . . . . . . . . . . (1) Gruppenfairness oder individuelle Fairness . . . . . . . . . . . . (2) Verzerrungserhaltende oder verzerrungsumwandelnde Fairnesskriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (3) Konkrete Fairnesskriterien . . . . . . . . . . . . . . . . . . . . . . . . .

234 236 236 237 238 239 240 240 241 243 243 243 244 244 245 246 248 248 249 250 251 251 251 252 253 257 257 258 258 259 259 260 261 263 263 264 264 265 267 270 271

18 Inhaltsverzeichnis bb) Ordnungsgemäße Überwachung des KI-Systems . . . . . . . . . . . 275 (1) Allgemeine Leitlinien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 (2) Konkretisierender Maßstab des § 832 BGB . . . . . . . . . . . 277 c) Berücksichtigung technischer Maßnahmen  . . . . . . . . . . . . . . . . . . 278 aa) Pre-Processing-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 (1) Fairness by Blindness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 (2) Relabelling, Resampling und Fair Representations . . . . . . 281 bb) In-Processing-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 cc) Post-Processing-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 (1) Ansatz von Post-Processing-Verfahren . . . . . . . . . . . . . . . 282 (2) Rechtliche Grenzen der Anwendung bei Post-Processing  . 283 (a) Vorliegen einer positiven Maßnahme . . . . . . . . . . . . . 284 (b) Vorfeldentscheidungen . . . . . . . . . . . . . . . . . . . . . . . . . 284 (c) Einzelfallprüfung (keine automatische und unbedingte ­Vorrangeinräumung) . . . . . . . . . . . . . . . . . . . . . 285 3. Zurechnung von schuldhaftem Fehlverhalten . . . . . . . . . . . . . . . . . . . . 286 a) Schuldhaftes Fehlverhalten des Entwicklers/Software-Anbieters . . 286 b) Schuldhaftes Fehlverhalten des Personalers . . . . . . . . . . . . . . . . . . 288 c) Schuldhaftes Fehlverhalten des Systems . . . . . . . . . . . . . . . . . . . . . 289 aa) Programmtechnisches Versagen  . . . . . . . . . . . . . . . . . . . . . . . . 289 bb) Adäquatheit der Garantiehaftung . . . . . . . . . . . . . . . . . . . . . . . 292 cc) Ökonomische Erwägungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 dd) Personen, deren er sich zur Erfüllung seiner Verbindlichkeit bedient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 (1) Gleichstellungsgedanke und funktionale Äquivalenz . . . . 295 (2) Eigenschaften des Erfüllungsgehilfen . . . . . . . . . . . . . . . . 296 (3) Verkehrserwartung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 (4) Autonomie  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 (a) Grade von Autonomie . . . . . . . . . . . . . . . . . . . . . . . . . 298 (b) „Sein oder Nichtsein“ . . . . . . . . . . . . . . . . . . . . . . . . . 299 ee) Verschuldensfähigkeit  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 ff) Konkretes Verschulden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 gg) Kein Erfordernis funktionaler Verschuldensäquivalente/ Risikohaftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 hh) Alternativvorschlag zur Analogie . . . . . . . . . . . . . . . . . . . . . . . 308 ii) Zwischenergebnis – Schuldhaftes Fehlverhalten des Systems . 309 VI. Schaden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 1. Bestqualifizierter Bewerber . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 2. Restliche Bewerber . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312 D. Anspruch auf Entschädigung gemäß § 15 Abs. 2 AGG . . . . . . . . . . . . . . . . . . 313 I. Anspruchsvoraussetzungen  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 II. Höhe der Entschädigung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

Inhaltsverzeichnis19 5. Kapitel

Zusammenfassung der Ergebnisse und Ausblick 

318

A. Rückschau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 B. Datenschutzrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Verarbeitung von Sprachdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Geeignetheit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Erforderlichkeit und Angemessenheit . . . . . . . . . . . . . . . . . . . . . . . . . . II. Verarbeitung von Videodaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Weiterverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV. Verwendung der Ausgabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Grundsätzliches Verbot  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Fälle erlaubter automatisierter Entscheidungen . . . . . . . . . . . . . . . . . . . V. Sicherstellung von Transparenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Systemische Transparenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Recht auf Erklärung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

318 318 319 319 320 320 320 320 321 321 322 322

C. Antidiskriminierungsrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Verortung der Benachteiligung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Feststellung der Benachteiligung   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Art. 15 Abs. 1 lit. h) DS-GVO  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Weitere datenschutzrechtliche Hilfsmechanismen . . . . . . . . . . . . . . . . . III. Verschulden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV. Rechtfertigung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . V. Ursachen der Benachteiligung & Abhilfemechanismen  . . . . . . . . . . . . . .

323 323 325 325 326 326 327 328

D. Ausblick – Europäische KI-Verordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Risikobasierter Ansatz  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Anforderungen an Hochrisiko-KI-Systeme . . . . . . . . . . . . . . . . . . . . . . . . 1. Konformitätsnachweis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Inhaltliche Vorgaben der Art. 8–15 KI-VO-E . . . . . . . . . . . . . . . . . . . .

329 329 330 330 331

E. Zwischenzeitliche Handhabe & positive Perspektive . . . . . . . . . . . . . . . . . . . . 333 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 Sachwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

1. Kapitel

Einleitung Digitale Technologien halten zunehmend in sämtliche Bereiche des Alltags Einzug. Dies gilt auch für das Arbeitsrecht.

A. War Of Talents Gerade die Suche nach geeignetem Personal ist von besonderer Bedeutung für jedes Unternehmen. Diese Bedeutung wurde durch Strukturveränderungen am Arbeitsmarkt verstärkt. Durch eine sinkende Arbeitslosenquote und dem damit einhergehenden Wandel von einem Nachfrage-/Arbeitgebermarkt zu einem Angebots-/Arbeitnehmermarkt und infolge demographischer Veränderungen ist und wird die Personalsuche zunehmend herausfordernder.1 Hinzu kommen die Globalisierung, die zu einer Mobilität der Bewerberinnen und Bewerber2 führt, und das Internet als Informationsmedium, wodurch Bewerber über die Vorteile bei den verschiedenen Arbeitgebern besser informiert sind.3 Die Konkurrenz der Personalabteilungen um qualifizierte Mit­ arbeiter wurde schon im Jahr 1998 durch die Unternehmensberatung McKinsey & Company als „War of Talents“ bezeichnet.4 Dieser War of Talents birgt für Unternehmen die Gefahr, keine passenden Arbeitnehmer zu finden. Auf der anderen Seite hat eine Studie gezeigt, dass sich 40 % der Bewerber häufiger auf Stellen bewerben würden, wenn der Bewerbungsprozess einfacher gestaltet und weniger zeitraubend wäre.5 Hinzu kommt, dass Personalausgaben regelmäßig den größten Kostenfaktor darstellen, weshalb Personalentscheidungen auf einer validen Grundlage getroffen werden sollten. Kostenintensive Fehlbesetzungen sind zu vermeiden. Zudem kann die Bewertung einer Vielzahl von Bewerbungen durch Mitarbeiter von Personalabteilungen schwer handhabbar sein. Ferner können eine diskriminierende JuS 2018, 1130. im weiteren Text gewählte männliche Form bezieht sich immer zugleich auf Personen beider Geschlechter. 3  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 67. 4  Kainer/Weber, BB 2017, 2740 (2740); Peters, Robo-Recruiting, S. 1 f. 5  Tallgauer/Festing/Fleischmann, in: Verhoeven, Digitalisierung im Recruiting, S. 25 (30). 1  Glöckner, 2  Die

22

1. Kap.: Einleitung

Einstellungspraxis und damit einhergehende negative Presse und Repu­ tationsverluste6 zu Nachteilen im War of Talents führen.7 Hinzu kommt, dass die Nichtberücksichtigung bestimmter Subpopulationen zu einer letztlich kontraproduktiven Begrenzung des Kreises vielversprechender Kandidaten führt.8 Außerdem beeinflussen vielfältige Belegschaften unternehmerische Erfolgsfaktoren wie Ansehen, Arbeitsklima und Produktivität mutmaßlich positiv.9

B. Software-Einsatz im Einstellungsverfahren Aus diesen Gründen setzen sich Unternehmen mit dem kommerziellen Einsatz von Softwaresystemen im Einstellungsverfahren auseinander.10 Um die Einstellungsverfahren (vermeintlich) attraktiver, objektiver, diskriminierungsärmer sowie effizienter und damit kostengünstiger zu gestalten, werden insbesondere Personalauswahlprozesse zunehmend durch Softwaresysteme, zum Teil mit Komponenten, die auf sog. künstlicher Intelligenz beruhen (im Folgenden: „KI-Systeme“), unterstützt. Einstellungsverfahren lassen sich durch den Einsatz von KI-Systemen beschleunigen.11 Außerdem können sie dazu beitragen, dass Unternehmen tatsächlich die geeignetsten Bewerber identifizieren.12 Ferner können sie dabei helfen, Auswahlentscheidungen zu objektivieren.13 Zwar besteht der Verdacht, dass einige Anbieter sich vor allem aus Gründen des Marketings mit dem Label „KI“ schmücken; eine Überprüfung ist allerdings oft nicht möglich, da es sich nicht um OpenSource-Software handelt.14 Gleichwohl ist der Bereich des Recruitings der am weitesten fortgeschrittene Bereich des Einsatzes von KI-Systemen.15 Die Auswahlprozesse können dadurch teil- oder sogar vollautomatisiert ablaufen. Die (teil-)automatisierte Durchführung des Einstellungsverfahrens, bei der KI-Systeme eine Rolle spielen, wird auch als Robot-Recruiting bezeich6  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 115 f.; Faber, Anreizbasierte Regulierung von Corporate Compliance, S. 35. 7  Hartmann, EuZA 2019, 421 (421). 8  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 123. 9  Zimmer/Stajcic, NZA 2017, 1040. 10  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (116). 11  Peters, Robo-Recruiting, S. 6. 12  Peters, Robo-Recruiting, S. 7. 13  Peters, Robo-Recruiting, S. 6. 14  Lindinger, in: Gesellschaft für Informatik, Arbeitspapier Diskriminierende KI?, S. 7 (8); Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 13. 15  Henssler/Wewetzer, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, E., Rn. 45.



C. Phasen des Einstellungsverfahrens23

net.16 Das Einstellungsverfahren ist für den Einsatz solcher KI-Systeme im Grundsatz gut geeignet, da gerade im Bereich der Eignungsdiagnostik ein hoher Wissensstand herrscht. Es existieren also anerkannte und gesicherte Theorien und Methoden, die den Systemen zugrunde gelegt werden können.17 Zudem laufen die verschiedenen Prozesse im Einstellungsverfahren mittlerweile ohnehin zu einem wesentlichen Teil digital ab, was eine unmittelbare Anbindung dieser Systeme (etwa über Schnittstellen zu sog. Bewerbermanagementsystemen, die eine digitale Benutzeroberfläche bieten und über die etwa Bewerbungsunterlagen eingereicht werden können) ermöglicht.18 Die Corona-Pandemie hat zusätzlich einen Digitalisierungsschub ausgelöst und elektronischen Einstellungsverfahren Vorschub geleistet.19

C. Phasen des Einstellungsverfahrens Dabei werden die Systeme zu ganz unterschiedlichen Zwecken in den verschiedenen Phasen des Einstellungsverfahrens verwendet.20 Das Einstellungsverfahren kann grob in drei Phasen unterteilt werden.21 Vor der Bewerbung wird der potenzielle Bewerber auf das jeweilige Unternehmen aufmerksam und informiert sich über das Unternehmen (und über dessen Stellenangebote). Dem folgt der Bewerbungsprozess im engeren Sinne, also die Einreichung der Bewerbung und die anschließende Teilnahme am Auswahlprozess. Nach Abschluss des Auswahlprozesses beginnt die Tätigkeit.22 In sämtlichen Phasen ist der Einsatz von KI-Systemen denkbar.23 Hierfür gibt es zahlreiche Beispiele.24 Manche Systeme sind in der Lage, vollautomatisiert soziale Netzwerke auf geeignete Kandidaten zu durchsuchen.25 Chatbots können vor Beginn der eigentlichen Bewerbungsphase Fragen von Bewerbern beantwor16  Haufe Online Redaktion, Künstliche Intelligenz im Personalwesen; Freyler, NZA 2020, 284 (285); Benecke, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 1., § 33, Rn. 168; Hoffmann, NZA 2022, 19. 17  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (114). 18  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (114); Peters, Robo-Recruiting, S. 3; Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 38. 19  Diercks, ZdiW 2021, 62 (63); Els, DOeD 2021, 161 (166). 20  Joos, NZA 2020, 1216. 21  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 51 (56). 22  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 51 (56). 23  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (119). 24  Angesichts ständiger Neuentwicklungen kann die Aufzählung nur unvollständig bleiben; vgl. aber die Auflistung bei Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S.  69 ff. 25  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (122).

24

1. Kap.: Einleitung

ten.26 Andere Systeme werten Lebensläufe und Zeugnisse aus. Auch eine digitale Integration neuer Mitarbeiter ist möglich.

D. Arten von Softwaresystemen Der Schwerpunkt dieser Untersuchung soll auf dem Bewerbungsprozess im engeren Sinne und KI-Systemen liegen, die Bewerber bewerten, insbesondere Persönlichkeitsprofile von diesen erstellen oder deren Emotionen ermitteln27 und auf Grundlage von solchen (und gegebenenfalls weiteren) Eigenschaften die Eignung für die jeweilige Stelle bestimmen sowie Empfehlungen abgeben oder sogar (Vor-)Auswahlentscheidungen treffen.28 Hierdurch soll eine Rationalisierung des Einstellungsverfahrens bei gleichzeitiger Informationsgewinnung über persönliche Eigenschaften und Soft Skills, nicht nur über die rein fachliche Qualifikation von Bewerbern, erreicht werden. Von diesen Programmen geht eine „dystopische Faszination“ aus, die sie zunehmend in den Fokus der Diskussion gerückt hat.29 Damit das KI-System eine Empfehlung abgeben oder eine (Vor-)Auswahl treffen kann, müssen Eigenschaften von Bewerbern generiert und diese anschließend mit den Anforderungen der vakanten Stelle (im Folgenden: „SollProfil“) abgeglichen werden.30 So können zunächst auf Grundlage von Telefon- oder Videointerviews oder einer Aufnahme des Bewerbungsgespräches31 neben dem Sprachniveau und der Gesprächsgestaltung32 insbesondere durch die Analyse von Sprachmerkmalen auf verschiedenen Ebenen Persönlichkeitsmerkmale ermittelt werden. Dazu wird sowohl auf linguistischer Ebene (Wortwahl, Phonologie, Morphologie und Syntax33) als auch auf suprasegmental-linguistischer Ebene (Prosodie, also Intonation, Tempo, Rhythmus, Pausen34) Sprache und Sprech-

in: Verhoeven, Digitalisierung im Recruiting, S. 113 (120). Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 1, der dieses Forschungsfeld als Affective Computing oder Emotion-AI bezeichnet. 28  Höpfner/Daum, ZfA 2021, 467 (472). 29  Diercks, ZdiW 2021, 62. 30  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 179. 31  John, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 29.4, Rn.  24 ff.; Hoffmann, NZA 2022, 19 (20). 32  Herdes, CB 2020, 95 (98). 33  Pfister/Kaufmann, Sprachverarbeitung, S. 8 ff. 34  Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 28. 26  Verhoeven, 27  Vgl.



D. Arten von Softwaresystemen 25

weise analysiert.35 Hierdurch werden Rückschlüsse auf die Persönlichkeit von Bewerbern (z. B. Dominanzstreben, Risikofreude, Einsatz- bzw. Leistungsbereitschaft, Zielorientierung, Statusbewusstsein, Anerkennungsbedürfnis, Neugier, Kreativität, emotionale Stabilität, Belastbarkeit, Durchsetzungsvermögen, Verträglichkeit, Ausdauer, Kontaktfreude, Selbstorganisation36) gezogen. Nachstehend werden einige Systeme exemplarisch dargestellt: Ein Programm ist Precire. Es analysiert das gesprochene Wort (etwa auf Basis eines ca. 15-minütigen Telefoninterviews) oder auch schriftliche Tex­ te37 und erstellt dann ein Persönlichkeitsprofil des Bewerbers. Es werden psychologische Merkmale aus der Sprache abgeleitet. Die Sprachprobe wird durch einen Algorithmus ausgewertet und im Hinblick auf mehr als 564.367 Merkmale analysiert, um die Persönlichkeit des Bewerbers einschätzen zu können.38 Merkmale sind beispielsweise die durchschnittliche Länge der Sätze, die Art der verwendeten Worte und Wortkombinationen, Tonhöhe, Lautstärke sowie quantitative Angaben zur Verwendung bestimmter Worte. Die Firma 100 Worte wirbt ebenfalls mit einer automatisierten Textanalyse, auf deren Grundlage sodann ein Persönlichkeitsprofil erstellt wird.39 Außerdem existiert Software, die dazu in der Lage sein soll, Bewerber auf sozialen Netzwerken zu identifizieren und aus deren Blogposts mithilfe von Sprachanalyse Persönlichkeitsmerkmale zu ermitteln.40 Auch IBM bietet mit dem Programm IBM-Watson die Möglichkeit, Persönlichkeitsmerkmale von Bewerbern automatisiert mittels Sprachanalyse zu ermitteln und/oder durch Textanalyse Rückschlüsse auf deren Emotionen zu ziehen.41 Ein großer amerikanischer Marktteilnehmer ist HireVue. Das Programm wertet Videos von Bewerbern aus. Diese Herangehensweise bietet die Möglichkeit, auch die Ebene nonverbaler Kommunikation einzubeziehen; so werden neben Stimmveränderungen unter anderem Gestik, Mimik und Blick-

35  Pfister/Kaufmann, Sprachverarbeitung, S. 8 ff.; Jares/Vogt, in: Knappertsbusch/ Gondlach, Arbeitswelt und KI 2030, S. 75 (76). 36  Rudzio, Wenn der Roboter die Fragen stellt, in: Die Zeit, 24. August 2018; Jares/Vogt, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (76). 37  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (123). 38  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 39  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (124). 40  Tallgauer/Festing/Fleischmann, in: Verhoeven, Digitalisierung im Recruiting, S. 25 (31). 41  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (122); Huber, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.4, Rn. 48 ff.

26

1. Kap.: Einleitung

wechsel analysiert und auf diese Weise Rückschlüsse auf die Persönlichkeit sowie die Emotionen gezogen.42 Auch das Programm Retorio soll in der Lage sein, anhand eines Videos das Kommunikationsverhalten und wichtige Persönlichkeitsmerkmale zu erkennen.43 Der Roboter Sophie stellt und beantwortet Fragen und misst die physiologischen Reaktionen (Herzschlag, Augenbewegungen, Gesichtsausdruck) eines Bewerbers, um Informationen zu den Emotionen der Bewerber zu erlangen.44 Die Ergebnisse der Analyse werden entweder ausgegeben oder zusätzlich mit dem Soll-Profil verglichen und etwa ein numerischer Wert ermittelt, der letztlich einen Wahrscheinlichkeitswert für zukünftiges Verhalten repräsentiert45, sowie gegebenenfalls Bewerber vorsortiert, also eine Rangfolge der Bewerber erstellt.46 Teilweise wird diese Ausgabe/dieser Output einem Personaler zur Verfügung gestellt, der darauf basierend Entscheidungen, etwa die Entscheidung über die Einladung zum persönlichen Vorstellungsgespräch, trifft (im Folgenden: „entscheidungsunterstützender Einsatz“).47 Mitunter erfolgt auch eine automatisierte (Vor-)Auswahl durch das KI-System (im Folgenden: „entscheidungsersetzender Einsatz“). Natürlich können vor einem Abgleich mit dem Soll-Profil auch noch auf vielfältige andere Weise verschiedene weitere Daten zu Bewerbern ermittelt und auch diese mit dem Soll-Profil abgeglichen werden. So kann man etwa die in Bewerbermanagementsysteme hochgeladenen Lebensläufe mittels sog. CV-Parsing auslesen und dadurch etwa Daten zu Noten, Ausbildung, Stu­ dienort, Berufserfahrung, Sprachkenntnissen, außercurricularen Aktivitäten in Erfahrung bringen.48

E. Verbreitung von KI-Systemen Die Verwendung derartiger Programme ist keine Zukunftsmusik mehr. In den USA und in Großbritannien werden bis zu 70 % der Bewerber automati42  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (122); Queb, Video-Interviews im Recruiting, 2. April 2019; Peters, Robo-Recruiting, S. 4 f. 43  Tischer, Retorio: Recruiting mit künstlicher Intelligenz, 10. Januar 2020. 44  Wildhaber, ZSR 2016, 315 (338). 45  Blum, People Analytics, S. 273. 46  Dräger/Helten/Kloep/Michl, in: Ontrup, Die Gegenwart und Zukunft von Personalarbeit, S. 41 (46 f.). 47  Joos, NZA 2020, 1216. 48  Peters, Robo-Recruiting, S. 4.



F. Grundlegende Kritikpunkte 27

siert von algorithmischen Entscheidungssystemen bewertet und vorausgewählt.49 Und auch in Deutschland setzen Unternehmen vermehrt derartige automatisierte Verfahren ein. Etwa jedes zehnte Unternehmen der größten deutschen Unternehmen, die mehr als 150 Mio. Euro Umsatz generieren (sog. Top-1.000-Unternehmen)50, hat ein System im Einsatz, das (teil-)automatisiert, eine (Vor-)Auswahl unter Bewerbern trifft; acht von zehn Unternehmen glauben, dass solche Systeme in Zukunft häufiger zum Einsatz kommen werden.51 So wird Precire beispielsweise bereits bei dem Flughafenbetreiber Fraport sowie dem Versicherungskonzern Talanx genutzt.52 Auch die Zeitarbeitsfirma Randstad nutzt die Technik für die Auswahl von Vertriebspersonal.53 Zu den Kunden von Retorio gehören nach eigener Aussage auch DAX-Konzerne.54 Hinsichtlich der Zukunftsfestigkeit derartiger Geschäftsmodelle gingen bei einer Befragung von Vertretern von 101 Unternehmen verschiedener Größen und Branchen 37 % davon aus, dass der Auswahlprozess zukünftig stark von Algorithmen und KI geprägt sein werde; immerhin 18 % der Teilnehmer gingen davon aus, dass KI eingesetzt werde, um die Persönlichkeit auf Basis von Sprachkonstrukt, Stimme, Tonlage, Pausen etc. zu analysieren.55 Auch Bewerber erwarten überwiegend, dass der Einsatz von KI-Systemen im Einstellungsverfahren in Zukunft zunehmen wird.56

F. Grundlegende Kritikpunkte Dabei sind die neuen Möglichkeiten auch einiger Kritik ausgesetzt. Es stellen sich unter anderem gesellschaftspolitische Fragen, denn Bewerber stehen gerade der Persönlichkeitsanalyse mittels KI-Systemen weit überwiegend kritisch gegenüber. So wurden 221 Auszubildende, Studierende sowie Fach- und Führungskräfte befragt,57 von denen es nur zwei Prozent der Befragten akzeptabel fanden, dass KI eingesetzt wird, um ihre Persönlichkeit auf Basis von Sprachkonstrukt, Stimme, Tonlage, Pausen etc. zu analysie49  Dreyer/Schulz, Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme?, S. 7; Blum, People Analytics, S. 34. 50  Weitzel et al., Digitalisierung und Zukunft der Arbeit, S. 2. 51  Weitzel et al., Digitalisierung und Zukunft der Arbeit, S. 20; Höpfner/Daum, ZfA 2021, 467 (468). 52  Rudzio, Wenn der Roboter die Fragen stellt, in: Die Zeit, 24. August 2018. 53  Bös, Wenn Computer Bewerber auswählen, in: Frankfurter Allgemeine Zeitung, 2. Juli 2019. 54  Tischer, Retorio: Recruiting mit künstlicher Intelligenz, 10. Januar 2020. 55  Petry, Wenn der Roboter neue Kollegen sucht, 12. März 2019. 56  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (125). 57  Petry, Wenn der Roboter neue Kollegen sucht, 12. März 2019.

28

1. Kap.: Einleitung

ren.58 Daneben wird von wirtschaftspsychologischer Seite Kritik an Methodik59 und Validität geübt. In ethischer Hinsicht hat zuletzt der vom Bundesverband der Personalmanager koordinierte Ethikbeirat HR-Tech in seinen Richtlinien der Erhebung von Daten widersprochen (jedenfalls ohne recht­ zeitige Beteiligung und individuelle Einwilligung), die der willentlichen Steuerung entzogen sind und dabei explizit Sprach- oder Videoanalysen genannt.60 Einer der vorgenannten Anbieter hatte sich bis zuletzt vergeblich für eine Anpassung der Richtlinie im Laufe des Konsultationsprozesses eingesetzt; es sei nicht entscheidend, ob die analysierten Daten willentlich verändert werden können, sondern, ob die Analyse der Daten freiwillig erfolge.61 Nicht zuletzt ist die Thematik auch Gegenstand politischer Diskussionen geworden. So hatte die Bundestagsfraktion der Partei Die Linke in einer kleinen Anfrage an die Bundesregierung Bedenken im Hinblick auf den Einsatz derartiger Systeme geäußert.62 In dem am 21. April 2021 vorgelegten Vorschlag für eine KI-Verordnung (im Folgenden: „KI-VO-E“) werden KI-Systeme, die für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, als Hochrisiko-KI-Systeme klassifiziert. Trotz allem werden voraussichtlich weitere Anbieter hinzukommen.63

G. Untersuchungsgegenstand der Arbeit Arbeitgeber verbinden mit dem Einsatz dieser KI-Systeme vor allem die Hoffnung auf effizientere, qualitätsvollere und diskriminierungsfreiere Auswahlentscheidungen. In dieser Arbeit wird der Frage nachgegangen, ob diese Hoffnung berechtigt ist und, ob und unter welchen Voraussetzungen ein Einsatz dieser KI-Systeme einen echten Vorteil im War of Talents bringt. Ob durch den Einsatz von KI-Systemen im Einstellungsverfahren positive oder negative Effekte erzielt werden, ist von den rechtlichen Rahmenbedingungen und der damit in Verbindung stehenden zulässigen Ausgestaltung und Anwendung der KI-Systeme abhängig.64 Dieser Untersuchung liegt dementspreWenn der Roboter neue Kollegen sucht, 12. März 2019. jM 2018, 278 (282); Lischka/Klingel, Wenn Maschinen Menschen bewerten, S. 23. 60  Ethikbeirat HR-Tech, Richtlinien für den verantwortungsvollen Einsatz von Künstlicher Intelligenz und weiteren digitalen Technologien in der Personalarbeit, S. 4; Peters, Robo-Recruiting, S. 6. 61  Straub, KI-Anwendung in HR, 17. Oktober 2019. 62  BT-Drs. 19/12439; vgl. auch die Antwort der Bundesregierung: BT-Drs. 19/13210. 63  Verhoeven, in: Verhoeven, Digitalisierung im Recruiting, S. 113 (127); Peters, Robo-Recruiting, S. 8. 64  Peters, Robo-Recruiting, S. 7. 58  Petry,

59  Grimm/Göbel,



G. Untersuchungsgegenstand der Arbeit 29

chend die Frage nach der rechtlichen Zulässigkeit eines Einsatzes derartiger KI-Systeme im Einstellungsverfahren zugrunde. In dieser Arbeit wird die rechtliche Zulässigkeit von KI-Systemen im Einstellungsverfahren unter verschiedenen Aspekten diskutiert. Hierfür werden aktuelle Diskurse zu diesen unterschiedlichen Aspekten aufgegriffen. Die Untersuchung ist in fünf Teile untergliedert. Dieser Einleitung mit Vorbemerkungen und einer ersten Einführung in das Thema (1. Kapitel) folgt eine Darstellung der technischen Grundlagen von KI-Systemen (2. Kapitel). Für die nachfolgenden Kapitel der Arbeit und zur besseren Einordnung ist es notwendig, deren technische Spezifikationen zumindest in groben Ansätzen zu kennen. Die nachfolgenden Kapitel setzen sich mit bisher nicht hinreichend juristisch aufgearbeiteten datenschutz- (3. Kapitel) und antidiskriminierungsrechtlichen (4. Kapitel) Fragestellungen auseinander. Der erste rechtliche Schwerpunkt liegt auf dem Persönlichkeitsrecht der Bewerber bzw. dem den Persönlichkeitsschutz im Bereich von Datenverarbeitungen konkretisierenden65 Datenschutzrecht. Hier bestehen bislang verschiedene Unklarheiten. In datenschutzrechtlicher Hinsicht wird der Frage nachgegangen, ob, in welchem Umfang und auf welcher gesetzlichen Grundlage Einblicke in die Persönlichkeit und die Emotionen von Bewerbern und der nachfolgende Abgleich mit dem Soll-Profil unter Heranziehung der KISysteme überhaupt möglich sind. Es wird außerdem geklärt werden, ob die potenziell erheblichen, technischen Möglichkeiten zur Effizienzsteigerung durch automatisierte Entscheidungen unter Berücksichtigung der datenschutzrechtlichen Vorgaben ausgenutzt werden dürfen. Infolge des im 2. Kapitel dargestellten, speziellen Entwicklungsprozesses sind die KI-Systeme opak. Es wird diskutiert, inwiefern die opaken KI-Systeme für den Bewerber transparent gemacht werden müssen und, ob diesem ein Recht auf Erklärung zusteht. In Bezug auf den zweiten Schwerpunkt, also in antidiskriminierungsrechtlicher Hinsicht, wird untersucht, ob und durch welche Vorgänge es bei dem Einsatz von KI-Systemen zu welcher Art von Benachteiligung kommen kann und, wann der Arbeitgeber hierfür einzustehen hat. Dabei wird ein Abschnitt den Anforderungen gewidmet sein, die der Arbeitgeber bei der Auswahl eines KI-Systems erfüllen muss. Der Fokus wird dabei auf dem bis dato ungeklärten Aspekt liegen, welches mathematische Fairnesskriterium im Anwendungskontext des Einstellungsverfahrens idealerweise erfüllt werden sollte. Hinzukommend wird kritisch beleuchtet, ob eine Zurechnung von Fehlverhalten des KI-Systems infrage kommt. Darüber hinaus werden die Durchset65  Kasper,

People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 108.

30

1. Kap.: Einleitung

zungsprobleme im Antidiskriminierungsrecht adressiert und erläutert, ob das Datenschutzrecht, insbesondere das datenschutzrechtliche Auskunftsrecht, bei der Einhegung dieser Durchsetzungsprobleme helfen kann. Eine Zusammenfassung der wesentlichen Ergebnisse der Arbeit sowie ein kurzer Ausblick auf den KI-VO-E und die damit womöglich einhergehenden Verbesserungen, insbesondere im Bereich des Diskriminierungsschutzes (5. Kapitel), beschließt die Arbeit.

2. Kapitel

Technische Grundlagen Eine angemessene rechtliche Beurteilung setzt ein Verständnis der technischen Grundlagen voraus1, weshalb nachstehend auf diese technischen Grundlagen eingegangen wird. KI-Systeme sind für die Ermittlung von Persönlichkeitsmerkmalen, die Erkennung von Emotionen sowie den nachgelagerten Abgleich der ermittelten Merkmale mit dem Soll-Profil mittlerweile die bevorzugte Methode.2 Es ist zunächst der Entwicklungsprozess derartiger KI-Systeme in den Blick zu nehmen. Das maschinelle Lernen ist die hierfür bedeutendste Technologie im Bereich von KI.3 Maschinelles Lernen ist ein Teilbereich von KI.4 In technischer Hinsicht werden dabei mathematische Modelle trainiert.5

A. Verschiedene Methoden des maschinellen Lernens Bei Verfahren des maschinellen Lernens unterscheidet man im Wesentlichen zwischen unüberwachtem und überwachtem Lernen. Hinzu kommt das bestärkende Lernen.6 Dabei ist der Begriff „Lernen“ im Hinblick auf unüberwachtes Lernen missverständlich, denn mittels unüberwachten Lernens wird in großen Datenbeständen „nur“ nach Mustern und Gesetzmäßigkeiten gesucht, aber kein Modell trainiert.7 Unüberwachtes Lernen dient zur explorativen Voranalyse von Datenbeständen.8 Bei unüberwachtem Lernen liegen – anders als bei

JuS 2022, 289 (290). Duke Law & Technology Review 2017, 18 (32); Joos, NZA 2020, 1216; Huff/Götz, NZA-Beilage 2019, 73 (74 f.). 3  Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 8. 4  Joos/Meding, CR 2020, 834 (835). 5  Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 13 ff. 6  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 55. 7  Baier, in: Gärtner, Smart Human Resource Management, S. 115 (116). 8  Baier, in: Gärtner, Smart Human Resource Management, S. 115 (125); vgl. auch die anschauliche Abbildung bei Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 16. 1  Malorny,

2  Edwards/Veale,

32

2. Kap.: Technische Grundlagen

überwachtem Lernen – nur Eingabewerte vor; hier weiß man nicht, wonach man sucht.9 Diese Methode soll daher ausgeklammert bleiben. Auch auf die Methode des bestärkenden Lernens soll nicht näher eingegangen werden, da diese vor allem bei Robotern oder Bots, die stark mit ihrer Umgebung interagieren, relevant ist.10 Der Fokus bei den nachstehenden Erwägungen wird stattdessen auf überwachtem Lernen liegen. Hierdurch erfolgt das Training der Modelle.11 Das überwachte Lernen wird am häufigsten eingesetzt.12 Gerade im Bereich der Personalauswahl ist überwachtes Lernen der Ansatz, mithilfe dessen die Dia­ gnostik automatisiert wird.13

B. Training der Modelle durch Methode des überwachten Lernens Anders als bei klassischer Software-Entwicklung, bei der eine explizite Regelvorgabe erfolgt, werden Modelle des maschinellen Lernens anhand von Datensätzen trainiert.14 Diese Phase wird daher als Trainingsphase bezeichnet.15 Auch das Training des Modells ist ein Datenverarbeitungsprozess, auf den im im 3. Kapitel unter B.I. näher eingegangen wird.16 Die Performanz des Modells, also die Präzision der späteren Analysen ist stark abhängig von einer umfangreichen und qualitativen Datenbasis.17 Vorab sollte daher eine Datenqualitätsanalyse durchgeführt werden.18 Die Ausgestaltung der Datenbasis ist abhängig von dem jeweiligen Einsatzziel.19 9  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 56; Papp et al., Handbuch Data Sciene, S. 239. 10  Döbel et al., Maschinelles Lernen, S. 28; Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 50 f. 11  Baier, in: Gärtner, Smart Human Resource Management, S. 115 (116). 12  Hoppe, in: Hartmann, KI & Recht kompakt, S. 1 (24). 13  Fesefeldt, dgp informationen 2018, 6 (26 ff.) 14  Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 9 ff. 15  Hildebrandt, DuD 2006, 548 (549); zum Teil findet sich auch der Begriff der Modellierungsphase. 16  Kloos/Schmidt-Bens, in: Hartmann, KI & Recht kompakt, S. 165 (185). 17  Härting, CR 2014, 528 (530); Hess/Schreier, DuD 2012, 105 (107); Stevens, CR 2020, 73 (74 ff.). 18  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 67; Sarre/ Pruß, in: Auer-Reinsdorff, Handbuch IT- und Datenschutzrecht, § 2, Rn. 51 ff.; Hacker, GRUR 2020, 1025 (1030); Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 4 Abs. 4 DS-GVO, Rn. 8; Joos/Meding, CR 2020, 834 (836). 19  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 66; Holthausen, RdA 2021, 19 (24).



B. Training der Modelle durch Methode des überwachten Lernens 33

Die in den Trainingsdaten beobachteten Muster und Gesetzmäßigkeiten, also statistisch relevante Korrelationen, werden zu allgemeinen Regeln generalisiert und daraus Modelle abgeleitet.20 Die Datenbasis wird auf Zusammenhänge zwischen Merkmalen untersucht.21 Es handelt sich letztlich um die Generierung technischen „Wissens“.22 Zum Teil wird davon gesprochen, dass eigenständig ein Algorithmus entwickelt werde.23 Viele der vorliegend in Rede stehenden KI-Systeme basieren auf sog. künstlichen neuronalen Netzen (im Folgenden: „KNN“). Der Lernvorgang bei KNN erfolgt mittels überwachten Lernens.24 Bei KNN handelt es sich um eine Klasse eines maschinellen Lernverfahrens, also eine Unterkategorie maschinellen Lernens, und um einen sog. konnektionistischen Ansatz.25 Der Konnektionismus ist ein Ansatz zur Problemlösung und hat sich die Funk­ tionsweise des menschlichen Gehirns zum Vorbild genommen.26 KNN sind dem menschlichen Gehirn nachgebildet.27 Diese Netze bestehen aus künst­ lichen Neuronen, die in mehreren Schichten (engl. layers) angeordnet und über gewichtete Synapsen miteinander verbunden sind.28 Die EingangsNeuronen in der Eingabeschicht, die Zwischen-Neuronen in der verborgenen Schicht und die Ausgabe-Neuronen in der Ausgabeschicht repräsentieren reale Informationen.29 Bei den sog. tiefen neuronalen Netzen (engl. deep neural networks) handelt es sich um KNN mit mehreren, verborgenen Schichten. Die Stärke der Verbindung zwischen den Neuronen wird durch eine Gewichtung ausgedrückt. Die Gewichtungen sind zu Beginn der Trainingsphase zufällig.30 In der Trainingsphase werden die Gewichtungen der Synapsen kontinuierlich angepasst. In der Eingabeschicht werden die Daten aufgenommen und nach verschiedenen Eingabevariablen (engl. features)31 untersucht.32 20  Türpe/Selzer/Poller/Bedner, DuD 2014, 31 (31 f.); Baum, in: Leupold/Wiebe/ Glossner, IT-Recht, Teil 9.1., Rn. 13. 21  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 60 ff. 22  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 54. 23  Specht/Herold, MMR 2018, 40. 24  Döbel et al., Maschinelles Lernen, S. 34. 25  Döbel et al., Maschinelles Lernen, S. 34; Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 25 ff. 26  Döbel et al., Maschinelles Lernen, S. 19. 27  Biallaß, in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 225. 28  Biallaß, in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 226. 29  Vgl. zur Bezeichnung: Konertz/Schönhof, Das technische Phänomen „Künst­ liche Intelligenz“ im allgemeinen Zivilrecht, S. 46 f. 30  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 47. 31  Im Folgenden wird der deutsche Begriff „Eingabevariable“ genutzt. 32  Käde/von Maltzan, CR 2020, 66 (69).

34

2. Kap.: Technische Grundlagen

Dabei hat die Eingabeschicht so viele Eingangs-Neuronen wie zu untersuchende Eingabevariablen.33 Die Eingangs-Neuronen geben die Werte an die Zwischen-Neuronen weiter. Bei den Neuronen handelt es sich um mathematische Funktionen, die von den Eingabewerten und den Gewichtungen der Synapsen abhängig sind. Das jeweilige Neuron berechnet also anhand der Eingabewerte und Gewichtungen einen Ausgabewert und gibt diesen bei Überschreiten eines Schwellenwertes an Neuronen in der nachfolgenden Schicht weiter. Der eingespeiste Trainingsdatensatz enthält von Entwicklern annotierte/gelabelte Trainingsdaten. Für die Trainingsdaten ist das richtige Ergebnis durch die Annotation/das Label vorgegeben. Das Modell kennt also den jeweiligen Eingabewert und den gewünschten Ausgabewert des Datensamples.34 Dieser Lernstil erfordert aufgrund der erforderlichen Annotationen einen hohen manuellen Voraufwand.35 Übertragen auf die hier behandelten Systeme könnte etwa zunächst mit Blick auf die Entwicklung eines Modells zur Ermittlung der Bewerbereigenschaften, das im Folgenden als Ermittlungsmodell bezeichnet werden soll, eine analoge psychologische Beurteilung von Probanden mithilfe psychologischer Tests und die Erstellung von Persönlichkeitsprofilen erfolgen und ­anschließend eine Aufnahme von Sprachproben dieser Probanden. Für die jeweilige Sprachprobe könnte man das zu lernende Ergebnis36, hier die Ausprägungen von bestimmten Persönlichkeitsmerkmalen, durch ein entsprechendes Label vorgeben. Auch für den späteren Abgleich der durch das Ermittlungsmodell festgestellten Bewerbereigenschaften mit dem Soll-Profil bedarf es der Entwicklung eines Modells, das im Folgenden als Entscheidungsmodell bezeichnet werden soll.37 Dieses Modell soll die Entscheidungskriterien für eine Einstellung beinhalten. Hierzu bietet es sich an, das Modell auf Grundlage von Daten besonders erfolgreicher Bestandsmitarbeiter zu trainieren und dadurch zu identifizieren, welche Eigenschaften, etwa welche Persönlichkeitsmerkmale, besonders gute Mitarbeiter auf bestimmten Stellen auszeichnen.38 Hierzu bedarf es der Daten der Bestandsmitarbeiter39 sowie klarer Kriterien

Maltzan, CR 2020, 66 (69). in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 231. 35  Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 15. 36  Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn. 14. 37  Vgl. für den Begriff Wimmer, Algorithmusbasierte Entscheidungsfindung, S.  145 f. 38  Laumer/Weitzel/Luzar, PERSONALquarterly 03/2019, 10 (14). 39  Niklas/Thurn, BB 2017, 1589 (1589 f.). 33  Käde/von 34  Biallaß,



B. Training der Modelle durch Methode des überwachten Lernens 35

für die Bemessung von unternehmensinternem Erfolg.40 Auch hier würde man für die jeweiligen Eingabedaten der erfolgreichen Bestandsmitarbeiter das zu lernende Ergebnis, unternehmensinternen Erfolg, vorgeben. Durch das Training dieses Modells würden die Entscheidungskriterien generiert, die der Bewerber erfüllen muss.41 Letztlich würde also ein Soll-Profil ermittelt und die daraus abgeleiteten Entscheidungskriterien in dem KI-System als Vergleichsbasis hinterlegt, also das KI-System um eine zusätzliche Funktion erweitert. Bei Abweichungen (engl. loss) von den gewünschten Ausgabewerten erfolgen durch einen Lernalgorithmus – sog. Backpropagation-Algorithmus – Modifizierungen bei den Gewichtungen der Synapsen.42 Es erfolgt eine Rückwärtspropagierung.43 Die Gewichtungen regulieren den Einfluss von Eingabewerten auf die mathematische Funktion und sind damit entscheidend für das Ergebnis des Datenverarbeitungsvorgangs.44 Die Gewichtungen repräsentieren das Modellwissen.45 Im Laufe des Lernprozesses werden die Gewichtungen der Synapsen so lange angepasst, bis der tatsächliche Ausgabewert dem gewünschten Ausgabewert entspricht. Neuronale Netze bestimmen die Wichtigkeit der Eingabevariablen dadurch selbst.46 Es ist also nicht bekannt, was genau gelernt worden ist und damit auch nicht, welchen Einfluss bestimmte Eingabevariablen auf die Bewertung haben.47 Mit Blick auf die hier behandelten KI-Systeme würde also letztlich im Laufe des Trainingsprozesses nach starken Verbindungen zwischen Sprach- und Persön­ lichkeitsmerkmalen (Ermittlungsmodell) sowie nach starken Verbindungen zwischen Persönlichkeitsmerkmalen (und gegebenenfalls sonstigen Eigenschaften der Bestandsmitarbeiter) und unternehmensinternem Erfolg (Entscheidungsmodell) gesucht. Welche Eingabevariablen nach Abschluss der Trainingsphase den größten Einfluss auf welche Zielvariable haben ist aber nicht bekannt. Diese Intransparenz wirkt sich, wie noch zu zeigen sein wird, insbesondere mit Blick auf das menschliche Dazwischentreten im Rahmen von Art. 22 Abs. 1 DS-GVO, die datenschutzrechtlichen Informations- und Auskunftsrechte sowie den Diskriminierungsschutz aus.48 ZdiW 2021, 62 (63). Algorithmusbasierte Entscheidungsfindung, S. 148. 42  Mikl, Wie trainiert man eigentlich neuronale Netze?, 28.08.2018; Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.2, Rn. 15. 43  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 60 bezeichnet dies als Fehlerrückführung. 44  Biallaß, in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 230. 45  Biallaß, in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 230. 46  Semmelmann, Künstliche neuronale Netze und Deep Learning einfach erklärt. 47  Koch, ZfPP 2020, 265 (268). 48  Malorny, RdA 2022, 170 (172). 40  Diercks,

41  Wimmer,

36

2. Kap.: Technische Grundlagen

C. Evaluation und Implementierung Nach dem Training wird die Leistungsfähigkeit des KNN mit Testdaten, also mit Daten, die nicht Teil des Trainingsdatensatzes waren, evaluiert.49 Die trainierten und getesteten Modelle werden dann mittels Programmiersprache als Komponenten in Softwaresysteme implementiert.50 Aus Benutzersicht mag das KI-System als einheitliches System erscheinen51; oft besteht es aber aus mehreren Modellen, die zusammenarbeiten.52 Die Programmierung des Systems beruht auf den Lernergebnissen einer KI.53

D. Anwendung des KI-Systems Sodann erfolgt eine Anwendung der trainierten und in ein Softwaresystem implementierten Modelle auf bisher unbekannte Eingabedaten eines Individuums, hier des Bewerbers. Auf Grundlage der aus der Analyse der Trainingsdaten gewonnenen und im Modell repräsentierten Erkenntnisse werden also weitere Entscheidungen getroffen.54 Die trainierten Modelle führen dabei, als mathematische Strukturen55, Berechnungen durch und liefern ein Ergebnis.56 Hierdurch werden neue Ausgabedaten generiert. Die in das Softwaresystem implementierten Modelle berechnen aus Eingabedaten spekulative Ausgabedaten.57 Die Eingabe ist eine Beschreibung eines Vorgangs, Sachverhalts oder Gegenstands anhand von Merkmalsausprägungen.58 Die Ausgabe sind Ausprägungen von

49  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 48 f. 50  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 53 u. 57; Huff/Götz, NZA-Beilage 2019, 73. 51  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 145. 52  Datenethikkommission der Bundesregierung, Gutachten der Datenethikkommission, S. 62. 53  Meents, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap.  8.8, Rn. 19. 54  Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn. 17 u. 25 f. 55  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.2, Rn. 4. 56  Schröder, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.5, Rn. 8 ff., 16 ff.: Dieses Ergebnis wird dann gegebenenfalls durch algorithmische (Unter-)Programme ausgeführt; Huff/Götz, NZA-Beilage 2019, 73. 57  Türpe/Selzer/Poller/Bedner, DuD 2014, 31 (32). 58  Türpe/Selzer/Poller/Bedner, DuD 2014, 31 (32).



D. Anwendung des KI-Systems37

Merkmalen, die in der Eingabe nicht enthalten sind.59 Es werden neue Ausgabedaten und damit ein Mehrwert generiert. Zum Teil wird auch von Inferenz oder inferiertem Wissen60 gesprochen.61 Dabei besteht die Erwartung, dass die erlernten Gewichtungen auch bei den unbekannten Eingabedaten zum richtigen Ergebnis führen, also aus den Sprach- oder Gesichtsmerkmalen des Bewerbers valide Rückschlüsse auf dessen Persönlichkeitsmerkmale oder Emotionen gezogen werden können (Ermittlungsmodell).62 Auch geht man davon aus, dass das KI-System, hierauf aufbauend, die Eignung des Bewerbers für die jeweilige Stelle richtig beurteilt (Entscheidungsmodell). Bei der Anwendung der fertig trainierten Modelle erfolgt eine Berechnung mit festen Parametern. Dies gilt jedenfalls dort, wo während der Anwendungsphase keine Veränderungen an den Modellen erfolgen. Bei dem hier schwerpunktmäßig behandelten, überwachten Lernen wird klar zwischen Lern- und Anwendungsphase unterschieden. Es kommt während der Anwendungsphase nicht mehr zu Modellveränderungen.63 Es handelt sich um sog. statische Modelle.64 Statische Modelle sind vor der Anwendung abschließend erstellt worden und bleiben später unverändert.65 Es kommt, mit Ausnahme von Veränderungen durch Updates, nicht zu Modellveränderungen in der Anwendungsphase. Die Gewichtungen der Synapsen werden nicht mehr geändert.66 Etwas anderes gilt für sog. dynamische Modelle im Bereich des bestärkenden Lernens, was aber, wie geschrieben, vor allem für stark mit ihrer Umgebung interagierende und in dieser Arbeit nicht näher behandelte Roboter oder Bots interessant ist.67 Im Einsatz sind die hier in Rede stehenDuD 2014, 31 (32). lateinische Wort inferre bedeutet „folgern“ oder „schließen“. 61  Hildebrandt, DuD 2006, 548 (550). 62  Rüfner, in: Dederer/Shin, Künstliche Intelligenz und juristische Herausforderungen, S. 15 (18); Hoppe, in: Hartmann, KI & Recht kompakt, S. 1 (27). 63  Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn. 63; Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 49; Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 15. 64  Meents, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap.  8.8, Rn. 13b. 65  Sog. offline learning. 66  Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn.  63 f.; Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 49. 67  Meents, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kapitel 8.8, Rn. 13b; Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 50 ff.; Döbel et al., Maschinelles Lernen, S. 28: Hier werden die Eingaben während der Anwendungsphase protokolliert und für weitere Trainingsphasen verwendet, was zu einer kontinuierlichen Verbesserung und zu Modell59  Türpe/Selzer/Poller/Bedner, 60  Das

38

2. Kap.: Technische Grundlagen

den KI-Systeme also deterministisch in dem Sinne, dass das KI-System auf der Grundlage von identischen Eingaben mittels identischer Parameter zu identischen Ausgaben gelangen würde.68 Dies ändert freilich nichts an der hohen Komplexität und Intransparenz dieser Systeme, die durch die beschriebene Vielzahl und die unbekannte Relevanz der Parameter bedingt ist, und der damit einhergehenden fehlenden Vorhersehbarkeit und Nachvollziehbarkeit.69

veränderungen führt. Das dynamische System bekommt eine Rückmeldung aus der realen Welt und das Modell wird durch abwechselnde Ausführung des Trainings- bzw. Anwendungsalgorithmus im laufenden Betrieb entsprechend angepasst. 68  Baum, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 27; vgl. auch Höpfner/Daum, ZfA 2021, 467 (469). 69  Riehm/Meier, in: Fischer/Hoppen/Wimmers, DGRI Jahrbuch 2018, S. 1 (3 f.).

3. Kapitel

Datenschutzrechtliche Konformität Das Training des Modells ist ein Datenverarbeitungsprozess. Und auch, wenn identifizierbare Personendaten in ein fertiges KI-System eingegeben werden, um zu der Person eine Auswertung zu erlangen, werden personenbezogene Daten in einem KI-System verarbeitet und es greift das Datenschutzrecht ein.1 Die Datenschutz-Grundverordnung (im Folgenden: „DS-GVO“) bildet also den gesetzlichen Rahmen für Anwendungen im Bereich der KI, der vom Arbeitgeber zu beachten ist.2

A. Grundlegende Vorgaben der DS-GVO Im Ausgangspunkt bedarf es einiger grundlegender Ausführungen zu Anwendungsbereich, Begrifflichkeiten und Anforderungen der DS-GVO.

I. Der Arbeitgeber als Verantwortlicher Vor Beantwortung der Frage, ob und in welchem Umfang eine Datenverarbeitung zulässig ist, ist zu klären, wer bei Entwicklung und Einsatz des KI-Systems der Verantwortliche im Sinne des Art. 4 Nr. 7 DS-GVO ist. Nach Art. 4 Nr. 7 DS-GVO ist Verantwortlicher die Person, die allein oder gemeinsam mit anderen über die Zwecke und Mittel der Verarbeitung von personenbezogenen Daten entscheidet. Werden bereits bei der Entwicklung des KI-Systems personenbezogene Daten verarbeitet, ist der Entwickler als Verantwortlicher anzusehen.3 Mit Blick auf den Einsatz gilt, dass es sich in den seltensten Fällen um arbeitgebereigene Systeme handelt. Vielmehr werden KI-Systeme spezialisierter Unternehmen in Anspruch genommen, die diese KI-Systeme anbieten; dabei handelt es sich um Software-Anbieter.4 DOeD 2021, 161 (168). Eckpunkte der Bundesregierung für eine Strategie Künst­liche Intelligenz, S. 4. 3  Brink/Bäßler/Groß-Karrais, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.11, Rn. 5 ff. 4  Joos, NZA 2020, 1216 (1217). 1  Els,

2  Bundesregierung,

40

3. Kap.: Datenschutzrechtliche Konformität

Entscheidungsbefugnis bedeutet nicht, dass der Verantwortliche selbst aktiv an der Datenverarbeitung mitwirken muss.5 Es ist vor allem die Entscheidungsbefugnis hinsichtlich des Datenverarbeitungszwecks maßgeblich, während hinsichtlich der Mittel der Datenverarbeitung große Entscheidungsspielräume von Auftragsverarbeitern bestehen können.6 So kann die mit der Wahl der Mittel einhergehende Entscheidung über technische und organisatorische Fragen, wie etwa die Frage, welche Soft- bzw. Hardware verwendet wird, an Auftragsverarbeiter delegiert werden.7 Bei Arbeitgebern ergibt sich die maßgebliche Entscheidungsbefugnis schon aus der tradierten Rolle.8 Unerheblich ist, dass der Arbeitgeber das KI-System nicht selbst hergestellt hat.9 Ebenso unerheblich ist, dass er dieses in der Regel nicht selbst betreibt.10 Bedient sich der Arbeitgeber eines externen Anbieters für die Bewerberauswahl, ist er selbst als Verantwortlicher anzusehen, denn er legt fest, dass eine Datenverarbeitung zum Zwecke der Bewerberauswahl erfolgen soll.11 Außerdem besteht eine die Auftragsverarbeitung kennzeichnende, hierarchische Struktur.12 Die Datenverarbeitung durch den Anbieter ist eine Hilfstätigkeit.13 Vor diesem Hintergrund werden der Arbeitgeber und der Anbieter14 ihre vertragliche Zusammenarbeit als Auftragsverarbeitung ausgestalten.15 Die Voraussetzungen für eine Auftragsverarbeitung sind in Art. 28 DS-GVO geregelt.

5  Spindler/Dalby, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 4 DS-GVO, Rn. 18. 6  Hartung, in: Kühling/Buchner, DS-GVO BDSG, Art. 4, Rn. 13; Haußmann/ Dolde, NZA 2020, 1588 (1590). 7  Art.-29-Datenschutzgruppe, Stellungnahme 1/2010 zu den Begriffen „für die Verarbeitung Verantwortlicher“ und „Auftragsverarbeiter“, S. 17. 8  Gierschmann, ZD 2020, 69 (70 und 72). 9  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 14. 10  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 14. 11  Joos, NZA 2020, 1216 (1217); Herdes, CB 2020, 95 (96). 12  Spoerr, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 28 DS-GVO, Rn. 22a. 13  Weichert, NZA 2020, 1597 (1601). 14  Böller/Wurlitzer, ZD 2020, 572 (573); Piltz/Zwerschke, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.5, Rn. 16 f.; vgl. auch Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 15: Soweit der Anbieter eigene Zwecke, etwa Optimierungszwecke, verfolgt, ist er, weil er diesbezüglich allein über Zweck und Mittel der Datenverarbeitung entscheidet, insoweit nicht als Auftragsverarbeiter einzustufen, sondern als Verantwortlicher. Die Sammlung und Verarbeitung von Ein- und Ausgabedaten durch den Auftragsverarbeiter zu Optimierungszwecken ist nicht Gegenstand dieser Arbeit. 15  Für KI as a Service: Ammann, CR 2020, 295 (301 f.).



A. Grundlegende Vorgaben der DS-GVO41

II. Personenbezogene Daten Nach Art. 2 Abs. 1 DS-GVO ist der sachliche Anwendungsbereich der DSGVO bei der Verarbeitung personenbezogener Daten eröffnet. Personenbezogene Daten sind gemäß Art. 4 Nr. 1 DS-GVO alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. 1. „Einfache“ personenbezogene Daten Ungeachtet der Frage, ob die Verarbeitung im Trainingsprozess oder im Rahmen des Einsatzes des KI-Systems erfolgt, handelt es sich sowohl bei der automatisierten Verarbeitung von Sprachproben als auch bei der automatisierten Verarbeitung von Videomaterial um eine automatisierte Verarbeitung personenbezogener Daten im Sinne von Art. 4 Nr. 1, 2 DS-GVO. Dasselbe gilt für Daten zur Persönlichkeit (sowie gegebenenfalls zu Ausbildung, Berufserfahrung, Sprachkenntnissen etc.). Daher ist nach Art. 2 Abs. 1 DS-GVO der sachliche Anwendungsbereich der DS-GVO und gemäß § 1 Abs. 1 S. 2 BDSG auch der des BDSG eröffnet.16 2. Besondere Kategorien personenbezogener Daten Fraglich ist, ob es sich bei den das Ermittlungsmodell betreffenden Sprachbzw. Videodaten sogar um sensible Daten handelt. Anders als bei „einfachen“ personenbezogenen Daten ist die Verarbeitung sensibler personenbezogener Daten nach Art. 9 Abs. 1 DS-GVO grundsätzlich untersagt. Es bestehen für deren Verarbeitung erhöhte Rechtmäßigkeitsanforderungen17 und dementsprechend enge Zulässigkeitstatbestände (Art. 9 Abs. 2 DS-GVO). So wäre eine Verarbeitung dem Arbeitgeber nur möglich, wenn die Verarbeitung erforderlich ist, damit der Verantwortliche die ihm aus dem Arbeitsrecht erwachsenden Rechte ausüben kann (vgl. Art. 9 Abs. 2 lit. b) DS-GVO; § 26 Abs. 3 S. 1 BDSG) oder ausdrücklich eine Einwilligung erteilt worden ist (vgl. Art. 9 Abs. 2 lit. a) DS-GVO; § 26 Abs. 3 S. 2 BDSG). Art. 9 Abs. 1 DS-GVO nennt solche besonderen Kategorien personenbezogener Daten. Untersagt ist danach die Verarbeitung personenbezogener Daten, aus denen die rassische (der Begriff ist im Folgenden kursiv gesetzt, da

16  Betz, ZD 2019, 148; Landesbeauftragter für Datenschutz und Informationsfreiheit Baden-Württemberg, Ratgeber Beschäftigtendatenschutz, S. 35. 17  Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 9 DS-GVO, Rn. 1 ff.

42

3. Kap.: Datenschutzrechtliche Konformität

es für eine Einteilung in Rassen keine biologische Begründung gibt18) und ethnische Herkunft, politische Meinungen, religiöse und weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen, sowie die Verarbeitung von genetischen Daten, biometrischen Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung einer natürlichen Person. Es handelt sich hierbei um ein Element des Diskriminierungsschutzes.19 Bei Sprach- und Videodaten kommt vor allem eine Einordnung der Daten als biometrische Daten oder als Daten, aus denen die rassische und ethnische Herkunft hervorgehen, in Betracht. a) Biometrische Daten zur eindeutigen Identifizierung Als besondere Kategorien personenbezogener Daten gelten gemäß Art. 9 Abs. 1 DS-GVO biometrische Daten zur eindeutigen Identifizierung einer natürlichen Person. Es muss eine zweistufige Prüfung erfolgen: aa) Vorliegen biometrischer Daten Zunächst müssten überhaupt biometrische Daten vorliegen. Gemäß Art. 4 Nr. 14 DS-GVO sind biometrische Daten mit speziellen technischen Verfahren gewonnene personenbezogene Daten zu den physischen, physiologischen oder verhaltenstypischen Merkmalen einer natürlichen Person, die die eindeutige Identifizierung dieser natürlichen Person ermöglichen oder bestätigen. Beispielshalber sind in Art. 4 Nr. 14 DS-GVO Gesichtsbilder oder daktyloskopische Daten (Fingerabdrücke) genannt. (1) Biometrische Daten – Sprachdaten Die in einem Interview aufgenommene Sprachprobe kann nicht unter diese Definition subsumiert werden. Die Verfahren müssten Daten liefern, die nach dem Stand der Technik die eindeutige Identifizierung einer natürlichen Person mit einem biometrischen Erkennungssystem ermöglichen.20 Der Informationsgehalt der Daten reicht 18  Stang, Darum kann man nicht von Menschenrassen sprechen, 15. Juni 2020; Fischer/Hoßfeld/Krause/Richter, Jenaer Erklärung, S. 2 ff.; in Erwägungsgrund 51, S. 2 wird klargestellt, dass „die Verwendung des Begriffs ‚rassische Herkunft‘ in dieser Verordnung nicht bedeutet, dass die Union Theorien, mit denen versucht wird, die Existenz verschiedener menschlicher Rassen zu belegen, gutheißt.“ 19  Blum, People Analytics, S. 140. 20  Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, Positionspapier zur biometrischen Analyse, S. 19.



A. Grundlegende Vorgaben der DS-GVO43

für eine eindeutige Identifizierung aber wohl nicht aus.21 Zwar existieren automatische Sprechererkennungssysteme.22 Diese basieren allerdings auf der Stimme des Menschen.23 Die Stimme ist der Klang, der beim Sprechen durch die Modulation der ausströmenden Atemluft durch die Stimmlippen im Kehlkopf und die weitere Modifizierung durch die Artikulatoren (etwa Zunge, Lippen, Unterkiefer) im Zuge der Bewegung des Schalls durch den Vokaltrakt entsteht.24 Dieser erzeugte Klang entsteht dadurch, dass Schwingungen in der Luft erzeugt werden (sog. Schall). Diese Schwingungen haben eine bestimmte Geschwindigkeit (sog. Frequenz/Schallgeschwindigkeit). Die Gesamtheit der Frequenzen ist das Frequenzspektrum des erzeugten akustischen Sprachsignals.25 Dieses Frequenzspektrum wird von den genannten anatomischen Faktoren beeinflusst.26 Aufgrund der individuellen Ausprägung der Sprachorgane ist die Stimme einzigartig.27 Bei der Stimmerkennung wird das akustische Signal durch ein Mikrofon in ein elektrisches Signal und sodann durch eine nachgeschaltete Einheit wiederum in ein maschinenlesbares Bitmuster, also in eine Abfolge von Binärzahlen, umgewandelt.28 Aus diesem Signal werden sprecherspezifische Merkmale extrahiert; eine Software ermittelt innerhalb des Frequenzmusters stabile Parameter. Es erfolgt eine Spektralanalyse, also eine Auswertung spektraler Merkmale des Signals.29 Die Sprechererkennung basiert primär auf akustischen bzw. spektralen Eigenschaften.30 Zumeist werden durch die hier in Rede stehende SprachanalyseSoftware allerdings nicht die Stimme, sondern die Sprache und Sprechweise31 ausgewertet. Es werden, wie eingangs erwähnt, etwa die Art der verwendeten 21  Ebd.

22  Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 39. 23  Herdes, CB 2020, 95 (97); Valkanova, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.1, Rn. 27; Conrad, DuD 2017, 740 (742). 24  Wolf/Tacke, Authentifizierung durch Sprache, S. 4; Künzel, NStZ 1989, 400; Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 13. 25  Wolf/Tacke, Authentifizierung durch Sprache, S. 4. 26  Gfroerer, in: Müller/Schlothauer, Münchener Anwaltshandbuch Strafverteidigung, § 77, Rn. 25 f. 27  Manhart, Biometrische Authentifizierung: Methoden, Systeme und praktische Umsetzung, in: ComputerWeekly, 28. Mai 2015. 28  Wolf/Tacke, Authentifizierung durch Sprache, S. 5. 29  Wolf/Tacke, Authentifizierung durch Sprache, S. 4; Gfroerer/Jessen, in: Mülller/Schlothauer/Knauer; Münchener Anwaltshandbuch Strafverteidigung, 3.  Aufl., § 76, Rn. 40. 30  Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 29. 31  Gfroerer, in: Müller/Schlothauer, Münchener Anwaltshandbuch Strafverteidigung, § 77, Rn. 28 ff.

44

3. Kap.: Datenschutzrechtliche Konformität

Worte und Wortkombinationen, Wiederholungen von Wörtern, sprachliche Struktur, Grammatik32 sowie prosodische Merkmale verarbeitet. Der Informationsgehalt dieser Daten genügt für eine eindeutige Identifizierung wohl nicht. Es handelt sich bei diesen Sprachmerkmalen schon nicht um biometrische Daten. Selbst, wenn man dies33 oder jedenfalls wegen der Vielzahl von Merkmalen34 eine Eignung zur Identifizierung annehmen wollte, würden die Daten aber nicht der eindeutigen Identifizierung einer natürlichen Person dienen. (2) Biometrische Daten – Videoanalyse Anders ist die Situation bei dem Einsatz von Videoanalyse-Software zu beurteilen, die (auch) die Emotionen von Bewerbern analysiert. Hier werden neben Daten zu Sprache auch Daten zu Mimik, Gestik oder physiologischen Signalen (etwa Muskelkontraktion, Atmung, Herzschlag) verarbeitet.35 Zwar sind nicht sämtliche Videoaufnahmen als biometrische Daten einzustufen.36 Dies hält auch Erwägungsgrund 51, S. 3 (bei Videoaufnahmen handelt es sich um eine Aneinanderreihung von Lichtbildern37) fest. Allerdings bedarf es gerade zur Emotionserkennung einer Erkennung und Analyse von Gesichtsmerkmalen. Zunächst müssen aus dem Videomaterial softwarebasiert sichtbare Eigenschaften, d. h. Merkmale der Gesichtsoberfläche (etwa Augenabstand, Augenform, Pupillengröße, Augenbrauenwinkel, Nasenlänge, Nasenbreite, Mundoffenheit, Mundbiegung38) herausgefiltert werden.39 Bei diesen Merkmalen der Gesichtsoberfläche handelt es sich um durch mit speziellen technischen Verfahren gewonnene biometrische Daten. Hierfür spricht auch der KI-VO-E.40 Dort werden in Art. 3 Nr. 34 Emotionserkennungssysteme als KI-Systeme definiert, die dem Zweck dienen, Emo­ 32  Vgl. https://precire.com/blog/2019/10/22/sprachanalyse-mit-precire/; Gfroerer, in: Müller/Schlothauser, Münchener Anwaltshandbuch Strafverteidigung, § 77, Rn. 25 ff. 33  Künzel, NStZ 1989, 400 (405); Havliková, DSRITB 2020, 141 (142). 34  Auer-Reinsdorff, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.10, Rn. 27: „Die Gesamtheit dieser Merkmale macht die Eindeutigkeit der Stimme aus.“ 35  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 1 f. 36  Jandt, ZRP 2018, 16 (17). 37  Schneider/Schindler, ZD 2018, 463 (468). 38  Lehmann, Erkennung mimischer Emotionsausdrücke bei Patientinnen mit Essstörungen, S.  12 f. 39  Jandt, ZRP 2018, 16 (17); Wolf, Künstliche Intelligenz kann Ethnien besser unterscheiden als der Mensch, in: Die Welt, 21. Oktober 2020. 40  Europäische Kommission, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche



A. Grundlegende Vorgaben der DS-GVO45

tionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten festzustellen oder daraus abzuleiten. Durch Methoden der Gesichtserkennung wird die Ausprägung dieser sichtbaren Merkmale der Gesichtsoberfläche gemessen. Diese Daten werden anschließend im Rahmen einer Analyse verarbeitet und sollen Rückschlüsse auf die Basisemotionen zulassen.41 Außerdem werden zum Teil auch Daten zum Stimmklang verarbeitet.42 Dabei handelt es sich, wie soeben dargelegt, um biometrische Daten. Bei dem Einsatz von Videoanalyse-Software erfolgt also in der Regel eine Verarbeitung biometrischer Daten.43 bb) Zweckrichtung der Datenverarbeitung – Identifizierung einer natürlichen Person Allerdings bedarf es einer zweistufigen Prüfung. Das grundsätzliche Verarbeitungsverbot in Art. 9 Abs. 1 DS-GVO knüpft daran an, dass die Verarbeitung der biometrischen Daten „zur eindeutigen Identifizierung“ einer natür­ lichen Person erfolgt. Für die Verarbeitung biometrischer Daten zu anderen Zwecken besteht kein grundsätzliches Verarbeitungsverbot.44 Dies wird auch an der englischen Sprachfassung deutlich, wonach die Verarbeitung „for the purpose of uniquely identifying a natural person“ erfolgen muss. Zweck der Verarbeitung der biometrischen Daten ist vorliegend nicht die Identifizierung der betroffenen Person, also des Bewerbers, sondern die Ermittlung von Persönlichkeitsmerkmalen oder die Erkennung von Emotionen. Der Anwendungsbereich des Art. 9 Abs. 1 DS-GVO ist also insoweit nicht eröffnet. b) Daten, aus denen sensible Aspekte hervorgehen Gerade aus biometrischen Daten lassen sich, ungeachtet der Zweckrichtung der Identifizierung, aber mitunter problematische Rückschlüsse ziehen. So lässt sich etwa die Rasse oder Ethnie feststellen.45 Und auch aus Sprachmerkmalen lassen sich Rückschlüsse auf sensible Merkmale ziehen. Entscheidend ist ausweislich des Verordnungstextes nicht, ob aus den Ausgangsdaten sensible Daten tatsächlich generiert werden, sondern, ob sensible Daten Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union. 41  Queb, Video-Interviews im Recruiting, 2. April 2019. 42  Queb, Video-Interviews im Recruiting, 2. April 2019. 43  Herdes, CB 2020, 95 (97). 44  Petri, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 9 DSGVO, Rn. 14. 45  Schwenke, NJW 2018, 823 (824).

46

3. Kap.: Datenschutzrechtliche Konformität

aus den Ausgangsdaten „hervorgehen“.46 Womöglich handelt es sich um Daten, aus denen die rassische und ethnische Herkunft hervorgehen. Dabei kann man im Ausgangspunkt zwischen unmittelbar sensiblen Daten und mittelbar sensiblen Daten differenzieren.47 aa) Unmittelbar sensible Daten Von Ersterem umfasst sind Informationen über physiognomische Merkmale, also Daten zum äußeren Erscheinungsbild einer Person.48 Hierzu gehören Daten zur Hautfarbe oder anderen markanten äußeren Merkmalen, die Aussagen zur Zugehörigkeit zu einer Rasse oder Ethnie zulassen (etwa Augenfarbe, Augenform, Haartyp, Haarfarbe, Nasenform).49 Zur Ermöglichung der Emotionserkennung werden bei der Videoanalyse ebenjene Eigenschaften der Gesichtsoberfläche, wie etwa Augenform, Nasenform, herausgefiltert. Aus diesen Daten geht die rassische und ethnische Herkunft unmittelbar hervor.50 Diese Daten enthalten unmittelbar Informationen über einen sensiblen Aspekt im Sinne des Art. 9 Abs. 1 DS-GVO, weshalb diese Daten von Art. 9 Abs. 1 DS-GVO erfasst werden.51 Die Unsicherheiten, die bei einer Videoüberwachung im öffentlichen Raum (etwa mit Blick auf die Qualität der Aufnahmen; Licht und Schatten) bestehen52, spielen bei einer Videoanalyse im Einstellungsverfahren keine Rolle. Bei der Videoanalyse sind dementsprechend die Vorgaben von Art. 9 DSGVO bzw. § 26 Abs. 3 BDSG zu beachten. Dies kann, wie zu zeigen sein wird, die Datenverarbeitung, auch ohne Missbrauchs- und Diskriminierungs-

ZD 2017, 303 (304). Data Protection Board (EDPB), Leitlinien 8/2020 über die gezielte Ansprache von Nutzer:innen sozialer Medien, Rn. 119 ff.; Britz/Indenhuck/Langerhans, ZD 2021, 559 (562). 48  Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 9 DS-GVO, Rn. 34; Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 10. 49  Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 10; Petri, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 9 DSGVO, Rn. 16; Weichert, in: Kühling/Buchner, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 26; Albers/Veit, in: Wolff/ Brink, BeckOK Datenschutzrecht, Art. 9 DS-GVO, Rn. 29; Schneider/Schindler, ZD 2018, 463 (465). 50  Schwenke, NJW 2018, 823 (824); Schneider/Schindler, ZD 2018, 463 (467). 51  Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 10; Petri, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 9 DS-GVO, Rn. 11; Schiff, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 16; Spindler/ Dalby, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 9 DS-GVO, Rn. 5; Schneider/Schindler, ZD 2018, 463 (467). 52  Schneider/Schindler, ZD 2018, 463 (466). 46  Schneider, 47  European



A. Grundlegende Vorgaben der DS-GVO47

absicht, zwar erschweren, soll aber einem potenziellen Missbrauch vorbeugen, weshalb strengere Anforderungen berechtigt sind.53 bb) Mittelbar sensible Daten Daneben existieren mittelbar sensible Daten. Für mittelbar sensible Daten bedarf es einer differenzierteren Beurteilung. Hier lassen sich die sensiblen Aspekte (etwa die ethnische Zugehörigkeit) erst statistisch-mittelbar ableiten.54 So können die Fähigkeit zur Beherrschung einer bestimmten Sprache, die Ausdrucksart oder die Stimmmodulation Rückschlüsse auf sensible Aspekte im Sinne des Art. 9 Abs. 1 DS-GVO wie die ethnische Zugehörigkeit zulassen.55 Bei diesen Daten handelt es sich um allgemeinere Daten. Die sensiblen Aspekte sind gewissermaßen in den Daten versteckt.56 Der technische Fortschritt erlaubt Rückschlüsse von solch allgemeinen Ausgangsdaten auf sensible Aspekte. Es besteht ein hohes Datenpotenzial.57 Dies führt zu einem potenziell grenzenlosen Anwendungsbereich des Art. 9 Abs. 1 DSGVO.58 Zur Begrenzung des Anwendungsbereichs werden verschiedene Ansätze vertreten.59 (1) Erste Auffassung – Objektiver Empfängerhorizont Nach einer Auffassung soll es darauf ankommen, ob sich die in Art. 9 Abs. 1 DS-GVO genannte Eigenschaft auch für einen durchschnittlichen, objektiven Dritten mittelbar aus den jeweiligen Daten erkennen lässt.60 Für diesen Dritten müsste also erkennbar sein, dass etwa die ethnische Zugehö-

in: Paal/Pauly, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 10. in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 9 DS-GVO, Rn. 11; Schiff, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 18; Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 9 DS-GVO, Rn. 29; Schneider/Schindler, ZD 2018, 463 (467); Britz/Indenhuck/Langerhans, ZD 2021, 559 (562). 55  Freund, in: Schuster/Grützmacher, IT-Recht, Art. 9 DSGVO, Rn. 11. 56  Freund, in: Schuster/Grützmacher, IT-Recht, Art. 9 DSGVO, Rn. 11. 57  Schneider, ZD 2017, 303 (305). 58  Spindler/Dalby, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 9 DS-GVO, Rn. 4; Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 8; Matejek/Mäusezahl, ZD 2019, 551 (551). 59  Spindler/Dalby, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 9 DS-GVO, Rn. 4. 60  Schiff in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 13. 53  Frenzel, 54  Petri,

48

3. Kap.: Datenschutzrechtliche Konformität

rigkeit aus den in Rede stehenden Daten produziert werden kann.61 Für Sprachdaten könnte dies der Fall sein, zumal dieses Kriterium im Interesse der Gewährleistung eines hohen Schutzniveaus weit auszulegen sein soll.62 Dieses Kriterium ist aber sehr unscharf und daher für eine Abgrenzung nicht geeignet.63 (2) Zweite Auffassung – Gesamtverarbeitungszusammenhang Nach einer anderen Auffassung soll es auf den Gesamtverarbeitungszusammenhang ankommen.64 Schließlich solle Art. 9 DS-GVO vor den mit der Verarbeitung sensibler Daten einhergehenden Risiken schützen und die Schutzbedürftigkeit der betroffenen Person sei vom Verarbeitungszusammenhang abhängig.65 Zu berücksichtigen seien dabei diverse Faktoren wie zum Beispiel ein hohes Auswertungspotenzial infolge des Einsatzes von KI-Systemen.66 Vorliegend werden in dem (diskriminierungsanfälligen) Bewerbungskontext Daten mittels KI-Systemen analysiert, was zunächst für eine Anwendbarkeit von Art. 9 Abs. 1 DS-GVO spricht. Darüber hinaus soll aber bei dieser gesamtheitlichen Sichtweise auch der Verarbeitungszweck bzw. das Bestehen einer Auswertungsabsicht eine wesentliche Rolle spielen.67 (3) Dritte Auffassung – Auswertungsabsicht Hieran knüpft eine weitere Auffassung an, die es, um eine Aufblähung des Anwendungsbereichs von Art. 9 Abs. 1 DS-GVO zu verhindern, für erforderlich hält, dass hinsichtlich der sensiblen Aspekte eine Auswertungsabsicht besteht.68 Eine Auswertungsabsicht besteht vorliegend nicht; der Arbeitgeber will keine sensiblen Daten zutage fördern, sondern Persönlichkeitsmerkmale bzw. Emotionen ermitteln. 61  Schiff in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 13. 62  Schiff in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 16. 63  Matejek/Mäusezahl, ZD 2019, 551 (552). 64  Weichert, in: Kühling/Buchner, DS-GVO BDSG, Art.  9 DS-GVO, Rn. 22; Freund, in: Schuster/Grützmacher, IT-Recht, Art. 9 DSGVO, Rn. 12. 65  Britz/Indenhuck/Langerhans, ZD 2021, 559 (559 f.). 66  Matejek/Mäusezahl, ZD 2019, 551 (553); Weichert, in: Kühling/Buchner, DSGVO BDSG, Art. 9 DS-GVO, Rn. 22. 67  Weichert, in: Kühling/Buchner, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 22. 68  Schulz, in: Gola, Datenschutz-Grundverordnung, Art.  9 DS-GVO, Rn. 13; Schneider/Schindler, ZD 2018, 463 (467); VG Mainz, Urt. v. 24.09.2020 – 1 K 584/ 19.MZ, ZD 2021, 336 (337).



A. Grundlegende Vorgaben der DS-GVO49

(4) Streitentscheid Im Ausgangspunkt spricht für die dritte Auffassung, dass laut Erwägungsgrund 51, S. 1 personenbezogene Daten „ihrem Wesen nach“ besonders sensibel sein müssen, um Art. 9 Abs. 1 DS-GVO zu unterfallen. Außerdem spricht Art. 9 Abs. 1 DS-GVO davon, dass die sensiblen Aspekte aus den Daten „hervorgehen“, nicht davon, dass die Aspekte daraus „hervorgehen kön­nen“.69 Wenn aber schon allgemeine Daten infrage kommen, bedarf es zumindest in subjektiver Hinsicht einer stärkeren Begrenzung des Anwendungsbereichs mittels des Erfordernisses einer Auswertungsabsicht. Gegen diese Auffassung wird vorgebracht, dass eine solche Einschränkung dem Wortlaut von Art. 9 Abs. 1 DS-GVO nicht zu entnehmen sei.70 Zudem wird argumentiert, für die Anwendbarkeit von Art. 9 DS-GVO seien rein systematisch subjektive Elemente nicht relevant71 und überdies schwer messbar.72 Allerdings ist die Berücksichtigung subjektiver Elemente in Art. 9 Abs. 1 DS-GVO durchaus angelegt. So ist etwa eine Verarbeitung biometrischer Daten nur dann erfasst, wenn sie zur eindeutigen Identifizierung erfolgt. Außerdem objektiviert der Verantwortliche diese subjektiven Elemente durch die Implementierung des Verarbeitungsvorgangs. Dies ermöglicht eine Überprüfung der subjektiven Elemente.73 Ferner ist Sinn und Zweck von Art. 9 Abs. 1 DS-GVO der Schutz vor Persönlichkeitsrechtsverletzungen und Diskriminierungen.74 Erwägungsgrund 51, S. 1 stellt die Risiken für die Grundrechte und Grundfreiheiten der betroffenen Person in den Fokus. Durch das Erfordernis einer Auswertungsabsicht kann diesem Sinn und Zweck hinreichend Rechnung getragen werden.75 Bei Nichtvorliegen einer Auswertungsabsicht bestehen hierfür jedenfalls geringere Risiken. Zudem würde eine extensive Auslegung der Ausnahmeregelung des Art. 9 DS-GVO letztlich Art. 6 DS-GVO, der die Verarbeitung „einfacher“ per­ sonenbezogener Daten regelt, gegenstandslos machen.76 Denn eine Nicht­ berücksichtigung des konkreten Verarbeitungsvorgangs und VerarbeitungsProfiling – Persönlichkeitsschutz durch Datenschutz?, S. 226. ZD 2018, 564 (566); Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 9 DS-GVO, Rn. 22. 71  Reuter, ZD 2018, 564 (565 f.). 72  Matejek/Mäusezahl, ZD 2019, 551 (553). 73  Matejek/Mäusezahl, ZD 2019, 551 (553). 74  Jaspers/Schwartmann/Mühlenbeck, in: Schwartmann/Jaspers/Thüsing/Kugelmann, DS-GVO/BDSG, Art. 9, Rn. 35. 75  Schneider/Schindler, ZD 2018, 463 (467). 76  Schneider, ZD 2017, 303 (307). 69  Lorentz, 70  Reuter,

50

3. Kap.: Datenschutzrechtliche Konformität

zwecks hätte zur Folge, dass vor dem Hintergrund des technischen Fortschritts der Großteil personenbezogener Daten als sensible Daten eingeordnet werden muss und damit Art. 9 DS-GVO unterfällt.77 Der Verantwortliche würde sich durch die unklare Abgrenzung von allgemeinen zu sensiblen Daten einer starken Rechtsunsicherheit gegenübersehen.78 Insgesamt ist daher dem Verarbeitungszweck bzw. dem Vorliegen einer Auswertungsabsicht hohe Bedeutung beizumessen; die Vorgaben von Art. 9 DS-GVO sowie von § 26 Abs. 3 BDSG finden daher auf Sprachdaten keine Anwendung. c) Weitere Kategorien sensibler Daten Die Daten, aus denen politische Meinungen, religiöse und weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen bzw. Gesundheitsdaten79, dürfen zwar nicht gänzlich aus dem Blickfeld geraten, sind im Zusammenhang mit KI-Systemen im Bereich der Sprach- und Videoanalyse aber kaum relevant. Die zu beantwortenden Fragen haben regelmäßig keinen Bezug zu der Bewerbung.80 Typische Fragen/Aufforderungen sind „Beschreiben Sie den Ablauf eines typischen Sonntags.“, „Erzählen Sie ausführlich von einem positiven privaten oder beruflichen Erlebnis der letzten Zeit.“, „Wann erleben Sie Situationen als sehr anstrengend und stressig?“, oder „Wie ging es Ihnen in den letzten Wochen? Wie haben Sie sich gefühlt?“. Hier könnte lediglich eine inhaltliche Auswertung des Gesagten Probleme aufwerfen. So könnte mit Blick auf die erste Frage etwa ein sonntäglicher Kirchenbesuch geschildert werden. Und auch mit Blick auf sensible Gesundheitsdaten bestünden vor allem81 bei einer inhaltlichen Auswertung des Gesagten Gefahren. Würde eine Person von einem Arztbesuch erzählen oder auf die dritte Frage hin von depressiven Phasen berichten, würde sie Angaben zu ihrer (psychischen) Gesundheit machen.82 Eine inhaltliche AusZD 2019, 551 (553). ZD 2019, 551 (552). 79  Gesundheitsdaten sind nach Art. 4 Nr. 15 DS-GVO personenbezogene Daten, die sich auf die körperliche oder geistige Gesundheit einer natürlichen Person beziehen und aus denen Informationen über deren Gesundheitszustand hervorgehen. 80  Joos, NZA 2020, 1216. 81  Vgl. aber Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 18: „Die organischen Grundlagen des Sprechens sind jedoch nicht als konstant anzusehen. So können z. B. Stimme und Sprache durch Krankheitszustände […] verändert werden.“ 82  Schiff, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 9 DS-GVO, Rn. 29; Havliková, DSRITB 2020, 141 (151): keine standardmäßige Verarbeitung sensibler Daten. 77  Matejek/Mäusezahl, 78  Matejek/Mäusezahl,



A. Grundlegende Vorgaben der DS-GVO51

wertung des Gesagten erfolgt bei den hier behandelten Systemen in der Regel nicht. d) Zwischenergebnis – besondere Kategorien personenbezogener Daten Für die Verarbeitung sensibler Daten bestehen erhöhte Rechtmäßigkeitsanforderungen, weshalb eine Bewertung zu erfolgen hatte, ob einfache oder sensible Daten verarbeitet werden. Gemäß der obigen Ausführungen sind die von den zur Sprachanalyse eingesetzten KI-Systemen verarbeiteten Daten keine biometrischen Daten. Automatische Sprechererkennungssysteme basieren auf der Stimme des Menschen. KI-Systeme zur Videoanalyse verarbeiten biometrische Daten; die Verarbeitung erfolgt aber nicht zur eindeutigen Identifizierung. Allerdings verarbeiten KI-Systeme zur Videoanalyse Daten, aus denen die rassische und ethnische Herkunft (unmittelbar) hervorgeht. Aus diesem Grund gelten für den Einsatz dieser KI-Systeme durch den Arbeit­ geber strengere Regeln als für den Einsatz von KI-Systemen zur Sprachanalyse. Auch bei den ermittelten Eigenschaften der Bewerber handelt es sich nicht um sensible personenbezogene Daten.

III. Art und Weise der Datenverarbeitung Nach Art. 4 Nr. 2 DS-GVO ist Verarbeitung jeder mit oder ohne Hilfe automatisierter Verfahren ausgeführte Vorgang oder jede solche Vorgangsreihe im Zusammenhang mit personenbezogenen Daten. Hierzu gehören Erhebung, Erfassung, Organisation, Speicherung, Auslesen, Verwendung und der Abgleich von Daten. Eine Datenverarbeitung im Sinne des Art. 4 Nr. 2 DS-GVO findet mit Blick auf KI-Systeme ganz offenkundig statt. Nachstehend wird auf die Art und Weise der Datenverarbeitung durch die KI-Systeme sowie auf die Frage, ob sich hieraus zusätzliche Anforderungen an den Arbeitgeber ergeben, eingegangen. 1. Profiling – Generierung von Ausgabedaten Zusätzliche Anforderungen könnten sich daraus ergeben, dass Daten bei dem Einsatz der KI-Systeme in einer besonderen Art und Weise verarbeitet werden. Eine besondere Art und Weise der Datenverarbeitung ist das sog. Profiling. Nach Art. 4 Nr. 4 DS-GVO ist Profiling jede Art der automatisierten Verarbeitung personenbezogener Daten, die darin besteht, dass personenbezogene Daten verwendet werden, um bestimmte persönliche Aspekte, die sich auf eine natürliche Person beziehen, zu bewerten, insbesondere um Aspekte be-

52

3. Kap.: Datenschutzrechtliche Konformität

züglich Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel dieser natürlichen Person zu analysieren oder vorherzusagen. Nach dieser Definition handelt es sich bei der Anwendung der KI-Systeme im Einstellungsverfahren um Profiling im Sinne des Art. 4 Nr. 4 DS-GVO, da die Anwendung des KI-Systems auf ein „neues“ Datensubjekt, namentlich den Bewerber, der Analyse bestimmter persönlicher Aspekte dient.83 Dies gilt für die Ermittlung von Persönlichkeitsmerkmalen, die Erkennung von Emotionen84 sowie die daran mitunter anschließende Ermittlung der beruf­ lichen Eignung. Auf die Zulässigkeit des Einsatzes wirkt sich die Feststellung, dass es sich um Profiling im Sinne des Art. 4 Nr. 4 DS-GVO handelt, allerdings nicht grundlegend aus. Eine eigenständige Rechtsgrundlage für Profiling enthält die DS-GVO in ihrem verfügenden Teil nicht.85 Auch die Rechtmäßigkeit des Profiling richtet sich nach den allgemeinen datenschutzrechtlichen Vorschriften, bedarf also eines Erlaubnistatbestandes.86 Bei Profiling handelt es sich um eine automatisierte Verarbeitung personenbezogener Daten. Folgerichtig hält Erwägungsgrund 72, S. 1 fest, dass Profiling „[…] den Vorschriften dieser Verordnung für die Verarbeitung personenbezogener Daten […]“ unterliegt. 2. Scoring – Europarechtskonformität und Anwendbarkeit im Beschäftigungskontext § 31 BDSG regelt die Zulässigkeit des Scoring. Scoring ist ein Unterfall des Profiling, konkret ein Verfahren zur Berechnung der Wahrscheinlichkeit, mit der eine bestimmte Person ein bestimmtes Verhalten zeigen wird, und findet, technisch gesehen, zunehmend bei der Auswahl von Bewerbern Anwendung.87 Womöglich ergeben sich aus § 31 Abs. 1 BDSG zusätzliche Anforderungen an den Arbeitgeber. Das setzt voraus, dass eine Öffnungsklausel 83  Gola, RDV 2018, 24 (27); Joos, NZA 2020, 1216 (1217); Landesbeauftragter für Datenschutz und Informationsfreiheit Baden-Württemberg, Ratgeber Beschäftigtendatenschutz, S. 35. 84  Edwards/Veale, Duke Law & Technology Review 2017, 18 (32). 85  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 4 Nr. 4 DS-GVO, Rn. 1. 86  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 4 Nr. 4, Rn. 1 f.; Richter, DuD 2016, 581 (585). 87  Kainer/Weber, BB 2017, 2740 (2746); Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 4 Nr. 4, Rn. 7; Lapp, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 31 BDSG, Rn. 3.



A. Grundlegende Vorgaben der DS-GVO53

existiert und § 31 Abs. 1 BDSG im Beschäftigungsbereich Anwendung findet. a) Europarechtswidrigkeit des § 31 BDSG Eine hinreichende Öffnungsklausel für § 31 BDSG existiert nicht.88 § 31 BDSG ist dementsprechend europarechtswidrig und muss unangewendet blei­ben.89 b) Keine Anwendbarkeit des § 31 BDSG im Beschäftigungskontext Selbst bei unterstellter Europarechtskonformität würde § 31 BDSG im Beschäftigungskontext keine Anwendung finden. Schon mit Blick auf die Vorgängervorschrift, § 28b BDSG a. F., war umstritten, ob Scoring im Beschäftigungskontext überhaupt zulässig ist bzw., falls ja, auf welche Vorschrift dieses gestützt werden muss.90 Für eine Anwendbarkeit des § 31 BDSG auf Scoring im Beschäftigungskontext kann angeführt werden, dass § 31 Nr. 1 BDSG, im Gegensatz zu § 28b Nr. 2 BDSG, auf sämtliche Vorschriften des Datenschutzrechts verweist. Ferner mögen auch die allgemein formulierten Voraussetzungen in Abs. 1 für eine Anwendbarkeit im Beschäftigungskontext sprechen.91 Richtig ist auch, dass sich lediglich § 31 Abs. 2 BDSG explizit auf die Verwendung von Bonitätsdaten bezieht. Allerdings kann der Wortlaut des § 31 Abs. 2 BDSG auch so verstanden werden, dass in § 31 Abs. 2 BDSG nur ergänzende Voraussetzungen bei der Einbeziehung von Informationen

88  Eine Regelungsbefugnis soll sich beispielsweise aus Art. 2 Abs. 2 AEUV als implizierter Öffnungsklausel, der Einordnung des § 31 BDSG als verbraucherschutzrechtlicher Regelung, Art. 6 Abs. 4 i. V. m. Art. 23 DS-GVO oder den Konkretisierungsmöglichkeiten des Art. 6 Abs. 2 DS-GVO ergeben. (Vgl. Buchner, in: Kühling/ Buchner, DS-GVO BDSG, § 31 BDSG, Rn. 4 f.; Abel, ZD 2018, 304 (304 ff.); Taeger, in: Taeger/Gabel, DSGVO BDSG, § 31 BDSG, Rn. 37 ff.; Moos/Rothkegel, ZD 2016, 561 (567)). 89  Buchner, in: Kühling/Buchner, DS-GVO BDSG, § 31 BDSG, Rn. 6. 90  Vgl. hierzu von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, § 28b BDSG, Rn. 17; Gola/Schomerus, in: Gola/Schomerus, Bundesdatenschutzgesetz, § 28b BDSG, Rn. 7; Kainer/Weber, BB 2017, 2740 (2746 f.). 91  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 66; zu § 28b BDSG a. F.: Helfrich, ZD 2013, 473 (474); Helfrich, in: Forgó/ Helfrich/Schneider, Betrieblicher Datenschutz, Teil IX, Kapitel 3, Rn. 27; Klar, BB 2019, 2243 (2251).

54

3. Kap.: Datenschutzrechtliche Konformität

über Forderungen aufgestellt werden („im Fall der Einbeziehung von Informationen über Forderungen“).92 Für eine Beschränkung des Anwendungsbereichs auf die Ermittlung von Bonitätswerten und gegen eine Anwendbarkeit im Beschäftigungskontext spricht bereits die Überschrift von § 31 BDSG. Aus der Überschrift geht hervor, dass diese Vorschrift dem Schutz des Wirtschaftsverkehrs dient.93 Teilweise wird vertreten, hiervon seien auch Arbeitsverhältnisse erfasst.94 Die Definitionen des Begriffs „Wirtschaftsverkehr“ sind nicht immer kongruent. Letztlich dürfte es aber darum gehen, die Anbieter von Gütern und Dienstleistungen zu schützen. Dies passt auf die Situation eines Scoring von Bewerbern nicht. § 28b BDSG a. F. bot diesbezüglich von vornherein mehr Interpretationsspielraum, als dieser nur allgemein mit „Scoring“ überschrieben war. Auch aus der Gesetzesbegründung geht ausdrücklich hervor, dass die Vorschrift die Ermittlung der Kreditwürdigkeit und die Erteilung von Bonitätsauskünften regelt.95 Dem wird wiederum entgegengehalten, dass sich die Gesetzesbegründung zwar auf Konsumentenverträge fokussiere, ihr aber ein Wille zur Beschränkung des Anwendungsbereichs auf diese Vertragsform nicht entnommen werden könne.96 Dies ist nicht überzeugend. Die Gesetzesbegründung beschränkt den Anwendungsbereich lediglich nicht explizit. Aus dem Gesamtbild wird aber sehr deutlich, dass andere Vertragsformen nicht erfasst sein sollten. Ferner schützt § 31 Abs. 1 BDSG, ebenso wie § 28b BDSG a. F., Anschriftendaten besonders (vgl. § 31 Abs. 1 Nr. 3 und 4 BDSG) und adressiert damit die arbeitsrechtlich relevanten Konstellationen kaum.97 Mit Anschriftendaten sind Eigenschaften des Wohngebäudes sowie des Zahlungsverhaltens der Bewohner der Straße oder des Gebäudes gemeint.98 Die Regelung bezieht sich erkennbar auf das sog. Redlining, also eine Verfahrensweise, bei der Bewohnern eines bestimmten Gebiets Dienstleistungen nicht oder nur verteuert angeboten werden.99

ZD 2018, 304; wohl auch: Kainer/Weber, BB 2017, 2740 (2747). NZA 2019, 72 (75). 94  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 66. 95  BT-Drs. 18/11325, S. 101 f.; Rudkowski, NZA 2019, 72 (75). 96  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 66. 97  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, § 28b, Rn. 16. 98  Krämer, in: Wolff/Brink, BeckOK Datenschutzrecht, § 31 BDSG, Rn. 8. 99  Hammersen/Eisenried, ZD 2014, 342 (343). 92  Abel,

93  Rudkowski,



B. Erlaubnistatbestand für die Datenverarbeitung55

Sowohl Überschrift als auch Gesetzesbegründung sind mit Blick auf § 31 BDSG eindeutig.100 Scoring im Beschäftigungskontext unterfällt nicht § 31 BDSG. Es ergeben sich also auch hieraus keine zusätzlichen Anforderungen an den Arbeitgeber.101 Ohnehin ergeben sich aus § 31 BDSG, im Vergleich zu den Vorgaben der DS-GVO, keine übermäßigen Anforderungen für den Datenverarbeitungsvorgang.102

B. Erlaubnistatbestand für die Datenverarbeitung Jede Verarbeitung personenbezogener Daten greift in die Grundrechte auf Achtung des Privatlebens nach Art. 7 der EU-Grundrechtecharta (im Folgenden: „GRC“), auf Schutz der sie betreffenden personenbezogenen Daten nach Art. 8 GRC und in das Recht auf informationelle Selbstbestimmung als Ausprägung des Allgemeinen Persönlichkeitsrechts nach Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG ein. Für eine zulässige Datenverarbeitung bedarf es aufgrund des Vorbehalts des Gesetzes stets einer gesetzlichen Regelung.103 Man spricht auch von einem Verbot mit Erlaubnisvorbehalt.104 Bei der Prüfung der datenschutzrechtlichen Zulässigkeit muss zwischen der Verarbeitung von Daten zur Entwicklung der KI-Systeme (siehe Gliederungspunkt I.) und der Anwendung dieser KI-Systeme zur Bewertung von Bewerbern (siehe Gliederungspunkt II.) unterschieden werden.105

I. Datenverarbeitung bei Bestandsmitarbeitern – Entwicklung von KI-Systemen Zunächst kommt eine Verarbeitung von Daten von erfolgreichen Bestandsmitarbeitern in Betracht. Diese kann vor allem zur Entwicklung des später in ein KI-System zu implementierenden Entscheidungsmodells erfolgen.106 Hier können gegebenenfalls Verbindungen zwischen verschiedenen Eigenschaften NZA 2019, 72 (75). Blum, People Analytics, S. 310; Klar, BB 2019, 2243 (2251). 102  Blum, People Analytics, S. 311 ff. 103  Roßnagel, NJW 2019, 1 (5). 104  Buchner/Petri, in: Kühling/Buchner, DS-GVO BDSG, Art. 6 DS-GVO, Rn. 11; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 6 DS-GVO, Rn. 2 f.; Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 6 DS-GVO, Rn. 1; Heberlein, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 6 DS-GVO, Rn. 1; Straker, in: Hoeren/ Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, B., I., Rn. 7. 105  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 51; Malorny, JuS 2022, 289 (293). 106  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 16 f. 100  Rudkowski, 101  A. A.:

56

3. Kap.: Datenschutzrechtliche Konformität

der Bestandsmitarbeiter und unternehmensinternem Erfolg aufgedeckt werden. Im Hinblick auf das Ermittlungsmodell wird es schon wegen der Art der für die Entwicklung erforderlichen Daten (Sprach-, Videodaten) eher nicht zu Entwicklungen durch Arbeitgeber kommen. Auch bedarf es hierfür nicht unbedingt der Daten von Bestandsmitarbeitern. Aber auch im Hinblick auf die Entwicklung des Entscheidungsmodells werden sich Arbeitgeber einigen Hürden gegenübersehen. Dass hier Hürden bestehen, wird daran deutlich, dass es sich bislang, wie erwähnt, nur selten um arbeitgebereigene Systeme handelt.107 Hierfür gibt es verschiedene Gründe. So wurde in einer im Jahr 2015 durchgeführten Studie festgestellt, dass 78 % der befragten Unternehmen interne Daten108 sammeln.109 Dennoch wird es den meisten Unternehmen neben der erforderlichen (personellen) Expertise bereits an ausreichendem Trainingsmaterial in Form von Daten fehlen.110 Nur wenige Unternehmen haben Maßnahmen zur Erhebung von Daten implementiert, die Entwicklungen ermöglichen.111 Dies dürfte mit Blick auf die hier in Rede stehenden KI-Systeme insbesondere für Daten zu Persönlichkeitsmerkmalen von Bestandsmitarbeitern gelten, die man benötigen würde, um Verbindungen zwischen bestimmten Persönlichkeitsmerkmalen und unternehmensinternem Erfolg aufzudecken. Häufig existieren unternehmensintern auch keine klaren Kriterien für die Bemessung von unternehmensinternem Erfolg oder die entsprechenden Daten liegen nicht in digitaler Form vor. Die technische Wirklichkeit in den Personalabteilungen kleiner und mittelständischer Unternehmen besteht oft noch aus Aktenordnern und Tabellenblättern.112 Dabei sind 95 % der Unternehmen in Deutschland kleine oder mittelständische Unternehmen.113 Das alles steht der Eigenentwicklung von KI-Systemen entgegen.114 Drittens ist die Entwicklung der KI-Systeme aus datenschutzrechtlicher Sicht nur relevant, wenn personenbezogene Daten in sie einfließen. Unter Umständen kommt aber eine Anonymisierung, also eine Aufhebung des Personenbezugs, der Daten in Betracht, die eine Re-Identifizierung der Mitarbeiter praktisch, also ohne unverhältnismäßigen Zeit-, Kosten- und ArbeitsaufNZA 2020, 1216 (1217). zu Entlohnung, Weiterbildungs- und Krankheitstagen. 109  Bitkom Research GmbH, Big Data im Personalmanagement, S. 18. 110  Diercks, ZdiW 2021, 62 (63) spricht von „Small Data“; Laumer/Weitzel/Luzar, PERSONALquarterly 03/2019, 10 (14). 111  Laumer/Weitzel/Luzar, PERSONALquarterly 03/2019, 10 (14). 112  BT-Drs. 19/30750, S. 162. 113  Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 7. 114  Diercks, ZdiW 2021, 62 (63); Laumer/Weitzel/Luzar, PERSONALquarterly 03/2019, 10 (14). 107  Joos, 108  Etwa



B. Erlaubnistatbestand für die Datenverarbeitung57

wand, ausschließt.115 Die Anonymisierung darf keine Rückschlüsse mehr auf individuelle Beschäftigte ermöglichen.116 Sofern nur einzelne, besonders erfolgreiche Mitarbeiter analysiert werden, ist regelmäßig eine Re-Identifizierung der Mitarbeiter möglich.117 Wenn etwa ein Modell entwickelt werden soll, das die Entscheidungskriterien für die Besetzung von Leitungspositionen enthält, wird der Trainingsdatensatz klein und eine Re-Identifizierung möglich sein.118 Vor allem bei großen Datenbeständen und damit für größere Unternehmen kann aber eine Anonymisierung infrage kommen.119 Die datenschutzrechtlichen Vorschriften finden dann keine Anwendung. Nur, sofern Daten in digitaler Form sowie klare Kriterien für die Bemessung von unternehmensinternem Erfolg vorliegen und dem Arbeitgeber ausreichend Expertise zur Verfügung steht, sind Eigenentwicklungen möglich. Sofern eine sichere Anonymisierung nicht möglich ist, kommen nachstehende Erlaubnistatbestände für die Verarbeitung von Daten im Rahmen des Trainings in Betracht.120 1. Untauglichkeit des § 26 Abs. 1 BDSG als Erlaubnistatbestand für die Entwicklung Gemäß § 26 Abs. 1 BDSG dürfen personenbezogene Daten von Beschäftigten für Zwecke des Beschäftigungsverhältnisses insbesondere dann verarbeitet werden, wenn dies für die Entscheidung über die Begründung eines Beschäftigungsverhältnisses oder nach Begründung des Beschäftigungsverhältnisses für dessen Durchführung oder Beendigung erforderlich ist. Zwar soll die Datenverarbeitung der Entwicklung des KI-Systems dienen, das anschließend im Rahmen des Einstellungsverfahrens anderer Personen, also bei der Entscheidung über die Begründung eines Beschäftigungsverhält115  Vgl. für eine Übersicht technischer Werkzeuge für die Anonymisierung von Daten wie etwa k-Anonymität, l-Diversität und t-Ähnlichkeit: Aichroth et al., Anonymisierung und Pseudonymisierung von Daten für Projekte des maschinellen Lernens, S.  8 ff.; Schild, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 4 DS-GVO, Rn. 15 f., wobei zu berücksichtigen ist, dass auch die Anonymisierung eine Datenverarbeitung nach Art. 4 Nr. 2 DS-GVO darstellt. 116  Hamann/Haußmann, in: Arnold/Günther, Arbeitsrecht 4.0, 2. Aufl., § 6, Rn. 73. 117  John, in: Handbuch Multimedia-Recht, Werkstand: September 2021, Teil 29.4, Rn. 13. 118  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 226 f. 119  Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1087; Dzida, NZA 2017, 541 (542 f.). 120  Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1084  f.; Dzida, NZA 2017, 541 (542); Raif/Swidersky, GWR 2017, 351.

58

3. Kap.: Datenschutzrechtliche Konformität

nisses, genutzt wird.121 So mag man argumentieren, dass die Verarbeitung erforderlich ist, um die Entscheidungskriterien als Grundlage der Entscheidung zu generieren.122 Der Wortlaut der Vorschrift stellt auch nicht explizit auf ein mit der betroffenen Person, hier also dem Bestandsmitarbeiter, bestehendes Beschäftigungsverhältnis ab („eines“). Allerdings bezieht sich § 26 BDSG auf das Verhältnis zwischen Arbeitgeber und dem jeweiligen Beschäftigten.123 Deshalb kommt hier nur die Alternative in Betracht, dass die Datenverarbeitung für die Durchführung des Beschäftigungsverhältnisses erforderlich ist. Die Datenverarbeitung zielt aber nicht auf die Generierung von Erkenntnissen für die Durchführung des Beschäftigungsverhältnisses mit dem Bestandsmitarbeiter ab.124 Sie ist dementsprechend nicht für die Durchführung des Beschäftigungsverhältnisses erforderlich.125 Demzufolge scheidet § 26 Abs. 1 BDSG als Rechtsgrundlage dieser Datenverarbeitung aus.126 2. Einzelfallabwägung bei Art. 6 Abs. 1 lit. f) DS-GVO Vor diesem Hintergrund könnte der Arbeitgeber auf Art. 6 Abs. 1 lit. f) DS-GVO zurückgreifen127, wonach die Datenverarbeitung rechtmäßig ist, wenn sie zur Wahrung der berechtigten Interessen des Verantwortlichen erforderlich ist, sofern nicht die Interessen oder Grundrechte und Grundfreiheiten der betroffenen Person, die den Schutz personenbezogener Daten erfordern, überwiegen. a) Interessenabwägung Bei der Beurteilung des Vorliegens eines berechtigten Interesses ist der Zweck der Datenverarbeitung zu berücksichtigen.128 in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1086. Algorithmusbasierte Entscheidungsfindung, S. 202 f. 123  Gräber/Nolden, in: Paal/Pauly, DS-GVO BDSG, § 26 BDSG, Rn. 4; Dzida, NZA 2017, 541 (542). 124  Dzida, NZA 2017, 541 (542); Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1086; Raif/Swidersky, GWR 2017, 351; Hamann, in: Arnold/ Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 58. 125  Dzida, NZA 2017, 541 (542); Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1086; Raif/Swidersky, GWR 2017, 351; Hamann, in: Arnold/ Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 58. 126  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 18; Malorny, JuS 2022, 289 (293). 127  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 20. 128  Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 6 DS-GVO, Rn. 49. 121  Geißler,

122  Wimmer,



B. Erlaubnistatbestand für die Datenverarbeitung59

Ein berechtigtes Interesse an der Datenverarbeitung kann darin gesehen werden, dass der Zweck der Datenverarbeitung darin besteht, mit den Daten der Bestandsmitarbeiter ein KI-System zu entwickeln, dass zu einem späteren Zeitpunkt die Möglichkeit bietet, auf effiziente und objektive Art und Weise Bewerber einzustellen, bei denen die Wahrscheinlichkeit einer erfolgreichen Karriere im Unternehmen besonders hoch ist.129 Ob die datenschutzbezogenen Interessen, Grundrechte und Grundfreiheiten der betroffenen Person, also des Bestandsmitarbeiters, überwiegen ist im Rahmen einer Interessenabwägung zu beurteilen.130 Man kann sich auf den Standpunkt stellen, dass in der Phase der Generierung von Wissen weniger strenge Maßstäbe anzusetzen sind als in der Phase der Anwendung dieses Wissens.131 Schließlich werden die Bestandsmitarbeiter mit Blick auf den verfolgten Zweck der Datenverarbeitung – zumindest kurzfristig – keine Nachteile aus der Datenverarbeitung zu befürchten haben.132 Dies spricht im Rahmen der Interessenabwägung für den Arbeitgeber. Mittel- bis langfristig kann die optimierte Einstellungspraxis zu erhöhter Konkurrenz und verminderter Arbeitsplatzsicherheit beitragen. Entscheidend ist ferner, wie sensibel die herangezogenen Daten sind.133 Je weiter die Daten über berufsbezogene Themen hinausreichen, desto eher wird die Interessenabwägung zulasten des Verantwortlichen ausfallen.134 Für die Entwicklung der besagten KI-Systeme würde man annotierte Eingabe­ daten benötigen. Die Eingabedaten (oder jedenfalls Teile davon) würden sich auf Persönlichkeitsmerkmale beziehen. Persönlichkeitsmerkmale gehören zwar nicht zu den sensiblen Daten nach Art. 9 Abs. 1 DS-GVO.135 Sie weisen aber eine deutlich höhere Sensibilität auf als etwa Daten, die die Ausbildung und fachliche Qualifikation betreffen.136 Hinzu kommt, dass eine Analyse der Bestandsmitarbeiter sehr umfangreich ausfallen müsste, da eine Beschränkung auf bestimmte Persönlichkeitsmerkmale, wie sie bei der Analyse von Bewerbern in Frage kommt, nicht sinnvoll wäre. Denn die Relevanz der im Zuge der Entwicklung generierten Entscheidungskriterien kann ex ante nicht beurteilt werden.137 129  Dzida,

NZA 2017, 541 (542).

130  Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 6 DS-GVO, Rn. 49.

People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 141 ff. People Analytics, S. 327; Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 208. 133  Dzida, NZA 2017, 541 (543); Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1087. 134  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 58. 135  Dzida, NZA 2017, 541 (543). 136  Dzida, NZA 2017, 541 (543). 137  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 227. 131  Kasper, 132  Blum,

60

3. Kap.: Datenschutzrechtliche Konformität

Für den Arbeitgeber soll sprechen, dass Art. 6 Abs. 1 lit. f) DS-GVO auch die Einbeziehung berechtigter Interessen von Dritten ermögliche. Bewerber haben ein Interesse an einer benachteiligungsfreien Auswahlentscheidung. Sofern es durch Auswahlentscheidungen durch KI-Systeme im Vergleich zu menschlichen Auswahlentscheidungen letztlich zu einer relativen Reduzierung von Benachteiligungen komme, sei dies als Interesse des Bewerbers zugunsten des Arbeitgebers zu berücksichtigen.138 Diesem Aspekt ist aber nur geringe Bedeutung beizumessen, denn andernfalls würde Arbeitgebern ermöglicht, sich als selbsternannte Sachwalter von Allgemeininteressen aufzuspielen.139 Ferner kann im Vorhinein nicht abgeschätzt werden, ob das zu entwickelnde KI-System tatsächlich zu einer relativen Reduzierung von Benachteiligungen führt. Ein weiterer zu berücksichtigender Aspekt wäre die Absehbarkeit einer solchen Datenverarbeitung für den Bestandsmitarbeiter (hierzu sogleich).140 Darüber hinaus ist im Rahmen der Interessenabwägung zugunsten des Arbeit­ gebers und aus Gründen der Vorsicht zu berücksichtigen, dass die Bestandsmitarbeiter einer auf Art. 6 Abs. 1 lit. f) DS-GVO gestützten Datenverarbeitung widersprechen können.141 b) Zweckändernde Weiterverarbeitung Für die Entwicklung der hier in Rede stehenden KI-Systeme müssten die benötigten Trainingsdaten (insbesondere Daten zu Persönlichkeitsmerkmalen) ohnehin gesondert erhoben werden. Sofern allerdings in das Training des Entscheidungsmodells Daten einfließen, die ursprünglich zu anderen Zwecken als für die Entwicklung von KISystemen erhoben worden sind (etwa zu Ausbildung, Berufserfahrung, Sprachkenntnissen), wäre zusätzlich Art. 6 Abs. 4 DS-GVO zu beachten.142 Bei der Beurteilung der Vereinbarkeit des Zwecks der Weiterverarbeitung, hier Entwicklung eines KI-Systems, mit dem ursprünglichen Erhebungszweck sind die in Art. 6 Abs. 4 lit. a) – lit. e) DS-GVO genannten Kriterien zu berücksichtigen. So sind ausweislich Erwägungsgrund 50, S. 6 unter anderem die Beziehung der betroffenen Person zu dem Verantwortlichen, die vernünf-

Algorithmusbasierte Entscheidungsfindung, S. 235 ff. ZD 2018, 291 (292). 140  John, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 29.4, Rn. 15. 141  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 58. 142  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 55. 138  Wimmer,

139  Robrahn/Bremert,



B. Erlaubnistatbestand für die Datenverarbeitung61

tige Erwartungshaltung143 sowie die Absehbarkeit der Datenverarbeitung zu berücksichtigen. Gegen die Zulässigkeit einer zweckändernden Weiterverarbeitung spricht zunächst das bestehende Abhängigkeitsverhältnis.144 Darüber hinaus werden Bestandsmitarbeiter mit einer Weiterverarbeitung zur Entwicklung eines KI-Systems oft nicht rechnen.145 In Anbetracht der zunehmenden medialen Berichterstattung wird man aber immer öfter annehmen können, dass Bestandsmitarbeiter eine solche Verarbeitung ihrer Daten absehen können.146 Allerdings ist einem Bestandsmitarbeiter auch grundsätzlich bewusst, dass sein Arbeitgeber Daten über ihn verarbeitet. Ferner ist ihm bewusst, dass er durch den Arbeitgeber laufend beurteilt wird. Es ist für einen Bestandsmitarbeiter nachvollziehbar, dass der Arbeitgeber Erfahrungen in der täglichen Zusammenarbeit bei zukünftigen Einstellungen berücksichtigen wird. Die Erwartungshaltung wird auch davon abhängen, inwieweit der Mitarbeiter über die Zweckänderung informiert worden ist.147 Auch die Intensität der Einschränkung von Interessen, Grundrechten und Grundfreiheiten ist zu berücksichtigen.148 Dabei ist zu beachten, dass die Entwicklung eines KI-Systems, das zur Bewertung von Dritten eingesetzt wird, für die Bestandsmitarbeiter, jedenfalls kurzfristig, eher geringe Auswirkungen hat.149 c) Zwischenergebnis – Art. 6 Abs. 1 lit. f) DS-GVO Ob eine Datenverarbeitung zur Entwicklung von KI-Systemen auf Grundlage von Art. 6 Abs. 1 lit. f) DS-GVO infrage kommt, ist also eine Frage des Einzelfalls. Je sensibler aber die herangezogenen Daten sind und je unvorhersehbarer deren Verarbeitung zum Zwecke der Entwicklung arbeitgebereigener KI-Systeme ist, desto eher wird die Interessenabwägung zulasten des Arbeitgebers ausfallen und eine rechtmäßige Datenverarbeitung auf dieser Grundlage ausscheiden.

143  Ausweislich Erwägungsgrund 47, S. 3 ist dies auch im Rahmen der Interessenabwägung bei Art. 6 Abs. 1 lit. f) DS-GVO zu prüfen. 144  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 57. 145  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 57. 146  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 222. 147  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 57. 148  Albers/Veit, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 6 DS-GVO, Rn. 53. 149  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 57.

62

3. Kap.: Datenschutzrechtliche Konformität

3. Einwilligung – Risiko eines Widerrufs Schließlich wird die Einholung einer Einwilligung nach Art. 6 Abs. 1 lit. a) DS-GVO von den Bestandsmitarbeitern erwogen.150 Ungeachtet der im Bereich von Beschäftigungsverhältnissen oftmals kritischen Frage der Freiwilligkeit der Erteilung der Einwilligung151, die aber wohl gerade bei besonders erfolgreichen Bestandsmitarbeitern angenommen werden könnte, da diese eine vergleichsweise starke und freie Verhandlungsposition haben152, sowie der inhaltlichen Grenzen der Einwilligung, mittels derer die durch das Persönlichkeitsrecht des Beschäftigten gezogenen Grenzen nicht überschritten werden können153, auf die an späterer Stelle dieser Arbeit noch ausführlich eingegangen wird (siehe Seite 114 ff.), ist der Arbeitgeber mit dem Risiko eines Widerrufs der Einwilligung154 in die Datenverarbeitung nach Art. 7 Abs. 3 S. 1 DS-GVO konfrontiert.155 Mit dem Widerruf geht nach Art. 17 Abs. 1 lit. b) DS-GVO ein Löschungsanspruch einher. Die Daten können dann nicht mehr für die Entwicklung des betreffenden KISystems genutzt werden.156 Dadurch steht das Entwicklungsvorhaben auf einem fragilen Fundament.157 Besonders problematisch wäre es, wenn infolge des Widerrufs nach Art. 17 Abs. 1 lit. b) DS-GVO personenbezogene Daten auch aus dem bereits entwickelten KI-System gelöscht werden müssten, was oftmals technisch unmöglich ist158, und damit letztlich die Verwendung des KI-Systems verhindert 150  Dzida, NZA 2017, 541 (543); Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1088; Raif/Swidersky, GWR 2017, 351; Hamann, in: Arnold/ Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 60. 151  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 19, der darauf hinweist, dass eine Freiwilligkeit in diesem Zusammenhang eher vorliegen dürfte, da ein konkreter Bezug zum individuellen Beschäftigungsverhältnis fehlt. 152  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 224; a. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 209. 153  Däubler, Gläserne Belegschaften, Rn. 161; Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 136; Kort, NZA-Beilage 2016, 62 (67); Fuhlrott, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 463. 154  Assmus/Winzer, ZD 2018, 508 (513); Dzida/Grau, DB 2018, 189 (190) fordern in bestehenden Arbeitsverhältnissen die Angabe eines plausiblen und sachlichen Grundes für den Widerruf; a. A.: Franzen, EuZA 2017, 313 (323 f.); Tinnefeld/Conrad, ZD 2018, 391 (396 f.); Däubler, Gläserne Belegschaften, Rn. 171. 155  Dzida, NZA 2017, 541 (543); Raif/Swidersky, GWR 2017, 351; Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1088. 156  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 61. 157  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 232. 158  Valkanovoa, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kapitel 8.1., Rn. 5; Edwards/Veale, Duke Law & Technology Review 2017, 18 (70 f.); Herdes, DSRITB 2019, 77 (82).



B. Erlaubnistatbestand für die Datenverarbeitung63

würde. Allerdings wird ein Widerruf der Einwilligung nach abgeschlossener Entwicklung des KI-Systems die Verwendung des KI-Systems nicht hindern, da die in das KI-System implementierten Modelle keine personenbezogenen Daten enthalten.159 Erfolgt das Training mit anonymisierten oder synthetischen Trainingsdaten, ist ein Personenbezug kaum vorstellbar.160 Und auch ein Personenbezug der Trainingsdaten schlägt nicht unbedingt auf das Modell durch. Zwar lässt sich etwa mittels sog. Membership-Inference-Attacks ermitteln, ob personenbezogene Daten bestimmter Personen Teil der Trainingsdaten waren.161 Und mittels sog. Model-Inversion-Attacks lassen sich theoretisch sogar zusätzliche Daten zu diesen Personen aus den Modellen ableiten.162 So konnten hierdurch beispielsweise bei Modellen zur Gesichtserkennung die Gesichtsbilder rekonstruiert werden, mit denen das Modell trainiert worden war.163 Aber für eine Identifizierbarkeit und einen damit einhergehenden Personenbezug ist ausweislich Erwägungsgrund 26, S. 3–5 festzustellen, ob solche Attacken nach allgemeinem Ermessen wahrscheinlich zur Identifizierung genutzt werden. Diese Wahrscheinlichkeit ist aber gering und wird durch die zunehmende Nutzung technischer Verfahren zur Reduzierung der Identifizierungsmöglichkeiten im Trainingsprozess noch weiter sinken.164 Eine Verarbeitung von Bestandsmitarbeiterdaten zur Entwicklung eines arbeitgebereigenen KI-Systems auf der Grundlage einer Einwilligung ist also, die Freiwilligkeit der Erteilung der Einwilligung vorausgesetzt, möglich.165 Die Analyse bereits beschäftigter Mitarbeiter findet im Planungsstadium einer berufsbezogenen Eignungsbeurteilung statt und dient der Ermittlung der für die Leistungserbringung bedeutsamen (Persönlichkeits-)Merkmale 159  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 61; a. A. wohl Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 210. 160  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.9, Rn. 14. 161  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.9, Rn. 11. 162  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.9, Rn. 12. 163  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.9, Rn. 12. 164  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 8.9, Rn.  13 f. 165  Im Ergebnis auch Blum, People Analytics, S. 327.; a. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 210.

64

3. Kap.: Datenschutzrechtliche Konformität

und der Festlegung der Ausprägungsgrade. Es handelt sich letztlich um eine Anforderungsanalyse.166

II. Datenverarbeitung bei Bewerbern – Robot-Recruiting Nach Abschluss der Entwicklung der KI-Systeme werden diese genutzt, um Daten von Bewerbern zu verarbeiten und deren persönliche Merkmale zu analysieren. Die Analyse dieser Daten unterfällt dem Bereich der People Analytics.167 People Analytics bezeichnet die Analyse von Daten zur Entscheidungsfindung im Personalwesen.168 Die Analyse von Daten erfolgt bei People Analy­ tics zu ganz verschiedenen Zwecken; dazu gehört auch der Zweck der Personalbeschaffung. Robot-Recruiting ist letztlich eine Unterkategorie und bezeichnet den Einsatz von KI-Systemen zur Entscheidungsfindung im Bereich der Personalbeschaffung.169 Eine weitere Unterkategorie sind die hier zu besprechenden KI-Systeme zur Personalauswahl. Zulässig ist auch diese Datenverarbeitung durch den Arbeitgeber nur, wenn sie nach den datenschutzrechtlichen Vorschriften erlaubt ist.170 1. Datenverarbeitung auf der Grundlage von Tarifverträgen und Betriebsvereinbarungen Gemäß § 26 Abs. 4 S. 1 BDSG ist eine Verarbeitung personenbezogener Beschäftigtendaten (und damit gemäß § 26 Abs. 8 S. 2 BDSG an sich auch von Bewerberdaten) auf Grundlage von Kollektivvereinbarungen möglich. Vom Begriff der Kollektivvereinbarungen sind nach Art. 88 Abs. 1 DS-GVO i. V. m. Erwägungsgrund 155 Betriebsvereinbarungen und Tarifverträge umfasst.

166  DIN

33430:2016-07, S. 6 u. 10. in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1084; Dzida, NZA 2017, 541 (542); Holthausen, RdA 2021, 19 (21); Hamann/Haußmann, in: Arnold/Günther, Arbeitsrecht 4.0, 2. Aufl., § 6, Rn. 83 ff.; Wächter, in: Weth/Herberger/Wächter/Sorge, Daten- und Persönlichkeitsschutz im Arbeitsverhältnis, VII., Rn. 65. 168  Walter-Güpner, Essays der Wissenschaft XVI, 115. 169  Freyler, NZA 2020, 284 (285); Blum/Kainer, PERSONALquarterly 03/2019, 22. 170  Dzida/Groh, ArbRB 2018, 179 (180). 167  Geißler,



B. Erlaubnistatbestand für die Datenverarbeitung65

a) Betriebsvereinbarungen – Arbeitnehmerbegriff des BetrVG Für den Arbeitgeber würde eine Datenverarbeitung auf Grundlage einer Betriebsvereinbarung den Vorteil bieten, dass auf Besonderheiten der Branche und des Unternehmens Rücksicht genommen sowie auf technische Neuerungen zeitnah reagiert werden könnte.171 Der Begriff des Arbeitnehmers in § 5 Abs. 1 BetrVG und der des Beschäftigten in § 26 Abs. 8 BDSG stimmen nicht überein. Fraglich ist, ob eine Betriebsvereinbarung als Erlaubnistatbestand für eine Datenverarbeitung von Bewerberdaten infrage kommt. aa) Erste Auffassung – Regelungsmacht des Betriebsrats Nach einer Auffassung können Fragen des Bewerberdatenschutzes in einer Betriebsvereinbarung geregelt werden.172 Hierfür sprächen die §§ 92, 94, 95 und 99 BetrVG sowie die generelle Möglichkeit des Abschlusses freiwilliger Betriebsvereinbarungen.173 Daraus könne man schlussfolgern, dass der Bewerberdatenschutz generell zu den Regelungsaufgaben des Betriebsrats gehöre.174 Außerdem bestünden in der Praxis zahlreiche Betriebsvereinbarungen, die den Bewerberdatenschutz zum Gegenstand hätten.175 Verwiesen wird in diesem Zusammenhang auch auf § 87 Abs. 1 Nr. 6 BetrVG.176 bb) Zweite Auffassung – Keine Regelungsmacht des Betriebsrats Nach anderer Auffassung scheidet eine Betriebsvereinbarung als Erlaubnis­ tatbestand für die Datenverarbeitung im Bewerbungsprozess aus.177 Betriebsvereinbarungen würden gemäß §§ 77 Abs. 4, 5 Abs. 1 BetrVG unmittelbar und zwingend nur für Arbeitnehmer gelten, nicht für Bewerber.178 Die Be171  Für die Schweiz: Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 283. 172  Kort, NZA-Beilage 2016, 62 (65); Kort, ZD 2017, 3 (5); Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 173; wohl auch: Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 66. 173  Kort, NZA-Beilage 2016, 62 (65). 174  Kort, NZA-Beilage 2016, 62 (65). 175  Kort, NZA-Beilage 2016, 62 (65). 176  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 66. 177  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 109; Blum, People Analytics, S. 325; Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 40. 178  Werner, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 77 BetrVG, Rn. 31; Bausewein, ZD 2014, 443 (445); Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 109.

66

3. Kap.: Datenschutzrechtliche Konformität

werber gehörten dem Betrieb nicht an. Der Regelungsmacht der Betriebspartner seien Grenzen gesetzt.179 Die Wirkung einer Betriebsvereinbarung könne dementsprechend nicht auf sie erstreckt werden.180 Ferner würde es sich, sofern Betriebsrat und Arbeitgeber Regelungen träfen, die sich nachteilig auf Bewerber auswirken, um einen unzulässigen Vertrag zu Lasten Dritter handeln.181 cc) Streitentscheid – Keine Regelungsmacht Die zweitgenannte Auffassung ist überzeugend. Der Wortlaut des § 5 Abs. 1 BetrVG ist eindeutig. Im Übrigen wäre, selbst wenn man von einer entsprechenden Regelungsmacht ausgehen wollte, eine negative Abweichung vom Schutzniveau der DS-GVO durch eine Betriebsvereinbarung nicht möglich.182 Andernfalls wäre die Betriebsvereinbarung unwirksam.183 Schon vor Geltung der DS-GVO wurden nur marginale negative Abweichungen vom Schutzniveau des BDSG für zulässig erachtet. Das Bundes­ arbeitsgericht hat stets betont, dass durch die Betriebsparteien gemäß § 75 Abs. 2 BetrVG die Persönlichkeitsrechte zu wahren sind184 und die betriebsverfassungsrechtliche Regelung datenschutzrechtlicher Aspekte dem Verhältnismäßigkeitsgrundsatz entsprechen muss.185 Unter Geltung der DS-GVO hat sich dies noch verschärft.186 So sind gemäß § 26 Abs. 4 S. 2 BDSG die Vorgaben des Art. 88 Abs. 2 DS-GVO zu beachten, wonach geeignete und besondere Maßnahmen zur Wahrung der menschlichen Würde, der berechtigten Interessen und der Grundrechte der betroffenen Person vorgesehen werden müssen. Die sich aus Art. 88 Abs. 2 DS-GVO und § 75 Abs. 2 S. 1 BetrVG ergebenden Gebote sind mindestens deckungsgleich.187 Zum Teil ­ wird vertreten, die Anforderungen des Art. 88 Abs. 2 DS-GVO gingen sogar über § 75 Abs. 2 BetrVG hinaus.188 Art. 88 DS-GVO zielt darauf ab, eine NZA-Beilage 2016, 62 (65). in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 109. 181  Blum, People Analytics, S. 270. 182  Kort, NZA-Beilage 2016, 62 (66); Kuß, in: Chibanguza/Kuß/Steege, Künst­ liche Intelligenz, § 6, G, Rn. 39. 183  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 39. 184  BAG, Beschl. v. 27.05.1986 – 1 ABR 48/84, NZA 1986, 643. 185  BAG, Beschl. v. 09.07.2013 – 1 ABR 2/13, NZA 2013, 1433; BAG, Beschl. v. 29.06.2004 – 1 ABR 21/03, NZA 2004, 1278 (1280). 186  Wybitul, ZD 2016, 203 (207). 187  Maschmann, in: Kühling/Buchner, DS-GVO BDSG, Art. 88 DS-GVO, Rn. 84. 188  Wybitul, ZD 2016, 203 (207). 179  Kort,

180  Riesenhuber,



B. Erlaubnistatbestand für die Datenverarbeitung67

Absenkung des Datenschutzstandards der DS-GVO durch mitgliedstaatliche Regelungen oder Betriebsvereinbarungen zu verhindern.189 Es wäre also ohnehin lediglich eine Konkretisierung der Vorgaben der ­ S-GVO möglich (was vor dem Hintergrund der Unbestimmtheit der gesetzD lichen Vorgaben indes durchaus sinnvoll sein könnte).190 Eine Regelung von Fragen des Bewerberdatenschutzes beim Einsatz von KI-Systemen in einer Betriebsvereinbarung ist nicht oder jedenfalls nur in sehr begrenztem Umfang möglich. Für den Arbeitgeber bietet eine Betriebsvereinbarung daher mit Blick auf die Verarbeitung von Bewerberdaten keine nennenswerten Vorteile. b) Tarifverträge – Geringer Regelungsspielraum Das Tarifvertragsrecht hat mit Blick auf den Datenschutz dem Grunde nach durchaus Potenzial. Denn bei Tarifverträgen gilt für die Regelungsmacht der Tarifparteien etwas Anderes als bei Betriebsvereinbarungen. Hier können im normativen Tarifvertragsteil auch Regelungen für die Phase der Vertragsanbahnung getroffen werden.191 Regelungen können sich auf sämtliche Aspekte beziehen, die in einem unmittelbaren Zusammenhang mit der Begründung des Arbeitsverhältnisses stehen.192 So kann ein Tarifvertrag etwa auch Voraussetzungen für graphologische Gutachten sowie Persönlichkeitstests regeln.193 Aufgrund der Vergleichbarkeit dieser Instrumente mit KI-Systemen zur Sprach- und Videoanalyse könnten daher in einem Tarifvertrag auch Regelungen betreffend den Einsatz solcher Systeme getroffen werden. Trotzdem finden sich in Tarifverträgen (vor allem aus verhandlungstaktischen Gründen) eher selten datenschutzrechtliche Regelungen.194 Dies wird auch für die Zukunft prophezeit.195 Ferner wäre auch bei Tarifverträgen zu berücksichtigen, dass ein Unterschreiten des Schutzniveaus der DS-GVO

ZD 2016, 203 (207). in: Franzen/Gallner/Oetker, Kommentar zum europäischen Arbeitsrecht, Art. 88 DS-GVO, Rn. 8; Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 66. 191  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 110; Löwisch/Rieble, in: Löwisch/Rieble, Tarifvertragsgesetz, § 1 TVG, Rn. 166; Nebe, in: Däubler, Tarifvertragsgesetz, § 1 TVG, Rn. 312. 192  Nebe, in: Däubler, Tarifvertragsgesetz, § 1 TVG, Rn. 313. 193  Löwisch/Rieble, in: Löwisch/Rieble, Tarifvertragsgesetz, § 1 TVG, Rn. 170; Nebe, in: Däubler, Tarifvertragsgesetz, § 1 TVG, Rn. 313. 194  Klocke, ZTR 2018, 116 (116). 195  Körner, Wirksamer Beschäftigtendatenschutz, S. 86. 189  Wybitul,

190  Franzen,

68

3. Kap.: Datenschutzrechtliche Konformität

nicht in Betracht kommt.196 Auch die Tarifvertragsparteien sind an den Verhältnismäßigkeitsgrundsatz gebunden.197 Im Übrigen gelten die tarifvertrag­ lichen Regelungen gemäß § 3 Abs. 1 TVG lediglich bei einer doppelten Tarifbindung. Der Bewerber müsste also Mitglied der Gewerkschaft und der Arbeitgeber Mitglied des Arbeitgeberverbands sein.198 2. Erlaubnistatbestand des § 26 Abs. 1 BDSG – Erforderlichkeit des Einsatzes von KI-Systemen zur Sprachanalyse Auch im politischen Berlin hat man sich der Frage der Zulässigkeit des Einsatzes von KI-Systemen zur Bewertung von Bewerbern angenommen. Auf die eingangs erwähnte kleine Anfrage der Bundestagsfraktion der Partei Die Linke und weiterer Abgeordneter199 reagierte die Bundesregierung mit dem Hinweis, die Zulässigkeit derartiger KI-Systeme richte sich nach § 26 BDSG und nach den Vorschriften der DS-GVO.200 Tatsächlich kommt als Erlaubnistatbestand § 26 Abs. 1 BDSG in Betracht.201 Dabei schließt § 26 Abs. 1 S. 1 BDSG einen Rückgriff auf Art. 6 DS-GVO aus, soweit es um die Datenverarbeitung zum Zwecke der Begründung, Durchführung oder Beendigung eines Beschäftigungsverhältnisses geht.202 Sollte sich eine zulässige Datenverarbeitung nicht über § 26 Abs. 1 BDSG erreichen lassen, lässt sich die Datenverarbeitung aber womöglich noch über eine Einwilligung rechtfertigen. Gemäß § 26 Abs. 1 BDSG dürfen personenbezogene Daten von Beschäftigten nur für Zwecke des Beschäftigungsverhältnisses verarbeitet werden, wenn dies für die Entscheidung über die Begründung eines Beschäftigungsverhältnisses erforderlich ist. Bewerber gelten gemäß § 26 Abs. 8 S. 2 BDSG als Beschäftigte. Es ist zu klären, ob und inwieweit der Arbeitgeber die Persönlichkeit der Bewerber auf der Grundlage von § 26 Abs. 1 S. 1 BDSG analysieren darf.

196  Klocke,

S. 54.

ZTR 2018, 116 (5.1); Körner, Wirksamer Beschäftigtendatenschutz,

ZTR 2018, 116 (4.4.3). in: Däubler, Tarifvertragsgesetz, § 1 TVG, Rn. 321; Löwisch/Rieble, in: Löwisch/Rieble, Tarifvertragsgesetz, § 1 TVG, Rn. 168. 199  BT-Drs. 19/12439. 200  BT-Drs. 19/13210. 201  Dzida/Groh, ArbRB 2018, 179 (180); Herdes, CB 2020, 95 (96); Diercks, ZdiW 2021, 65 (66). 202  Benkert, NJW-Spezial 2018, 562 (563). 197  Klocke, 198  Nebe,



B. Erlaubnistatbestand für die Datenverarbeitung69

a) (Legitime) Zwecke des Beschäftigungsverhältnisses Die Datenverarbeitung erfolgt „für Zwecke des Beschäftigungsverhältnisses“. Der Zweck der Maßnahme betrifft die Entscheidung über die Begründung des Beschäftigungsverhältnisses.203 Der Einsatz der KI-Systeme dient in einem ersten Schritt der Ermittlung von Persönlichkeitsmerkmalen des Bewerbers. Die „aufgedeckten“ Merkmale sollen der Identifizierung des am besten geeigneten Bewerbers dienen und der Entscheidung über die Begründung des Beschäftigungsverhältnisses zugrunde gelegt werden. Hierbei handelt es sich um einen legitimen Zweck.204 Etwas anderes soll gelten, wenn das KI-System nicht zum Zwecke der Begründung des konkreten Beschäftigungsverhältnisses, sondern zur generellen Optimierung von Bewerbungsprozessen eingesetzt wird.205 Wenn aber der Einsatz zur Bewertung von Bewerbern mit einer Optimierung des Bewerbungsprozesses einhergeht, ist dies unschädlich. b) Erforderlichkeit der Datenverarbeitung Fraglich ist, ob die Durchführung der Sprachanalyse für die Entscheidung über die Begründung des Beschäftigungsverhältnisses erforderlich ist. Zunächst ist zu klären, was unter Erforderlichkeit zu verstehen ist. Bei der Vorgängervorschrift des § 26 Abs. 1 BDSG, dem § 32 BDSG a. F., hat das Bundesarbeitsgericht Erforderlichkeit nicht im Sinne einer zwingenden Notwendigkeit206 verstanden, sondern insoweit auf den Verhältnismäßigkeitsgrundsatz abgestellt. Die arbeitgeberseitige Maßnahme musste zur Erreichung des angestrebten Ziels geeignet, erforderlich und angemessen sein.207 Durch die Neuregelung in § 26 BDSG soll insoweit keine Änderung vorgenommen werden.208 Die Datenverarbeitung ist erforderlich bzw. verhältnismäßig, wenn sie zur Realisierung eines legitimen Verarbeitungszwecks, hier zur Er-

203  Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 10. 204  Diercks, ZdiW 2021, 65 (66). 205  Blum, People Analytics, S. 224. 206  Eine zwingende Notwendigkeit würde freilich nicht vorliegen. Schließlich werden bis heute die meisten Beschäftigungsverhältnisse ohne Zuhilfenahme solcher Systeme begründet. 207  BAG, Urt. v. 20.06.2013 – 2 AZR 546/12, NZA 2014, 143 (146) zur Vorgängervorschrift des § 32 BDSG a. F.; Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 10; Diercks, ZdiW 2021, 65 (66). 208  BT-Drs. 18/11325, S. 96 f.; Diercks, ZdiW 2021, 65 (66).

70

3. Kap.: Datenschutzrechtliche Konformität

mittlung von Eigenschaften des Bewerbers, geeignet, erforderlich und angemessen ist. aa) Geeignetheit – Erwägungsgrund 71, S. 6 und Anforderungen an valide Eignungsdiagnostik Zunächst ist zu prüfen, ob die arbeitgeberseitige Maßnahme, also der Einsatz der KI-Systeme zur Bewertung von Bewerbern, zur Zweckerreichung überhaupt geeignet ist. In der bislang ergangenen Rechtsprechung sind keine allzu hohen Anforderungen an das Vorliegen der Geeignetheit gestellt worden.209 Eine vollständige Zweckerreichung ist danach nicht erforderlich. Vielmehr sei es ausreichend, wenn die Datenverarbeitung für den erstrebten Zweck förderlich ist.210 Dies ist nur der Fall, wenn durch das KI-System die Hauptmerkmale korrekt ermittelt werden. Es ist also der Grundsatz der Datenrichtigkeit nach Art. 5 Abs. 1 lit. d) DS-GVO zu nennen. Gerade im Bereich des Personal­ managements ist die Datenrichtigkeit elementar.211 Dabei ist eine nachweisliche und vollständige Richtigkeit der Ausgabedaten nicht erforderlich. Andernfalls würde jede Unsicherheit über den Wahrheitsgehalt zur Unrichtigkeit der Ausgabedaten führen.212 Stattdessen soll bereits eine überwiegende Wahrscheinlichkeit der Richtigkeit des durch das KI-System ermittelten Ergebnisses ausreichend sein.213 Es könne etwa auch dann von einer Geeignetheit ausgegangen werden, wenn das Resultat der Sprachanalyse sei, dass der Bewerber teamfähig ist und dies nur zu 75 % zutreffe.214 Die bestehende Restunsicherheit sei nicht hinderlich. Dafür spreche auch der Wortlaut des Art. 4 Nr. 4 DS-GVO. Der Zweck von Profiling könne auch darin bestehen, persönliche Aspekte „vorherzusagen“. Profiling enthalte damit auch prognostische Elemente. Einer Vorhersage ist eine gewisse Unsicherheit immanent. Unsicherheit könne der Annahme der Geeignetheit also nicht im Wege stehen.

ZD 2019, 148 (149). Beschl. v. 26.08.2008 – 1 ABR 16/07, NZA 2008, 1187 (1190). 211  Blum, People Analytics, S. 66 f. 212  Betz, ZD 2019, 148 (149); Jares/Vogt, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (77). 213  Betz, ZD 2019, 148 (149). 214  Betz, ZD 2019, 148 (149). 209  Betz,

210  BAG,



B. Erlaubnistatbestand für die Datenverarbeitung71

(1) Mathematisch-statistische Komponente Zur Sicherstellung der Richtigkeit der Ausgabedaten215 sollte der Verantwortliche nach Erwägungsgrund 71, S. 6 aber unter anderem „geeignete mathematische oder statistische Verfahren“ für das Profiling verwenden. Zum Teil wird von einer Verpflichtung zur Einhaltung der Anforderungen aus Erwägungsgrund 71, S. 6 ausgegangen.216 Die Tatsache, dass sich diese Vorgabe nicht im verfügenden Teil der Verordnung, sondern in einem Erwägungsgrund wiederfindet, deutet zwar darauf hin, dass keine Verpflichtung des Verantwortlichen zur Verwendung derartiger Verfahren besteht.217 Der Wortlaut des Erwägungsgrundes weist keine maximale, aber doch eine hohe Verbindlichkeit auf („sollte“). Es erscheint praktikabel, diese Wertung, die sich auch in § 28b BDSG a. F. bzw. § 31 Abs. 1 BDSG widerspiegelt218, zu übernehmen und die Zulässigkeit des Profiling von der Verwendung eines geeigneten bzw. wissenschaftlich anerkannten mathematisch-statistischen Verfahrens abhängig zu machen oder dies jedenfalls im Rahmen der Interessenabwägung stark zulasten des Verantwortlichen zu berücksichtigen.219 Dies gilt umso mehr, als die Auswirkungen einer auf unrichtige Ausgabedaten gestützten Entscheidung gerade im hiesigen Kontext, etwa durch eine darauf aufbauende, unrechtmäßige Ablehnung der Einstellung, erhebliche negative Auswirkungen auf die betroffene Person haben können. Die Nichtverwendung geeigneter mathematisch-statistischer Verfahren wird daher eine zulässige Datenverarbeitung verhindern. Es ist den Verantwortlichen auch schon aus Gründen des Selbstschutzes zu empfehlen, die Anforderungen des Erwägungsgrundes 71, S. 6 einzuhalten, wobei davon auszugehen ist, dass Arbeitgeber ohnehin ein Eigeninteresse an möglichst genauen Ergebnissen haben. Fraglich ist, welche Anforderungen Erwägungsgrund 71, S. 6 konkret stellt; Erwägungsgrund 71, S. 6 stellt jedenfalls Anforderungen an die Wissenschaftlichkeit des statistisch-mathematischen Verfahrens.220 Mit Blick auf die ähnliche Regelung in § 31 Abs. 1 Nr. 2 BDSG, die die Verwendung eines wissenschaftlich anerkannten mathematisch-statistischen in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 5 DS-GVO, Rn. 27. ITRB 2016, 209 (210). 217  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 22; Kamlah, in: Plath, DSGVO/BDSG, Art. 22 DSGVO, Rn. 16. 218  In dieser Arbeit wird davon ausgegangen, dass § 31 BDSG im Beschäftigungskontext keine Anwendung findet. § 31 BDSG konstituiert aber im Hinblick auf die verwendeten statistisch-mathematischen Verfahren auch keine höheren Anforderungen als die DS-GVO. 219  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 4 Nr. 4 DS-GVO, Rn. 8. 220  Kamlah, in: Plath, DSGVO/BDSG, § 31 BDSG, Rn. 3. 215  Schantz,

216  Härting,

72

3. Kap.: Datenschutzrechtliche Konformität

Verfahrens voraussetzt, wird vertreten, dass hierdurch faktisch keine hohen Anforderungen gestellt würden.221 Es handele sich nicht um eine Stand-derTechnik-Klausel, sondern es würden lediglich Verfahren ausgeschlossen, die auf reinem Zufall, irrationalen Erwägungen des Modellerstellers oder fehlerhaften statistischen Verfahren beruhen, also solche, die grundlegenden Qualitätsanforderungen nicht genügen.222 Bereits ein Verfahren, das eine bessere Prognoseleistung erbringe als ein Münzwurf, könne das Ergebnis der fachgerechten Anwendung statistischer Methoden und damit eine wissenschaftliche Leistung sein.223 Das Erfordernis der Erfüllung bestimmter Qualitätskriterien sei damit nicht verbunden.224 Auf der anderen Seite wird aus Art. 5 Abs. 1 lit. d) und Erwägungsgrund 71, S. 6 die Notwendigkeit abgeleitet, Systeme zu verwenden, die dem neuesten Stand der Technik entsprechen.225 Auch wird generell vertreten, dass die wissenschaftliche Anerkennung von der Erfüllung von Qualitätskriterien abhänge.226 Zum einen sind aber die von den Systemanbietern angewandten Qualitätsmaße oft nach außen nicht zu erkennen, was eine Beurteilung verhindert.227 Zum anderen fehlt es an einheitlichen Standards, vor allem Qualitätskriterien bzw. Qualitätsmaßen, für die Zuverlässigkeitsprüfung prognostischer Verfahren.228 Es gibt eine Vielzahl von Qualitätsmaßen.229 Die meisten Qualitätsmaße basieren auf der sog. Konfusionsmatrix, in der die Anzahl der richtig-positiven, richtig-negativen, falsch-positiven und falschnegativen Vorhersagen eingetragen werden.230 Als Qualitätskriterien bzw. Qualitätsmaße sind beispielsweise die Falsch-Positiv- bzw. Falsch-NegativRate, die Hit-Rate und der Gini-Koeffizient vorgebracht worden.231 Denkbar und wünschenswert wäre hier eine anwendungsbereichsbezogene (gesetzliche) Festlegung der Qualitätskriterien (z. B. der akzeptablen Fehlerraten).232

ZRP 2019, 116 (118); Peters, Robo-Recruiting, S. 7. ZRP 2019, 116 (118); Peters, Robo-Recruiting, S. 7. 223  Sachverständigenrat für Verbraucherfragen, Verbrauchergerechtes Scoring, S. 131. 224  Sachverständigenrat für Verbraucherfragen, Verbrauchergerechtes Scoring, S. 131. 225  Jares/Vogt, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (77). 226  Bausewein, ZD 2014, 443 (444). 227  Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 21. 228  Gerberding/Wagner, ZRP 2019, 116 (118); Hänold/Schlee/Antweiler/Beckh, MedR 2021, 516 (520); Wenzelburger, Qualitätsmaße für ADM Systeme. 229  Wenzelburger, Qualitätsmaße für ADM Systeme. 230  Wenzelburger, Qualitätsmaße für ADM Systeme. 231  Sachverständigenrat für Verbraucherfragen, Verbrauchergerechtes Scoring, S. 6; Gerberding/Wagner, ZRP 2019, 116 (118). 232  Gerberding/Wagner, ZRP 2019, 116 (118). 221  Gerberding/Wagner,

222  Gerberding/Wagner,



B. Erlaubnistatbestand für die Datenverarbeitung73

(2) Eignungsdiagnostische Komponente Es sind ferner die zu dem konkreten Datenverarbeitungsvorgang vorhandenen wissenschaftlichen Erkenntnisse heranzuziehen.233 Die in Rede stehenden KI-Systeme sollen der Feststellung der Eignungsmerkmale von Bewerbern dienen. Es handelt sich also um (in Softwaresysteme implementierte234) eignungsdiagnostische bzw. personalpsychologische Verfahren.235 Entscheidend ist daher die Frage, ob das Verfahren die Anforderungen an valide Eignungsdiagnostik erfüllt und die Merkmale zuverlässig ermittelt. Richtigerweise wird man vorliegend verlangen können, dass die Verfahren die grundlegenden Standards der Eignungsdiagnostik erfüllen.236 Insoweit kann man auf die allgemein anerkannten Regeln der Technik abstellen; diese erfahren allgemeine wissenschaftliche Anerkennung und sind in der Praxis erprobt und bewährt.237 Die DIN 33430238, bezüglich derer als technische Norm die Vermutung besteht, dass sie die allgemein anerkannten Regeln der Technik wiedergibt239, legt Anforderungen an berufsbezogene Eignungsdiagnostik fest und beschreibt dabei insbesondere Qualitätskriterien und -standards für die berufsbezogene Eignungsdiagnostik. Die enthaltenen Vorgaben können der Konkretisierung der Anforderungen dienen. Danach muss vor allem darauf geachtet werden, dass die „gewählte Methode zur Erfassung des in Frage stehenden Eignungsmerkmals geeignet ist“.240 Qualitätskriterien sind insbesondere die theoretische Fundierung des Verfahrens sowie die Testgütekriterien (Objektivität, Reliabilität241, Validität242).243 Die Erfüllung dieser Testgütekriterien stellt eine hohe prognostische Sicherheit der Testverfahren sicher.244 Wichtig ist überdies die Darreichung verständlicher Informationen über Verfahren, diagnostische Zielsetzung und theoretische Grundlagen in Form sog. Verfahrenshinweise.245 Es spielt im Hinblick auf die Geeignetheit keine Rolle, ob die eignungsdiagnostischen Verfahren unter Zuhilfe-

233  Diercks,

ZdiW 2021, 65 (66).

AI Powered Recruiting?, S. 42. ZdiW 2021, 65 (66 f.). 236  Diercks, ZdiW 2021, 65 (69). 237  Seibel, NJW 2013, 3000 (3001). 238  DIN 33430:2016-07 – Anforderungen an berufsbezogene Eignungsdiagnostik. 239  Seibel, NJW 2013, 3000 (3001). 240  DIN 33430:2016-07, S. 5 u. 12. 241  Dt. Zuverlässigkeit. 242  Dt. Gültigkeit. 243  DIN 33430:2016-07, S. 16. 244  Diercks, ZdiW 2021, 65 (66 f.). 245  DIN 33430:2016-07, S. 16. 234  Jaume-Palasi/Lindinger/Kloiber, 235  Diercks,

74

3. Kap.: Datenschutzrechtliche Konformität

nahme von Algorithmen durchgeführt werden.246 So fordert die Richtlinie 2 des Ethikbeirats HR-Tech auch für KI-Lösungen, dass eine wissenschaftliche Evaluation von Angemessenheit und Güte der jeweiligen KI-Lösung erfolgt ist.247 Hinsichtlich Persönlichkeitstests besteht unter Wirtschaftspsychologen generell große Skepsis. Weniger als 10 % der angebotenen Persönlichkeitstests seien seriös und valide.248 Auch mit Blick auf die automatisierte Sprachanalyse besteht aus wirtschaftspsychologischer Sicht keine Einigkeit dahingehend, ob diese etwaige Persönlichkeitsmerkmale valide erkennen kann.249 So wird teilweise darauf hingewiesen, dass KI-Systeme zur Sprachanalyse für die Messung psychologischer Parameter geeignet seien. Die Ergebnisse in Bezug auf Reliabilität und Validität seien sogar vielversprechend.250 Auf der anderen Seite erhielt ein Anbieter von automatisierter Sprachanalyse im Jahr 2019 für die „wissenschaftlich zweifelhafte, wahrscheinlich rechtswidrige und gefährliche Sprachanalyse“ den Negativpreis „Big-Brother-Award“ in der Kategorie Kommunikation.251 Auch das Dia­ gnostik- und Testkuratorium der Föderation Deutscher Psychologenvereinigungen übte im Rahmen einer Testrezension zu einem der Systeme252 deut­ liche Kritik. An dieser Stelle soll exemplarisch auf die darin geäußerten Kritikpunkte eingegangen werden: (a) Theoretische Fundierung Die theoretische Fundierung ist Ausgangspunkt der Testkonstruktion und Grundvoraussetzung einer zuverlässigen Ermittlung der Eigenschaften.253 Schon die Dokumentation der zugrundeliegenden, empirischen Studien weise große Lücken auf. Das führe von vornherein zu einem geringen Vertrauen in die Ergebnisse dieser Studien.254

ZdiW 2021, 65 (67). HR-Tech, Richtlinien für den verantwortungsvollen Einsatz von Künstlicher Intelligenz und weiteren digitalen Technologien in der Personalarbeit, S. 2; vgl. auch DIN 33430: 2016-07, S. 20. 248  Bausewein, ZD 2014, 443 (444); Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 20. 249  Stulle, Psychologische Diagnostik durch Sprachanalyse, Ziffer 1.5.1.4. 250  Havliková, DSRITB 2020, 141 (146); Stulle, Psychologische Diagnostik durch Sprachanalyse, Ziffer 2.3.5. 251  Tangens, Laudatio auf die Precire Technologies GmbH. 252  Der Name der rezensierten Software ist Precire JobFit. 253  DIN 33430:2016-07, S. 16. 254  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 246  Diercks,

247  Ethikbeirat



B. Erlaubnistatbestand für die Datenverarbeitung75

(b) Objektivität Im Rahmen der Evaluierung auf Grundlage der Testgütekriterien wurde zunächst die Objektivität bewertet. Im Rahmen der Objektivität wird beurteilt, inwieweit die mit einem Verfahren erzielten Ergebnisse frei von bestimmten Einflüssen sind.255 Die Sprachaufnahme bei dem bewerteten System erfolgte in einem automatischen Telefoninterview. Die Durchführungsobjektivität sei dadurch eingeschränkt, dass einzelne Fragen ausgelassen werden könnten.256 Zudem könne die Durchführungsobjektivität auch dadurch eingeschränkt sein, dass Durchführungsmodi gewählt werden (z. B. über das Internet), bei denen die Personenidentität nicht sichergestellt sei oder die Nutzung unzulässiger Hilfsmittel in Frage komme.257 Die Sprachaufnahme werde aber teilautomatisiert transkribiert und maschinell analysiert, sodass die Auswertungsobjektivität uneingeschränkt bestehe.258 Allerdings sei die Interpretationsobjektivität wieder eingeschränkt, weil beispielsweise unklar sei, ab welchen Werten von einer durchschnittlichen Ausprägung sprachlicher Besonderheiten aus­ zugehen sei.259 Während die Anforderungen an die Objektivität dennoch als insgesamt weitgehend erfüllt angesehen werden, bestehen hinsichtlich der Reliabilität sowie der Validität größere Bedenken.260 (c) Reliabilität Im Rahmen der Reliabilität wird festgestellt, mit welchem Genauigkeitsgrad das Verfahren ein Merkmal misst.261 In der Testrezension wird auf verschiedene Methoden zur Bestimmung der Reliabilität, also der Zuverlässigkeit psychologischer Tests, eingegangen. So werde bei dem getesteten System die Reliabilität mittels einer internen Reliabilitätsmessung (sog. interne Konsistenz) geschätzt. Dies geschehe anhand der Daten aus der Stichprobe zur Testkonstruktion. Aus diesem Grund werde die Reliabilität vermutlich überschätzt.262 Nach der DIN 33430 sollte, sofern mit dem eingesetzten Verfahren, wie hier, Eignungsmerkmale mit einer rela255  DIN

33430:2016-07, S. 8.

Report Psychologie 2019, 19. 33430:2016-07, S. 19; vgl. zum Ablauf der Sprachanalyse Rudzio, Wenn der Roboter die Fragen stellt, in: Die Zeit, 24. August 2018. 258  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 259  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 260  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (19 f.). 261  DIN 33430:2016-07, S. 9. 262  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 256  Schmidt-Atzert/Künecke/Zimmermann,

257  DIN

76

3. Kap.: Datenschutzrechtliche Konformität

tiven Zeit- und Situationsstabilität263 erfasst werden, eine Bestimmung der Reliabilität anhand der Retest-Methode erfolgen.264 Eine hohe Reliabilität besteht danach, soweit die Messergebnisse replizierbar sind (sofern es sich, wie hier, um gleichbleibende Merkmalsausprägungen handelt).265 Mit Blick auf den Übereinstimmungsgrad zwischen den Werten zweier Messzeitpunkte fehlten aber bei dem begutachteten System detaillierte Angaben zu den durchgeführten Stichproben.266 (d) Validität Das Testgütekriterium der Validität beschreibt, wie genau tatsächliche Werte der realen Welt auf der Datenebene widergespiegelt werden und kann auch als Faktor zur Herstellung von Datenrichtigkeit bezeichnet werden.267 Hinsichtlich der Validität, also der Frage, ob der Test überhaupt zutreffend misst, was er messen soll bzw. zu messen vorgibt268, seien die Anforderungen ebenfalls nur teilweise erfüllt. Wie bei der Messung der Reliabilität würde auch die Konstruktvalidität anhand der Daten aus der Stichprobe zur Testkonstruktion bestimmt und daher wohl überschätzt.269 Die Überprüfung der Konstruktvalidität an einer neuen Stichprobe sei wiederum schlecht dokumentiert. (e) Ergebnis & Konsequenzen Das Diagnostik- und Testkuratorium der Föderation Deutscher Psychologenvereinigungen nennt einige Kritikpunkte und gelangt zu dem Ergebnis, dass die psychometrische Qualität des Verfahrens jedenfalls nicht hinreichend belegt sei.270 Daran wird deutlich, dass bei dem Einsatz derartiger KI-Systeme Vorsicht geboten ist. Die Leistungsfähigkeit zumindest einiger dieser KI-Systeme ist jedenfalls unsicher. Neben der rechtlichen Frage der Geeignetheit sind Zweifel berechtigt, ob der Einsatz dieser Systeme überhaupt wirtschaftlich sinnvoll ist.271 Beliebige oder fehlerhafte Resultate der Analyse 263  Schwenkmezger, in: Tewes/Wildgrube, Psychologie-Lexikon, S. 85: Dies ist bei Persönlichkeitsmerkmalen der Fall. 264  DIN 33430:2016-07, S. 29. 265  DIN 33430:2016-07, S. 9. 266  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (20). 267  v. Lewinski/Hähnle, DuD 2021, 686 (687). 268  Satow, in: Laske/Othey/Schmid, PersonalEntwickeln, 8.114, S. 1 (10). 269  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (20). 270  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (20). 271  Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1082.



B. Erlaubnistatbestand für die Datenverarbeitung77

können sowohl Bewerber als auch den potenziellen Arbeitgeber benachteiligen, da Fehlbesetzungen sehr kostenintensiv sind.272 Der Einsatz bestimmter KI-Systeme kann also einen unvorhergesehenen und unerwünschten Effekt haben. Diese Frage muss ein Arbeitgeber nach eigenem Ermessen beantworten. In einer Studie erwarteten 64 % der befragten Unternehmen die Validität digitaler Lösungen.273 Einige KI-Systeme würden diese Erwartung nach dem Vorgenannten enttäuschen. (3) Zwischenergebnis – Geeignetheit der Datenverarbeitung Der Arbeitgeber sollte geeignete Verfahren verwenden. Diese Vorgabe ist verbunden mit der Erfüllung von Qualitätskriterien. In mathematisch-statistischer Hinsicht bedarf es zunächst einer anwendungsbereichsbezogenen Festlegung der zu erfüllenden Qualitätskriterien. In eignungsdiagnostischer Hinsicht ist auf die Erfüllung der vorgenannten eignungsdiagnostischen Qualitätskriterien zu achten. Werden diese Qualitätskriterien nicht erfüllt, wird das Testverfahren keine ausreichende, jedenfalls keine hohe prognostische Sicherheit aufweisen. Eine vollständige Richtigkeit der Ausgabedaten ist zwar nicht erforderlich. Allerdings ist der Einsatz eines solchen Verfahrens ab einem bestimmten Punkt wirtschaftlich nicht mehr sinnvoll. Ist der Einsatz des KI-Systems mangels Erfüllung der Qualitätskriterien nicht einmal mehr zweckförderlich, liegt keine Geeignetheit vor und ein Einsatz auf Grundlage von § 26 Abs. 1 BDSG scheidet aus. bb) Erforderlichkeit – Effektivere Alternativen Die Definition des Begriffs „Erforderlichkeit“ auf der zweiten Stufe der Überprüfung unterscheidet sich vom Begriff der „Erforderlichkeit“ in § 26 Abs. 1 BDSG.274 Im ersten Fall bedeutet „Erforderlichkeit“, dass kein gleich geeignetes Mittel zur Verfügung steht, das das Persönlichkeitsrecht der Bewerber weniger einschränkt.275 Im Urteil zum Tarifeinheitsgesetz hat das BVerfG festgehalten, dass alternative Methoden „zweifelsfrei“ gleich wirksam und weniger beeinträchtigend sein müssen.276 In Bezug auf Einstel272  Bausewein,

ZD 2014, 443 (444).

AI Powered Recruiting?, S. 37. BB 2010, 1085 (1086). 275  Wybitul, BB 2010, 1085 (1086); Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 31; Maschmann, in: Kühling/Buchner, DS-GVO BDSG, § 26, Rn. 19; Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 10. 276  BVerfG, Urt. v. 11.07.2017 – 1 BvR 1571/15, 1 BvR 1588/15, 1 BvR 2883/15, 1 BvR 1043/16 1 BvR 1477/16, NZA 2017, 915, 920. 273  Jaume-Palasi/Lindinger/Kloiber, 274  Wybitul,

78

3. Kap.: Datenschutzrechtliche Konformität

lungsverfahren stellt sich die Frage, ob alternative Methoden wie Vorstellungsgespräche/verhaltensbasierte Interviews, Assessment-Center, analoge psychologische Tests sowie Gespräche mit geschultem Personal (etwa Wirtschaftspsychologen) zweifelsfrei gleichermaßen geeignet sind, um die Haupt­ merkmale zu ermitteln und gleichzeitig das Persönlichkeitsrecht der Be­ werber weniger einschränken.277 Bei der Betrachtung der gleichen Geeignetheit ist zum einen der multimodale Ansatz der Eignungsdiagnostik und die divergierende Zielrichtung der verschiedenen Verfahren zu berücksichtigen, die unterschiedliche Aspekte der Eignung von Bewerbern ermitteln.278 Unter der Annahme einer hohen Prognosegenauigkeit liefern KI-Systeme, sofern dieselbe Zielrichtung besteht, präzisere Ergebnisse als menschliche Experten und führen mittelfristig zu einer konsistenteren Personalpolitik.279 Es ist jedoch Vorsicht geboten, wenn KI-Systeme, etwa aufgrund verzerrter Trainingsdaten, eine schlechte Prognosegenauigkeit aufweisen. Fraglich ist darüber hinaus, ob die genannten Alternativen, sofern man trotz der obigen Ausführungen von ihrer gleichen Geeignetheit ausgeht, weniger beeinträchtigend sind. Bei den alternativen Methoden wird ebenfalls die Persönlichkeit der Bewerber analysiert.280 Es besteht also im Ausgangspunkt eine ähnliche Eingriffstiefe.281 Dabei sind KI-Systeme objektiver als Menschen, da sie aufgrund ihrer rein datenbasierten Beurteilung nicht von Stimmungen beeinflusst werden. Die Beurteilung kann anders ausfallen, wenn KI-Systeme verzerrte Schlussfolgerungen ziehen und sich benachteiligend auswirken. Es ist indes zu beachten, dass auch menschliche Entscheidungen kognitiven Verzerrungen unterliegen. Im Vergleich zu den anderen Methoden muss der Bewerber bei dem Einsatz von KI-Systemen zur Sprachanalyse außerdem deutlich weniger Zeit investieren. Assessment-Center können mehrere Tage dauern und für wirtschaftspsychologische Untersuchungen müssen in der Regel mehrere Stunden eingeplant werden.282 Im Gegensatz dazu ist für die Sprachanalyse ledigin: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 31. ZdiW 2021, 65 (68). 279  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 32; Kasper, People Analytics in privatrechtlichen, S. 2 f.; vgl. zu Bedenken hinsichtlich einer absoluten Arbeitsmarktexklusion bestimmter Typen von Menschen in mono- bzw. oligopolistischen Anbietermärkten und damit einhergehenden Fragen in Bezug auf das Untermaßverbot sowie das Kartell- und Wettbewerbsrecht Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 263 ff. 280  Joos, NZA 2020, 1216 (1220). 281  John, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 29.4, Rn. 28. 282  Betz, ZD 2019, 148 (149). 277  Kuß,

278  Diercks,



B. Erlaubnistatbestand für die Datenverarbeitung79

lich eine kurze Sprachprobe erforderlich, die in der Regel in einem automatischen Telefoninterview aufgenommen wird.283 Die Analyse mittels KISystemen ist mit geringerem Zeitaufwand von zuhause aus möglich und in dieser Hinsicht weniger beeinträchtigend. Viele jüngere Bewerber könnten es auch als angenehmer empfinden, auf der Grundlage eines kurzen Telefonats automatisiert analysiert zu werden, anstatt von einem fremden Menschen im Rahmen einer mehrstündigen Befragung beurteilt zu werden.284 Dies gilt umso mehr, als die Fragen menschlicher Experten mitunter sehr invasiv sein können. Auf der anderen Seite sollte berücksichtigt werden, dass Bewerber bei Assessment-Centern, Vorstellungsgesprächen/verhaltensbasierten Interviews und in sonstigen Gesprächssituationen unmittelbar im Hinblick auf ihr Verhalten und ihre Fähigkeiten im Rahmen von Test-/Gesprächssituationen, zum Teil mit Bezug zu den künftigen, berufstypischen Aufgaben, beurteilt werden, während KI-Systeme mittelbar eine allgemeine Beurteilung der Persönlichkeit vornehmen.285 Dies kann aufgrund der geringeren Einflussmöglichkeiten als stärkerer Eingriff in das Persönlichkeitsrecht von Bewerbern angesehen werden, insbesondere im Vergleich zu Rollenspielen im Rahmen von Assessment-Centern. Allerdings werden auch im Rahmen von AssessmentCentern Persönlichkeitstests durchgeführt, die allgemeine Rückschlüsse auf die Persönlichkeit zulassen. Derzeit haben Bewerber möglicherweise tatsächlich noch einen größeren Einfluss auf das Ergebnis der Untersuchung im Rahmen von Test-/Gesprächssituationen. Sofern sich jedoch die entsprechenden KI-Systeme auf dem Markt durchsetzen, dürften auch Vorbereitungskurse etabliert werden, um Bewerbern Möglichkeiten an die Hand zu geben, auch das Ergebnis der Analyse durch ein KI-System zu ihren Gunsten zu beeinflussen. Es wird zuweilen darauf hingewiesen, dass es beim Einsatz automatisierter Analyseverfahren einfacher sei, die Analyse auf die relevanten Persönlichkeitsmerkmale für die jeweilige Stelle zu beschränken. Bei analogen Untersuchungen bestehe hingegen das Risiko, dass für die Stelle unerhebliche Persönlichkeitsmerkmale als Nebenprodukte erfasst werden, was eine stärkere Einschränkung des Persönlichkeitsrecht darstellt.286 Im Ergebnis sind die alternativen Methoden bereits keine gleich geeigneten Mittel, da es ihnen, sofern dieselbe Zielrichtung besteht, an vergleichba283  Vgl. https://precire.com/blog/2019/10/22/sprachanalyse-mit-precire/; SchmidtAtzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 284  Betz, ZD 2019, 148 (149). 285  Joos, NZA 2020, 1216 (1220). 286  Betz, ZD 2019, 148 (149).

80

3. Kap.: Datenschutzrechtliche Konformität

rer Genauigkeit fehlt. Zudem schränken die alternativen Methoden das Persönlichkeitsrecht der Bewerber unter anderen Gesichtspunkten sogar stärker ein als der Einsatz von KI-Systemen. Es kommt aber auf das jeweilige KISystem an. cc) Verhältnismäßigkeit im engeren Sinne/Angemessenheit Auf der dritten Ebene der Prüfung der Erforderlichkeit im Sinne des § 26 Abs. 1 BDSG muss eine am Verhältnismäßigkeitsgrundsatz orientierte Inte­ ressenabwägung im Einzelfall erfolgen.287 Eine Unangemessenheit liegt vor, wenn die schutzwürdigen Interessen des Arbeitnehmers diejenigen des Arbeitgebers überwiegen.288 Die widerstreitenden Grundrechtspositionen sind zur Herstellung praktischer Konkordanz abzuwägen. Insbesondere sind die Interessen des Arbeitgebers an der Datenverarbeitung und das Persönlichkeitsrecht des Beschäftigten zu einem schonenden Ausgleich zu bringen, der beide Interessen möglichst weitgehend berücksichtigt.289 (1) Unzulässige Persönlichkeitsdurchleuchtung Der Arbeitgeber ist sehr daran interessiert, einen umfassenden Einblick in die Persönlichkeit des Bewerbers zu gewinnen.290 Eine unbegrenzte Persönlichkeitsanalyse im Sinne einer Persönlichkeitsdurchleuchtung ist aber unstreitig unverhältnismäßig und damit unzulässig.291 Dabei ist zunächst darauf hinzuweisen, dass für den Fall, dass KI-Systeme bereits die eignungsdia­ gnostischen Anforderungen nicht erfüllen, eine Persönlichkeitsdurchleuchtung rein begrifflich nicht in Betracht kommt; die Zulässigkeit scheitert dann schon am Merkmal der Geeignetheit.292 Vorausgesetzt, das KI-System erfüllt die eignungsdiagnostischen Anforderungen, ist, abseits einer Erfassung der Gesamtpersönlichkeit oder jedenfalls der Ermittlung eines besonders umfangreichen Persönlichkeitsprofils, fraglich, wann die Grenze zu einer Persönlichkeitsdurchleuchtung überschritten wird. 287  BAG,

Urt. v. 20.06.2013 – 2 AZR 546/12, NZA 2014, 143 (146). in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 11. 289  BT-Drs. 18/11325, S. 97. 290  Blum, People Analytics, S. 224. 291  Dzida, NZA 2017, 541 (545); Betz, ZD 2019, 148 (150); die Möglichkeit einer Persönlichkeitsdurchleuchtung für das schweizerische Recht bejahend: Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 189; Malorny, JuS 2022, 289 (294). 292  Diercks, ZdiW 2021, 65 (67). 288  Franzen,



B. Erlaubnistatbestand für die Datenverarbeitung81

(a) Erste Auffassung – Übersteigen menschlicher Erkenntnismöglichkeiten Nach einer Auffassung soll eine unzulässige Persönlichkeitsdurchleuchtung schon vorliegen, wenn künftiges Arbeitnehmerverhalten auf eine menschenunmögliche Weise prognostizierbar werde.293 Unabhängig vom jeweils ermittelten Persönlichkeitsmerkmal überwiege der Schutz des Persönlichkeitsrechts gegenüber den Interessen des Arbeitgebers an der automatisierten Ermittlung einer Eigenschaft.294 Dafür spreche die Rechtsprechung des Bundesarbeitsgerichts zu graphologischen Gutachten.295 Tatsächlich ist diese Thematik nicht vollkommen neu. Im Verlaufe des Bewerbungsprozesses wurde früher regelmäßig die Einreichung eines handgeschriebenen Lebenslaufs oder anderer Schriftproben gefordert.296 Der Lebenslauf oder die Schriftprobe wurde sodann mittels eines graphologischen Gutachtens analysiert. Die Graphologie ist die Lehre von der Handschrift als Ausdruck des Charakters. Graphologische Gutachten sollten, wie der Einsatz von KI-Systemen zur Sprachanalyse, bestimmte Persönlichkeitsmerkmale aufzeigen.297 Hierdurch sollte die begutachtete Person für andere Personen berechenbar werden.298 Das Bundesarbeitsgericht hat im Zusammenhang mit der Einholung graphologischer Gutachten den damit verbundenen, tiefgreifenden Eingriff in die grundrechtlich geschützten ­Persönlichkeitsrechte hervorgehoben und daraus ein Bedürfnis für eine Einwilligung des Betroffenen abgeleitet.299 Bestandteil des Allgemeinen Persönlichkeitsrechts sei die Selbstbestimmung des Menschen, „[…] frei darüber entscheiden zu können, ob und inwieweit er dem Ausleuchten seiner Persönlichkeit mit Mitteln, die über jedermann zur Verfügung stehende Erkenntnismöglichkeiten hinausgehen, gestatten will […].“300 Ausschließlich die Einwilligung sei daher tauglicher Erlaubnistatbestand.301 Die vom Bundesarbeitsgericht angestrengten Überlegungen sollen im Grundsatz auf den vergleichbaren Einsatz von Sprachanalyse-Software unter Geltung der DS-GVO

293  Däubler, Gläserne Belegschaften?, Rn. 120; Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 7; Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 63. 294  Betz, ZD 2019, 148 (150); Gola, RDV 2018, 24 (27). 295  Grimm/Göbel, jM 2018, 278 (282). 296  BAG, Urt. v. 16.09.1982 – 2 AZR 228/80, NJW 1984, 446; für die Schweiz: Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 188 ff. 297  Starck, in: von Mangoldt/Klein/Starck, GG, Art. 2 GG, Rn. 176. 298  Ebd. 299  BAG, Urt. v. 16.09.1982 – 2 AZR 228/80, NJW 1984, 446. 300  BAG, Urt. v. 16.09.1982 – 2 AZR 228/80, NJW 1984, 446. 301  Grimm/Göbel, jM 2018, 278 (282).

82

3. Kap.: Datenschutzrechtliche Konformität

übertragbar sein.302 Müsse sich ein Bewerber nicht ohne seine Zustimmung einer Persönlichkeitsanalyse mithilfe graphologischer Gutachten unterziehen, sei es naheliegend, dass dies auch für eine Persönlichkeitsanalyse durch ein KI-System gilt.303 Andere meinen, die Rechtsprechung des Bundesarbeitsgerichts sei in Anbetracht der zwischenzeitlichen Änderungen der Rechtslage überholt.304 Letztlich hat das Bundesarbeitsgericht in dem Urteil ohnehin nur festgestellt, dass es einer freien Entscheidung des Bewerbers nur hinsichtlich eines „Ausleuchtens“ seiner Persönlichkeit, also einer Ermittlung von Persönlichkeitsmerkmalen bis in den letzten Winkel, bedürfe. Zu der Frage, inwieweit die Ermittlung einzelner, arbeitsplatzbezogener Persönlichkeitsmerkmale, ohne Ausleuchten der Persönlichkeit, mit über die normalen Erkenntnismöglichkeiten hinausgehenden Mitteln zulässig ist, hat es nicht im Einzelnen Stellung genommen.305 Aus der Rechtsprechung des Bundesarbeitsgerichts lassen sich demgemäß keine letztgültigen Aussagen herleiten. Allein das Vorhandensein neuer Erkenntnismöglichkeiten, die den Arbeitgeber nun in die Lage versetzen, konkrete arbeitsplatzbezogene Persönlichkeitsmerkmale in Erfahrung zu bringen, kann keine Einwilligung erforderlich machen. Das bloße Übersteigen menschlicher Erkenntnismöglichkeiten kann für sich genommen keine Unverhältnismäßigkeit herbeiführen. Dies wäre zu eng und würde zu einer sinnlosen Begrenzung des Einsatzes von Technik führen.306 Der Vorteil des Einsatzes von KI-Systemen besteht gerade in der Überlegenheit gegenüber menschlichen Erkenntnismöglichkeiten.307 (b) Zweite Auffassung – Sphärentheorie Viel spricht dafür, die Grenze zur Persönlichkeitsdurchleuchtung dort zu ziehen, wo entweder die erhobenen Daten oder die daraus gezogenen Schlussfolgerungen nah am Kern des Persönlichkeitsrechts liegen.308 Die Frage, wo dieser Kern des Persönlichkeitsrechts liegt, kann mithilfe der zum allgemeinen Persönlichkeitsrecht entwickelten Sphärentheorie geklärt werNZA 2017, 541 (544). NZA 2017, 541 (544). 304  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 256; Bausewein, ZD 2014, 443 (446). 305  Allerdings kann man den im Urteil des Bundesarbeitsgerichts verwendeten Begriff „inwieweit“ auch so verstehen, dass es auch mit Blick auf einzelne Merkmale einer freien Entscheidung bedarf. 306  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 63. 307  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 63. 308  Dzida, NZA 2017, 541 (545); Malorny, JuS 2022, 289 (294). 302  Dzida, 303  Dzida,



B. Erlaubnistatbestand für die Datenverarbeitung83

den. Die Sphärentheorie definiert Sphären des Allgemeinen Persönlichkeitsrechts und den jeweiligen, gestuften Schutzbedarf.309 Die Grundsätze der Sphärentheorie sind im Rahmen mittelbarer Drittwirkung bei der Auslegung zivilrechtlicher Vorschriften heranzuziehen.310 Angesichts dessen, dass das Bundesverfassungsgericht für die Beurteilung der Angemessenheit staatlicher Maßnahmen auf die Sphärentheorie zurückgreift311 und gleichzeitig die DSGVO Privaten die Erfüllung staatsanaloger Pflichten – wie die Berücksichtigung des Verhältnismäßigkeitsgrundsatzes und die Vornahme einer Rechts­ güterabwägung abverlangt312 – erscheint die Anwendung der Sphärentheorie auch sachgerecht. Dabei stellt die Intimsphäre als Kernbereich privater Lebensgestaltung einen unantastbaren Bereich dar.313 Ein Eingriff in diesen Bereich ist unter keinen Umständen zu rechtfertigen.314 Je näher die Daten der Intimsphäre der betroffenen Person stehen, desto dringender ist der Schutz vor Eingriffen.315 Psychologische Untersuchungen und Erfassungen sollen zwar nicht grundsätzlich diesem unantastbaren Kernbereich zuzuordnen sein, diesem aber sehr nahe stehen.316 Außerdem fällt in diesen Bereich jedenfalls der Schutz der inneren Gedanken- und Gefühlswelt als psychischer Innenbereich.317 Der unantastbare Bereich der Intimsphäre ist von der Privatsphäre nach sicheren, objektivierbaren Kriterien kaum noch abgrenzbar.318 Die Privatsphäre unterscheidet sich von der Intimsphäre aber durch einen gewissen Sozialbezug. Die Privatsphäre meint den Bereich, in dem jedermann das Recht hat, im Sinne eines Innenbereichs freier Persönlichkeitsentfaltung ungestört von staatlichen Eingriffen und sonstigen Beeinträchtigungen zu bleiben.319 Dabei ist nicht nur ein räumlicher Rückzugsbereich gemeint, sondern NVwZ 2018, 686 (687). Heranziehung bei der Auslegung zivilrechtlicher Anspruchsgrundlagen auf Abwehr und Schadensersatz: Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 163. 311  Martini, JA 2009, 839 (844). 312  Veil, Datenschutz, das zügellose Recht – Teil III. 313  Starck/Paulus, in: von Mangoldt/Klein/Starck, GG, Art. 5 GG, Rn. 329. 314  Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 158. 315  Schmidt, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, Art. 2 GG, Rn. 88. 316  Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 158. 317  Starck/Paulus, in: von Mangoldt/Klein/Starck, GG, Art. 5 GG, Rn. 329; Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 150. 318  Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 161; Martini, JA 2009, 839 (844). 319  Di Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 149. 309  Veil, 310  Zur

84

3. Kap.: Datenschutzrechtliche Konformität

es werden auch rein thematisch Angelegenheiten erfasst, die inhaltlich dem Bereich der engeren Lebensführung zugeschrieben werden.320 Gemeint sind beispielsweise Angelegenheiten, deren Erörterung als peinlich oder unschicklich empfunden wird.321 Eingriffe bedürfen hier einer besonderen Rechtfertigung durch überwiegende Interessen.322 Der Bereich der Sozialsphäre erfasst dagegen die Interaktion im sozialen und beruflichen Umfeld. Der Betroffene agiert bewusst im sozialen Rahmen.323 Der Bereich der Sozialsphäre kann von der Umwelt nicht abgeschirmt werden. Aus diesem Grund ist die betroffene Person hier in der Regel weniger schutzbedürftig und Maßnahmen weisen nur eine geringe Belastungsintensität auf.324 Je sensibler die Daten bzw. die gezogene Schlussfolgerung ist, desto eher ist die Analyse dieses Merkmals unzulässig. Sollten also die erhobenen Daten bzw. die entsprechenden Schlussfolgerungen etwa die innere Gedankenund Gefühlswelt, mithin die Intimsphäre, betreffen, wäre eine Analyse von vornherein unzulässig. Teilweise wird vertreten, bereits die erhobenen Daten, konkret den „über Jahrzehnte durch Sozialisation und Bildung entwickelten individuellen Sprachgebrauch […] als ein Kernelement der menschlichen Persönlichkeit“ einzuordnen.325 Insoweit bestehe eine Vergleichbarkeit mit § 19 Nr. 1 GenDG, der die Vornahme genetischer Untersuchungen oder Analysen verbietet.326 Unabhängig davon, dass man hier wohl vor dem Hintergrund, dass die gesprochene Sprache eines Menschen im Unterschied zu seiner DNA variieren kann327, nicht von einer Vergleichbarkeit sprechen kann, liegen bei der Sprachanalyse jedenfalls die ermittelten Persönlichkeitsmerkmale mitunter zumindest in der Nähe des Kerns des allgemeinen Persönlichkeitsrechts. Wird beispielsweise die emotionale Stabilität des Bewerbers analysiert, so geht es dabei um die Fähigkeit zur Kontrolle der eigenen Emotionen. Es besteht also ein relativ starker Bezug zur inneren Gefühlswelt. Die Ermittlung dieses Merkmals liegt auch im Grenzbereich zu Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 149. Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 149. 322  Mann, in: Spindler/Schuster, Recht der elektronischen Medien, § 823 BGB, Rn.  38 ff. 323  Starck/Paulus, in: von Mangoldt/Klein/Starck, GG, Art. 5 GG, Rn. 331. 324  Starck/Paulus, in: von Mangoldt/Klein/Starck, GG, Art. 5 GG, Rn. 331; Mann, in: Spindler/Schuster, Recht der elektronischen Medien, § 823 BGB, Rn. 42. 325  Krause, Digitalisierung und Beschäftigtendatenschutz, S. 39 f.; Malorny, JuS 2022, 289 (295). 326  Krause, Digitalisierung und Beschäftigtendatenschutz, S. 39 f.; Malorny, JuS 2022, 289 (295). 327  Vgl. Gfroerer/Jessen, in: Müller/Schlothauer/Knauer, Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., § 76, Rn. 15. 320  Di 321  Di



B. Erlaubnistatbestand für die Datenverarbeitung85

psychischen Erkrankungen. So fehlt beispielsweise bei einer bipolaren Störung gerade die Fähigkeit zur Kontrolle der eigenen Emotionen. (c) Zwischenergebnis – Persönlichkeitsdurchleuchtung Eine unzulässige Persönlichkeitsdurchleuchtung liegt nicht allein deshalb vor, weil die KI-Systeme größere Erkenntnismöglichkeiten bieten. Vielmehr liegt eine Persönlichkeitsdurchleuchtung dann vor, wenn die ermittelten Merkmale nah am Kern des allgemeinen Persönlichkeitsrechts liegen. Auf eine Ermittlung solcher Merkmale durch den Arbeitgeber ist in jedem Fall zu verzichten. (2) Gesamtabwägung Außerhalb des soeben beschriebenen Bereichs der Persönlichkeitsdurchleuchtung sind im Rahmen einer vorzunehmenden Gesamtabwägung diverse Abwägungsgesichtspunkte zu berücksichtigen. Es ist eine von den Einzelfallumständen abhängige Interessenabwägung erforderlich. Dabei sind nachstehende Aspekte von Relevanz. (a) Fehlende Subjektqualität Gegen die Verhältnismäßigkeit der Datenverarbeitung soll sprechen, dass die individuelle Persönlichkeit der Bewerber analysiert und kategorisiert werde, ohne dass diese durch eigene Leistung oder Darstellung ihrer Fähigkeiten Einfluss auf das Ergebnis haben. Dies sei mit der Menschenwürde und dem Schutz des Persönlichkeitsrechts nicht vereinbar und verletze das Verhältnismäßigkeitsprinzip.328 In dieselbe Richtung gehen auch die Richtlinien des Ethikbeirats HR-Tech. Danach soll die Subjektqualität als Pfeiler der Menschenwürde und Selbstbestimmung geachtet werden. Bei Sprach- oder Videoanalysen seien Menschen ausschließlich analysiertes Objekt und kein sich selbst wahrnehmendes und handelndes Subjekt. Dies ist auf den ersten Blick überzeugend, denn der Bewerber wird in gewisser Weise seiner Subjektqualität beraubt und zum Objekt einer Untersuchung degradiert.329 Eine (mittelbare) Verletzung der Menschenwürde würde voraussetzen, dass die Subjektqualität des Bewerbers prinzipiell in Frage gestellt oder willkürlich missachtet wird.330 Hiergegen kann man einwenden, dass sich bei RDV 2018, 24 (27). Fabio, in: Maunz/Dürig, GG-Kommentar, Art. 2 Abs. 1 GG, Rn. 162. 330  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 40. 328  Gola, 329  Di

86

3. Kap.: Datenschutzrechtliche Konformität

zunehmender Marktdurchdringung eine parallele Industrie entwickeln wird, die Bewerber auf den neuartigen Bewerbungsprozess vorbereitet. Einige Sprachmerkmale können dabei mit Sicherheit beeinflusst werden (etwa die Verwendung bestimmter Begrifflichkeiten, Sprechgeschwindigkeit). Zwar sollen durch gezieltes Training lediglich die individuellen Kommunikationsstile veränderbar sein, nicht aber die Messwerte zur Persönlichkeit. Dies scheint aber in erster Linie Marketing der Anbieter zu sein. So optimieren Bewerber etwa bereits ihre Bewerbungsunterlagen für Systeme, die Lebensläufe analysieren, im Sinne eines „maschinellen Wettrüstens“ mithilfe von Algorithmen, was sogar zu einer Dysfunktionalität dieser Systeme führen kann („gaming the system“331). Bewerber fügten ihren Lebensläufen etwa in weißer, also für das Auge nicht erkennbarer Schrift Schlüsselbegriffe hinzu.332 Laut der Testrezension des Diagnostik- und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen soll die Annahme der Unverfälschbarkeit in Bezug auf Sprachanalyse-Software zwar weitgehend plausibel sein.333 Zum einen liegen zum Einfluss von Faking, also der gezielten Veränderung der Testergebnisse durch das Testverhalten der Probanden, aber bislang keine empirischen Ergebnisse vor.334 Zudem ist es bezeichnend, dass einzelne Anbieter der besagten KI-Systeme auch Applikationen zum Trainieren der Sprache anbieten.335 Trotzdem kann nicht ignoriert werden, dass die Persönlichkeitsmerkmale nicht das Ergebnis eines kommunikativen Prozesses sind.336 Allerdings ist dies kein technikspezifisches Problem, denn auch in einem analogen Bewerbungsgespräch kann ein einzelnes wahrgenommenes Merkmal zum gedank­ lichen Aufruf eines umfassenden Persönlichkeitsbildes führen und daher für eine eigene Darstellung des Bewerbers kein Raum bleiben.337 In wirtschaftlicher Hinsicht sollte nicht ignoriert werden, dass Bewerber digitale Auswahlprozesse als weniger persönlich empfinden und davon aus-

Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 98. AI Powered Recruiting?, S. 33. 333  Peters, Robo-Recruiting, S. 7; Knobloch/Hustedt, Der maschinelle Weg zum passenden Personal, S. 18; Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (20). 334  Peters, Robo-Recruiting, S. 7; Knobloch/Hustedt, Der maschinelle Weg zum passenden Personal, S. 18; Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19 (20). 335  Tangens, Laudatio auf die Precire Technologies GmbH. 336  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 185. 337  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 186 f. 331  Orwat,

332  Jaume-Palasi/Lindinger/Kloiber,



B. Erlaubnistatbestand für die Datenverarbeitung87

gehen, sich dabei nicht in gleichem Maße beweisen zu können.338 Das Unternehmen nehmen sie als weniger attraktiv wahr. Dies kann auch zu Nachteilen im eingangs genannten War of Talents führen. (b) Langzeitfolgen – Beeinflussung der Persönlichkeitsentwicklung Ein weiterer zugunsten der Bewerber zu berücksichtigender Aspekt ist, dass zwar die Sprachanalyse selbst nur wenige Minuten dauert. Allerdings hat die Analyse der Persönlichkeit des Bewerbers mitunter Langzeitfolgen. So wird im Falle einer Einstellung der Umgang des Arbeitgebers mit dem Arbeitnehmer von den Ergebnissen der Analyse beeinflusst sein. Durch die Erfassung von Persönlichkeitsmerkmalen kann bei dem eingestellten Bewerber ein psychischer Überwachungs- und Anpassungsdruck dahingehend entstehen, dass er mit seinen künftigen Handlungen negativen Annahmen ent­ gegenzuwirken versucht und so seine personelle Autonomie eingeschränkt wird.339 Je mehr der Arbeitgeber über den späteren Arbeitnehmer weiß, desto mehr kann er ihn beeinflussen oder sogar manipulieren.340 Der Zugang zu den Ausgabedaten sollte daher Personen vorbehalten sein, deren Auseinandersetzung mit den Ausgabedaten unerlässlich ist (etwa Mitarbeitern der Personalabteilung).341 Mit Beendigung des Einstellungsverfahrens sollten die Ausgabedaten gelöscht werden.342 Andernfalls könnten die betroffenen Personen nie sicher sein, ob nicht gerade jemand Einsicht in ihre Persönlichkeit nimmt.343 Auch unabhängig von einer Einstellung kann das Ergebnis der Persönlichkeitsanalyse das eigene Persönlichkeitsbild und die Selbstwahrnehmung des Arbeitnehmers schwerwiegend erschüttern und infolgedessen auch die weitere Persönlichkeitsentwicklung beeinflussen. Dies gilt unabhängig vom Grad der Validität.

338  Kaibel/Mühlenbock/Koch-Bayram/Biemann,

(20).

PERSONALquarterly 03/2019, 16

339  Wächter, in: Weth/Herberger/Wächter/Sorge, Daten- und Persönlichkeitsschutz im Arbeitsverhältnis, VII., Rn. 58. 340  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 85. 341  Havliková, DSRITB 2020, 141 (155). 342  Havliková, DSRITB 2020, 141 (156); vgl. auch Herdes, DSRITB 2019, 77 (83), die von einer Löschpflicht nach vier Monaten nach Abschluss des Auswahlverfahrens ausgeht. 343  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 72.

88

3. Kap.: Datenschutzrechtliche Konformität

(c) Langfristige Vertragsbindung Für eine Verhältnismäßigkeit spricht, dass der Arbeitgeber daran interessiert ist, den besten Bewerber zu finden, um seinen Unternehmenserfolg zu maximieren. Hieran hat er ein berechtigtes Interesse (vgl. Art. 12 Abs. 1 GG). Dies gilt umso mehr, als sich der Arbeitgeber teils jahrelang an einen Arbeitnehmer bindet und ihm mitunter sehr verantwortungsvolle Tätigkeitsbereiche überträgt344, wobei jedoch zu berücksichtigen ist, dass gemäß § 1 Abs. 1 KSchG innerhalb der ersten sechs Monate des Arbeitsverhältnisses das Kündigungsschutzgesetz keine Anwendung findet und gemäß § 622 Abs. 3 BGB im Falle der vereinbarten Probezeit eine kurze Kündigungsfrist von zwei Wochen greift. Dementsprechend bestehen geringe Anforderungen an eine Kündigung. Das Verhalten und die Persönlichkeit des Bewerbers kann in diesen ersten sechs Monaten umfassend bewertet werden. Hohe wirtschaftliche Interessen des Arbeitgebers können in Rede stehen, wenn die Kündigung des Arbeitsverhältnisses und die damit regelmäßig einhergehende vorübergehende Unterbesetzung eine unverhältnismäßige Belastung des Arbeitgebers darstellen würde.345 Im Allgemeinen wird mit Blick auf die finanzielle Belastung etwa davon ausgegangen, dass Fehlbesetzungen Folgekosten in Höhe vom Zwei- bis Dreifachen eines Jahresgehaltes der betroffenen Stelle auslösen.346 (d) Relevanz der Hierarchieebene Es wird zum Teil darauf hingewiesen, dass die Persönlichkeit eines Bewerbers zur Vorhersage beruflichen Erfolges wenig geeignet sei.347 Die Zulässigkeit der Ermittlung von Persönlichkeitsmerkmalen dürfte auch von der Hierarchieebene abhängig sein. Dass die Anforderungen an eine zulässige Ermittlung von Persönlichkeitsmerkmalen im Bereich der Einstellung von Führungskräften andere sein können, ist bereits für die Einholung grapho­ logischer Gutachten vertreten worden. So sollte es für die Erteilung einer Einwilligung in diesem Bereich ausreichen, dass der Bewerbung ein eigenständig geschriebener Lebenslauf beigefügt wurde.348 Hierfür spricht, dass vor allem bei Führungskräften arbeitgeberseitig ein höheres Interesse am Vorhandensein von Persönlichkeitsmerkmalen wie etwa kommunikativer Kompetenz sowie Einfühlungs- oder Durchsetzungsvermögen besteht, da ZD 2018, 353 (354). ZD 2014, 443 (446). 346  Lang-von Wins/Triebel/Buchner/Sandor, Potenzialbeurteilung, S. 4. 347  Diercks, ZdiW 2021, 62 (64). 348  Bürger, AR-Blattei Einstellung Entsch 12. 344  Schwarz,

345  Bausewein,



B. Erlaubnistatbestand für die Datenverarbeitung89

diese Eigenschaften (wegen Personalverantwortung) einen engen Bezug zum Berufsalltag einer Führungskraft aufweisen.349 Studien haben gezeigt, dass erfolgreiche Führungskräfte bei den sog. Big Five-Faktoren (Neurotizismus/ Emotionale Labilität, Extraversion, Offenheit, Verträglichkeit und Gewissenhaftigkeit) gute Werte aufweisen.350 Zudem kann eine Fehlbesetzung auf Leitungsebene den innerbetrieblichen Frieden, das Verhältnis zu Kunden und, abhängig vom Verantwortungsumfang, auch unmittelbar Umsatz und Gewinn des Unternehmens beeinflussen und damit potenziell hohe immaterielle und materielle Schäden nach sich ziehen.351 Der Arbeitgeber hat daher ein gesteigertes Interesse daran, seine Einstellungsentscheidung besonders abzusichern.352 Dazu passt, dass der Versicherungskonzern Talanx KI-Systeme zur Sprachanalyse nur bei Bewerbern für Leitungspositionen einsetzt.353 Auch bei Führungskräften ist ein Ausleuchten der Persönlichkeit aber unzulässig. Bei der Bewerberauswahl für Arbeitsplätze, bei denen eine Fehlbesetzung keine erheblichen Konsequenzen nach sich zieht, ist der Einsatz von KI-Systemen zur Sprachanalyse oft nicht erforderlich.354 Insoweit wird es oft andere Mittel geben, den Arbeitsplatz mit dem bestgeeignetsten Bewerber zu besetzen (etwa Vorstellungsgespräch, Probearbeit/Einfühlungsverhältnis, Probezeit).355 (e) Bedeutung des Betriebsklimas Daneben kann ein gesteigertes Interesse des Arbeitgebers auch vorliegen, wenn eine gute und enge Zusammenarbeit, also ein intaktes Betriebsklima und Teamfähigkeit der wenigen Beschäftigten entscheidend für den wirtschaftlichen Erfolg sind.356 Vor allem bei kleinen und teilweise bei mittelständischen Unternehmen ist das denkbar.357 Dann hat das Vorliegen bestimmter Charakterzüge des Bewerbers für die schnelle Integration große Wichtigkeit.358 Hinzu kommt, dass in diesen Unternehmen selbst eine kurz349  Preis, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, 17. Aufl. 2017, § 611, Rn. 305. 350  Haufe Online Redaktion, Was erfolgreiche Führungskräfte gemeinsam haben, 10. Mai 2017; Satow, in: Laske/Othey/Schmid, PersonalEntwickeln, 8.114, S. 1 (4 ff.). 351  Bausewein, ZD 2014, 443 (446). 352  Bausewein, ZD 2014, 443 (445 f.). 353  Rudzio, Wenn der Roboter die Fragen stellt, in: Die Zeit, 24. August 2018. 354  Bausewein, ZD 2014, 443 (445 f.), der diese Frage im Rahmen der Erforderlichkeit behandelt. 355  Bausewein, ZD 2014, 443 (445 f.). 356  Bausewein, ZD 2014, 443 (446). 357  Bausewein, ZD 2014, 443 (446). 358  Bausewein, ZD 2014, 443 (446).

90

3. Kap.: Datenschutzrechtliche Konformität

fristige Unterbesetzung regelmäßig problematisch ist, was das Interesse an der Feststellung der Passgenauigkeit des Bewerbers zusätzlich erhöht.359 (f) Stellenprofil Wie hoch das Interesse des potenziellen Arbeitgebers an der Kenntnis der entsprechenden Ausgabedaten anzusiedeln ist, wird maßgeblich durch die zu besetzende Stelle beeinflusst. (aa) Verkehrswesentliche Eigenschaft Nach einer Auffassung soll jedenfalls die Ermittlung verkehrswesentlicher Persönlichkeitsmerkmale über § 26 BDSG möglich sein.360 Erforderlich sei in jedem Fall die Ermittlung von Eigenschaften, deren Vorliegen der Arbeitgeber zur Voraussetzung der Begründung des Beschäftigungsverhältnisses machen dürfe. Der Arbeitgeber sei im Falle eines Irrtums über verkehrswesentliche Eigenschaften eines Bewerbers gemäß § 119 Abs. 2 BGB dazu berechtigt, seine auf Abschluss des Anstellungsvertrages gerichtete Willenserklärung anzufechten.361 Wenn aber der Irrtum über das Vorliegen bestimmter verkehrswesentlicher Eigenschaften zur Anfechtung des Anstellungsvertrages berechtige, handele es sich bei diesen Daten ersichtlich auch um für die Entscheidung über die Begründung eines Beschäftigungsverhältnisses erforderliche Daten im Sinne des § 26 Abs. 1 BDSG.362 Fraglich ist, was in diesem Kontext als verkehrswesentliche Eigenschaft einzuordnen ist. Grundsätzlich zählen zu den verkehrswesentlichen Eigenschaften einer Person auch die natürlichen Persönlichkeitsmerkmale und solche tatsächlichen und rechtlichen Verhältnisse und Beziehungen zur Umwelt, die nach der Anschauung des Verkehrs Einfluss auf die Wertschätzung der Person in dem bestimmten Rechtsverhältnis ausüben.363 Dabei muss die Eigenschaft der Person jedenfalls für eine gewisse Dauer anhaften. Diese Voraussetzung liegt bei Persönlichkeitsmerkmalen vor. Natürliche Persönlichkeitsmerkmale können also verkehrswesentliche Eigenschaften im Sinne des § 119 Abs. 2 BGB darstellen. Weitere Voraussetzung ist allerdings, dass diese nach der Verkehrsanschauung Einfluss auf die Wertschätzung der Person in dem bestimmten Rechtsverhältnis ausüben, d. h. für die zu leistende Arbeit von BeZD 2014, 443 (446). ZD 2019, 148 (148 ff.). 361  Preis, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 611a BGB, Rn. 345. 362  Betz, ZD 2019, 148 (150). 363  Wendtlandt, in: Hau/Poseck, BeckOK BGB, § 119 BGB, Rn. 41. 359  Bausewein, 360  Betz,



B. Erlaubnistatbestand für die Datenverarbeitung91

deutung sind.364 Es muss sich um Eigenschaften handeln, die sich auf die Eignung der Person für die Tätigkeit auswirken. Der Großteil der Persönlichkeitsmerkmale würde den Arbeitgeber nicht zur Anfechtung des Arbeitsvertrages berechtigen. Während zum Beispiel die Leistungsfähigkeit nach allgemeiner Ansicht keine verkehrswesentliche Eigenschaft darstellt, da in diesem Fall auf Arbeitgeberseite lediglich abstrakte Vorstellungen von den Fähigkeiten des Arbeitnehmers bestehen365 soll die Zuverlässigkeit oder Vertrauenswürdigkeit in Einzelfällen eine verkehrswesentliche Eigenschaft darstellen.366 Für den jeweiligen Bewerber muss dann aber auch eine Vertrauensstellung vorgesehen sein.367 Eine Ermittlung der Zuverlässigkeit kommt daher zum Beispiel bei der Einstellung für betrugsanfällige Positionen, etwa bei Kassierern, in Betracht.368 Gerade diese verkehrswesentliche Eigenschaft kann aber wohl auch mithilfe der üblichen Instrumente festgestellt werden, sodass hier oft die Erforderlichkeit der Datenverarbeitung (im engeren Sinne) fehlen wird. So könnte zur Feststellung der Vertrauenswürdigkeit eines Kassierers die Vorlage eines polizeilichen Führungszeugnisses verlangt werden.369 Denkbar wäre als milderes Mittel auch die Feststellung der Wahrscheinlichkeit der Begehung bestimmter Straftaten.370 Diese Mittel dürften weniger eingriffsintensiv sein, da hierdurch nicht allgemein die Zuverlässigkeit festgestellt wird, sondern sich die Ermittlung nur auf bestimmte Bereiche beschränkt. Schließlich sind auch Fragen nach Vorstrafen nur zulässig, soweit die betreffenden Straftaten für das jeweilige Beschäftigungsverhältnis von Bedeutung sind.371 Es darf nicht allgemein nach Straftaten gefragt werden, sondern allenfalls nach bestimmten Gruppen von Straftaten.372 Zulässig wäre bei der Einstellung eines Kassierers ausschließlich die Frage nach vermögensrechtlichen Vorstrafen.373 Entsprechend dürfte nicht die Zuverlässigkeit ermittelt werden, sondern die Begehungswahrscheinlichkeit in Bezug auf bestimmte Straftaten. 364  BAG, Urt. v. 21.02.1991 – 2 AZR 449/90, NJW 1991, 2723; Preis, in: MüllerGlöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 611a BGB, Rn. 350. 365  Preis, in: Ascheid/Preis/Schmidt, Kündigungsrecht, 1. Teil, K. III. 1., Rn. 30; Preis, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 611a BGB, Rn. 350. 366  Preis, in: Ascheid/Preis/Schmidt, Kündigungsrecht, 1. Teil, K. III. 1., Rn. 40; Wendtlandt, in: Hau/Poseck, BeckOK BGB, § 119, Rn. 42. 367  BAG, Urt. v. 12.02.1970 – 2 AZR 184/69, NJW 1970, 1565. 368  Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 19. 369  Betz, ZD 2019, 148 (150). 370  Rudkowski, NZA 2019, 72 (75). 371  Kort, NZA-Beilage 2016, 62 (68). 372  Kort, NZA-Beilage 2016, 62 (68). 373  Joussen, NZA 2012, 776 (777).

92

3. Kap.: Datenschutzrechtliche Konformität

(bb) Fragerecht & Arbeitsplatzbezug Nach anderer Auffassung können, sofern man den Maßstab des arbeit­ geberseitigen Fragerechts im Rahmen des § 26 Abs. 1 BDSG anwendet374 jegliche im Sachzusammenhang mit dem Arbeitsplatz stehende Persönlichkeitsmerkmale über § 26 Abs. 1 BDSG erhoben werden. Für diese Vorgehensweise spricht die bisherige Handhabung des arbeit­ geberseitigen Informationsinteresses. Bevor überhaupt eine Regelung zur Informationserhebung durch den Arbeitgeber beim Bewerber bestand, galten lediglich die vom Bundesarbeitsgericht entwickelten Grundsätze zum Fragerecht des Arbeitgebers.375 Nach dem arbeitgeberseitigen Fragerecht ist entscheidend, ob der Arbeitgeber ein berechtigtes Interesse an der Kenntnisnahme von Persönlichkeitsmerkmalen hat. Eine Differenzierung zwischen verkehrswesentlichen Eigenschaften und (bloßen) arbeitsplatzbezogenen Merkmalen erfolgt nicht. Parallel zu dem arbeitgeberseitigen Fragerecht kann man zwischen drei Kategorien unterscheiden: Fragen nach der beruflich-fachlichen Qualifikation sind bezogen auf die angestrebte Tätigkeit uneingeschränkt zulässig.376 Das sind die üblichen Fragen zur Schulausbildung, Studium bzw. Berufsausbildung sowie anderen berufsqualifizierenden Tätigkeiten.377 Die Zulässigkeit von Fragen nach der körperlichen und gesundheitlichen Verfassung sowie von Fragen nach persönlichen Eigenschaften des Bewerbers hängt davon ab, ob das Informationsinteresse des Arbeitgebers das Geheimhaltungsinteresse des Arbeitnehmers überwiegt. Ein solches Überwiegen liegt nur dann vor, wenn das Informationsinteresse durch die konkreten Arbeitsplatzanforderungen legitimiert wird.378 Der Arbeitgeber darf beim Bewerber nur solche Informationen erheben, an denen er ein berechtigtes, billigenswertes und schutzwürdiges Inte­ resse im Hinblick auf das Arbeitsverhältnis und den konkret zu besetzenden Arbeitsplatz hat. Das Interesse muss objektiv so stark sein, dass dahinter das Interesse des Bewerbers „am Schutz seines Persönlichkeitsrechtes und an der Unverletzbarkeit seiner Individualsphäre“ zurücktritt.379 Fragen nach sonstigen persönlichen Eigenschaften sind möglich, soweit sie Voraussetzung für die zu erbringende Arbeitsleistung im Sinne der unternehmerischen Zielset-

374  Zu

§ 32 BDSG a. F.: Franzen, NZA 2013, 1 (3). NZA 2013, 1. 376  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 75. 377  Maschmann, in: Kühling/Buchner, DS-GVO BDSG, § 26, Rn. 29; Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26, Rn. 16. 378  Franzen, NZA 2013, 1 (2). 379  BAG, Urt. v. 07.06.1984 – 2 AZR 270/83, NZA 1985, 57. 375  Franzen,



B. Erlaubnistatbestand für die Datenverarbeitung93

zung sind.380 Kein berechtigtes Interesse besteht also im Hinblick auf Persönlichkeitsmerkmale, die in keinem Zusammenhang mit der zu besetzenden Stelle stehen.381 So kann etwa von vornherein kein Interesse an der Ermittlung der Teamfähigkeit eines Bewerbers bestehen, wenn dieser, etwa als Außendienstmitarbeiter, nicht in einem Team arbeiten wird.382 Generell wird man bei „einfachen“ Tätigkeiten, also etwa bei Lager- und Maschinenarbeitern, Reinigungskräften, Auslieferungs- und Berufskraftfahrern, davon absehen müssen, Persönlichkeitsmerkmale zu ermitteln, da hier andere Qualitäten, vor allem die Fingerfertigkeit, im Vordergrund stehen.383 Hingegen wird man bei sozialer Arbeit, also etwa bei Kinder- und Jugendarbeit, Altenpflege, Behindertenhilfe eher eine Ermittlung von Persönlichkeitsmerkmalen zulassen müssen, denn hier steht die zwischenmenschliche Interaktion im Vordergrund.384 Das Innehaben bestimmter Charakterzüge (etwa ein hohes Maß an Verträglichkeit) ist hier mitunter unentbehrlich. Die Sprachanalyse dient der allgemeinen Persönlichkeitsanalyse. Nur wenige der ermittelten Persönlichkeitsmerkmale wird man als relevant für einen konkreten Arbeitsplatz einordnen können. Viele der ermittelten Persönlichkeitsmerkmale, etwa Kontaktfreude, Neugier oder Einsatzbereitschaft, sind sehr generell und weisen gegebenenfalls keinen unmittelbaren Bezug zum konkreten Arbeitsplatz auf. Es kann dann an dem konkreten Arbeitsplatzbezug der aufgedeckten Wesensmerkmale fehlen. Indes ist zu graphologischen Gutachten, zumindest im Bereich der Einwilligung, vertreten worden, dass auch Persönlichkeitsmerkmale von allgemeiner Natur, d. h. solche, die stets eine Rolle spielen, ermittelt werden dürfen.385 Hiergegen kann man vorbringen, dass sich ein Zusammenhang zwischen ermitteltem Persönlichkeitsmerkmal und der jeweiligen Stelle mit entsprechender Argumentation stets konstruieren lässt. Dies gelte vor allem für Merkmale wie Team- und Konfliktfähigkeit sowie Durchsetzungsvermögen.386 Der konkrete Arbeitsplatzbezug ist aber rein objektiv zu beurteilen, wenngleich ein gewisser Spielraum des Arbeitgebers sich nicht leugnen lässt. Für die Zulässigkeit der Ermittlung dieser allgemeinen Merkmale spricht, dass es

in: Kühling/Buchner, DS-GVO BDSG, § 26 BDSG, Rn. 29. ZD 2019, 148 (150). 382  Betz, ZD 2019, 148 (150). 383  Zur Erforderlichkeit von persönlichen Bewerbungsgesprächen: Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 8 u. 21. 384  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 8. 385  ArbG München, Urt. v. 14.04.1975 – 26 Ca 1674/75, NJW 1975, 1908. 386  Götz, Big Data im Personalmanagement, S. 101. 380  Maschmann, 381  Betz,

94

3. Kap.: Datenschutzrechtliche Konformität

sich um eher unverfängliche Eigenschaften handelt, die keine hohe Sensibilität aufweisen.387 (g) Einbeziehung des Betriebsrats Ein weiterer Aspekt, der durch das Betriebsrätemodernisierungsgesetz zunehmend in den Blickpunkt gerückt ist und bei der Beurteilung der Angemessenheit der Datenverarbeitung zu berücksichtigen ist, ist die Wahrung der Beteiligungsrechte des Betriebsrats.388 Die Tatsache, dass nach hier vertretener Auffassung in Betriebsvereinbarungen keine eigenen Erlaubnistatbestände für die Verarbeitung von Bewerberdaten durch KI-Systeme vorgesehen werden können (siehe Seite 65 ff.), bedeutet nicht, dass der Betriebsrat bei dem Einsatz von KI-Systemen im Einstellungsverfahren völlig außen vor bleibt. Gemäß § 26 Abs. 6 BDSG bleiben die Beteiligungsrechte der Interessenvertretungen der Beschäftigten unberührt. Nachstehend werden allein die Tat­ bestände besprochen, die auch Bewerber betreffen. (aa) § 94 Abs. 1 S. 1 BetrVG – KI-System als Personalfragebogen So bedürfen gemäß § 94 Abs. 1 S. 1 BetrVG Personalfragebögen der Zustimmung des Betriebsrats. § 94 BetrVG betrifft damit auch Bewerber.389 Dieses Mitbestimmungsrecht bezweckt durch die Beschränkung des arbeitgeberseitigen Fragerechts auf die Fälle eines berechtigten Interesses vor allem den Schutz des Rechts auf informationelle Selbstbestimmung des Arbeitnehmers.390 Bei Personalfragebögen handelt es sich üblicherweise um eine formularmäßige Zusammen­ fassung von Fragen, die personenbezogene Daten betreffen.391 Daneben sind aber auch sonstige, standardisierte Informationserhebungen erfasst.392 Umfasst sind etwa auch graphologische Begutachtungen.393 Auch bei der Sprachund Videoanalyse werden standardisiert Informationen erhoben. Es werden in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (78). RdA 2022, 170 (175); Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 11. 389  Kania, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 94 BetrVG, Rn. 3; Raif, in: Kramer, IT-Arbeitsrecht, C. Kollektives Arbeitsrecht, Rn. 30. 390  Raif, in: Kramer, IT-Arbeitsrecht, C. Kollektives Arbeitsrecht, Rn. 27. 391  Mauer, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 94 BetrVG, Rn. 1. 392  Raif, in: Kramer, IT-Arbeitsrecht, C. Kollektives Arbeitsrecht, Rn. 28 ff. 393  Raif, in: Kramer, IT-Arbeitsrecht, C. Kollektives Arbeitsrecht, Rn. 32. 387  Jares/Vogt, 388  Malorny,



B. Erlaubnistatbestand für die Datenverarbeitung95

etwa stets dieselben Fragen gestellt. Dies ist erforderlich, da ansonsten eine Vergleichbarkeit nicht gewährleistet werden könnte.394 In Anbetracht dessen besteht dem Grunde nach ein Zustimmungsrecht gemäß § 94 Abs. 1 S. 1 BetrVG. Dabei bezieht sich das Mitbestimmungsrecht nicht nur auf den Inhalt des Personalfragebogens395, sondern auch auf die Frage, ob und welcher Personalfragebogen eingeführt werden soll sowie welche Merkmale untersucht werden sollen.396 (bb) § 94 Abs. 2, 2. Alt. BetrVG – Allgemeine Beurteilungsgrundsätze Zudem bedarf gemäß § 94 Abs. 2, 2. Alt. BetrVG auch die Aufstellung allgemeiner Beurteilungsgrundsätze der Zustimmung des Betriebsrats. Auch dieser Mitbestimmungstatbestand dient dem Persönlichkeitsrechtsschutz der Arbeitnehmer und gilt für Bewerber.397 Allgemeine Beurteilungsgrundsätze sind Regelungen, die eine Beurteilung von Leistung und Verhalten von Arbeitnehmern aufgrund einheitlicher Kriterien bezwecken, um eine gewisse Vergleichbarkeit zu erreichen.398 Auch Programme können Beurteilungsgrundsätze sein.399 Die Beurteilung im Sinne des § 94 Abs. 2 BetrVG ist von der bloßen Feststellung bestimmter Merkmale, Fähigkeiten oder ­Eigenschaften abzugrenzen.400 Diese ist dem Beurteilungs- und Bewertungsprozess nur vorgelagert.401 Generiert also lediglich das Ermittlungsmodell Erkenntnisse zur Persönlichkeit des Bewerbers, handelt es sich nicht um einen Beurteilungsgrundsatz.402 Im Übrigen findet § 94 Abs. 2, 2. Alt. BetrVG Anwendung, denn durch bestimmte Erscheinungsformen der hier ­ behandelten KI-Systeme werden die Merkmalsausprägungen nicht nur festgestellt, sondern auch die Merkmalsausprägungen mit dem im Entscheidungsmodell abgebildeten Soll-Profil verglichen und dabei die verschiedenen Merkmale in Abhängigkeit von der in Aussicht genommenen Stelle

394  Blum,

People Analytics, S. 346. in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, § 94 BetrVG,

395  Ricken,

Rn. 12. 396  Raif, in: Kramer, IT-Arbeitsrecht, C. Kollektives Arbeitsrecht, Rn. 30; Franzen, NZA 2013, 1 (3); Stück, ArbRAktuell 2020, 153 (155); Franzen, NZA 2013, 1 (3). 397  Thüsing, in: Richardi, BetrVG, § 94 BetrVG, Rn. 57 u. 63; Franzen, NZA 2013, 1 (3). 398  Thüsing, in: Richardi, BetrVG, § 94 BetrVG, Rn. 58; Franzen, NZA 2013, 1 (3). 399  Jedzig, DB 1991, 753 (II.2). 400  Jedzig, DB 1996, 1337. 401  Köhler, GWR 2013, 132 (133). 402  Franzen, NZA 2013, 1 (3).

96

3. Kap.: Datenschutzrechtliche Konformität

gewichtet sowie die dadurch ermittelten Werte der Bewerber miteinander verglichen.403 Im Rahmen von § 94 Abs. 2, 2. Alt BetrVG hat der Betriebsrat ein Zustimmungsrecht. Dabei bezieht sich das Mitbestimmungsrecht auf die inhaltliche Festlegung der Beurteilungsmerkmale, also auf die Persönlichkeitsmerkmale404, auf die Definition und nähere inhaltliche Ausgestaltung der Bewertungsstufen sowie auf die Ausgestaltung des Beurteilungsverfahren.405 Hierzu benötigt der Betriebsrat einen Einblick in das KI-System.406 Hier dürften im Forschungsgebiet Explainable AI (im Folgenden: „XAI“), erarbeitete Erklärungsmodelle zukünftig eine wichtige Rolle spielen. Auf diese wird an späterer Stelle dieser Arbeit näher eingegangen. (cc) §   95 Abs. 1 S. 1 BetrVG – KI-System als Auswahlrichtlinie oder Auswahlhilfe Gemäß § 95 Abs. 1 S. 1 BetrVG bedürfen außerdem Richtlinien über die personelle Auswahl bei Einstellungen der Zustimmung des Betriebsrats. Hierunter sind Regeln zu verstehen, die der Arbeitgeber seinen Personalentscheidungen zugrunde legt.407 Dabei bezweckt § 95 BetrVG sachlichere und transparentere Personalentscheidungen des Arbeitgebers.408 Inhalt einer Auswahlrichtlinie ist die Festlegung der für die Entscheidungsfindung relevanten Auswahlkriterien (etwa fachliche, persönliche und soziale Gesichtspunkte) sowie die Regelung des Verfahrens zur Feststellung dieser Auswahlkriterien.409 Es kann sich bei den KI-Systemen selbst um eine Auswahl­ richtlinie handeln.410 Dabei muss zwischen dem Ermittlungs- und dem Entscheidungsmodell differenziert werden. So galt schon für (psychologische) Eignungstests und Assessment-Center folgende Differenzierung: 403  Jedzig, DB 1996, 1337 (Ziffer II. 1. c)); vgl. Frank/Heine, NZA 2021, 1448 (1452). 404  Jedzig, DB 1996, 1337; Jedzig, DB 1991, 753 (Ziffer IV). 405  BAG, Beschl. v. 17.03.2015 – 1 ABR 48/13, NZA 2015, 885 (888); Jedzig, DB 1991, 753; Ricken, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, § 94 Betr­VG, Rn.  8; Thüsing, in: Richardi, BetrVG, § 94 BetrVG, Rn. 58; Gola, BB 2017, 1462 (1471); Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 182. 406  Vgl. hierzu kritsch Götz, Big Data im Personalmanagement, S. 197 f. 407  Thüsing, in: Richardi, BetrVG, § 95 BetrVG, Rn. 6. 408  BT-Drs. VI/1786, S. 50. 409  Thüsing, in: Richardi, BetrVG, § 95 BetrVG, Rn. 11  f.; Kania, in: MüllerGlöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 95 BetrVG, Rn. 3. 410  Lützeler/Kopp, ArbRAktuell 2015, 491 (493); Reindl/Krügl, People Analytics in der Praxis, S. 91; zu Assessment-Centern Köhler, GWR 2013, 132 (133).



B. Erlaubnistatbestand für die Datenverarbeitung97

Sofern die (Vor-)Auswahl allein auf Grundlage des Testergebnisses erfolgt, ist von einer Auswahlrichtlinie gemäß § 95 Abs. 1 S. 1 BetrVG auszugehen, denn in diesem Fall legt der Test die Auswahlkriterien fest.411 Wenn also der Arbeitgeber einzig auf der Grundlage der ermittelten Eigenschaften eine Auswahl trifft oder das KI-System, nachdem es die Merkmale der Bewerber ermittelt hat, einen Abgleich mit den Auswahlkriterien im Entscheidungsmodell vornimmt und eine (Vor-)Auswahl trifft, handelt es sich um eine Auswahlrichtlinie.412 § 95 Abs. 2a BetrVG stellt nun klar, dass § 95 Abs. 1 und Abs. 2 BetrVG auch dann Anwendung finden, wenn bei der Aufstellung der Auswahlrichtlinie KI zum Einsatz kommt. Stellt das KI-System, weil die (Vor-)Auswahl auf Grundlage der eigens ermittelten Merkmale erfolgt, selbst eine Auswahlrichtlinie dar, ist bei der Aufstellung (also bei dem Training der Modelle, die in das KI-System implementiert werden) KI, etwa in Form von Techniken des maschinellen Lernens, zum Einsatz gekommen.413 In diesem Fall stellt sich die Folgefrage der Ausübung des Mitbestimmungsrechts des Betriebsrats. Denn das Mitbestimmungsrecht bezieht sich auch auf den Inhalt der Auswahlrichtlinie, d. h. auf die Auswahlkriterien.414 Die Auswahlkriterien bei dem KI-System sind die ermittelten Persönlichkeitsmerkmale. Diese Auswahlkriterien muss der Arbeitgeber mit dem Betriebsrat abstimmen und diesen von der Aussagekraft der Merkmale gegebenenfalls überzeugen.415 Auch hierfür bedarf es eines Einblicks in das KISystem, sodass insoweit auf die Ausführungen unter dem vorherigen Gliederungspunkt verwiesen werden kann. Oft dient das KI-System allerdings nur als Auswahlhilfe. Dann stellt es selbst keine Auswahlrichtlinie gemäß § 95 Abs. 1 S. 1 BetrVG dar.416 Die personelle Auswahlentscheidung wird nicht allein auf Grundlage der Ausgabe des KI-Systems oder durch das KI-System, sondern unter Berücksichtigung diverser weiterer Auswahlkriterien durch den Arbeitgeber getroffen.417 Für das KI-System gilt danach, dass es selbst keine Auswahlrichtlinie, sondern möglicher Inhalt der Auswahlrichtlinie ist, da es durch die Ermittlung relevanter Auswahlkriterien als Auswahlhilfe dienen soll.418 In diesem Fall 411  Franzen, NZA 2013, 1 (4); Jedzig, DB 1996, 1337 (Ziffer II. 3); Hunold, DB 1993, 224 (IV.4); Göpfert/Dußmann, NZA-Beilage 2016, 41 (45); Köhler, GWR 2013, 132 (133); Stück, ArbRAktuell 2020, 153 (155); Dzida/Groh, ArbRB 2018, 179 (182). 412  So auch Frank/Heine, NZA 2021, 1448 (1449). 413  Wohl auch Möllenkamp, DB 2021, 1198 (1201). 414  Thüsing, in: Richardi, BetrVG, § 95 BetrVG, Rn. 49. 415  Lützeler/Kopp, ArbRAktuell 2015, 491 (493). 416  Franzen, NZA 2013, 1 (4); zu Assessment Centern Köhler, GWR 2013, 132. 417  Jedzig, DB 1996, 1337 (Ziffer II. 3). 418  Thüsing, in: Richardi, BetrVG, § 95 BetrVG, Rn. 27.

98

3. Kap.: Datenschutzrechtliche Konformität

bestünde, wenn eine solche Auswahlrichtlinie aufgestellt werden sollte, im Hinblick auf die Frage, ob und mit welchem Gewicht die durch das KI-System generierten Erkenntnisse bei der Personalauswahl Berücksichtigung finden dürfen, ein Zustimmungsrecht des Betriebsrats.419 (dd) Weitere Rechte des Betriebsrats Ebenfalls von Relevanz ist die Mitbestimmung bei personellen Einzelmaßnahmen gemäß § 99 BetrVG. Gemäß § 99 Abs. 1 S. 1 BetrVG hat der Arbeitgeber dem Betriebsrat die erforderlichen Bewerbungsunterlagen vorzulegen. Dem Betriebsrat werden vor diesem Hintergrund auch die vom KI-System generierten Erkenntnisse zur Verfügung gestellt werden müssen. So muss der Arbeitgeber den Betriebsrat auch über den Inhalt eines Vorstellungsgesprächs unterrichten, soweit dieser für die Auswahlentscheidung Bedeutung hat.420 Ferner gehören zu den Bewerbungsunterlagen im Sinne des § 99 Abs. 1 S. 1 BetrVG auch vom Arbeitgeber erstellte Dokumente.421 Der Betriebsrat benötigt die vom Arbeitgeber ermittelten und von diesem für auswahlrelevant gehaltenen Daten.422 Denn andernfalls ist seitens des Betriebsrats eine sachangemessene Stellungnahme zu der Auswahlentscheidung nicht möglich.423 Durch die Nutzung der KI-Systeme im Einstellungsprozess hat der Arbeitgeber deutlich zum Ausdruck gebracht, dass er die generierten Daten für auswahlrelevant hält. Das Unterrichtungsrecht des Betriebsrats bezieht sich daher auch auf die Erkenntnisse aus der durch das KI-System vorgenommenen Analyse.424 Dieses Verständnis hat zuletzt auch das Landesarbeitsgericht Köln zum Ausdruck gebracht.425

419  Jedzig, DB 1996, 1337 (III).; vgl. zu Assessment-Center Thüsing, in: Richardi, BetrVG, § 95 BetrVG, Rn. 27. 420  BAG, Beschl. v. 28.06.2005 – 1 ABR 26/04, NZA 2006, 111 (114); Mauer, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 99 BetrVG, Rn. 15. 421  Mauer, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 99 BetrVG, Rn. 15. 422  BAG, Beschl. v. 28.06.2005 – 1 ABR 26/04, NZA 2006, 111 (114). 423  BAG, Beschl. v. 28.06.2005 – 1 ABR 26/04, NZA 2006, 111 (114). 424  So auch Hoffmann, NZA 2022, 19 (24). 425  LAG Köln, Beschl. v. 15.05.2020 – 9 TaBV 32/19, NZA-RR 2021, 76 (78 f.).



B. Erlaubnistatbestand für die Datenverarbeitung99

(h) Transparenz und Diskriminierungsfreiheit Weitere Aspekte, die es zu berücksichtigen gilt,sind die Transparenz und Diskriminierungsfreiheit des verwendeten KI-Systems.426 Diese Aspekte wer­ den an späterer Stelle eingehend behandelt. dd) Zwischenergebnis – Erforderlichkeit im Sinne von § 26 Abs. 1 BDSG Der Einsatz von KI-Systemen zur Sprachanalyse ist unter Berücksichtigung vorgenannter Erwägungen nur zulässig, soweit der Arbeitgeber geeignete Verfahren verwendet. Dabei hat der Arbeitgeber, schon aus Eigeninte­ resse an einer hohen prognostischen Sicherheit, auf die Erfüllung eignungsdiagnostischer Qualitätskriterien zu achten. Unter der Annahme einer hohen Prognosegenauigkeit ist der Einsatz von KI-Systemen auch erforderlich im engeren Sinne. Im Hinblick auf die Angemessenheit ist auf die Ermittlung von Persönlichkeitsmerkmalen, die in der Nähe des Kerns des allgemeinen Persönlichkeitsrechts liegen, zu verzichten. Der potenzielle Arbeitgeber kann auch im Übrigen nicht ohne konkreten Anlass, „ins Blaue hinein“, die Persönlichkeit des Bewerbers analysieren. Es können nur Informationen über Bewerber generiert werden, die einen unmittelbaren Bezug zu dem konkreten Arbeitsplatz und den damit einhergehenden Arbeitsanforderungen haben.427 Die Erstellung eines Persönlichkeitsprofils mithilfe von KI-Systemen zur Sprachanalyse ist demnach nur in begrenztem Umfang unter Zuhilfenahme von § 26 Abs. 1 BDSG zu rechtfertigen. Einer Beschränkung auf verkehrswesentliche Eigenschaften bedarf es aber nicht. Dieses Ergebnis stimmt auch mit den Anforderungen der DIN 33430 überein, wonach „die Eignungsmerkmale […] zur beruflichen Leistung auf einem Arbeitsplatz bzw. zur erfolgreichen Bewältigung […] eines Berufs bzw. einer beruflichen Tätigkeit […] beitragen“ müssen.428 Der potenzielle Arbeitgeber hat, weil ihm die Festlegung des Anforderungsprofils obliegt, einen gewissen Spielraum.429 Sofern sich die Ermittlung in diesem zulässigen Rahmen bewegt, ist die Ermittlung auch mittels KI-Systemen möglich. Der Arbeitgeber ist aus Gründen unternehmerischer Freiheit nicht dazu verpflichtet, Methoden zu wählen, die weniger effizient, organisatorisch aufwendiger oder unwirtschaftlicher sind.430 Automatisierte Verfahren führen zu einer erheblichen Beschleunigung des ZdiW 2021, 65 (68). in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 12; Herdes, DSRITB 2019, 77 (81). 428  DIN 33430:2016-07, S. 10. 429  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 75; Koch, in: Schaub/Koch, Arbeitsrecht von A-Z, Stellenausschreibung. 430  Wybitul, BB 2010, 1085 (1086). 426  Diercks, 427  Hinz,

100

3. Kap.: Datenschutzrechtliche Konformität

Bewerbungsprozesses und damit einhergehend zu einer vergleichsweisen Kostenreduzierung.431 Der Arbeitgeber darf selbst entscheiden, wie er betriebliche Abläufe organisiert.432 Ihm muss es daher möglich sein, sich für die wirtschaftlichere Variante, also für die Durchführung der automatisierten Sprachanalyse, zu entscheiden. Alleine aus unternehmerischen Gründen ist es aus Sicht des Arbeitgebers außerdem sinnvoll, vorab eine Anforderungsanalyse, also eine systematische Analyse der Anforderungen der beruflichen Tätigkeiten zum Zwecke der Ermittlung der für die Leistungserbringung bedeutsamen Merkmale sowie der Festlegung der erforderlichen Ausprägungsgrade dieser Merkmale, durchzuführen.433 Im Planungsstadium einer berufsbezogenen Eignungsbeurteilung kann man so die für die Leistungserbringung bedeutsamen Merkmale und Ausprägungsgrade ermitteln. Dabei kann etwa auf vorhandene Tätigkeits- und Stellenbeschreibungen zurückgegriffen werden, wenngleich diese auf ihre Aktualität hin überprüft werden sollten.434 Es kann zu diesem Zweck auch auf Grundlage der Daten von Bestandsmitarbeitern ein Entscheidungsmodell entwickelt und in das KI-System implementiert werden. Die im Rahmen der unternehmerischen Freiheit getroffene Entscheidung ist von den Arbeitsgerichten im Grundsatz zu respektieren und kann nur auf offenbare Unsachlichkeit gerichtlich überprüft werden.435 Die Merkmale müssen nach der Verkehrsanschauung aber einen nachvollziehbaren Bezug zur Organisation der auszuführenden Arbeiten haben.436 Diese Grenze ist bei der Fest­ legung rein persönlicher, nicht unmittelbar arbeitsplatzbezogener Merkmale überschritten.437 3. Videoanalyse Anders als bei der Sprachanalyse werden bei der Videoanalyse mitunter sensible Daten im Sinne des Art. 9 Abs. 1 DS-GVO verarbeitet (siehe Seite 45 ff.). Fraglich ist, ob und inwieweit sich diese Tatsache für den Arbeitgeber mit Blick auf den Einsatz solcher KI-Systeme auswirkt. Dabei ist zwischen der Verarbeitung dieser Daten zur Emotionserkennung im Sinne einer sich 431  Betz, ZD 2019, 148 (149); Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 31. 432  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 131. 433  DIN 33430:2016-07, S. 6. 434  DIN 33430:2016-07, S. 10. 435  BAG, Urt. v. 24.06.2004 – 2 AZR 326/03, NZA 2004, 1268 (1270). 436  BAG, Urt. v. 24.06.2004 – 2 AZR 326/03, NZA 2004, 1268 (1270). 437  BAG, Urt. v. 24.06.2004 – 2 AZR 326/03, NZA 2004, 1268 (1270); Preis, AuR 1997, 60 (64).



B. Erlaubnistatbestand für die Datenverarbeitung101

ausbildenden kognitiven Empathie-Fähigkeit438 von KI-Systemen und der Verarbeitung zur Ermittlung von Persönlichkeitsmerkmalen zu differenzieren. a) Verarbeitung sensibler Daten zur Emotionserkennung Wie eingangs erwähnt, erlauben KI-Systeme auch Rückschlüsse auf Emotionen von Bewerbern. Hierzu werden oft sensible Daten verarbeitet (siehe Seite 45 ff.). Es ist zu klären, ob und auf welcher recht­lichen Grundlage ein Einsatz dieser KI-Systeme durch den Arbeitgeber infrage kommt. aa) Art. 9 Abs. 2 lit. b) DS-GVO – Erlaubnistatbestand Werden sensible Daten im Einstellungsverfahren zur Emotionserkennung verarbeitet, ist zunächst Art. 9 Abs. 2 lit. b) DS-GVO in den Blick zu nehmen. Danach ist eine Verarbeitung sensibler Daten unter anderem dann zulässig, wenn die Datenverarbeitung für die Ausübung von aus dem Arbeitsrecht erwachsenden Rechten erforderlich ist, soweit das Recht der Mitgliedstaaten dies vorsieht. Dabei ist umstritten, ob bereits auf der Grundlage von Art. 9 Abs. 2 lit. b) DS-GVO eine Datenverarbeitung infrage kommt. Nach einer Auffassung darf eine solche Datenverarbeitung nur erfolgen, wenn eine mitgliedstaatliche Rechtsvorschrift dies vorsieht.439 Dem wird entgegengehalten, dass in Art. 9 Abs. 2 lit. b) DS-GVO von dem „Recht der Mitgliedstaaten“ und nicht von „mitgliedstaatlichen Rechtsvorschriften“ gesprochen werde. Das Recht der Mitgliedstaaten umfasse auch richterrecht­ liche Rechtsgrundsätze und damit das arbeitgeberseitige Fragerecht.440 Gegen Letzteres kann man anführen, dass ausweislich Art. 9 Abs. 2 lit. b) DS-GVO geeignete Garantien für die Grundrechte und die Interessen der betroffenen Person vorgesehen werden müssen. Das spricht für einen normativen Charakter. Der Begriff meint ausweislich Art. 6 Abs. 3 S. 1 lit. b) DS-GVO i. V. m. Erwägungsgrund 41, S. 1 nicht zwingend ein formelles Gesetz, aber wohl zumindest eine verbindliche Regelung.441 Art. 9 Abs. 2 lit. b) DS-GVO

438  Jipp/Steil, in: Haux/Gahl/Jipp/Kruse/Richter, Zusammenwirken von natürlicher und künstlicher Intelligenz, S. 17 (25). 439  Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, Kurzpapier Nr. 17, S. 1 f. 440  Franzen, EuZA 2017, 313 (329); Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 46. 441  Roßnagel, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 6 Abs. 3 ­DSGVO, Rn. 21.

102

3. Kap.: Datenschutzrechtliche Konformität

eröffnet also „nur“ die Möglichkeit, unter den dort genannten Voraussetzungen, die Verarbeitung sensibler Daten zu erlauben.442 bb) § 26 Abs. 3 S. 1 BDSG – Erlaubnistatbestand Mit § 26 Abs. 3 BDSG besteht eine solche verbindliche Regelung, die im Wesentlichen den Wortlaut von Art. 9 Abs. 2 lit. b) DS-GVO wiedergibt.443 (1) Zwecke des Beschäftigungsverhältnisses Erste Voraussetzung ist, dass der sachliche Anwendungsbereich des § 26 BDSG vorliegend überhaupt eröffnet ist, die Datenverarbeitung also für Zwecke des Beschäftigungsverhältnisses erfolgt. Dies ist vorliegend der Fall, denn die Datenverarbeitung findet auch hier im Beschäftigungskontext444 statt.445 Die gewonnenen Erkenntnisse über die Emotionen des Bewerbers sollen in die Entscheidung über die Begründung eines Beschäftigungsverhältnisses einbezogen werden.446 Beschäftigungsfremde Zwecke, also außerhalb der Zweckbestimmung der Begründung, Durchführung oder Beendigung liegende Zwecke447, sind nicht ersichtlich. (2) Erforderlichkeit zur Ausübung von Rechten aus dem Arbeitsrecht Gemäß § 26 Abs. 3 S. 1 BDSG ist die Verarbeitung sensibler Daten zulässig, wenn sie zur Ausübung von Rechten aus dem Arbeitsrecht erforderlich ist und kein Grund zu der Annahme besteht, dass das schutzwürdige Interesse der betroffenen Person an dem Ausschluss der Verarbeitung überwiegt. (a) Arbeitgeberseitiges Fragerecht als Recht aus dem Arbeitsrecht Voraussetzung ist also im Ausgangspunkt, dass dem potenziellen Arbeit­ geber ein Recht im Sinne des § 26 Abs. 3 S. 1 BDSG zusteht. In erster Linie bezieht sich § 26 Abs. 3 BDSG damit auf Rechtsnormen, die den Arbeitgeber zur Verarbeitung sensibler Daten berechtigen oder verpflichten.448 Ein nor442  BAG,

Beschl. v. 09.04.2019 – 1 ABR 51/17, NZA 2019, 1055 (1058). in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 46. 444  Vgl. für den Begriff: Art. 88 Abs. 1 DS-GVO. 445  Gräber/Nolden, in: Paal/Pauly, DS-GVO BDSG, § 26 BDSG, Rn. 8. 446  Maschmann, in: Kühling/Buchner, DS-GVO BDSG, § 26 BDSG, Rn. 5. 447  Gola, in: Gola, Datenschutz-Grundverordnung, Art. 6 DS-GVO, Rn. 101. 448  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 143. 443  Franzen,



B. Erlaubnistatbestand für die Datenverarbeitung103

miertes Recht des Arbeitgebers, sensible Daten zum Zwecke der Emotions­ erkennung zu verarbeiten, existiert nicht. Infrage kommt aber womöglich das arbeitgeberseitige Fragerecht.449 Ob das arbeitgeberseitige Fragerecht ein solches Recht ist, ist umstritten. (aa) Erste Auffassung – Kein Recht aus dem Arbeitsrecht Nach einer Auffassung sind nur Rechte und Pflichten gemeint, die gesetzlich oder kollektivvertraglich verankert sind.450 Dafür könnte eine Formulierung in einer neueren Entscheidung des Bundesarbeitsgerichts451 sprechen. Dort heißt es: „[…] wenn die Verarbeitung personenbezogener Daten zur Erfüllung eines sich aus dem Gesetz ergebenden Rechts der Interessenvertretung der Beschäftigten – und damit einer aus dem Arbeitsrecht i. S. v. § 26 Abs. 3 S. 1 BDSG resultierenden Pflicht des Arbeitgebers – erforderlich ist.“

Allerdings hat das Bundesarbeitsgericht damit nicht zum Ausdruck gebracht, dass die Begriffe der sich „aus einem Gesetz ergebenden Rechte“ und der „Rechte aus dem Arbeitsrecht“ gleichbedeutend wären, sondern lediglich, dass die Voraussetzungen des § 26 Abs. 3 S. 1 BDSG jedenfalls bei einer gesetzlichen Verankerung des Rechts vorliegen. (bb) Zweite Auffassung – Recht aus dem Arbeitsrecht Nach anderer Auffassung soll § 26 Abs. 3 S. 1 BDSG nicht nur gesetzliche Rechte und Pflichten betreffen, sondern auch sich aus der arbeitsrechtlichen Beziehung ergebende Rechte.452 Für diese Auffassung spricht vor allem der Wortlaut von § 26 Abs. 3 S. 1 BDSG. Dieser nennt lediglich die „Ausübung von Rechten“ und nicht das Erfordernis einer normativen Verankerung. Darüber hinaus spricht hierfür die Systematik. Denn § 26 Abs. 1 S. 1 BDSG erlaubt eine Datenverarbeitung, wenn dies zur Ausübung der sich aus einem Gesetz ergebenden Rechte er­ forderlich ist. Wenn im Rahmen von § 26 Abs. 3 S. 1 BDSG ebenfalls eine derartige Beschränkung auf gesetzliche Rechte intendiert gewesen wäre, wäre die Formulierung aus § 26 Abs. 1 S. 1 BDSG schlichtweg übernommen in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 144. in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 145. 451  BAG, Beschl. v. 09.04.2019 – 1 ABR 51/17, NZA 2019, 1055 (1059). 452  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 144 u. 147; Wybitul, NZA 2017, 413 (417); Franzen, in: Franzen/Gallner/Oetker, Kommentar zum europäischen Arbeitsrecht, Art. 9 DS-GVO, Rn. 9. 449  Gola, 450  Gola,

104

3. Kap.: Datenschutzrechtliche Konformität

worden. Auch kann argumentativ auf § 28 Abs. 6 Nr. 3 BDSG a. F. zurückgegriffen werden. Danach war eine Verarbeitung besonderer Arten personen­ bezogener Daten zulässig, wenn dies zur Geltendmachung, Ausübung oder Verteidigung rechtlicher Ansprüche erforderlich war. Das Fragerecht des ­Arbeitgebers war umfasst.453 (cc) Streitentscheid Aus dem Wortlaut des § 26 Abs. 3 S. 1 BDSG geht ein Erfordernis gesetzlicher Verankerung des Rechts nicht hervor. Insbesondere der Vergleich mit § 26 Abs. 1 S. 1 BDSG zeigt, dass auch sich aus der arbeitsrechtlichen Beziehung ergebende Rechte erfasst sind. Dem Grunde nach ist eine Verarbeitung sensibler Daten daher unter Zuhilfenahme des arbeitgeberseitigen Fragerechts als Recht aus dem Arbeitsrecht zulässig. (b) Erforderlichkeit – Umfang des Fragerechts Weitere Voraussetzung ist, dass die Datenverarbeitung für die Ausübung des Fragerechts erforderlich ist und kein Grund zu der Annahme besteht, dass das schutzwürdige Interesse der betroffenen Person an dem Ausschluss der Verarbeitung überwiegt. Dabei kann die Datenverarbeitung, hier die Videoanalyse zur Emotionserkennung, von vornherein nur für die Ausübung des Fragerechts erforderlich sein, wenn durch die Datenverarbeitung Ausgabedaten generiert werden, die über die Ausübung des Fragerechts in Erfahrung gebracht werden dürften. Es stellt sich also die Frage, ob die Emotionen über die Ausübung des Fragerechts in Erfahrung gebracht werden dürfen. Auch in einem analogen Bewerbungsgespräch achtet der Arbeitgeber üblicherweise auf die emotionale Reaktion des Bewerbers. Die Erkennung von Emotionen während eines Bewerbungsgesprächs kann für den Arbeitgeber hilfreich sein. So kann der Arbeitgeber aus den emotionalen Reaktionen auf einzelne (etwa überraschende) Fragen mitunter Rückschlüsse auf Fähigkeiten des Bewerbers ziehen, die wiederum die Eignung für den zu besetzenden Arbeitsplatz betreffen. Dabei ist es irrelevant, dass es sich um bloße Momentaufnahmen handelt.454

453  Simitis, in: Simitis, Bundesdatenschutzgesetz, § 28 BDSG, Rn. 306; wohl auch: Hilbrans/Middel, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 28 BDSG, Rn. 10 u. 14. 454  Diercks, ZdiW 2021, 62 (64).



B. Erlaubnistatbestand für die Datenverarbeitung105

(aa) Geeignetheit – Forschungsstand und Ausblick Auch die Qualität von KI-Systemen, die Emotionen (etwa anhand der Mimik) erkennen sollen, ist umstritten. Teilweise wird zwar darauf verwiesen, dass KI-Systeme die Emotionen einer Person „relativ gut“ erkennen können.455 Auf der anderen Seite wird behauptet, diese seien nach derzeitigem Forschungsstand nicht dazu geeignet, menschliche Emotionen valide zu erkennen.456 Bereits die Grundannahme, dass sich menschliche Emotionen stets in der Mimik widerspiegeln, sei falsch.457 So hätten Untersuchungen etwa gezeigt, dass Personen nur in 30 % der Fälle, in denen sie wütend sind, auch einen finsteren Gesichtsausdruck aufweisen. Zudem könne ein solcher Gesichtsausdruck auch auf gänzlich andere Stimmungslagen hindeuten (etwa Konzentration).458 Zuletzt machte ein von Journalisten durchgeführter Versuch Schlagzeilen, bei dem dieselben Personen mehrfach von einem System analysiert wurden. Dabei wurde jeweils ihr Erscheinungsbild oder der Bildhintergrund verändert; dies führte zu Abweichungen in den Ergebnissen (die von dem Systemanbieter zudem nicht erklärt werden konnten).459 Im AI Now Report aus dem Jahr 2019 wurde festgehalten, es gebe „little to no evidence that these new affect-recognition products have any scientific validity“ (dt. „Es gibt wenig bis keine Beweise dafür, dass diese Produkte zur Emotionserkennung wissenschaftlich fundiert sind.“).460 Es spricht also bereits sehr wenig für die Geeignetheit der KI-Systeme zur Emotionserkennung, weshalb ein Einsatz dieser KI-Systeme auf Grundlage von § 26 BDSG zum gegenwärtigen Zeitpunkt nicht infrage kommt.461 Für die Zukunft gilt dies nicht unbedingt. So soll es nicht ausgeschlossen sein, dass durch die Berücksichtigung weiterer nonverbaler Faktoren, etwa der Gestik des Bewerbers, und des Kontextes eine valide Emotionserkennung erreicht wird.462 Hierfür ist allerdings ein Zeithorizont von zehn bis fünfzehn Jahren genannt worden.463 ZdiW 2021, 62 (65). 19/23700, S. 334. 457  Korte, Facial-Recognition Technology Cannot Read Emotions, Scientists Say, 17. Februar 2020. 458  Korte, Facial-Recognition Technology Cannot Read Emotions, Scientists Say, 17. Februar 2020; vgl. das anschauliche Beispiel bei Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 45. 459  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 3. 460  Crawford et al., ​AI Now Report​2019, S. 51. 461  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 48. 462  Korte, Facial-Recognition Technology Cannot Read Emotions, Scientists Say, 17. Februar 2020; Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 5. 463  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 5. 455  Diercks, 456  BT-Drs.

106

3. Kap.: Datenschutzrechtliche Konformität

(bb) Erforderlichkeit – Vergleich mit Videobewerbung In Anbetracht der möglichen Verbesserungen der KI-Systeme in der Zukunft ist fraglich, ob die Datenverarbeitung erforderlich ist. Es dürfte kein anderes, gleich geeignetes und weniger einschneidendes Mittel zur Verfügung stehen. Gegenstand dieser Bewertung ist zwar die automatisierte Analyse der Videoaufzeichnungen; allerdings können die Ausführungen zu Videobewerbungen in der Literatur und die entsprechenden Stellungnahmen der Landes­ datenschutzbehörden hilfreiche Anhaltspunkte für die hiesige Prüfung der Erforderlichkeit liefern. Bei der Videobewerbung werden durch den Arbeitgeber mittels videobasierter Dienste (z. B. Skype, Zoom, Microsoft Teams) Bewerbungsgespräche geführt. Dies ist nach Auffassung des Bayerischen Landesamts für Datenschutzaufsicht zulässig, da eine digitale Lösung gerade bei weiten Anreisen im beiderseitigen Interesse liege und hierdurch womöglich mehr Bewerbern die Möglichkeit verschafft werde, sich persönlich darzustellen.464 Eine noch größere Vergleichbarkeit mit den in Rede stehenden KI-Systemen besteht im Hinblick auf zeitversetzte Videointerviews. Hier werden die Gespräche aufgezeichnet, was dem Arbeitgeber die Möglichkeit verschafft, die Videoaufzeichnung zu einem späteren Zeitpunkt mehrfach anzusehen und eingehend zu analysieren (etwa im Hinblick auf Mimik und Gestik eines Bewerbers).465 Bereits diese Vorgehensweise soll nach Auffassung verschiedener Aufsichtsbehörden unzulässig sein.466 So wurde in dem 23. Datenschutz- und Informationsfreiheitsbericht der Landesbeauftragten für Datenschutz und Informationsfreiheit Nordrhein-Westfalen aus dem Jahr 2017 die Auffassung vertreten, ein solches Verfahren sei datenschutzrechtlich unzulässig.467 Denn derartige Videobewerbungen würden aufgrund der erweiterten Auswertungsmöglichkeiten hinsichtlich des nonverbalen Verhaltens im Vergleich zu konventionellen Bewerbungsgesprächen, bei denen die Wahrnehmungen des Personalers eben nicht reproduzierbar seien, deutlich stärker in das Recht auf informationelle Selbstbestimmung eingreifen.468 Zu berücksichtigen ist dabei, dass sich die Ausführungen auf den Einsatz von Software 464  Bayerisches Landesamt für Datenschutzaufsicht, 8. Tätigkeitsbericht 2017/2018, S. 89; Peters, Robo-Recruiting, S. 4. 465  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 44. 466  Byers, SPA 2017, 89 (89 f.). 467  Landesbeauftragte für Datenschutz und Informationsfreiheit Nordrhein-West­ falen, 23. Datenschutz- und Informationsfreiheitsbericht 2017, S. 52. 468  Landesbeauftragte für Datenschutz und Informationsfreiheit Nordrhein-West­ falen, 23. Datenschutz- und Informationsfreiheitsbericht 2017, S. 52 f.



B. Erlaubnistatbestand für die Datenverarbeitung107

durch eine Kommune bezogen haben, weshalb wohl ein recht strenger Maßstab angelegt worden ist.469 Allerdings ist im Jahresbericht 2016 der Berliner Beauftragten für Datenschutz und Informationsfreiheit auch der Einsatz von Software zur Durchführung von zeitversetzten Videointerviews durch ein Unternehmen mangels Erforderlichkeit für rechtswidrig erachtet worden.470 Gegen die Ablehnung der Erforderlichkeit mit der Argumentation des Berliner Beauftragten für Datenschutz und Informationsfreiheit spricht, dass die von den Landesdatenschutzbeauftragten angeführten Alternativen wie Eignungstests dem Arbeitgeber nicht dieselben Informationen wie die Auswertung der Videoaufzeichnung vermitteln.471 Eignungstests sind also nicht gleich geeignet. Im Ausgangspunkt spricht auch nichts gegen die Analyse von Mimik und Gestik, denn auch bei einem konventionellen Bewerbungsgespräch werden Mimik und Gestik analysiert, mitunter durch zusätzliche Gesprächspartner.472 Die Auswertung von Videoaufzeichnungen vermittelt dem Arbeitgeber natürlich mehr Informationen als das konventionelle Bewerbungsgespräch. So werden auch zusätzliche Gesprächspartner nicht jede Regung wahrnehmen. Vor diesem Hintergrund mag das konventionelle Bewerbungsgespräch weniger einschneidend sein, aber es ist ebenfalls nicht gleich geeignet.473 Dies gilt umso mehr für die hier in Rede stehenden KI-Systeme. Der Einsatz dieser Systeme bietet, ihre Validität vorausgesetzt, nicht nur größere Erkenntnismöglichkeiten als die während des Bewerbungsgesprächs stattfindende Beobachtung des Bewerbers durch weitere Gesprächspartner, sondern auch als die nachträgliche Beurteilung einer Videoaufzeichnung durch einen Menschen. Ob die Nutzung dieser größeren Erkenntnismöglichkeiten unangemessen ist, ist keine Frage der Erforderlichkeit im engeren Sinne, sondern der Angemessenheit. Ein milderes, gleich geeignetes Mittel steht dementsprechend nicht zur Ver­fügung.

469  Landesbeauftragte für Datenschutz und Informationsfreiheit Nordrhein-West­ falen, 23. Datenschutz- und Informationsfreiheitsbericht 2017, S. 52. 470  Berliner Beauftragte für Datenschutz und Informationsfreiheit, Jahresbericht 2016, S.  117 f. 471  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 47. 472  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 47. 473  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 47.

108

3. Kap.: Datenschutzrechtliche Konformität

(cc) Angemessenheit Im Rahmen der Angemessenheit sind nunmehr die widerstreitenden Inte­ ressen zu berücksichtigen und abzuwägen.474 Dabei wird der Verhältnismäßigkeitsgrundsatz durch die in § 26 Abs. 3 BDSG gewählte Formulierung475 nochmals betont.476 Für die Berücksichtigung der schutzwürdigen Interessen der betroffenen Person besteht ein verschärfter Maßstab.477 Die Prüfung der Erforderlichkeit wird durch den Vorbehalt überwiegender schutzwürdiger Interessen des Betroffenen ergänzt.478 Insoweit wird man ein erhebliches Überwiegen der Interessen des Arbeitgebers fordern müssen.479 Für eine Angemessenheit des Einsatzes solcher Systeme könnte sprechen, dass der Arbeitgeber, wie erwähnt, auch bei einem konventionellen Bewerbungsgespräch neben den inhaltlichen Aussagen natürlich Gestik und Mimik analysiert, gegebenenfalls sogar durch Hinzuziehung weiterer Gesprächspartner, die sich auf diese Beobachtung beschränken.480 Allerdings geht mit den softwarebedingt größeren Erkenntnismöglichkeiten auch eine höhere Eingriffsintensität einher. Dies gilt auch im Vergleich zu der Analyse von Videoaufzeichnungen durch Menschen. Der Einsatz von KI-Systemen erlaubt, anders als die oft laienhafte, menschliche Begutachtung, einen tiefen Einblick in die Emotionswelt des Bewerbers. Die ermittelten Ausgabedaten betreffen den Schutz der inneren Gefühlswelt und damit die Intimsphäre. Schon aus diesem Grund ist der Einsatz dieser KI-Systeme unangemessen. Anders als im laufenden Arbeitsverhältnis, in dem der Arbeitgeber Informationen zu den Emotionen des Arbeitnehmers zum Anlass für Verbesserungsmaßnahmen nehmen könnte, sind auch keine Vorteile für den Bewerber ersichtlich.481 DuD 2017, 750 (752). ist es bereits, wenn ein „Grund zu der Annahme besteht, dass das schutzwürdige Interesse der betroffenen Person an dem Ausschluss der Verarbeitung überwiegt“. 476  Zu § 28 BDSG a. F. Hilbrans/Middel, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 28 BDSG, Rn. 10. 477  Zu § 28 BDSG a. F. Hilbrans/Middel, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 28 BDSG, Rn. 10; Weichert, in: Kühling/Buchner, DS-GVO BDSG, Art. 9 DS-GVO, Rn. 54. 478  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 65; Gräber/Nolden, in: Paal/Pauly, DS-GVO BDSG, § 26 BDSG, Rn. 40. 479  Zu § 28 BDSG a. F. Hilbrans/Middel, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 28 BDSG, Rn. 5. 480  Diercks, DuD 2017, 750 (755); Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 47. 481  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 301. 474  Diercks,

475  Problematisch



B. Erlaubnistatbestand für die Datenverarbeitung109

Zudem spricht gegen einen Einsatz solcher Systeme auch, dass der Arbeitgeber in weiten Teilen an der Emotionserkennung gar kein berechtigtes, billigenswertes und schutzwürdiges Interesse im Hinblick auf das Arbeitsverhältnis und den konkret zu besetzenden Arbeitsplatz haben wird.482 Denn die Feststellung sämtlicher emotionaler Zustände, die der Bewerber während des Bewerbungsgesprächs durchlaufen hat, ist für dessen spätere Tätigkeit kaum relevant. Eine optimierte Bewerberauswahl wird man hierdurch in den meisten Fällen nicht erreichen. Etwas anderes dürfte nur für die Reaktion auf überraschende Fragestellungen (etwa bei Stressinterviews, deren Zulässigkeit ebenfalls umstritten ist483) oder auf kritische Anmerkungen gelten, da hierdurch möglicherweise Rückschlüsse auf das Maß an Souveränität im Umgang mit neuen, ungewohnten Situationen oder auf die Kritikfähigkeit gezogen werden können. Besonders kritisch für die schutzwürdigen Interessen ist, dass die Wahrnehmung von Emotionen hilfreich bei der Einschätzung des Wahrheitsgehalts von Aussagen sein kann.484 An den EU-Außengrenzen wurde beispielsweise Software eingesetzt, die im Wege automatischer Emotionserkennung analysierte, ob Personen lügen, diese auf Grundlage der Ergebnisse der Emotionserkennung in Risikokategorien einordnete und damit das Ausmaß der Kon­ trolle steuerte.485 Diese Möglichkeiten sind auch im Einstellungsverfahren äußerst bedenklich. Denn damit steht der Einsatz von KI-Systemen zur Emo­ tionserkennung in einem Spannungsverhältnis mit dem „Recht zur Lüge“. Auf Fragen seines zukünftigen Arbeitgebers muss der Bewerber nicht wahrheitsgemäß antworten, wenn diese unzulässig sind.486 Dieses Recht wird aber völlig entwertet, wenn der Arbeitgeber die Lüge ohne Weiteres erkennt. Zu Recht werden daher Parallelen zum Einsatz eines Lügendetektors gezogen.487 Untersuchungen mit einem Lügendetektor sind stets unzulässig.488 Jedenfalls aufgrund dieser Möglichkeiten ist daher der Einsatz von KI-Systemen zur Emotionserkennung unzulässig.489

482  Vgl.

etwa BAG, Urt. v. 07.06.1984 – 2 AZR 270/83, NZA 1985, 57. BB 1998, 1310 (1311); Thüsing, in: Henssler/Willemsen/Kalb, Arbeitsrecht-Kommentar, § 611a BGB, Rn. 165. 484  Stenner, Emotionale KI – Berechnete Gefühle, 2. Juli 2021. 485  Pfeil, InTeR 2020, 82 (84); Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 21. 486  Armbrüster, in: MüKo BGB, § 123 BGB, Rn. 46. 487  Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1082. 488  Reichold, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 1, § 94, Rn. 14. 489  Sollte der Einsatz des KI-Systems gerade zum Zweck der Einschätzung des Wahrheitsgehalts von Aussagen erfolgen und diese nicht nur ermöglichen, bestünde 483  Zachert,

110

3. Kap.: Datenschutzrechtliche Konformität

cc) Zwischenergebnis – Einsatz von KI-Systemen zur Emotionserkennung Vor dem Hintergrund, dass die Validität der KI-Systeme zur Emotions­ erkennung wissenschaftlich umstritten ist, die Datenschutzbehörden bereits die manuelle Auswertung von Videoaufzeichnungen für unzulässig halten, die stellenrelevanten Erkenntnisse begrenzt sein dürften und der Einsatz derartiger KI-Systeme eine hohe Eingriffsintensität aufweist, kann von deren Einsatz durch den Arbeitgeber nur abgeraten werden. Dieses Ergebnis liegt auf einer Linie mit den jüngsten Leitlinien zur Gesichtserkennung des Europarats. Darin heißt es, dass die Nutzung von Gesichtserkennungstechnologie zur Affekterkennung aufgrund großer Gefahren für das Individuum und die Gesellschaft, gerade im Beschäftigungskontext, ausdrücklich verboten werden sollte.490 Ebenso ist ein solches Verbot vom AI Now Institute gefordert worden.491 b) Verarbeitung sensibler Daten zur Persönlichkeitsanalyse Dasselbe dürfte im Ergebnis für die Verarbeitung sensibler Daten zur Ermittlung von Persönlichkeitsmerkmalen gelten. Zwar ist gemäß § 26 Abs. 3 S. 1 BDSG dem Grunde nach eine Verarbeitung sensibler Daten unter Zuhilfenahme des arbeitgeberseitigen Fragerechts zulässig. Auch sollen sich biometrische Daten, weil sie dem Körper zeit­ lebens anhaften, gut zur Erstellung von Persönlichkeitsprofilen eignen.492 Ferner werden durch die Datenverarbeitung Ausgabedaten generiert, an denen, soweit es sich um konkret arbeitsplatzbezogene Merkmale handelt, ein berechtigtes schützenswertes Interesse des Arbeitgebers besteht. Und auch die beschriebenen Bedenken im Zusammenhang mit der Emotionserkennung mit Blick auf die Einschätzung des Wahrheitsgehalts von Aussagen bestehen hier nicht. Allerdings setzt § 26 Abs. 3 S. 1 BDSG voraus, dass neben der Verhältnismäßigkeitsprüfung auch kein Grund zu der Annahme besteht, dass das schutzwürdige Interesse der betroffenen Person an dem Ausschluss der Verarbeitung überwiegt.493 Für § 26 Abs. 3 S. 1 BDSG gilt im Verhältnis zu § 26 hingegen schon kein legitimer Verarbeitungszweck im Sinne von Art. 5 Abs. 1 lit. b) DS-GVO. 490  Europarat, Leitlinien zur Gesichtserkennung, S. 5. 491  Crawford et al., ​AI Now Report 2019​, S. 6; Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 5. 492  Schneider/Schindler, ZD 2018, 463 (468). 493  BT-Drs. 18/11325, S. 98.



B. Erlaubnistatbestand für die Datenverarbeitung111

Abs. 1 BDSG ein verschärfter Maßstab.494 Es ist im Rahmen von § 26 Abs. 3 S. 1 BDSG ein erhebliches Überwiegen der Arbeitgeberinteressen erforderlich.495 Zugleich besteht am Schutz sensibler Daten ein höheres Interesse als am Schutz sonstiger Daten.496 Die schutzwürdigen Interessen der betroffenen Person sind deswegen von vornherein stärker zu gewichten. Die Interessenabwägung fällt daher bei der Verarbeitung sensibler Daten zulasten des Arbeitgebers aus.497 Insgesamt ist eine Ermittlung von Persönlichkeitsmerkmalen durch eine Verarbeitung sensibler Bewerberdaten auf Grundlage von § 26 Abs. 3 BDSG nicht möglich. Etwas Anderes könnte allenfalls für den seltenen Fall einer Ermittlung verkehrswesentlicher Eigenschaften gelten. 4. Erforderlichkeit der Weiterverarbeitung der Ausgabedaten – Speicherung und Abgleich mit Stellenprofil Im Anschluss an die soeben besprochene Ermittlung der Persönlichkeitsmerkmale (oder auch der Ermittlung weiterer Merkmale von Bewerbern etwa durch CV-Parsing) werden diese Daten gegebenenfalls weiterverarbeitet, indem diese gespeichert werden oder in dem Entscheidungsmodell ein Abgleich mit dem Soll-Profil vorgenommen wird. Auch für diese Weiterverarbeitung der generierten, personenbezogenen Ausgabedaten findet § 26 Abs. 1 S. 1 BDSG Anwendung. Auch dies muss für die Entscheidung über die Begründung des Beschäftigungsverhältnisses erforderlich sein. Insoweit ist im Rahmen der Interessenabwägung zugunsten der betroffenen Person ergänzend zu berücksichtigen, dass es sich bei den nunmehr zu verarbeitenden Ausgabedaten, also bei dem generierten Profil, um eine (Teil-)Erfassung der Persönlichkeit der betroffenen Person handelt. Die Ausgabedaten sind in der Regel sensibler als die ursprünglichen Eingabedaten. Bei der Verarbeitung von Daten über die Emotionen oder den Charakter eines Bewerbers ist das Persönlichkeitsrecht stärker berührt.498 Zum anderen bestehen im vorangegangenen Prozess des Profiling in erster Linie latente Risiken (Diskriminierungsrisiken, Risiken wirtschaftlicher oder gesellschaftli-

in: Taeger/Gabel, DSGVO BDSG, § 26 BDSG, Rn. 84. § 28 BDSG a. F. Hilbrans/Middel, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 28 BDSG, Rn. 5. 496  Wolff, in: Wolff/Brink, BeckOK Datenschutzrecht, § 28 BDSG a. F., Rn. 258. 497  Wohl auch Jares/Vogt, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (80). 498  Schmidt, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, Art. 2 GG, Rn. 88. 494  Zöll, 495  Zu

112

3. Kap.: Datenschutzrechtliche Konformität

cher Nachteile).499 Diese Risiken realisieren sich oft erst endgültig mit der Weiterverarbeitung der Ausgabedaten.500 Im Hinblick auf die Zulässigkeit der Speicherung der Ausgabedaten und einen Abgleich mit dem Soll-Profil werden sich aber dennoch regelmäßig keine Ergebnisabweichungen im Vergleich mit der Zulässigkeit der Ausgangsdatenverarbeitung ergeben, denn die Zulässigkeit der Generierung der Ausgabedaten wirkt indiziell mit Blick auf die Weiterver­arbeitung dieser Ausgabedaten.501 Letztlich wäre es inkonsistent, wenn man die Generierung persönlichkeitsrelevanter Ausgabedaten zuließe, aber die Weiterverarbeitungsmöglichkeit ablehnt, denn zwischen dem Profiling und der anschließenden Verarbeitung der Ausgabedaten besteht ein enger Zusammenhang.502 Dieser Zusammenhang ist so eng, dass zum Teil vertreten wird, Profiling umfasse auch die Verwendung von Profilen.503 Aus diesem Grund ist die Rechtmäßigkeit des Profiling bei der Beurteilung der Erforderlichkeit der Weiterverarbeitung des Profils zugunsten des Verantwortlichen heranzuziehen. Faktisch ergeben sich keine Differenzen bei der Abwägung. In dem Umfang, in dem gemäß § 26 Abs. 1 BDSG die Generierung der Ausgabedaten zulässig ist, ist daher auch eine Weiterverarbeitung der Aus­ gabedaten durch den Arbeitgeber mittels des Entscheidungsmodells zulässig. 5. Datenschutzrechtliche Einwilligung Es verbleibt ein potenzieller Anwendungsbereich für die Einwilligung. Dies gilt vor allem, soweit § 26 BDSG nicht einschlägig ist.504 Der Arbeitgeber wird häufig ein Interesse daran haben, mehr Eigenschaften über den Arbeitnehmer zu erfahren als unbedingt erforderlich. Er investiert in die KI-Systeme auch deswegen, weil er sich über das übliche Maß hinausgehende Informationen zur Persönlichkeit des Bewerbers erhofft. Aus Sicht manchen Arbeitgebers wird etwa die Beschränkung auf arbeitsplatzbezogene Eigenschaften zu eng sein.505 Und auch mit Blick auf die Videoanalyse bleibt ein potenzieller Anwendungsbereich. Die Einwilligung versetzt den betroffenen Bewerber in die Lage, privatautonom über das „Ob“ und in: Kühling/Buchner, DS-GVO BDSG, Art. 6 DS-GVO, Rn. 153. Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 255. 501  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 253. 502  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 256. 503  Ernst, in: Paal/Pauly, DS-GVO BDSG, Art. 4 DS-GVO, Rn. 36. 504  Diercks, ZdiW 2021, 65 (69). 505  Betz, ZD 2019, 148 (151). 499  Buchner/Petri, 500  Lorentz,



B. Erlaubnistatbestand für die Datenverarbeitung113

„Wie“ der Datenverarbeitung zu bestimmen.506 Sie wird auch als „genuiner Ausdruck informationeller Selbstbestimmung“ bezeichnet.507 Es ist zu klären, ob der Arbeitgeber die Daten von Bewerbern auf Grundlage einer Einwilligung verarbeiten kann. a) Einwilligung im Beschäftigungsverhältnis Eingangs ist zu klären, ob und inwieweit die Einwilligung zur Legitimation der Datenverarbeitung im Beschäftigungskontext herangezogen werden kann.Unter Geltung des BDSG a. F. war umstritten, ob eine Einwilligung (§ 4a BDSG a. F.) aufgrund des im Beschäftigungsverhältnis bestehenden Ungleichgewichts stets ausgeschlossen ist.508 Mit Blick auf die DS-GVO fand sich im Entwurf der EU-Kommission noch ein grundsätzliches Verbot der Einwilligung als Erlaubnistatbestand für die Verarbeitung von Beschäftigtendaten.509 Die DS-GVO selbst trifft für die Einwilligung im Beschäftigungsverhältnis keine spezifische Aussage.510 Art. 88 DS-GVO trifft auch keine Aussage zu der Frage, ob und inwieweit ein Mitgliedstaat im Zusammenhang mit Art. 88 DS-GVO eine legitimierende Einwilligung vorsehen kann.511 Lediglich Erwägungsgrund 155 sieht vor, dass im Recht der Mitgliedstaaten spezifische Vorschriften über die Bedingungen, unter denen personenbezogene Daten im Beschäftigungskontext auf der Grundlage der Einwilligung des Beschäftigten verarbeitet werden dürfen, erlassen werden können. Daraus folgt, dass die Einwilligung als Erlaubnistatbestand für die Datenverarbeitung im Beschäftigungskontext dem Grunde nach in Frage kommt.512 Der deutsche Gesetzgeber hat reagiert und in der nationalen Regelung des § 26 Abs. 2 BDSG klargestellt, dass Einwilligungen im Beschäftigungsverhältnis dem Grunde nach zulässig sind.513

ZD 2019, 148 (151). vieler Uecker, ZD 2019, 248. 508  Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 7 DS-GVO, Rn. 96. 509  Gola, EuZW 2012, 332 (335). 510  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 131. 511  Selk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 88 DS-GVO, Rn. 199. 512  Selk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 88 DS-GVO, Rn. 200. 513  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 131. 506  Betz, 507  Statt

114

3. Kap.: Datenschutzrechtliche Konformität

b) Inhaltliche Grenzen der Einwilligung – Allgemeines Gleichbehandlungsgesetz und Persönlichkeitsdurchleuchtung/Fragerecht Eine Einwilligung ist dem Grunde nach möglich. Indes bestehen inhalt­ liche Grenzen; der Bewerber kann selbst durch eine auf seinem freien Willen beruhende Einwilligung nicht vollständig auf sein Recht auf informationelle Selbstbestimmung verzichten. Privatsphäre ist auch ein öffentliches Gut und die Gewährleistung von Privatsphäre ist Grundvoraussetzung für eine lebensfähige Demokratie.514 Es muss daher stets ein angemessenes Maß an Persönlichkeitsschutz gewährleistet werden.515 Das Persönlichkeitsrecht steht nicht vollumfänglich zur Disposition des Einzelnen.516 Auch unter Zuhilfenahme einer Einwilligung des Bewerbers dürfen also nicht sämtliche Merkmale analysiert werden. Grenzen setzen das Persönlichkeitsrecht, das arbeitgeberseitige Fragerecht sowie das Allgemeine Gleichbehandlungsgesetz (im Folgenden: „AGG“).517 Dem Arbeitgeber ist es nicht gestattet, die ihm gezogenen Grenzen mittels der Einholung von Einwilligungen zu überschreiten.518 Andernfalls würde er an Informationen gelangen, die ihm aus arbeitsrecht­ licher Sicht bzw. nach arbeitsrechtlichen Grundsätzen unzugänglich sein sollen.519 aa) Allgemeines Gleichbehandlungsgesetz Die Datenverarbeitung hinsichtlich der Merkmale des § 1 AGG (etwa ethnische Herkunft, Geschlecht, Behinderung, Alter, sexuelle Identität) ist unzulässig. An der Erlangung dieser Informationen besteht kein berechtigtes und schützenswertes Interesse, da der Arbeitgeber seine Auswahlentscheidung auf diese Informationen ohnehin nicht stützen darf.520 Eine Einwilligung in die Durchführung einer Analyse, die Daten zu Merkmalen des § 1 AGG liefert, ist daher unzulässig und wäre zudem ein Indiz für eine Benachteiligung nach dem AGG. Konkret bedeutet das, dass eine Einwilligung entsprechend § 134 BGB nichtig ist, wenn die Einwilligung den Zugriff auf Daten beDuD 2006, 548 (551). in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 463; Hilde­ brandt, DuD 2006, 548 (551). 516  Dickmann, r+s 2018, 345 (349). 517  Däubler, Gläserne Belegschaften, Rn. 161. 518  Däubler, Gläserne Belegschaften, Rn. 161; Herdes, DSRITB 2019, 77 (82). 519  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 136; Kort, NZA-Beilage 2016, 62 (67). 520  Maties, in: beck-online.GROSSKOMMENTAR, § 611a BGB, Rn. 596; Gola, BB 2017, 1462 (1468). 514  Hildebrandt, 515  Fuhlrott,



B. Erlaubnistatbestand für die Datenverarbeitung115

zweckt, der dem potenziellen Arbeitgeber kraft zwingenden Rechts versagt bleiben muss.521 Die hier behandelten KI-Systeme dienen nicht der Ermittlung von Merkmalen des § 1 AGG. bb) Persönlichkeitsdurchleuchtung/Fragerecht Sowohl Sprach-/Videoanalyse als auch graphologische Gutachten stellen letztlich besondere Formen eines Persönlichkeitstests dar.522 Eine Persönlichkeitsanalyse ist, wie gezeigt, nicht generell unzulässig. Eine Einwilligung in die Durchführung einer Persönlichkeitsanalyse wird in der Rechtsprechung des Bundesarbeitsgerichts im Grundsatz für zulässig gehalten.523 Der Arbeitgeber ist, auch unter Zuhilfenahme einer Einwilligung, aber nicht befugt, einen Bewerber durch einen Persönlichkeitstest zu „durchleuchten“.524 Denn auch im Rahmen des vorvertraglichen Anbahnungsverhältnisses und bei der Einwilligung sind die Grundsätze von Treu und Glauben zu berücksichtigen.525 Der sog. „Seelenstriptease“ würde gegen diese Grundsätze verstoßen.526 Allgemeine Persönlichkeitstests zur Erfassung der Gesamtpersönlichkeit bzw. zur bloßen Charakterstudie sind also auch unter Zuhilfenahme einer Einwilligung unzulässig. Auch die Ermittlung von Merkmalen, welche die Intimsphäre betreffen, ist mit einer Einwilligung nicht zu legitimieren. Die konkrete Reichweite des Persönlichkeitstests ist entscheidend. Wie bereits bei der Prüfung von § 26 Abs. 1 BDSG herausgestellt worden ist, beschränkt das Fragerecht des Arbeitgebers den Zugriff auf solche Daten, deren Kenntnis für die konkrete Beschäftigung relevant ist.527 Der – in welcher Form auch immer durchgeführte – Persönlichkeitstest darf sich auch im Falle der Einwilligung nur auf Bereiche beziehen, die mit der auszufüllenden Position in Zusammenhang stehen.528 Schon für graphologische Gutachten galt, dass eine Einwilligung nur dort möglich war, wo etwaige aus der Handschrift abgeleitete Erkenntnisse Aussagen über die Befähigung des Bewerbers zu der in Aussicht genommenen Tätigkeit enthalten.529 Die Einwilligung musste 521  Däubler, Gläserne Belegschaften, Rn. 161; Gola, BB 2017, 1462 (1468); Gola, BB 2017, 1462 (1468). 522  Bausewein, ZD 2014, 443 (446). 523  BAG, Urt. v. 16.09.1982 – 2 AZR 228/80, NJW 1984, 446. 524  Bausewein, ZD 2014, 443 (446). 525  Bausewein, ZD 2014, 443 (447). 526  Bausewein, ZD 2014, 443 (447). 527  Künzl, ArbR Aktuell 2012, 235. 528  Preis, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, 17. Aufl. 2017, § 611 BGB, Rn. 305; Lembke, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, Art. 88 DS-GVO, Rn. 69. 529  Wohlgemuth, EzA § 123 BGB Nr. 22.

116

3. Kap.: Datenschutzrechtliche Konformität

sich auf den Bereich des Charakters beschränken, der für das Arbeitsgebiet und die konkrete Arbeitsstelle von naheliegendem Belang ist, also auf Bereiche der Privatsphäre, die auch ein in Personalfragen sachkundiger Laie für den in Aussicht genommenen konkreten Arbeitsplatz zu berücksichtigen pflegt.530 Insoweit gilt das zu § 26 Abs. 1 BDSG Geschriebene. cc) Keine Einwilligung in die Videoanalyse Vor diesem Hintergrund scheidet eine Einwilligung von Bewerbern in die Durchführung einer Videoanalyse, jedenfalls zur Emotionserkennung, durch ein KI-System aus. Die durch das Persönlichkeitsrecht gezogenen und auf den Seiten 100 ff. dargestellten dargestellten Grenzen können auch nicht durch eine Einwilligung überschritten werden.531 Dies wäre aber der Fall, wenn sich der Bewerber auf Basis einer Einwilligung einer solchen Videoanalyse durch ein KI-System aussetzt. c) Voraussetzungen der Einwilligung Im Übrigen kommt eine Einwilligung in die Datenverarbeitung dem Grunde nach in Betracht. Fraglich ist, welche Anforderungen an die Einwilligung bestehen. Regelungen zur datenschutzrechtlichen Einwilligung finden sich sowohl in der DS-GVO als auch im BDSG. Gemäß Art. 6 Abs. 1 S. 1 lit. a) DS-GVO ist die Datenverarbeitung rechtmäßig, wenn die betroffene Person ihre Einwilligung zu der Verarbeitung der sie betreffenden personenbezogenen Daten für einen oder mehrere bestimmte Zwecke gegeben hat. Nach Art. 4 Nr. 11 DS-GVO ist eine Einwilligung jede freiwillig für den bestimmten Fall, in informierter Weise und unmissverständlich abgegebene Willensbekundung in Form einer Erklärung oder einer sonstigen eindeutigen bestätigenden Handlung, mit der die betroffene Person zu verstehen gibt, dass sie mit der Verarbeitung der sie betreffenden personenbezogenen Daten einverstanden ist.532 Zusätzlich sind die Vorgaben des Art. 7 DS-GVO zu beachten. Nach Art. 7 Abs. 1 DS-GVO gilt etwa eine Nachweispflicht. Für die Einwilligung im Beschäftigungsverhältnis trifft die DS-GVO keine spezifischen Aussagen.533 Dafür trifft § 26 Abs. 2 BDSG Regelungen für die Einwilligung im Beschäf530  ArbG München, Urt. v. 14.04.1975 – 26 Ca 1674/75, NJW 1975, 1908; Lembke, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, Art. 88 DS-GVO, Rn. 69. 531  Däubler, Gläserne Belegschaften, Rn. 161. 532  Uecker, ZD 2019, 248. 533  Gola, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 26 BDSG, Rn. 131.



B. Erlaubnistatbestand für die Datenverarbeitung117

tigungsbereich. Dort erfolgt eine Nennung der für die Beurteilung der Freiwilligkeit relevanten Kriterien. § 26 Abs. 2 S. 3 BDSG enthält Regelungen zur Form. aa) Freiwilligkeit der Erteilung der Einwilligung Problematisch ist bei der Einwilligung vor allem die Freiwilligkeit der Erteilung der Einwilligung durch die Bewerber. Das Fehlen der Freiwilligkeit hat zur Konsequenz, dass die auf die Einwilligung gestützte Datenverarbeitung rechtswidrig ist.534 Freiwilligkeit liegt nur vor, wenn die Einwilligung auf der freien Entscheidung des Betroffenen beruht.535 Zu berücksichtigen sind die Umstände, unter denen die Einwilligung erteilt worden ist. Der Bewerber befindet sich im Regelfall gegenüber dem potenziellen Arbeitgeber in einer untergeordneten Stellung. Von einer Freiwilligkeit ist nur dann auszugehen, wenn der Bewerber eine echte oder freie Wahl hatte.536 Von vorn­ herein ausgeschlossen sein soll die Freiwilligkeit einer Einwilligung, wenn die weitere Teilnahme am standardisierten Bewerbungsprozess von der Erteilung der Einwilligung abhängig gemacht wird.537 Fraglich ist, ob das in dieser Pauschalität zutreffend ist. (1) Koppelungsverbot Hiermit wird auf das Koppelungsverbot nach Art. 7 Abs. 4 DS-GVO Bezug genommen.538 Danach ist bei der Beurteilung, ob die Einwilligung freiwillig erteilt wurde, dem Umstand Rechnung zu tragen, ob die Erfüllung eines Vertrages von der Einwilligungserteilung zu einer Datenverarbeitung abhängig gemacht wird, obwohl diese Daten für die Erfüllung des Vertrages nicht erforderlich sind. Bei der Beurteilung der Freiwilligkeit der Einwilligungserteilung muss also berücksichtigt werden, ob der Betroffene gezwungen ist, einer nicht erforderlichen Datenverarbeitung zuzustimmen. Nach Sinn und Zweck der Vorschrift ist Art. 7 Abs. 4 DS-GVO trotz des Wortlauts („Erfüllung eines Vertrages“) auch auf eine Koppelung im Vertragsschlusszeitpunkt anwendbar.539 Problematisch sind Koppelungsgeschäfte insbesondere vor BegrünNJW 2018, 3337 (3340). in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 462. 536  Vgl. Erwägungsgrund 42, S. 5. 537  Joos, NZA 2020, 1216 (1218 u. 1220); Peters, Robo-Recruiting, S. 8. 538  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 42. 539  Plath, in: Plath, DSGVO/BDSG, Art. 7, Rn. 18; Schwamberger, GPR 2019, 57 (58). 534  Veil,

535  Fuhlrott,

118

3. Kap.: Datenschutzrechtliche Konformität

dung des Beschäftigungsverhältnisses.540 Der Bewerber, der sich im Wettbewerb mit anderen Arbeitssuchenden befindet, werde in der Entscheidung nicht frei sein können, seinem möglichen künftigen Arbeitgeber über die gesetzlich zulässige Datenverarbeitung hinaus die Nutzung seiner Daten zu gestatten.541 (a) Begriff der Erforderlichkeit Entscheidend ist allerdings, wie der Begriff „erforderlich“ in Art. 7 Abs. 4 DS-GVO zu verstehen ist. Wäre der sowohl in Art. 7 Abs. 4 DS-GVO als auch in § 26 Abs. 1 S. 1 BDSG verwendete Begriff „erforderlich“ auch inhaltlich übereinstimmend, hätte dies im Ergebnis einen weitgehenden Gleichlauf der Erlaubnistatbestände zur Folge. Soweit eine Datenverarbeitung über § 26 Abs. 1 S. 1 BDSG erforderlich ist, könnte auch die weitere Teilnahme am Einstellungsverfahren von einer Einwilligung in diese Datenverarbeitung abhängig gemacht werden. Sobald hingegen keine Erforderlichkeit im Sinne des § 26 Abs. 1 S. 1 BDSG mehr vorliegt, könnte auch die weitere Teilnahme am Einstellungsverfahren in der Regel nicht von einer Einwilligung abhängig gemacht werden. Setzt der potenzielle Arbeitgeber für die weitere Teilnahme am Einstellungsverfahren also eine Einwilligung voraus und sollen auf diesem Weg Persönlichkeitsmerkmale ermittelt werden, deren Ermittlung nicht erforderlich im Sinne des § 26 Abs. 1 S. 1 BDSG ist, wäre diesem Umstand nach Art. 7 Abs. 4 DS-GVO jedenfalls Rechnung zu tragen. Dann würde die mögliche inhaltliche Reichweite der Einwilligung auch davon abhängen, ob man die Grundsätze des arbeitgeberseitigen Fragerechts in § 26 Abs. 1 BDSG hineinliest oder nicht und über § 26 Abs. 1 BDSG nur die Ermittlung verkehrswesentlicher Eigenschaften für zulässig hält. Dann käme dem Erlaubnistatbestand der Einwilligung kaum eine eigenständige Bedeutung mehr zu, weil man für die Rechtmäßigkeit einer Einwilligung die Erforderlichkeit der Datenverarbeitung für den Abschluss eines Vertrages verlangen würde.542 Allerdings bemühen Verantwortliche, wenn die personenbezogenen Daten, wie hier, bei der betroffenen Person erhoben werden und es daher ohnehin deren Einbindung in die Datenerhebung bedarf,

540  Lembke, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, Art. 88 DSGVO, Rn. 67. 541  Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 7 DS-GVO, Rn. 101; Taeger/ Rose, BB 2016, 819 (822). 542  Betz, ZD 2019, 148 (151).



B. Erlaubnistatbestand für die Datenverarbeitung119

oftmals auch den Erlaubnistatbestand der Einwilligung.543 Außerdem ist eine über das Erforderliche hinausgehende Datenverarbeitung auf Grundlage einer Einwilligung nicht zwangsläufig unzulässig.544 In Bezug auf die hiesige Konstellation gilt also, dass, sofern arbeitsplatzbezogene Hauptmerkmale ermittelt werden, von einer Freiwilligkeit der Ein­ willigungserteilung auch dann ausgegangen werden kann, wenn die weitere Teilnahme am Einstellungsverfahren von der Einwilligungserteilung abhängig gemacht wird.545 Die Ermittlung arbeitsplatzbezogener Persönlichkeitsmerkmale wäre „erforderlich“ im Sinne von Art. 7 Abs. 4 DS-GVO. Der Arbeitgeber könnte, obwohl er die Einwilligung an sich nicht benötigt, weil die Verarbeitung der Daten durch § 26 Abs. 1 BDSG legitimiert wird, die weitere Teilnahme am Einstellungsverfahren insoweit also von der Erteilung der Einwilligung abhängig machen. (b) Striktes oder eingeschränktes Koppelungsverbot Sofern eine Einwilligung zu einer nicht erforderlichen Datenverarbeitung verlangt würde, fände das Koppelungsverbot Anwendung. Insoweit ist umstritten, welche Folge eine mögliche Verletzung des Koppelungsverbots hat. Das Koppelungsverbot wird unterschiedlich ausgelegt.546 Dieser Streit entzündet sich daran, dass in Art. 7 Abs. 4 DS-GVO und Erwägungsgrund 43 inkongruente Regelungen enthalten sind.547 Laut Erwägungsgrund 43, S. 2 soll die Einwilligung als nicht freiwillig erteilt „gelten“, wenn die Erfüllung eines Vertrages von der Einwilligung abhängig ist, obwohl keine Erforderlichkeit besteht. Die Formulierung im Erwägungsgrund spricht für ein striktes Koppelungsverbot.548 Aus dem Verordnungstext selbst ergibt sich „nur“ ein Rechnungstragungsgebot. Der Wortlaut des Art. 7 Abs. 4 DS-GVO sieht vor, dass dem Umstand, dass ein Vertragsschluss von einer Einwilligung in eine nicht erforderliche Datenverarbeitung abhängig gemacht wird, in „größtmöglichem Umfang Rechnung getragen“ wird. Es handele sich nicht um ein striktes Koppelungs543  Buchner/Kühling, in: Kühling/Buchner, DS-GVO BDSG, Art. 7 DS-GVO, Rn. 47. 544  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7, Rn. 43. 545  Betz, ZD 2019, 148 (151); Veil, NJW 2018, 3337 (3340). 546  Veil, NJW 2018, 3337 (3339). 547  Härting, ITRB 2017, 42. 548  Dammann, ZD 2016, 307 (311); Frenzel, in: Paal/Pauly, DS-GVO BDSG, Art. 7, Rn. 18.

120

3. Kap.: Datenschutzrechtliche Konformität

verbot, sondern die Koppelung müsse lediglich im Rahmen einer Abwägung und in Zusammenschau mit anderen Aspekten Berücksichtigung finden. Dafür spreche, dass ein absolutes Koppelungsverbot einen unverhältnismäßigen Eingriff in die allgemeine Handlungsfreiheit der betroffenen Person darstellen würde.549 Der betroffenen Person würde damit in bestimmten Fällen ausnahmslos verboten, „ihre“ Daten verarbeiten zu lassen.550 Auch die Auffassung, die von einem eingeschränkten Koppelungsverbot ausgeht, nimmt indes in Koppelungsfällen nur bei Vorliegen besonderer Umstände noch eine Freiwilligkeit an.551 (2) Gesamtabwägung – Einzelfallumstände Auch ungeachtet eines Verstoßes gegen das Koppelungsverbot, also bei einer erforderlichen Datenverarbeitung, ist zur Beurteilung der Freiwilligkeit eine Gesamtabwägung vorzunehmen. Welche Aspekte dabei zu berücksichtigen sind, ergibt sich aus der Gesetzesbegründung552 sowie aus § 26 Abs. 2 S. 1 BDSG. Gemäß § 26 Abs. 2 S. 1 BDSG sind bei der Beurteilung der Freiwilligkeit die im Beschäftigungsverhältnis bestehende Abhängigkeit sowie die Einzelfallumstände zu berücksichtigen. Gemäß § 26 Abs. 2 S. 2 BDSG kann Freiwilligkeit insbesondere dann vorliegen, wenn für die beschäftigte Person ein rechtlicher oder wirtschaftlicher Vorteil erreicht wird553 oder Arbeitgeber und beschäftigte Person gleichgelagerte Interessen verfolgen.554 Die hierzu in der Gesetzesbegründung angeführten Beispiele beziehen sich allesamt auf Situationen, in denen das Arbeitsverhältnis bereits begründet und die Abhängigkeit der Beschäftigten von dem mit der Einwilligung verbundenen Vorteil nicht mehr so intensiv ist wie zum Zeitpunkt vor Begründung des Arbeitsverhältnisses.555 NJW 2018, 3337 (3339); Betz, ZD 2019, 148 (151). NJW 2018, 3337 (3339). 551  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7, Rn. 49. 552  BT-Drs. 18/1135. 553  Das kann etwa die Einführung eines betrieblichen Gesundheitsmanagements zur Gesundheitsförderung oder die Erlaubnis zur Privatnutzung von betrieblichen ITSystemen sein (vgl. BT-Drs. 18/1135, S. 97). 554  Das kann etwa der Fall sein bei der Aufnahme von Name und Geburtsdatum in eine Geburtstagsliste oder bei der Nutzung von Fotos für das Intranet, also bei Zusammenwirken von Arbeitgeber und Beschäftigtem im Sinne eines betrieblichen Miteinanders (vgl. BT-Drs. 18/1135, S. 97). 555  Lembke, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, Art. 88 DSGVO, Rn. 66. 549  Veil, 550  Veil,



B. Erlaubnistatbestand für die Datenverarbeitung121

Grundsätzlich ist aber auch im Bewerbungsprozess denkbar, dass mit der Abgabe der Einwilligung durch den Bewerber ein rechtlicher oder wirtschaftlicher Vorteil einhergeht, denn er erwirbt mit Abschluss des Arbeitsvertrages unter anderem Vergütungsansprüche und es können auch gleichgelagerte Interessen, etwa im Hinblick auf die Begründung des Arbeitsverhältnisses bestehen.556 Weitere gleichgelagerte Interessen von potenziellem Arbeitgeber und Bewerber sind ein von gegenseitigem Respekt und gegenseitiger Wertschätzung geprägtes und dementsprechend verhältnismäßig reibungslos ablaufendes Arbeitsverhältnis. Hierzu können KI-Systeme zur Analyse der Persönlichkeit, ihre eignungsdiagnostische Leistungsfähigkeit unterstellt, einen Beitrag leisten, indem sie vorab bemessen, ob ein Bewerber zur Unternehmenskultur oder in das jeweilige Team passt. Auf der anderen Seite haben Arbeitgeber und Bewerber im Hinblick auf das Arbeitsverhältnis natürlich auch gegenläufige Interessen. So ist der Arbeitgeber daran interessiert, den bestgeeignetsten Bewerber einzustellen und zu diesem Zweck so viel wie möglich über den Bewerber zu erfahren. Der Bewerber hingegen möchte so wenig für ihn nachteilige Informationen, etwa negative Eigenschaften, preisgeben wie möglich und gerade nicht solche Informationen, die seine Privatsphäre betreffen.557 Neben den genannten Fällen sind bei der Beurteilung laut der Gesetzesbegründung auch die Art der verarbeiteten Daten, die Eingriffstiefe und der Zeitpunkt der Einwilligung relevant.558 Legt man diese Kriterien zugrunde, wird deutlich, dass eine Freiwilligkeit der Einwilligungserteilung vorliegend äußerst zweifelhaft ist. Denn vorliegend wird anhand von Sprach-/Videodaten eine Persönlichkeitsanalyse durchgeführt, was, selbst bei eingeschränkter Validität, eine hohe Eingriffsintensität aufweist. In der Gesetzesbegründung wird ausdrücklich darauf hingewiesen, dass für die Annahme der Freiwilligkeit der Einwilligung vor Abschluss eines Arbeitsvertrages besonders hohe Anforderungen bestehen.559 In der Gesetzesbegründung560 heißt es dazu, dass zu diesem Zeitpunkt „Beschäftigte regelmäßig einer größeren Drucksituation ausgesetzt“ seien, eine Einwilligung in eine Datenverarbeitung zu erteilen. In einer Bewerbungssituation stehe der Betroffene im Wettbewerb mit anderen Arbeitssuchenden.561 Insoweit besteht 556  Lembke, in: Henssler/Willemsen/Kalb, Arbeitsrecht Kommentar, Art. 88 DSGVO, Rn. 66. 557  Wittig-Goetz, Arbeitsmedizinische Untersuchungen im Unternehmen, S. 5. 558  BT-Drs. 18/11325, S. 97. 559  BT-Drs. 18/11325, S. 97. 560  BT-Drs. 18/11325, S. 97. 561  Taeger/Rose, BB 2016, 819 (822).

122

3. Kap.: Datenschutzrechtliche Konformität

ein nicht von der Hand zu weisender Anreiz, gegebenenfalls auch widerwillig Daten zu offenbaren, um sich gegen andere Bewerber durchzusetzen.562 Schließlich ist der Bewerber gewissermaßen vom guten Willen des Arbeit­ gebers abhängig.563 Zwar soll sich das Maß der Abhängigkeit auch „je nach Marktlage“564 beurteilen lassen. Eine Freiwilligkeit wird man aber nur für bestimmte Branchen, in denen ein besonders schwerer War of Talents herrscht, und auch dort wohl nur für Bewerber, die besonders gute Noten oder besonders gefragte Qualifikationen haben, im Einzelfall annehmen können. Eine generelle Aussage lässt sich daraus jedoch nicht ableiten. (3) Zwischenergebnis – Keine Freiwilligkeit Insgesamt wird man, ungeachtet eines Verstoßes gegen das Koppelungsverbot, regelmäßig keine Freiwilligkeit der Erteilung der Einwilligung annehmen können.565 Darin kann man eine „Umkehr“ der Rechtsprechung des Bundesarbeitsgerichts zu graphologischen Gutachten erblicken.566 Der Arbeitgeber sollte jedenfalls die Konsequenzen einer verweigerten Einwilligung deutlich machen. Ein Hinweis auf die Folgen einer Verweigerung der Einwilligung erübrigt sich lediglich, wenn diese offensichtlich sind. Gerade im sich anbahnenden Arbeitsverhältnis kann der Bewerber allerdings nicht mit Sicherheit beurteilen, ob eine Verweigerung der Einwilligungserteilung negativ bewertet wird.567 Eine entsprechende Klarstellung, dass sich eine Verweigerung der Einwilligungserteilung nicht negativ auf die weitere Teilnahme am Bewerbungsprozess auswirkt, ist daher schon aus Gründen der Vorsicht empfehlenswert. Dies kann ein Indiz für die Freiwilligkeit darstellen.568 Selbst ein solcher Hinweis führt aber nicht zwangsläufig zur Annahme der Freiwilligkeit der Erteilung der Einwilligung, denn auch bei gegenteiligen Zusicherungen werden Bewerber häufig davon ausgehen, dass sich die Verweigerung der Erteilung der Einwilligung nachteilig auf ihre Chancen auswirkt.569 People, S. 227. in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 41. 564  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 47. 565  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 67; Malorny, JuS 2022, 289 (292). 566  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 257. 567  Vgl. zur Einwilligung im bestehenden Arbeitsverhältnis Däubler, Gläserne Belegschaften, Rn. 141. 568  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 222 f.; vgl. auch Hoffmann, NZA 2022, 19 (21). 569  Hamann, in: Arnold/Günther, Arbeitsrecht 4.0, Kapitel 6, Rn. 60. 562  Blum, 563  Kuß,



B. Erlaubnistatbestand für die Datenverarbeitung123

bb) Informiertheit des Bewerbers Nach Art. 4 Nr. 11 DS-GVO muss die Willensbekundung in informierter Weise abgegeben werden. Dies ist eine Spezifizierung des Transparenzgrundsatzes des Art. 5 Abs. 1 lit. a) DS-GVO.570 Gemeint ist damit, dass der Betroffene, also der Bewerber, die Einwilligung in Kenntnis der Sachlage abgibt. Diesen Terminus nutzte auch die Vorversion.571 Der Betroffene muss informiert sein, denn nur dann ist die Einwilligungserteilung Ausdruck echter Selbstbestimmung.572 In der Praxis wird dies mithilfe von Datenschutzerklärungen oder AGB sichergestellt.573 (1) Informationsumfang Der Verantwortliche, also der Arbeitgeber, muss die betroffene Person so informieren, dass diese die Tragweite der Einwilligung, also die Konsequenzen ihres Handelns übersehen und eine abgewogene Entscheidung treffen kann.574 Dabei kann sich der Verantwortliche an den in Art. 12 ff. DS-GVO genannten Vorgaben der Informationspflichten orientieren.575 Die Einwilligungserklärung muss den Betroffenen jedenfalls über die Identität des Verantwortlichen, die Verarbeitungszwecke sowie die Art der Daten informieren.576 Die Wirksamkeit der Einwilligung setzt die Informiertheit über diese Punkte voraus. Die Verwendungszwecke müssen dabei aufgelistet und möglichst genau bezeichnet werden.577 Darüber hinaus ist der Arbeitgeber gemäß § 26 Abs. 2 S. 4 BDSG verpflichtet, den Betroffenen über sein Widerrufsrecht nach Art. 7 Abs. 3 DS-GVO zu belehren. Hierbei muss er auch darüber aufklären, ob bei einem Widerruf ein anderer Erlaubnistatbestand für die Datenverarbeitung herangezogen würde.578 in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 52. in: Paal/Pauly, DS-GVO BDSG, Art. 4 DSGVO, Rn. 79. 572  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 52. 573  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 106. 574  Buchner/Kühling, in: Kühling/Buchner, DS-GVO BDSG, Art. 7 DS-GVO, Rn. 59. 575  Heckmann/Paschke, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 7, Rn. 40. 576  Vgl. Erwägungsgrund 32 und 42; Buchner/Kühling, in: Kühling/Buchner, DSGVO BDSG, Art. 7 DS-GVO, Rn. 59; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 7, Rn. 36. 577  Fischer, NZA 2018, 8 (10). 578  Däubler, Gläserne Belegschaften, Rn. 139. 570  Stemmer, 571  Ernst,

124

3. Kap.: Datenschutzrechtliche Konformität

(2) Verständlichkeit Die Informationshandlung des Verantwortlichen führt nur zu einer Informiertheit der betroffenen Person, wenn sie verständlich ist.579 Es muss dem Betroffenen möglich sein, in zumutbarer Weise vom Inhalt seiner erwarteten Erklärung Kenntnis zu nehmen.580 Der Betroffene soll erklären, dass er in die Verarbeitung seiner personenbezogenen Daten einwilligt. Dies setzt voraus, dass er den Datenschutzhinweis inhaltlich vollständig erfassen kann.581 Erforderlich ist daher, dass eine verständliche Sprache genutzt wird.582 Auf unnötiges technisches oder fremdsprachiges Fachvokabular ist zu verzichten, da den Adressaten dessen Bedeutung regelmäßig nicht ohne Weiteres bekannt sein wird.583 Andererseits genügen unspezifische Beschreibungen584 nicht.585 cc) Unmissverständlichkeit und Formerfordernis Nach Art. 4 Nr. 11 DS-GVO muss eine unmissverständlich abgegebene Willensbekundung in Form einer Erklärung oder einer sonstigen eindeutigen bestätigenden Handlung vorliegen. Die Einwilligung kann ausweislich Erwägungsgrund 32, S. 2 auch konkludent erfolgen.586 Eine ausdrückliche Einwilligung ist nach der DS-GVO nicht erforderlich. Etwas Anderes würde nach Art. 9 Abs. 2 lit. a) DS-GVO nur im Falle der Verarbeitung sensibler Daten gelten. Zu einer Verarbeitung sensibler Daten kommt es nur bei KI-Systemen zur Videoanalyse. (1) Ausgangspunkt – Anforderungen bei graphologischen Gutachten Auch zur Einholung graphologischer Gutachten ist vertreten worden, dass eine konkludente Einwilligung möglich sei. Zwar hatte das Bundesarbeitsgericht in der Entscheidung zu graphologischen Gutachten festgehalten, dass es „der ausdrücklichen Einwilligung des Betroffenen“ bedürfe. Inhaltlich hat das Bundesarbeitsgericht aber aus dem Verhalten der betroffenen Person auf in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 7, Rn. 73. in: Paal/Pauly, DS-GVO BDSG, Art. 4 DSGVO, Rn. 80. 581  Ernst, in: Paal/Pauly, DS-GVO BDSG, Art. 4 DSGVO, Rn. 81. 582  Ernst, in: Paal/Pauly, DS-GVO BDSG, Art. 4 DSGVO, Rn. 81. 583  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 63. 584  Ein Beispiel für eine solche, unspezifische Beschreibung: „Benutzung im Rahmen einer Aktion“. 585  Ernst, in: Paal/Pauly, DS-GVO BDSG, Art. 4 DSGVO, Rn. 82. 586  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 81. 579  Klement, 580  Ernst,



B. Erlaubnistatbestand für die Datenverarbeitung125

ein Einverständnis rückgeschlossen. Die Feststellung, es sei eine ausdrück­ liche Einwilligung erforderlich, war „schief“.587 Bei welchem Verhalten eine konkludente Einwilligung anzunehmen ist, war und ist Sache der Auslegung.588 Nach einer Auffassung sollte bereits in der Übersendung handschriftlicher Bewerbungsunterlagen eine eingeschränkte Einwilligung liegen.589 Nach einer anderen Auffassung sei eine konkludente Einwilligung in die Einholung eines graphologischen Gutachtens nicht bereits in der bloßen Übersendung handschriftlicher Unterlagen zu sehen.590 Vielmehr bedürfe es zusätzlicher Begleitumstände, aus denen sich ergibt, dass die betroffene Person die beabsichtigte graphologische Begutachtung „erkannt und gebilligt“ hat. Ein solcher Begleitumstand könne etwa ein Begleitschreiben sein, in dem der Bewerber auf die Vorzüge der Graphologie hinweist. (2) Konsequenzen für den Einsatz von KI-Systemen Überträgt man diese Ausführungen auf den Einsatz von KI-Systemen, könnte entweder bereits in der bloßen Durchführung eines Telefoninterviews ohne hinzukommende Begleitumstände eine konkludente Einwilligung zu sehen sein oder eine solche aufgrund des Vorliegens weiterer Begleitumstände anzunehmen sein. Ein solcher Begleitumstand könnte etwa die widerspruchslose Fortführung des Interviews nach einer Information über die Datenverarbeitung sein. So wurde lange Zeit vertreten, dass die widerspruchslose Fortführung eines Telefongesprächs nach Information über die Datenverarbeitung591 eine wirksame konkludente Einwilligung darstelle.592 Nach überwiegender Auffassung stellt die bloße widerspruchslose Fortsetzung eines Telefonats aber schon wegen des in Art. 4 Nr. 11 DS-GVO enthaltenen Erfordernisses einer eindeutigen bestätigenden Handlung keine wirksame Einwilligung mehr dar.593 Stillschweigen oder Untätigkeit erfüllt ausweislich Erwägungsgrund 32, S. 3 nicht die Anforderungen an eine Einwilligung. ErNZA 1986, 505 (506). NZA 1986, 505 (506). 589  ArbG München, Urt. v. 14.04.1975 – 26 Ca 1674/75, NJW 1975, 1908. 590  Michel/Wiese, NZA 1986, 505 (505 f.); Starck, in: von Mangoldt/Klein/Starck, GG, Art. 2 GG, Rn. 176. 591  Etwa zum Zweck der Stimmungsanalyse. 592  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 83; Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 7 DS-GVO, Rn. 27. 593  Stemmer, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 7 DS-GVO, Rn. 83; Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 7 DS-GVO, Rn. 27; a. A.: Krohm, ZD 2016, 368 (372). 587  Michel/Wiese, 588  Michel/Wiese,

126

3. Kap.: Datenschutzrechtliche Konformität

forderlich sei eine aktive Einwilligung mit einem gesprochenen „Ja“ oder durch Drücken einer Ziffer durch den Gesprächspartner.594 (3) Formerfordernisse im Beschäftigungskontext Selbst dies genügt im hier interessierenden Kontext aber nicht.595 Denn im Beschäftigungskontext bestehen zusätzliche Formerfordernisse. Seit dem Jahr 2019 sieht die nationale Regelung in § 26 Abs. 2 S. 3 BDSG die Schriftform oder elektronische Form vor, soweit nicht wegen besonderer Umstände eine andere Form angemessen ist. Derartige besondere Umstände, etwa eine besondere Eilbedürftigkeit596, sind aber nicht ersichtlich. Eine mündliche Einwilligung während des Telefonats kommt daher nicht in Betracht. Auch besteht kein Raum für eine konkludente Einwilligung.597 Fraglich ist, was in diesem Kontext nun mit elektronischer Form gemeint ist, insbesondere, ob damit auf § 126a BGB Bezug genommen wird. Hierzu ist ein Blick auf den Meinungsstand zu der Vorgängerregelung hilfreich. Die Vorgängerregelung, § 26 Abs. 2 S. 3 BDSG a. F., sah im Beschäftigungskontext ein Schriftformerfordernis vor, soweit nicht wegen besonderer Umstände eine andere Form angemessen war. Im Hinblick auf dieses Schriftformerfordernis war umstritten, ob damit auf das Schriftformerfordernis des § 126 BGB abgestellt oder ein eigenständiger Formbegriff etabliert wurde.598 Für einen eigenständigen Schriftlichkeitsbegriff sprach dabei, dass es sich bei der Einwilligung nicht um eine Willenserklärung, sondern um eine rechtsgeschäftsähnliche Handlung handelt.599 Selbst wenn man, angesichts des Wortlauts des § 26 Abs. 2 S. 3 BDSG zumindest eine analoge Anwendung der §§ 125, 126 BGB für möglich hielt, war schon nach früherer Rechtslage eine Einwilligungserteilung in elektronischer Form möglich. Denn § 126 Abs. 3 BGB ermöglicht die Ersetzung der Schriftform durch die elektronische Form des § 126a BGB (einschließlich qualifizierter elektronischer Signatur). In der Gesetzesbegründung600 zu der Neuregelung heißt es, dass durch die Änderung des § 26 Abs. 2 S. 3 BDSG die Voraussetzungen, unter denen im in: Taeger/Gabel, DSGVO BDSG, Art. 7 DS-GVO, Rn. 27. in: Paal/Pauly, DSGVO BDSG, § 26 BDSG, Rn. 36. 596  Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 44. 597  Franzen, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 26 BDSG, Rn. 44. 598  Thüsing/Rombey, NZA 2019, 1399 (1401). 599  Thüsing/Rombey, NZA 2019, 1399 (1401). 600  BT-Drs. 19/11181, S. 19. 594  Taeger,

595  Gräber/Nolden,



B. Erlaubnistatbestand für die Datenverarbeitung127

Beschäftigungsverhältnis eine Einwilligung eingeholt werden kann, erleichtert werden sollen. Vor dem Hintergrund, dass bereits zuvor eine Einwilligungserteilung in elektronischer Form im Sinne von § 126a BGB möglich war, läge in der Möglichkeit einer elektronischen Einwilligungserteilung aber nicht die bezweckte Erleichterung. Gegen eine Bezugnahme in § 26 Abs. 2 S. 3 BDSG auf § 126a BGB spricht überdies das in der Gesetzesbegründung kommunizierte Ziel, die Gesetze auf ihre Digitaltauglichkeit hin zu überprüfen.601 Eine Einwilligungserteilung in elektronischer Form im Sinne des § 126a BGB würde diesem Ziel angesichts der hohen Kosten und technischen Hürden der qualifizierten elektronischen Signatur nicht Genüge tun.602 Zudem soll es ausweislich der Gesetzesbegründung in Zukunft genügen, dass der Arbeitgeber die Einwilligung als E-Mail abspeichert.603 Das Versenden und Abspeichern einer E-Mail würde den Anforderungen des § 126a BGB allerdings nicht genügen, sodass ersichtlich kein Bezug zu § 126a BGB hergestellt werden soll.604 Letztlich dürfte damit nunmehr jede elektronische Textnachricht genügen, soweit die Nachweisfunktion des Art. 7 Abs. 1 DS-GVO gewahrt wird. Die Einwilligung in die Durchführung der Sprach-/Videoanalyse durch den Bewerber kann daher, soweit noch wirksam möglich, mittels einer E-Mail oder auch im Wege einer Button-Lösung erteilt werden.605 d) Zwischenergebnis – Einwilligung Eine Einwilligung ist zwar grundsätzlich möglich, sofern auf dieser Grundlage keine Persönlichkeitsdurchleuchtung des Bewerbers, keine Ermittlung von Persönlichkeitsmerkmalen ohne Arbeitsplatzbezug oder von Benachteiligungsmerkmalen erfolgen soll. Allerdings ist die Einwilligung mit Blick auf arbeitsplatzbezogene Merkmale meist obsolet, weil insoweit eine Ermittlung bereits auf Grundlage von § 26 Abs. 1 BDSG erfolgen kann. Indes schadet die Einholung einer Einwilligung auch nicht. Einen echten Anwendungsbereich für die Einwilligung gibt es mit Blick auf den Einsatz von KI-Systemen zur Analyse von Persönlichkeitsmerkmalen auf Grundlage von Videodaten, weil diese auf Grundlage von § 26 Abs. 3 S. 1 BDSG ausscheidet. Allerdings bestehen, obwohl das Koppelungsverbot hier nicht einschlägig ist, weil die Ermittlung arbeitsplatzbezogener Persön601  BT-Drs.

19/11181, S. 19. NZA 2019, 1399 (1402). 603  BT-Drs. 19/11181, S. 19. 604  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 45; Thüsing/Rombey, NZA 2019, 1399 (1401). 605  Thüsing/Rombey, NZA 2019, 1399 (1401). 602  Thüsing/Rombey,

128

3. Kap.: Datenschutzrechtliche Konformität

lichkeitsmerkmale insoweit nicht an fehlender Erforderlichkeit, sondern an der neben der Erforderlichkeitsprüfung zusätzlich durchzuführenden Interessenabwägung scheitert (siehe Seite 110 f.), Bedenken hinsichtlich der Freiwilligkeit der Erteilung.606 In der Regel stehen die Einzelfallumstände wie etwa die Drucksituation im Einstellungsverfahren der Freiwilligkeit der Erteilung der Einwilligung entgegen. Auch gegenteilige Zusicherungen können dem Arbeitgeber keine Sicherheit verschaffen. 6. Auskunftsrecht in Bezug auf Ausgabedaten Aus der Eingabe von Daten der betroffenen Person wird mittels Verarbeitung eine Ausgabe generiert. Vorliegend sind die Eingaben die Ausprägungen bestimmter Sprach- oder Gesichtsmerkmale. Die Ausgabe sind Ausprägungen von Merkmalen, die in der Eingabe nicht enthalten sind.607 Vorliegend wären dies etwa Ausprägungen von Persönlichkeitsmerkmalen oder die aktuellen Emotionen des Bewerbers. Es ist zu klären, ob der Bewerber auch im Hinblick auf die von dem Arbeitgeber durch das Profiling generierten, personenbezogenen Ausgabedaten ein Recht auf Auskunft hat. Ein Recht auf Auskunft könnte sich aus Art. 15 Abs. 1, 2. Hs. DS-GVO ergeben. a) Allgemeines – Sinn und Zweck des Auskunftsrechts Zunächst ist der Sinn und Zweck des Auskunftsrechts in den Blick zu nehmen. Art. 15 DS-GVO soll der Vermittlung von Transparenz dienen und die betroffene Person in die Lage versetzen, die Rechtmäßigkeit der Verarbeitung überprüfen und gegebenenfalls die im dritten Kapitel der DS-GVO vorgesehenen Rechte geltend machen zu können.608 Will die betroffene Person von ihrem Recht auf Berichtigung sie betreffender unrichtiger personenbezogener Daten gemäß Art. 16 DS-GVO Gebrauch machen, so muss gewährleistet sein, dass sie auch Einsicht in diese Daten erhält.609

606  Riesenhuber, in: Wolff/Brink, BeckOK Datenschutzrecht, § 26 BDSG, Rn. 35; Düwell/Brink, NZA 2017, 1081 (1083). 607  Türpe/Selzer/Poller/Bedner, DuD 2014, 31 (32). 608  Schmidt Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DS-GVO, Rn. 2. 609  Martini, Blackbox Algorithmus, S. 200.



B. Erlaubnistatbestand für die Datenverarbeitung129

b) Personenbezug der Ausgabedaten Nach Art. 4 Nr. 1 DS-GVO sind personenbezogene Daten alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Dass die betroffene Person die Daten nicht selbst gegenüber dem Unternehmen angegeben hat, sondern es sich um durch das Unternehmen mithilfe von KI-Systemen selbst ermitteltes Wissen handelt, ist unerheblich.610 Die Herkunft der Daten wirkt sich nicht auf den Personenbezug aus. Auch die durch das Unternehmen generierten Daten weisen einen Bezug zu der betroffenen Person auf, indem sie Aussagen zur Persönlichkeit des Bewerbers treffen. Dies gilt umso mehr, als der Begriff der personenbezogenen Daten weit zu verstehen ist.611 Auch die Tatsache, dass die Anwendung des Modells nur Wahrscheinlichkeitswerte liefert, ist unschädlich.612 Auch Wahrscheinlichkeitswerte haben Personenbezug.613 Zudem ist es unerheblich, dass die Wahrscheinlichkeitswerte unzutreffend sein können.614 Denn die datenschutzrechtlichen Bestimmungen berücksichtigen die Möglichkeit unzutreffender, personenbezogener Daten und gewähren der betroffenen Person ein Recht auf Berichtigung gemäß Art. 16 DS-GVO.615 Letztlich spricht für die Einstufung der Ausgabedaten als personenbezogene Daten auch Erwägungsgrund 71, S. 6, wonach der Verantwortliche geeignete mathematische oder statistische Verfahren für das Profiling verwenden sowie technische und organisatorische Maßnahmen treffen soll, mit denen sichergestellt wird, dass „Faktoren, die zu unrichtigen personenbezogenen Daten führen“, korrigiert werden und das Risiko von Fehlern minimiert wird. Die gewählte Formulierung zeigt, dass der Verordnungsgeber die durch das Profiling generierten Daten als personenbezogene Daten einordnet.616 Zudem spricht Erwägungsgrund 162, der Vorgaben im Zusammenhang mit der Datenverarbeitung zu statistischen Zwecken nach Art. 89 DS-GVO macht, für dieses Ergebnis. Dieser setzt in seinem Satz 5 voraus, dass die Ergebnisse der Verarbeitung zu statistischen Zwecken gerade keine personenbezogenen Daten, sondern aggregierte Daten sind. Im Umkehrschluss sind die Ausgabedaten beim Profiling als personenbezogene Daten einzuordnen.617

DuD 2012, 31 (33). in: Paal/Pauly, DS-GVO BDSG, Art. 4 DS-GVO, Rn. 3. 612  Martini, Blackbox Algorithmus, S. 198. 613  Ernst, in: Paal/Pauly, DS-GVO BDSG, Art. 4 DS-GVO, Rn. 14. 614  Art.-29-Datenschutzgruppe, Stellungnahme 4/2007 zum Begriff „personenbezogene Daten“, S. 7; Skistims/Voigtmann/David/Roßnagel, DuD 2012, 31 (33). 615  Skistims/Voigtmann/David/Roßnagel, DuD 2012, 31 (33). 616  Oostveen, IDPL 2016, 299 (308, Fn. 78). 617  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 116. 610  Skistims/Voigtmann/David/Roßnagel, 611  Ernst,

130

3. Kap.: Datenschutzrechtliche Konformität

c) Verarbeitung der Ausgabedaten Art. 15 Abs. 1, 2. Hs. DS-GVO gewährt der betroffenen Person ein Recht auf Auskunft über „diese“ personenbezogenen Daten und nimmt damit Bezug auf Daten, die gemäß Art. 15 Abs. 1, 1. Hs. DS-GVO „verarbeitet werden“. Die durch das KI-System generierten personenbezogenen Ausgabe­ daten sind allerdings auch Gegenstand eines Verarbeitungsschritts. Denn auch Zwischen- oder Endergebnisse sind in der Regel Verarbeitungsgegenstand.618 So werden die generierten Ausgabedaten beispielsweise gespeichert oder mit dem im Entscheidungsmodell des KI-Systems enthaltenen SollProfil der Stelle abgeglichen (siehe Seite 111 f.). d) Entgegenstehende Abwägung mit Fremdinteressen – Meinungsfreiheit Gegen eine Offenlegung der Ausgabedaten könnte es sprechen, wenn damit die Rechte und Freiheiten anderer Personen beeinträchtigt würden. Diese Fremdinteressen sollen nach Art. 15 Abs. 4 DS-GVO abwägungshalber zu berücksichtigen sein. Das Abwägungserfordernis gelte (jedenfalls analog) auch im Rahmen des Auskunftsrechts.619 Fremde Rechte und Freiheiten seien vor allem dort beeinträchtigt, wo die Erstreckung des Auskunftsrechts auf die generierten Ausgabedaten eine Pflicht zur Offenlegung der eigenen Meinung begründe.620 Denn damit gehe ein Eingriff in die negative Meinungsfreiheit einher, also das Recht, seine Meinung nicht äußern bzw. nicht verbreiten zu müssen.621 Zudem müsste der Verantwortliche, wenn er sämtliche Schlussfolgerungen offenlegen müsste, die er aus den Daten zieht, im Ergebnis seine innere Gedankenwelt offenbaren.622 Eine Pflicht zur Offenlegung der eigenen Meinung durch Erstreckung des Auskunftsrechts auf die generierten Ausgabedaten wird aber nur insoweit begründet, als die generierten Ausgabedaten selbst Werturteile darstellen. Daher ist die Abgrenzung zwischen Werturteilen und Tatsachen für die Frage etwaig entgegenstehender Fremdinteressen von entscheidender Bedeutung. Nur, wenn es sich bei den Ausgabedaten um Werturteile handelt, kann eine Pflicht zur Offenlegung mit der negativen Blackbox Algorithmus, S. 199. mit unterschiedlichen Begründungsansätzen: Paal, in: Paal/Pauly, DSGVO BDSG, Art. 15 DS-GVO, Rn. 41; Kamlah, in: Plath, DSGVO/BDSG, Art. 15, Rn. 16; Schmidt-Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DS-GVO, Rn. 97. 620  Martini, Blackbox Algorithmus, S. 200. 621  Martini, Blackbox Algorithmus, S. 200; Grabenwarter, in: Herzog/Herdegen/ Scholz/Klein, GG Kommentar, Art. 5 Abs. 1, Abs. 2 GG, Rn. 95. 622  Martini, Blackbox Algorithmus, S. 200. 618  Martini, 619  Vgl.



B. Erlaubnistatbestand für die Datenverarbeitung131

Meinungsfreiheit konfligieren. Es ist also zu klären, ob es sich bei den Ausgaben des KI-Systems um Tatsachen oder Werturteile handelt. aa) Persönlichkeit und Emotionen des Bewerbers Tatsachen sind konkrete Geschehnisse oder Zustände der Vergangenheit oder Gegenwart, die sinnlich wahrnehmbar, in die Wirklichkeit getreten und daher dem Beweis zugänglich sind.623 Bei den von den KI-Systemen generierten Ausgabedaten handelt es sich um Ausprägungen von Persönlichkeitsmerkmalen bzw. Informationen zu Emotionen. Das Vorliegen von Persönlichkeitsmerkmalen ist dem Beweis zugänglich, denn die Erfassung von Persönlichkeitsmerkmalen durch diagnostische Methoden ist grundsätzlich möglich. Unerheblich ist auch, dass in der heutigen Persönlichkeitsforschung Persönlichkeitsmerkmale nicht als feststehende Wesenszüge interpretiert werden, sondern als innere Verhaltensdispositionen gewisse prognostische Elemente beinhalten.624 Denn solange eine Prognose auf Fakten beruht, ist sie (insoweit) Tatsachenbehauptung.625 Auch das Vorliegen bestimmter Emotionen ist dem Grunde nach nachweisbar. Damit steht das Auskunftsrecht der betroffenen Person mit Blick auf diese generierten Ausgabedaten nicht in Konflikt mit der negativen Meinungsfreiheit des Verantwortlichen. Das Auskunftsrecht bezieht sich hier nur auf die tatsächlichen Grundlagen der Meinungsbildung. Es besteht danach vorliegend ein Recht auf Auskunft über die durch das Profiling generierten Ausgabedaten.626 Der Arbeitgeber muss dem Bewerber diese Daten, also beispielsweise die ermittelten Ausprägungen der Persönlichkeitsmerkmale, mitteilen. bb) (Un-)Geeignetheit des Bewerbers Hingegen wären die aus diesen Merkmalsausprägungen durch das Entscheidungsmodell abgeleiteten Schlussfolgerungen (etwa die charakterliche (Un-)Geeignetheit des Bewerbers bzw. der die (Un-)Geeignetheit repräsentierende Zahlenwert), überwiegend durch Elemente subjektiver Überzeugung oder Meinung geprägt und damit Werturteile. Diese sind vom Arbeitgeber im Ergebnis nicht zu offenbaren, wobei unterschiedliche Begründungen herangezogen werden. Zum Teil wird vertreten, dass es sich bei Werturteilen schon in: MüKo StGB, § 186 StGB, Rn. 5. in: Tewes/Wildgrube, Psychologie-Lexikon, S. 84 (84 f.). 625  Regge/Pegel, in: MüKo StGB, § 186 StGB, Rn. 5. 626  Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 17; Datatilsynet, The great data race, S. 34. 623  Regge/Pegel,

624  Schwenkmezger,

132

3. Kap.: Datenschutzrechtliche Konformität

nicht um personenbezogene Daten handelt.627 Dies steht allerdings im offenen Widerspruch zu der Stellungnahme 4/2007 zum Begriff „personenbezogene Daten“ der Art.-29-Datenschutzgruppe628, wonach „auch ‚subjektive‘ Informationen, Meinungen oder Beurteilungen“ personenbezogene Daten sind. Eine Offenlegung dieser Schlussfolgerungen scheitert aber im Ergebnis trotzdem wegen des damit einhergehenden Eingriffs in die negative Meinungsfreiheit des Arbeitgebers. Eine Offenlegung des Punktwerts oder der Rangfolgenplatzierung kann über das Auskunftsrecht nicht erwirkt werden. 7. Anspruch auf Berichtigung der Ausgabedaten Außerdem steht der betroffenen Person, sofern die Sicherstellung der Richtigkeit der Ausgabedaten629 nicht gelingt, gemäß Art. 16 S. 1 DS-GVO ein Anspruch auf Berichtigung sie betreffender unrichtiger personenbezogener Daten zu.630 Auch der Grundsatz der Datenrichtigkeit ist nach einer Auffassung nur auf „Tatsachen“ anwendbar.631 Werturteile seien subjektiver Natur, einem empirischen oder logischen Beweis nicht zugänglich und könnten daher nicht richtig oder unrichtig sein.632 Dafür spricht, dass beispielsweise mit Blick auf § 20 BDSG a. F. davon ausgegangen wurde, dass hinsichtlich der Beurteilung der Eignung eines Beamten ein Berichtigungsanspruch nicht in Betracht komme.633 Nach anderer Auffassung spielt die Einordnung in die Kategorien „Tat­ sachen“ bzw. „Werturteile“ keine Rolle.634 Richtigkeit sei nicht mit Wahrheit gleichzusetzen, sondern viel eher mit Genauigkeit oder Exaktheit.635 Dies ergebe sich sowohl aus der englischen636 als auch aus der französischen637 in: Plath, DSGVO/BDSG, Art. 15, Rn. 5. Stellungnahme 4/2007 zum Begriff „personenbezogene Daten“, S. 7. 629  Schantz, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 5 DS-GVO, Rn. 27. 630  Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 19; Hoeren, ZD 2016, 459 (462). 631  Roßnagel, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 5 DS-GVO, Rn. 140; Herbst, in: Kühling/Buchner, DS-GVO BDSG, Art. 5 DS-GVO, Rn. 60. 632  Herbst, in: Kühling/Buchner, DS-GVO BDSG, Art. 5 DS-GVO, Rn. 60. 633  Mallmann, in: Simitis, Bundesdatenschutzgesetz, § 20 BDSG 2003, Rn. 23. 634  Schantz, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 5 DS-GVO, Rn. 27; Hoeren, ZD 2016, 459 (462). 635  Hoeren, ZD 2016, 459 (462); Stevens, CR 2020, 73 (75). 636  „accurate“. 637  „exactitude“. 627  Kamlah,

628  Art.-29-Datenschutzgruppe,



B. Erlaubnistatbestand für die Datenverarbeitung133

Sprachfassung von Art. 5 Abs. 1 lit. d) DS-GVO.638 Danach können auch Werturteile unrichtig sein, wenn sie auf einer fehlerhaften Tatsachengrundlage beruhen, von falschen Prämissen ausgehen oder das Ergebnis unrichtiger Schlussfolgerungen sind. Ein Streitentscheid ist, jedenfalls mit Blick auf die Persönlichkeit und die Emotionen des Bewerbers, entbehrlich, denn bei diesen Ausgabedaten handelt es sich, wie auf Seite 131 geschrieben, um Ausprägungen von Persönlichkeitsmerkmalen. Die Ausprägung von Persönlichkeitsmerkmalen ist einer Richtigkeitsüberprüfung mittels psychodiagnostischer Methoden zugänglich. Es handelt sich demnach um Tatsachen.639 Der Grundsatz der Datenrichtigkeit ist auf diese Ausgabedaten anwendbar. Hinsichtlich der daraus abgeleiteten Schlussfolgerungen kann nach hier vertretener Auffassung kein Berichtigungsanspruch geltend gemacht werden.640 Die Schlussfolgerungen sind schon nicht zu offenbaren (siehe Seite 131 f.), sodass sich diese Frage oft nicht stellen wird. Auch im Rahmen des Berichtigungsanspruchs ist außerdem die Meinungsfreiheit des Arbeitgebers zu berücksichtigen.641 Wenn das Werturteil auf fehlerhaften Eingabedaten beruht, sind diese Eingabedaten zu berichtigen.642 Von unrichtigen Ausgabedaten betroffene Bewerber können also, soweit es sich bei den Ausgabedaten um Tatsachen handelt, dem Grunde nach Berichtigungsansprüche geltend machen. Dies kann auch für den Arbeitgeber, gegen den dieser Anspruch gerichtet ist, Vorteile mit sich bringen. Der Arbeitgeber hat kein Interesse daran, unrichtige Ausgabedaten zu erhalten. Womöglich wird die wirtschaftliche Sinnhaftigkeit des Einsatzes der KI-Systeme bei häufiger negativer Rückmeldung der Bewerber zu den Ausgabedaten reflektiert.643

III. Zwischenergebnis – Erlaubnistatbestand für die Datenverarbeitung Die Entwicklung von KI-Systemen zur Sprach- und Videoanalyse wird ein Ausnahmefall bleiben. Im Übrigen kann eine zur Entwicklung von in KISysteme zu implementierenden Entscheidungsmodellen erforderliche VerarZD 2016, 459 (462); Stevens, CR 2020, 73 (75). Berlin, Beschl. v. 19.05.2020 – 10 W 94/19, GRUR-RS 2020, 14862. 640  Vgl. zum Scorewert LG Karlsruhe, Urt. v. 02.08.2019 – 8 O 26/19, ZD 2019, 511 (512). 641  Worms, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 16 DS-GVO, Rn. 54. 642  LG Karlsruhe, Urt. v. 02.08.2019 – 8 O 26/19, ZD 2019, 511 (512). 643  Havliková, DSRITB 2020, 141 (153 f.). 638  Hoeren, 639  KG

134

3. Kap.: Datenschutzrechtliche Konformität

beitung von Bestandsmitarbeiterdaten auf Art. 6 Abs. 1 lit. f) DS-GVO oder eine Einwilligung gestützt werden. Die Verarbeitung von Sprachdaten von Bewerbern auf Grundlage von § 26 Abs. 1 S. 1 BDSG setzt voraus, dass die KI-Systeme sich durch eine gewisse Prognosegenauigkeit auszeichnen, die durch die Erfüllung von Qualitätskriterien sichergestellt werden kann, und Persönlichkeitsmerkmale ermitteln, die einen Bezug zu dem konkreten Arbeitsplatz aufweisen. Die Verarbeitung von Videodaten von Bewerbern richtet sich nach § 26 Abs. 3 S. 1 BDSG. Zum Zwecke der Emotionserkennung können diese KISysteme nicht eingesetzt werden. Auch die Ermittlung von Persönlichkeitsmerkmalen ist auf dieser Grundlage in der Regel unzulässig. Die Einholung von Einwilligungen ist im Beschäftigungskontext grundsätzlich möglich. Zur Ermittlung arbeitsplatzbezogener Merkmale bedarf es zumeist keiner Einwilligung. Im Übrigen, also mit Blick auf die Videoanalyse, wird eine Einwilligung in der Mehrzahl der Fälle aufgrund fehlender Freiwilligkeit der Erteilung ausscheiden. Im Hinblick auf die durch die KI-Systeme generierten Ausgabedaten hat der Bewerber, sofern es sich um Tatsachen handelt, ein Auskunftsrecht gemäß Art. 15 Abs. 1, 2. Hs. DS-GVO und gegebenenfalls einen Berichtigungsanspruch gemäß Art. 16 S. 1 DS-GVO.

C. Verwendung der Ausgabedaten (und davon gegebenenfalls abhängige Informationsund Auskunftspflichten) Die Generierung von Ausgabedaten ruft die Folgefrage nach dem Umgang mit diesen Ausgabedaten hervor. Die vom Ermittlungsmodell generierten Ausgabedaten werden entweder ohne Weiteres ausgegeben oder mit dem Entscheidungsmodell abgeglichen und ein Punktwert bzw. eine Rangfolge ermittelt.644 In Abhängigkeit von der Erscheinungsform des KI-Systems können die Entscheidungen, also die Nutzung der gewonnenen Erkenntnisse zur Eignung des Bewerbers, sowohl durch eine natürliche Person als auch, sofern beispielsweise bestimmte Schwellenwerte definiert worden sind, automatisiert durch das KI-System getroffen werden.645 Die automatisierte Nutzung wird durch Art. 22 DS-GVO weiteren Voraussetzungen und Einschränkungen unterworfen.646 Algorithmusbasierte Entscheidungsfindung, S. 179. Profiling – Persönlichkeitsschutz durch Datenschutz?, S. 73 f. 646  Kugelmann, DuD 2016, 566 (569); Gola, in: Gola, Datenschutz-Grundverordnung, Art. 4 DS-GVO, Rn. 36. 644  Wimmer, 645  Lorentz,



C. Verwendung der Ausgabedaten135

I. Entscheidungsunterstützende Systeme Üblicherweise erstellt das KI-System als letzten Schritt (nach Generierung der Ausgabedaten und Abgleich mit dem Soll-Profil der Stelle) eine Rangfolge der Bewerber. Auf Grundlage dieser Rangfolge werden menschliche Entscheidungen getroffen, etwa, welcher der Bewerber zu einem Bewerbungsgespräch eingeladen wird oder in die nächste Runde gelangt.647 Die Verarbeitungsergebnisse des KI-Systems werden in diesem Fall nur an der Benutzerschnittstelle bereitgestellt, haben aber keinen unmittelbaren realweltlichen Effekt.648 Die Ergebnisse des KI-Systems werden noch von Mitarbeitern der Personalabteilungen bewertet.649 Es kommt dann für die rechtliche Bewertung auf den weiteren Umgang des Mitarbeiters der Personalabteilung mit der Rangfolge an (siehe Seite 141 ff.).650

II. Entscheidungsersetzende Systeme Weitere Probleme können sich ergeben, sofern nach der Durchführung der Analyse keine (hinreichende) menschliche Entscheidung über die weitere Teilnahme am Einstellungsverfahren erfolgt, sondern das KI-System selbst die (Vor-)Auswahl trifft. Diese Beobachtung wird zunehmend gemacht.651 So kann etwa nach Erstellung der Bewerberrangfolge allen oder einem Großteil der Bewerber, mit Ausnahme des bestplatzierten Bewerbers, eine automatische Absage erteilt werden.652 Das System würde insoweit um eine Funktion „Einstellung“ oder „Ablehnung“ ergänzt.653 In den USA gibt es bereits Unternehmen, die Einstellungsentscheidungen vollständig einem System überlassen.654 Gerade in größeren Unternehmen kann dies vorteilhaft sein. So erhalten Unternehmen mit mindestens 500 Mitarbeitern durchschnittlich ca. 2.000 Bewerbungen pro Jahr, wobei in diesen Unternehmen durchschnittlich nur 13 Mitarbeiter in der 647  Joos,

NZA 2020, 1216. in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1,

648  Stiemerling,

Rn.  54 f. 649  Diercks, ZdiW 2021, 65 (69). 650  Höpfner/Daum, ZfA 2021, 467 (482); Malorny, JuS 2022, 289 (295 f.). 651  Landesbeauftragter für Datenschutz und Informationsfreiheit Baden-Württemberg, Ratgeber Beschäftigtendatenschutz, S. 35; Joos/Meding, CR 2020, 834 (836). 652  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 23; vgl. das Fallbeispiel bei Malorny, JuS 2022, 289 (290). 653  Vgl. für den Bereich der Versicherung und Entscheidungsbäume Söbbing, REL 2020, 62 (64). 654  Blum, People Analytics, S. 74.

136

3. Kap.: Datenschutzrechtliche Konformität

Personalabteilung beschäftigt sind, von denen selbstverständlich nicht alle mit der Personalbeschaffung befasst sind; die Bearbeitung der Bewerbungen hat zudem neben der Erfüllung laufender Aufgaben zu erfolgen.655 Noch größere Unternehmen erhalten mitunter hunderttausende Bewerbungen pro Jahr, weshalb automatisierte Entscheidungen hier fast unumgänglich zu sein scheinen.656 Hinzu kommt, dass Online-Stellenanzeigen einfach und von überall her auffindbar sind.657 Zudem sind durch Online-Bewerbungen bestehende Bewerbungshürden (etwa Papier- oder Portokosten) abgebaut worden.658 Aus diesen Gründen wird mit insgesamt steigenden Bewerberzahlen gerechnet.659 Daher kann Art. 22 DS-GVO relevant werden. Nach Art. 22 Abs. 1 DSGVO hat die betroffene Person das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Im folgenden Abschnitt soll die Frage beantwortet werden, wann eine automatisierte Entscheidung vorliegt und, in welchen Fällen der Arbeitgeber hiervon zulässigerweise Gebrauch machen darf. Ferner wird auf die besonderen Informations- und Auskunftspflichten (Art. 13 Abs. 2 lit. f), Art. 14 Abs. 2 lit. g), Art. 15 Abs. 1 lit. h) DS-GVO) eingegangen und deren Anwendungsbereich und Reichweite untersucht. 1. Anspruch oder Verbot An sich legt der Wortlaut der Vorschrift nahe, der betroffenen Person stehe ein individuelles Recht, d. h. ein Anspruch, auf eine menschliche Entscheidung, zu.660

655  Bitkom Research GmbH, Woran scheitern Einstellungen?, S. 5 ff.; Blum, People Analytics, S. 350. 656  Kontio, Wie Bewerber die Robo-Recruiter überlisten können, in: Handelsblatt, 4. September 2018; Blum, People Analytics, S. 350. 657  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 24. 658  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 24. 659  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 24. 660  Albrecht/Jotzo, in: Albrecht/Jotzo, Das neue Datenschutzrecht der EU, Teil 3, Rn. 62.



C. Verwendung der Ausgabedaten137

Für diese Lesart spricht neben dem Wortlaut auch die systematische Stellung des Art. 22 DS-GVO im dritten Kapitel der DS-GVO („Rechte der betroffenen Personen“).661 Die Annahme eines Anspruchs würde in der Praxis aber dazu führen, dass Verantwortliche ungehemmt von automatisierten Entscheidungen Gebrauch machen und nach der Geltendmachung des Anspruchs durch den Betroffenen die entsprechende Entscheidung durch einen Menschen inhaltsgleich wiederholen lassen, wobei sich für die ursprüngliche, automatisierte Entscheidung sehr häufig Argumente finden lassen werden.662 Man würde dem jeweiligen Verantwortlichen faktisch einen sehr großen Freiraum gewähren. Außerdem läge die Durchsetzung allein in der Hand der betroffenen Personen.663 Die Geltendmachung des Anspruchs durch betroffene Personen ist aber unsicher. Betroffenen fehlt oft die nötige Kenntnis oder sie schrecken aus anderen Gründen vor einer Geltendmachung ihrer Ansprüche zurück.664 Für ein abstraktes Verbot spricht, dass dadurch ein effektiver Persönlichkeitsschutz besser sichergestellt werden kann.665 Außerdem ist Art. 22 Abs. 1 DS-GVO in der Menschenwürde verankert. Ziel von Art. 22 Abs. 1 DS-GVO ist, dass Menschen nicht zum bloßen Objekt maschineller Entscheidungen werden.666 Ein von individueller Geltendmachung unabhängiges Verbot wird der Bedeutung der Norm eher gerecht.667 In systematischer Hinsicht wäre bei Annahme eines Anspruchs zudem Art. 22 Abs. 3 DS-GVO, der gerade ein Recht auf Erwirkung des Eingreifens einer Person konstituiert, obsolet.668 Hinzu kommt, dass ein Recht, keiner, ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, wohl dogmatisch als Widerspruchsrecht zu qualifizieren und damit systematisch in

661  Albrecht/Jotzo, in: Albrecht/Jotzo, Das neue Datenschutzrecht der EU, Teil 3, Rn. 62; Hladjk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 22 DSGVO, Rn. 5. 662  Götz, Big Data im Personalmanagement, S. 156; Hildebrandt, DuD 2006, 548 (551). 663  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29a. 664  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29a. 665  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29b. 666  Gausling, ZD 2019, 335 (339); von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 2; Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 8; Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 22 DSGVO, Rn. 3; a. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 26 ff. 667  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29. 668  Götz, Big Data im Personalmanagement, S. 156 f.

138

3. Kap.: Datenschutzrechtliche Konformität

Art. 21 DS-GVO zu regeln gewesen wäre.669 Art. 21 Abs. 1 S. 1, 2. HS nimmt sogar explizit auf Profiling Bezug, berechtigt den Betroffenen aber bezeichnenderweise nur dazu, die entscheidungsvorbereitende Datenverarbeitung durch Widerspruch zu unterbinden.670 Es handelt sich also um ein Verbot. Selbst wenn man aufgrund des Wortlauts ein subjektives Recht annehmen wollte, bedürfte es keiner aktiven Geltendmachung dieses Rechts durch den Betroffenen, sodass der Norm dann zumindest mittelbar Verbotscharakter zukommt.671 2. Regelungsgegenstand des Art. 22 Abs. 1 DS-GVO – Automatisierte Entscheidung Die Verwendung des Begriffs der „automatisierten Entscheidung“672 ist verbreitet.673 Dabei erfolgt nicht immer eine klare Abgrenzung zwischen Entscheidungsunterstützung menschlicher Entscheider und automatisierter Entscheidungsdurchführung.674 Diese Differenzierung ist allerdings für die rechtliche Bewertung entscheidend.675 a) Differenzierung zwischen Datenverarbeitung und Entscheidung Die Regelung des Art. 22 Abs. 1 DS-GVO untersagt ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhende Entscheidungen, die eine rechtliche Wirkung oder eine ähnlich erhebliche Beeinträchtigung nach sich ziehen. Art. 22 Abs. 1 DS-GVO trifft nur Regelungen hinsichtlich der an die Datenverarbeitung anknüpfenden Entscheidung. Art. 22 Abs. 1 DS-GVO bezieht sich hingegen nicht auf die der jeweiligen Entscheidung vorgelagerte und zugrundeliegende, automatisierte Datenverarbeitung.676 Automatisierte Entscheidung und die zugrundeliegende Datenverarbeitung sind strikt voneinander zu unterscheiden.677 Weder verbietet Art. 22 Abs. 1 DS-GVO die zugrunin: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29b. in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 29b. 671  Schulz, in: Gola, Datenschutz-Grundverordnung, Art.  22 DS-GVO, Rn. 5; v. Lewinski/Rützel, DSB 2018, 253. 672  In der englischen Sprachfassung „automated decision-making systems“. 673  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 20. 674  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 20. 675  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 21 f. 676  Herdes, CB 2020, 95 (98). 677  Rudkowski, NZA 2019, 72 (75). 669  Martini, 670  Martini,



C. Verwendung der Ausgabedaten139

deliegende automatisierte Datenverarbeitung678 noch enthält die Vorschrift hinsichtlich der vorgelagerten Datenverarbeitung einen Erlaubnistatbestand. Die Zulässigkeit der Datenverarbeitung beurteilt sich allein nach den allgemeinen datenschutzrechtlichen Vorschriften (siehe Seite 64 ff.). Für eine Beschränkung des Regelungsgegenstandes auf Entscheidungen spricht Sinn und Zweck des Art. 22 Abs. 1 DS-GVO. Dieser soll verhindern, dass der Mensch zum Objekt maschineller Entscheidungen degradiert wird.679 Für die Erreichung dieses Zwecks ist es ausreichend, die automatisierte Entscheidung zu verbieten.680 b) Profiling ≠ Automatisierte Entscheidung Daran wird ersichtlich, dass, auch wenn die Überschrift von Art. 22 DSGVO („Automatisierte Entscheidungen im Einzelfall einschließlich Profiling“) zunächst diesen unzutreffenden Eindruck vermittelt, Profiling nicht die automatisierte Entscheidung ist.681 Vielmehr ist Profiling eine Unterkategorie der automatisierten Datenverarbeitung. Richtig übersetzt dürfte Profiling mit Profilerstellung oder Profilbildung sein. Zwar macht der dem Art. 22 DS-GVO zugehörige Erwägungsgrund 71 gewisse Vorgaben für das Profiling, indem darin Voraussetzungen für die Profilbildung formuliert werden.682 Erwägungsgrund 71 ist aber nach herrschender Meinung auch systematisch falsch verortet.683 Außerdem trennt auch Erwägungsgrund 71 inhaltlich klar zwischen automatisierter Datenverarbeitung und an das Ergebnis der Datenverarbeitung anknüpfender, automatisierter Entscheidung.684 Und auch Art. 35 Abs. 3 lit. a) DS-GVO stellt fest, dass eine DatenschutzFolgenabschätzung erforderlich ist bei einer systematischen und umfassenden NZA 2019, 72 (75). in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 2; Gausling, ZD 2019, 335 (339). 680  Rudkowski, NZA 2019, 72 (75). 681  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 4; a. A.: VG Wiesbaden, Beschluss vom 01.10.2021 – 6 K 788/20, ZD 2022, 121 (123), wonach „die Erstellung eines Score-Werts […] eine selbstständige ‚Entscheidung‘ iSd Art. 22 Abs. 1 DS-GVO […]“ sei. 682  Etwa die Verwendung geeigneter mathematischer oder statistischer Verfahren zur Gewährleistung einer fairen und transparenten Verarbeitung. 683  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 20; Kamlah, in: Plath, DSGVO/BDSG, Art. 22, Rn. 16. 684  Rudkowski, NZA 2019, 72 (75); vgl. Erwägungsgrund 71, S. 3: „Eine auf einer derartigen Verarbeitung […] beruhende Entscheidungsfindung sollte allerdings erlaubt sein, wenn […]“. 678  Rudkowski,

679  v. Lewinski,

140

3. Kap.: Datenschutzrechtliche Konformität

Bewertung persönlicher Aspekte natürlicher Personen, die sich auf automatisierte Verarbeitung einschließlich Profiling gründet und die ihrerseits als Grundlage für Entscheidungen dient, die Rechtswirkung gegenüber natürlichen Personen entfalten oder diese in ähnlich erheblicher Weise beeinträchtigen und differenziert damit zwischen Verarbeitung und Entscheidung. c) Zuschreibung von Persönlichkeitsmerkmalen ≠ Automatisierte Entscheidung Der hier in Rede stehende Prozess der Profilbildung endet damit, dass natürlichen Personen bestimmte Persönlichkeitsmerkmale zugeschrieben wer­ den. Zum Teil wird erwogen, schon dieser Zuschreibung von Merkmalen eine erhebliche, beeinträchtigende Wirkung beizumessen.685 Die vorgelagerte Profilerstellung ist aber, wie gezeigt, von der anschließenden Entscheidung zu trennen.686 Die Zuschreibung von Merkmalen „beruht“ nicht auf einer Profil­ erstellung, sondern ist wesentlicher Teil der Profilerstellung. Es handelt sich bei der Zuschreibung von Merkmalen schon nicht um eine Entscheidung im Sinne des Art. 22 Abs. 1 DS-GVO. Der Begriff der „Entscheidung“ meint einen aus mindestens zwei Varianten auswählenden, gestaltenden Akt mit einer in gewisser Weise abschließenden Wirkung.687 Zwar kann ausweislich Erwägungsgrund 71 eine Entscheidung auch eine Maßnahme umfassen. Eine Entscheidung muss aber eine regelnde Wirkung entfalten.688 Der Verarbeitungsprozess muss über das forum internum, also die innere Überzeugungsbildung, hinausgehen und eine Wirkung in der Außenwelt erzielen. Die bloße Zuschreibung von Merkmalen ist nur ein Vorgang (innerer) Überzeugungsbildung. Für die Zuschreibung von Persönlichkeitsmerkmalen gelten die Erwägungen auf den Seiten 64 ff. Dasselbe gilt für den daran anknüpfenden Abgleich und die Sortierung von Bewerbern in einer Rangfolge.689 Erst, nachdem mittels der Anwendung des KI-Systems ein Profil erstellt, dieses gegebenenfalls im Zuge weiterer Verarbeitungsschritte gespeichert und mit dem Soll-Profil abgeglichen und eine Rangfolge erstellt worden ist, NZA 2019, 72 (75). NZA 2019, 72 (75). 687  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 14; Abel, ZD 2018, 304 (305). 688  Abel, ZD 2018, 304 (305). 689  Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G, Rn. 52. 685  Rudkowski, 686  Rudkowski,



C. Verwendung der Ausgabedaten141

werden Entscheidungen getroffen.690 Dann werden Bewerber (vor-)ausgewählt. Erst diese negative (Vor-)Auswahl stellt eine automatisierte Entscheidung dar.691 Erst dann werden Wirkungen in der Außenwelt erzielt, weil der jeweilige Bewerber am weiteren Bewerbungsprozess nicht teilnimmt. 3. Ausschließlichkeit – Menschliches Dazwischentreten Weitere Anwendungsvoraussetzung des Art. 22 Abs. 1 DS-GVO ist, dass die Entscheidung „ausschließlich“ auf einer automatisierten Verarbeitung beruht.692 Ist kein Mensch involviert, ist dieses Tatsbestandsmerkmal zweifelsohne erfüllt. Es ist aber selbst bei Involvierung eines Menschen nicht entscheidend, ob ein Mensch formal involviert ist, sondern der Umgang des Menschen mit der Ausgabe. Entscheidend ist, ob das Ergebnis der automatisierten Datenverarbeitung die Grundlage für eine eigene Prüfung bildet, ob also eine inhaltliche Überprüfung des Ergebnisses erfolgt und noch individuelle Überlegungen in die abschließende Entscheidung einfließen, oder, ob ausschließlich auf Grundlage der automatisiert erzeugten Ergebnisse, ohne inhaltliche Überprüfung durch eine natürliche Person, entschieden wird.693 In letzterem Fall spricht man von einer Entscheidung ohne menschliches Dazwischentreten.694 Ein menschliches Dazwischentreten kann dann nicht vorliegen, wenn dem Mitarbeiter der Personalabteilung nicht einmal mehr sämtliche bewertete Bewerber angezeigt werden. Von einem fehlenden Dazwischentreten ist aber auch bei einer ungeprüften Übernahme auszugehen. Wenn ein Mensch das Ergebnis zwar zu Gesicht bekommt, dieses aber lediglich formal bestätigt oder übernimmt, schließt dies das Merkmal der Ausschließlichkeit nicht aus, weil in diesem Fall die 690  Roßnagel/Richter/Nebel, ZD 2013, 103 (108); Glatzner, DuD 2020, 312 (312 f.); Edwards/Veale, Duke Law & Technology Review 2017, 18 (46); vgl. aber Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 293 ff., der den Begriff der Entscheidung unter verschiedenen Blickwinkeln betrachtet und der Auswahlentscheidung durch ein System den Entscheidungscharakter abspricht, unter telelogischen Gesichtspunkten aber im Ergebis dazu gelangt, dass Auswahlentscheidungen eines Systems Art. 22 Abs. 1 DS-GVO unterfallen. 691  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 16. 692  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 21. 693  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 15; Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 22 DS-GVO, Rn. 26. 694  Hladjk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 6.

142

3. Kap.: Datenschutzrechtliche Konformität

automatisierten Vorgänge die entscheidungsbestimmenden Motive und Faktoren vorgeben.695 Für eine abschließende menschliche Beurteilung muss Raum bleiben.696 Eine inhaltliche Überprüfung der automatisiert erzeugten Ergebnisse setzt voraus, dass die Möglichkeit besteht, von dem maschinell vorbereiteten Ergebnis abzuweichen.697 Das wiederum setzt zwangsläufig voraus, dass die Person über die erforderliche Datenbasis verfügt, zu einer eigenen, inhalt­ lichen Entscheidung befugt ist und die entsprechende Kompetenz besitzt, die Erkenntnisse inhaltlich zu überprüfen.698 Hinsichtlich der vorausgesetzten Kompetenzen gilt, dass vertiefte Kenntnisse des Systems und des jeweiligen Algorithmus zwar nicht erforderlich sind, wohl aber eine gewisse Medienkompetenz.699 Die inhaltliche Entscheidungsbefugnis muss auch ausgeübt werden, d. h. die Entscheidung, keine Überprüfung durchzuführen oder eine bloße Stichprobenkontrolle sind unzureichend.700 Dass menschliche Entscheidung und automatisiert erzeugter Entscheidungsvorschlag nach Überprüfung der automatisiert erzeugten Erkenntnisse letztlich übereinstimmen, ist allerdings unschädlich.701 Wenn also der Personaler ohne nähere Auseinandersetzung mit den niedrigplatzierten Bewerbern nur die fünf bestplatzierten Bewerber näher beurteilt, wäre eine Ausschließlichkeit anzunehmen. Ob die vorgenannten Anforderungen an ein menschliches Dazwischentreten in der Praxis eingehalten werden, lässt sich schwer überprüfen.702 Der Arbeitgeber wird in einer gerichtlichen Auseinandersetzung die Eigenständigkeit seiner Entscheidung oft darzulegen haben (etwa im Rahmen einer sekundären Darlegungslast).703 Ein Aspekt, der dann gegen ein tatsächliches 695  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 26. 696  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 14. 697  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 14. 698  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 27; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 16. 699  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 16; Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 22 DS-GVO, Rn. 27; von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 24. 700  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 27. 701  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 28. 702  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 186. 703  Schwarze, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 8, Rn. 32.



C. Verwendung der Ausgabedaten143

menschliches Dazwischentreten spricht, wäre der Einsatz eines nicht erklärbaren KI-Systems. Eine kritische Auseinandersetzung mit der Ausgabe ist kaum denkbar, wenn völlig unklar ist, auf welchen Erwägungen diese Ausgabe basiert.704 Sog. post-hoc-Erklärungsmodelle (siehe Seite 184 ff.) können Gründe für eine abweichende Entscheidung liefern.705 Gerade mit solchen Erklärungsmodellen lässt sich das Risiko einer ungeprüften Übernahme der Ausgabe einhegen.706 4. Rechtliche Wirkung oder ähnlich erhebliche Beeinträchtigung Ferner muss die Entscheidung nach Art. 22 Abs. 1 DS-GVO gegenüber der betroffenen Person rechtliche Wirkung entfalten oder sie in ähnlicher Weise beeinträchtigen. Es ist nachfolgend zu untersuchen, ob dies bei einer negativen Auswahlentscheidung im Einstellungsverfahren der Fall ist. a) Entfaltung rechtlicher Wirkung – Keine rechtliche Statusveränderung durch Ablehnung eines Vertragsschlusses Eine rechtliche Wirkung besteht, wenn sich die Rechtsposition der betroffenen Person verändert, die Entscheidung ein Recht begründet oder aufhebt oder in ein Recht eingreift.707 Diese Beschränkung des Begriffs der „recht­ lichen Wirkung“ ist notwendig, denn eine weite Auslegung dieses Begriffs hätte zur Folge, dass die zweite Tatbestandsalternative des Art. 22 Abs. 1 DS-GVO leerliefe.708 Denn jede faktische Entscheidung hat zumindest mittelbare Auswirkungen.709 Wenn die Entscheidung unmittelbar zu einer Veränderung des rechtlichen Status führt, besteht also eine rechtliche Wirkung.710 Die Nichtberücksichtigung eines Bewerbers führt nicht zu einer Statusveränderung des Bewerbers. Der rechtliche Status des Bewerbers bleibt unverändert. Letztlich stellt die REL 2021, 62 (65). REL 2021, 62 (66). 706  Hermstrüwer, AöR 145 (2020), 479 (500). 707  Spindler/Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 7; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DSGVO, Rn. 22. 708  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 28. 709  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 28. 710  Spindler/Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 7. 704  Hacker, 705  Hacker,

144

3. Kap.: Datenschutzrechtliche Konformität

Nichtberücksichtigung im Einstellungsverfahren die Ablehnung eines Vertragsschlusses dar. Durch die Ablehnung eines Vertragsschlusses verändert sich der rechtliche Status gerade nicht.711 Allerdings liegt eine rechtliche Wirkung auch vor, wenn sich die Entscheidung auf die Ausübung von Rechten der Betroffenen auswirkt, indem ein Recht begründet oder aufgehoben wird oder in ein Recht eingegriffen wird.712 Man könnte vor diesem Hintergrund erwägen, der Nichtberücksichtigung im weiteren Einstellungsverfahren unter bestimmten Umständen eine rechtliche Wirkung beizumessen. Die Nichtberücksichtigung greift mitunter in Rechte ein und begründet Rechte. So kann die Nichtberücksichtigung im Ein­ stellungsverfahren eine Benachteiligung gemäß § 3 AGG darstellen und Schadensersatz- bzw. Entschädigungsansprüche begründen (siehe 4. Kapitel). Dies wird man indes als mittelbare rechtliche Auswirkung einer negativen Auswahlentscheidung einzuordnen haben.713 Für dieses Ergebnis spricht auch Erwägungsgrund 71, S. 1, wonach „­Online-Einstellungsverfahren ohne jegliches menschliches Eingreifen“ der zweiten Tatbestandsalternative unterfallen sollen. b) Ähnlich erhebliche Beeinträchtigung Durch die Entscheidung, den jeweiligen Bewerber im weiteren Bewerbungsprozess nicht mehr zu berücksichtigen und den damit einhergehenden Nichtabschluss eines Arbeitsvertrages wird die betroffene Person aber womöglich in ähnlicher Weise wie bei einer Entscheidung mit unmittelbarer Rechtsfolge erheblich beeinträchtigt. Jede für die betroffene Person negativ fühlbare Entscheidung ist eine Beeinträchtigung.714 Die Erheblichkeit der Beeinträchtigung beurteilt sich nach den Einzelfallumständen, die objektiv zu bewerten sind.715 Einigkeit besteht dahinge711  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 25; Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26 f.; Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26a. 712  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 24; Spindler/Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 7. 713  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 28 u. 37. 714  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 38. 715  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 27; von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 38.



C. Verwendung der Ausgabedaten145

hend, dass bei diskriminierenden Wirkungen von Entscheidungen eine er­ hebliche Beeinträchtigung anzunehmen ist.716 Ausführungen zu diskriminierenden Wirkungen algorithmischer Entscheidungen finden sich im vierten Kapitel dieser Arbeit (siehe 4. Kapitel). Fraglich ist, unter welchen Voraussetzungen der Nichtabschluss eines Vertrages abseits diskriminierender Wirkungen mit einer erheblichen Beeinträchtigung einhergeht. aa) Erste Auffassung – Beschränkung auf monopolistische Märkte Nach teilweise vertretener Auffassung stellt die bloße Vorenthaltung eines Vorteils, etwa der Nichtabschluss eines Arbeitsvertrages, nach allgemeinem Sprachgebrauch keinen Nachteil dar, zumal der Bewerber keinen Anspruch auf Abschluss eines Arbeitsvertrages habe.717 Stattdessen soll eine erhebliche Beeinträchtigung im Zusammenhang mit der Verweigerung eines Vertragsschlusses nur in monopolistischen Märkten angenommen werden können, denn hier ist die vertragliche Leistung sonst nicht verfügbar.718 Arbeitgeber haben in aller Regel keine Monopolstellung inne, weil deren vertragliche Leistung alternativ verfügbar ist. Und selbst auf monopolistischen Arbeitsmärkten soll eine erhebliche Beeinträchtigung nach noch engerer Auffassung durch den Nichtabschluss eines Arbeitsvertrages nicht vorliegen.719 Der Nichtabschluss eines Vertrages führe nur im Bereich der Daseinsfürsorge zu Nachteilen; Arbeit sei aber nicht lebensnotwendig.720 Der Argumentation mit einer Monopolstellung liegt letztlich ein rechts­ politischer Gedanke zugrunde. Es soll verhindert werden, die negative Privatautonomie in Form der Vertragsabschlussfreiheit über den Umweg des Art. 22 DS-GVO auszuhebeln und einen faktischen Kontrahierungszwang einzuführen.721 Eine Beschränkung auf monopolistische Märkte ist aber nicht 716  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 27; Hladjk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 9; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22, Rn. 24; Scholz, in: Simitis/Hornung/ Spiecker, Datenschutzrecht, Art. 22 DS-GVO, Rn. 35; Spindler/Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 8; Abel, ZD 2018, 304 (306). 717  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 62. 718  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 39. 719  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 62. 720  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 62. 721  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22, Rn. 25.

146

3. Kap.: Datenschutzrechtliche Konformität

angebracht, denn eine Einschränkung der negativen Privatautonomie erfolgt nur, soweit die Entscheidung ausschließlich auf automatisierter Datenverarbeitung beruht.722 Erstens ist es dem Verantwortlichen anheimgestellt, eine menschliche Letztentscheidungsbefugnis vorzusehen.723 Zweitens ist auch eine ausschließlich auf automatisierter Datenverarbeitung beruhende Entscheidung, die zum Nichtabschluss von Verträgen mit Bezug zu der persönlichen oder wirtschaftlichen Entfaltungsfreiheit führt, zulässig, wenn ein in Art. 22 Abs. 2 DS-GVO genannter Erlaubnistatbestand eingreift. Die Einschränkungen der negativen Privatautonomie sind also gering. Eine Beschränkung der Anwendbarkeit des Art. 22 Abs. 1 DS-GVO auf monopolistische Märkte ist überzogen. bb) Zweite Auffassung – Einzelfallumstände Maßgeblich sind vielmehr die Einzelfallumstände. Kriterien sind etwa die Sozialadäquanz einer Beeinträchtigung sowie eine etwaige Störung der wirtschaftlichen oder persönlichen Entfaltung.724 Betrachtet man die Sozialadäquanz der Beeinträchtigung, wird man in der diskriminierungsfreien Verweigerung eines Arbeitsvertragsschlusses kaum eine erhebliche Beeinträchtigung sehen können. Die meisten Menschen dürften im Laufe ihres Lebens bereits diverse Absagen erhalten haben. Absagen liegen im Rahmen des sozial Üblichen. Im Hinblick auf eine nachhaltige Störung der wirtschaftlichen oder persönlichen Entfaltung ist aber festzuhalten, dass bei der Verweigerung eines Vertragsschlusses, jedenfalls bei Verträgen, deren Abschluss oder Nichtabschluss für die Lebensführung des Einzelnen von spürbarer Relevanz ist, eine erhebliche Beeinträchtigung anzunehmen ist.725 Der Abschluss oder Nichtabschluss eines Arbeitsvertrages ist ebenso wie die Vergabe von Darlehen726 von erheblicher sozioökonomischer Relevanz. Der Abschluss oder Nichtabschluss eines Arbeitsvertrages wirkt sich spürbar auf die Lebens­ führung der betroffenen Person aus. Die berufliche Tätigkeit kann sich nicht nur auf das soziale Umfeld, sondern daneben unter anderem auf Liquidität, Kreditwürdigkeit, Wohnungssuche, Wohnort, Wohnverhältnisse, Karriere und

in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26. in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26a. 724  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 40. 725  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26. 726  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 27. 722  Buchner, 723  Buchner,



C. Verwendung der Ausgabedaten147

Familienplanung auswirken. Mit dem Nichtabschluss eines Arbeitsvertrages geht also eine erhebliche Beeinträchtigung einher. Für diese grundsätzliche Feststellung spricht auch der bereits genannte Erwägungsgrund 71, S. 1, der gerade die Ablehnung eines Online-Kreditantrags oder Online-Einstellungsverfahren ohne menschliches Eingreifen als Regelbeispiele nennt.727 5. Zwischenergebnis – Einschlägigkeit des Verbots des Art. 22 Abs. 1 DS-GVO Negative Auswahlentscheidungen im Einstellungsverfahren auf Grundlage von durch KI-Systeme generierten Ausgaben sind, sofern kein hinreichendes menschliches Dazwischentreten vorliegt, im Grundsatz verboten. 6. Erlaubnistatbestände des Art. 22 Abs. 2 DS-GVO Gemäß Art. 22 Abs. 2 DS-GVO sind solche, ausschließlich auf automatisierter Datenverarbeitung beruhende und im Grundsatz verbotene Entscheidungen ausnahmsweise erlaubt, wenn die Entscheidung für den Abschluss oder die Erfüllung eines Vertrages zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist (Art. 22 Abs. 2 lit. a) DS-GVO), aufgrund von Rechtsvorschriften der Union oder der Mitgliedstaaten, denen der Verantwortliche unterliegt, zulässig ist und diese Rechtsvorschriften angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten (Art. 22 Abs. 2 lit. b) ­DS-GVO) oder die Entscheidung mit ausdrücklicher Einwilligung der betroffenen Person erfolgt (Art. 22 Abs. 2 lit. c) DS-GVO). Der folgende Abschnitt geht der Frage nach, unter welchen Voraussetzungen automatisierte, negative Auswahlentscheidungen im Einstellungsverfahren auf Grundlage von durch KI-Systeme generierten Ausgaben zulässig sind. a) Art. 22 Abs. 2 lit. a) DS-GVO  – Erforderlichkeit für den Abschluss eines Vertrages Es ist umstritten, wann eine Erforderlichkeit im Sinne des Art. 22 Abs. 2 lit. a) DS-GVO vorliegt.

727  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 26; Herdes, CB 2020, 95 (98).

148

3. Kap.: Datenschutzrechtliche Konformität

aa) Erste Auffassung – Unmittelbarer Sachzusammenhang Nach einer Auffassung ist eine Entscheidung erforderlich, wenn ein unmittelbarer Zusammenhang zwischen der Verwendung der Daten und dem konkreten Vertragszweck besteht, insbesondere, wenn die Entscheidung in unmittelbarem Zusammenhang mit der Entscheidungs- und Kalkulationsgrundlage für ein konkretes Rechtsgeschäft steht.728 Diese Aussage wirkt auf den ersten Blick bedeutungsleer. Schließlich kann man davon ausgehen, dass ein Vertragsschluss stets eines vorherigen Prozesses der Entscheidungsfindung und einer auf dem Ergebnis dieses Prozesses basierenden Entscheidung bedarf, sodass die Entscheidung auch stets mit der Entscheidungsgrundlage in Zusammenhang steht und daher für den Vertragsschluss erforderlich ist.729 Gemeint ist letztlich, dass die Anwendung des automatisiert erzeugten Ergebnisses für den Abschluss des Vertrages notwendig sein müsse; eine solche Notwendigkeit nehmen Vertreter einer Unterauffassung im Sinne einer typisierenden Betrachtung an, wenn es gesetzlich vorgeschrieben oder vertraglich vereinbart ist, dass das Ergebnis eines automatisierten Datenverarbeitungsvorgangs entscheidend für die Frage eines Vertragsschlusses ist (vgl. beispielsweise § 18a Abs. 1 KWG, der das Ergebnis einer Kreditwürdigkeitsprüfung für entscheidungserheblich erklärt).730 Bei dieser Auffassung verschwimmen die Grenzen zwischen der Erforderlichkeit der zugrundeliegenden Datenverarbeitung und der Erforderlichkeit der nachfolgenden, automatisierten Entscheidung. Denn schon die vorgelagerte, automatisierte Datenverarbeitung ist gemäß § 26 BDSG nur dann erforderlich, wenn Merkmale ermittelt werden, die in einem unmittelbaren sachlichen Zusammenhang zu der Stelle, also zu dem angestrebten Vertragsverhältnis und dessen Zweck, stehen. Der Zusammenhang zwischen den generierten Ausgabedaten und dem angestrebten Vertragsverhältnis und dessen Zweck wird bereits im Rahmen der Verhältnismäßigkeitsprüfung der vorgelagerten Datenverarbeitung geprüft. Entsprechend misst diese Auffassung der Erforderlichkeit der zugrundeliegenden Datenverarbeitung dann auch eine

728  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 30; ­ ladjk, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art.  H 22 DS-GVO, Rn. 11; Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 31a nennt als Beispiel etwa den Fall, dass die Entscheidung für oder gegen die Einräumung eines Kredits auf Basis eines Credit Scoring getroffen wird. 729  So wohl auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 309. 730  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 43.



C. Verwendung der Ausgabedaten149

Indizwirkung bei der Bestimmung der Erforderlichkeit nach Art. 22 Abs. 2 lit. a) DS-GVO bei.731 Für den Einsatz von KI-Systemen zu Analysezwecken wird vertreten, dass, sofern eine automatisierte Analyse zur Ermittlung von Persönlichkeitsmerkmalen zulässig sei, ohne weitere Prüfung auch eine automatisierte Entscheidung zulässig sei.732 Sofern man, im Sinne der Unterauffassung davon ausgeht, dass es einer gesetzlichen Pflicht oder vertraglichen Vereinbarung bedarf, würde wegen des „reinen Bewerbungskontexts“ kein unmittelbarer Sachzusammenhang bestehen.733 Weder ist es gesetzlich vorgeschrieben noch vertraglich vereinbart, dass das Ergebnis der Analyse durch ein KI-System entscheidend für die Frage des Vertragsschlusses ist. bb) Zweite Auffassung – Erforderlichkeit der Automatisierung der Entscheidung Richtigerweise geht es bei Art. 22 Abs. 2 lit. a) DS-GVO nicht darum, ob das automatisiert erzeugte Ergebnis oder dessen Verwendung für den Abschluss oder die Erfüllung des Vertrages erforderlich ist, sondern darum, ob die automatisierte Entscheidung für den Abschluss oder die Erfüllung des Vertrages erforderlich ist.734 Die Automatisierung des Entscheidungsvorgangs muss erforderlich sein.735 Es ist entscheidend, ob der Vertragsschluss ohne maschinelle Entscheidung, also beim Dazwischentreten einer natürlichen Person, überhaupt möglich wäre.736 Es handelt sich bei Art. 22 Abs. 2 lit. a) DS-GVO um einen für das Massengeschäft konzipierten Ausnahmetatbestand.737 Die Auffassung, die auf den unmittelbaren Sachzusammenhang abstellt, diskutiert letztlich die inhaltliche Notwendigkeit des automatisiert erzeugten Ergebnisses des Da731  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 41. 732  So Betz, ZD 2019, 148 (152); in diese Richtung auch Buchner, in: Kühling/ Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 30, der es genügen lassen will, dass die Entscheidung über den Vertragsschluss auf Basis des Analyseergebnisses getroffen wird; Atzert, in: Schwartmann/Jaspers/Thüsing/Kugelmann, DS-GVO/BDSG, Art. 22 DS-GVO, Rn. 80. 733  Joos, NZA 2020, 1216 (1218). 734  Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 22 DS-GVO, Rn. 50. 735  Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 22 DS-GVO, Rn. 50. 736  Spindler/Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 10; von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 43. 737  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 43.

150

3. Kap.: Datenschutzrechtliche Konformität

tenverarbeitungsvorgangs für den Vertragsschluss. Diese Auffassung dürfte mit dem ursprünglichen Entwurf der Europäischen Kommission zu erklären sein. So sah dieser Entwurf noch vor, dass eine „auf einer rein automatisierten Verarbeitung von Daten basierende Maßnahme“ zulässig sei, „wenn die Verarbeitung im Rahmen des Abschlusses […] eines Vertrages vorgenommen“ wird.738 Das Europäische Parlament hat in seinem Entwurf die Zulässigkeit eines „Profiling, das Maßnahmen zur Folge hat“ dann davon abhängig gemacht, dass „die Verarbeitung für den Abschluss […] eines Vertrages erforderlich ist“.739 Diese Entwurfsfassungen rücken also tatsächlich die Erforderlichkeit der vorgelagerten Verarbeitung in den Vordergrund. Die DS-GVO tut dies allerdings nicht. Der Wortlaut fordert, dass die an das Ergebnis des Datenverarbeitungsvorgangs anknüpfende Entscheidung selbst und nicht das Ergebnis des Datenverarbeitungsvorgangs erforderlich ist. Für eine relativierende Auslegung der eindeutigen Formulierung des Art. 22 Abs. 2 lit. a) DSGVO ist kein Raum.740 Im Anbahnungsverhältnis ist entscheidend, ob die Vertragsschlussentscheidung auch ohne automatisierte Entscheidung getroffen werden könnte.741 Die Einbeziehung von Menschen kann bei großen Datenmengen unpraktisch oder unmöglich sein. Im Bewerbungsprozess soll das in aller Regel nicht der Fall sein.742 738  Europäische Kommission, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr (Datenschutz-Grundverordnung), 2012/0011(COD), S. 61 f.; vgl. auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 308. 739  Europäisches Parlament, Legislative Entschließung des Europäischen Parlaments vom 12. März 2014 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr (allgemeine Datenschutzverordnung), 2012/0011(COD), S. 41; vgl. auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 308. 740  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 43; Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 29 f.; Taeger, in: Taeger/Gabel, DSGVO BDSG, Art. 22 DS-GVO, Rn. 50 f.; Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 25. 741  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 42; vgl. aber Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 313 ff., der insoweit eine Verhältnismäßigkeitsprüfung durchführt und dabei maßgeblich darauf abstellt, ob in der menschlichen Entscheidung eine weniger benachteiligende Alternative liegt. 742  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 30; Schwarze, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 8, Rn. 31 meint, Einstellungsentscheidungen seien „nicht von jener massenhaften Alltäglichkeit“.



C. Verwendung der Ausgabedaten151

Gerade bei der Ausschreibung von Stellen treten allerdings Spitzen auf. Denkbar wären automatisierte Entscheidungen, wenn auf eine veröffentlichte Stellenanzeige eine nicht mehr zu handhabende Vielzahl von Bewerbungen eingeht und sich das jeweilige Unternehmen angesichts der außergewöhnlich hohen Anzahl an Bewerbungen außerstande sieht, ohne Vor-/Aussortierung mittels automatisierter Entscheidungen passende Bewerber zu ermitteln.743 Auf solche Spitzen kann mit automatisierten Entscheidungen reagiert werden, wobei zu beachten ist, dass die Bearbeitung von Bewerbungen auf eine ausgeschriebene Stelle zeitweise zu priorisieren sein kann. Durch diese Priorisierung kann mitunter eine Handhabbarkeit hergestellt werden. Dann erübrigt sich die Erforderlichkeit einer automatisierten Entscheidung.744 Ferner ist zu berücksichtigen, dass hier eine Differenzierung zwischen zwingenden formalen Anforderungen einer Stelle, also Einstellungsvoraussetzungen, und sonstigen Einstellungskriterien vorzunehmen ist.745 In einem ersten Schritt wäre eine Reduktion der Anzahl der Bewerbungen durch eine automatische (Vor-)Auswahl anhand von Einstellungsvoraussetzungen vorzunehmen.746 Erst in einem zweiten Schritt wäre, vorausgesetzt die Anzahl der Bewerbungen ist weiterhin nicht handhabbar, eine automatische (Vor-)Auswahl auf Grundlage der Ausgabe des KI-Systems, also anhand der sonstigen Einstellungskriterien, erforderlich.747 Andernfalls bestünde das Risiko einer systematischen Zurückdrängung von (mit vertretbarem Aufwand möglichen) Einzelfallprüfungen.748 Eine pauschale Aussage zu der Anzahl der Bewerbungen kann dabei nicht getätigt werden. Vielmehr wird die Erforderlichkeit vor allem von dem Verhältnis der Anzahl der in der Personalabteilung des Unternehmens für die Personalbeschaffung zuständigen Mitarbeiter und der eingehenden Bewerbungen abhängig sein.749 So mag man eine Erforderlichkeit auch dann annehmen können, wenn in kleinen Unternehmen mit wenigen Mitarbeitern in der Personalabteilung in absoluten Zahlen nur wenige Bewerbungen eingehen.750 Insoweit wird vertreten, dass 100 Bewerbungen noch durch einen 743  Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 25 f. 744  Blum, People Analytics, S. 353. 745  Zur Begrifflichkeit Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S.  19 f. 746  Blum, People Analytics, S. 353. 747  Blum, People Analytics, S. 353. 748  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 141. 749  Blum, People Analytics, S. 353. 750  Bei kleinen Unternehmen mit 50–99 Mitarbeitern bestehen die Personalabteilungen durchschnittlich aus nur 1,9 Mitarbeitern.

152

3. Kap.: Datenschutzrechtliche Konformität

Mitarbeiter einer Personalabteilung zu bewältigen seien.751 Allerdings sollten keine zu hohen Grenzwerte angenommen werden, als die derzeitige durchschnittliche Besetzungszeit von 82 Tagen vor dem Hintergrund der bereits dargestellten Arbeitsmarktveränderungen reduziert werden muss, um nicht das Risiko einzugehen, dass geeignete Bewerber „abspringen“.752 b) Europäische oder mitgliedstaatliche Rechtsvorschriften Eine automatisierte Entscheidung ist nach Art. 22 Abs. 2 lit. b) DS-GVO außerdem zulässig, wenn die Entscheidung aufgrund von Rechtsvorschriften der Union oder der Mitgliedstaaten, denen der Verantwortliche unterliegt, zulässig ist und diese Rechtsvorschriften angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten. aa) Allgemeines – Nationale Zulässigkeitstatbestände Art. 22 Abs. 2 lit. b) DS-GVO ist eine Öffnungsklausel, die es den Mitgliedstaaten ermöglicht, mittels nationalen Rechts Zulässigkeitstatbestände zugunsten automatisierter Entscheidungen zu schaffen, also das Schutzniveau für das informationelle Selbstbestimmungsrecht abzusenken.753 Von dieser Möglichkeit hat der deutsche Gesetzgeber mit § 37 BDSG, § 155 Abs. 4 S. 1 AO, § 35a VwVfG bzw. § 31a SGB X Gebrauch gemacht. Diese Regelungen sind für den Einsatz von KI-Systemen zu Analysezwecken nicht relevant. bb) § 31 BDSG – Nationaler Zulässigkeitstatbestand? Allerdings regelt § 31 BDSG als mitgliedstaatliche Vorschrift die Zulässigkeit des Scorings. Scoring ist laut Legaldefinition in § 31 BDSG die Verwendung eines Wahrscheinlichkeitswerts über ein bestimmtes zukünftiges Verhalten einer natürlichen Person zum Zweck der Entscheidung über die Begründung, Durchführung oder Beendigung eines Vertragsverhältnisses mit dieser Person. Man kann sich fragen, ob es sich bei § 31 BDSG um eine mitgliedstaatliche Rechtsvorschrift im Sinne des Art. 22 Abs. 2 lit. b) DSGVO handelt und, ob § 31 BDSG den entscheidungsersetzenden Einsatz von 751  Malorny,

JuS 2022, 289 (296). in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, E.,

752  Henssler/Wewetzer,

Rn. 46. 753  Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 33; Mundil, in: Wolff/Brink, BeckOK Datenschutzrecht, § 37 BDSG, Einleitung.



C. Verwendung der Ausgabedaten153

KI-Systemen im Bewerbungskontext, konkret automatisierte, negative Auswahlentscheidungen, ermöglicht. Die Öffnungsklausel des Art. 22 Abs. 2 lit. b) DS-GVO erstreckt sich nur auf automatisierte Entscheidungen, nicht auf die vorgelagerte Datenverarbeitung.754 Art. 22 Abs. 2 lit. b) DS-GVO eröffnet einen mitgliedstaatlichen Regelungsbereich nur hinsichtlich der Unzulässigkeit automatisierter Entscheidungen, wohingegen mitgliedstaatliche Regelungen zu den vorgelagerten Verarbeitungsprozessen nicht gedeckt sind.755 Nach dem Wortlaut des § 31 Abs. 1 BDSG handelt es sich bei Scoring um die Verwendung eines Wahrscheinlichkeitswerts zum Zweck einer Entscheidung. Der Begriff der Verwendung wird weder im BDSG noch in der DSGVO definiert, weshalb man nach allgemeinem Wortverständnis davon ausgehen könnte, dass hier Regelungen zur Zulässigkeit automatisierter Entscheidungen getroffen werden.756 Gleichzeitig legt § 31 BDSG aber fest, dass die Verwendung des Wahrscheinlichkeitswertes unter bestimmten Vo­ raussetzungen „zum Zweck der Entscheidung“ zulässig ist. Scoring findet also im Vorfeld der Entscheidung statt.757 § 31 BDSG selbst enthält auch inhaltlich keine Regelungen dazu, ob und unter welchen Bedingungen eine, die betroffene Person belastende Entscheidung ausschließlich auf einen Wahrscheinlichkeitswert gestützt werden darf.758 Sämtliche in § 31 Nr. 1–4 BDSG genannten Zulässigkeitsvoraussetzungen beziehen sich auf den Datenverarbeitungsvorgang.759 § 31 BDSG formuliert Bedingungen, unter denen ein Wahrscheinlichkeitswert gebildet werden kann und nennt die hierbei zu beachtenden Parameter.760 Letztlich handelt es sich bei Scoring um einen Unterfall des Profiling.761 Nur, soweit Entscheidungen, ohne Dazwischentreten eines Menschen, an einen zuvor er-

ZD 2018, 304 (305). in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 24; Spindler/ Horvárth, in: Spindler/Schuster, Recht der elektronischen Medien, Art. 22 DS-GVO, Rn. 12. 756  Taeger, in: Taeger/Gabel, DSGVO BDSG, § 31 BDSG, Rn. 53; Abel, ZD 2018, 304 (305). 757  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 6 DS-GVO, Rn. 112; Guggenberger, in: Sydow, Bundesdatenschutzgesetz, § 31 BDSG, Rn. 4. 758  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 45. 759  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 45. 760  Moos/Rothkegel, ZD 2016, 561 (567). 761  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 4 Nr. 4, Rn. 7; Lapp, in: Gola/Heckmann, Bundesdatenschutzgesetz, § 31 BDSG, Rn. 3. 754  Abel,

755  Martini,

154

3. Kap.: Datenschutzrechtliche Konformität

mittelten Wahrscheinlichkeitswert anknüpfen, ist Art. 22 DS-GVO einschlägig.762 Auch in der Begründung des Gesetzentwurfs763 wird Scoring als „ein ­mathematisch-statistisches Verfahren, mit dem die Wahrscheinlichkeit, mit der eine bestimmte Person ein bestimmtes Verhalten zeigen wird, berechnet werden kann“, bezeichnet. § 31 BDSG ist also keine Ausnahmevorschrift im Sinne des Art. 22 Abs. 1 lit. b) DS-GVO.764 Eine automatisierte Entscheidung auf Grundlage prognostizierten Verhaltens eines Bewerbers kann nicht durch § 31 Abs. 1 BDSG legitimiert werden. Die Europarechtswidrigkeit und fehlende Einschlägigkeit von § 31 BDSG im Beschäftigungskontext ist bereits auf den Seiten 52 ff. besprochen worden. c) Ausdrückliche Einwilligung Ferner sind automatisierte Entscheidungen gemäß Art. 22 Abs. 2 lit. c) DSGVO zulässig, wenn die Entscheidung mit ausdrücklicher Einwilligung der betroffenen Person erfolgt. Auch die Einwilligung im Sinne von Art. 22 Abs. 2 lit. c) DS-GVO bezieht sich nicht auf den Datenverarbeitungsvorgang, sondern auf die nachfolgende Entscheidung.765 Die Einwilligung legitimiert die Entscheidung selbst.766 Die Einwilligung muss die allgemeinen Voraussetzungen in Art. 4 Nr. 11, Art. 6 Abs. 1 lit. a) sowie Art. 7 DS-GVO erfüllen.767 Denn, obwohl die vorgenannten Vorschriften die Einwilligung in eine Datenverarbeitung zum Gegenstand haben, besteht hier ein vergleichbares Schutzbedürfnis.768 Insoweit kann auf die obigen Ausführungen zur Einwilligung verwiesen werden (siehe Seite 112 ff.).

762  Hoeren/Niehoff, RW 2018, 47 (62 f.); Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 24; a. A.: VG Wiesbaden, Beschl. vom 01.10.2021 – 6 K 788/ 20, ZD 2022, 121 (123). 763  BT-Drs. 16/10 529, S. 9. 764  Buchner, in: Kühling/Buchner, DS-GVO BDSG, § 31 BDSG, Rn. 5; Taeger, in: Taeger/Gabel, DSGVO BDSG, § 31 BDSG, Rn. 41; Martini, in: Paal/Pauly, DSGVO BDSG, Art. 22 DS-GVO, Rn. 24; Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 22 DS-GVO, Rn. 45. 765  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 40. 766  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 41. 767  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 41. 768  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 41.



C. Verwendung der Ausgabedaten155

Ergänzend dazu sind mit Blick auf die Informiertheit bei der Einwilligung in eine automatisierte Entscheidung auch die Informationen gemäß § 13 Abs. 2 lit. f) DS-GVO zu erteilen. Zudem muss die Einwilligung ausweislich des Wortlauts des Art. 22 Abs. 2 lit. c) DS-GVO ausdrücklich erfolgen. In der Einwilligung muss deutlich zum Ausdruck kommen, dass die betroffene Person sich bewusst ist, dass sie betreffende Entscheidungen ausschließlich auf einer automatisierten Datenverarbeitung beruhen.769 7. Informationspflichten im Falle automatisierter Entscheidungen Unzureichende Transparenz kann zu Verunsicherung, Unmut und einem irrationalen Versuch der Konformität auf Seiten der Bewerber führen.770 Informationspflichten können Transparenz herstellen. Im Falle automatisierter Entscheidungen bestehen besondere Informationspflichten, die vom Arbeitgeber zu erfüllen sind. Jedenfalls für KI-Systeme, die automatisiert Bewerber aussortieren, oder in dem Fall, in dem kein hinreichendes menschliches Dazwischentreten vorliegt, ist vor allem Art. 13 Abs. 2 lit. f) DS-GVO von Relevanz, da die personenbezogenen Daten bei der betroffenen Person erhoben werden. Danach hat der Verantwortliche der betroffenen Person zum Zeitpunkt der Erhebung der Daten und zum Zwecke der Erfüllung des Transparenzgrundsatzes das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4 („Ob“) und – zumindest in diesen Fällen – aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person („Wie“) mitzuteilen. Es ist zu klären, ob diese Informationspflichten nur im Falle automatisierter Entscheidungen oder auch abseits dessen einschlägig sind und welche Informationen der Arbeitgeber dem Bewerber konkret zur Verfügung zu stellen hat. a) Erstreckung der Informationspflicht Art. 13 Abs. 2 lit. f) DS-GVO begründet Informationspflichten für den Fall des Betroffenseins von einer automatisierten Entscheidung.771 Vor dem Hintergrund, dass die in dieser Arbeit besprochenen KI-Systeme zum Teil nur entscheidungsunterstützend zum Einsatz kommen, ist fraglich, ob die Inforin: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 42. DOeD 2021, 213 (215). 771  Hoeren/Niehoff, RW 2018, 47 (54). 769  Buchner, 770  Els,

156

3. Kap.: Datenschutzrechtliche Konformität

mationspflichten auch in diesen Fällen, also bei Profiling ohne automatisierte Entscheidung, bestehen. Die Ausführungen unter diesem Gliederungspunkt zur Erstreckung der Informationspflicht gemäß Art. 13 Abs. 2 lit. f) DS-GVO gelten gleichermaßen für Art. 14 Abs. 2 lit. g) sowie Art. 15 Abs. 1 lit. h) DSGVO. aa) Informationspflicht über die Durchführung von „bloßem“ Profiling („Bestehen einer automatisierten Entscheidungsfindung“) Zunächst stellt sich die Frage nach der Reichweite der Informationspflicht über den Einsatz von Verfahren zur automatisierten Entscheidungsfindung („Ob“). Es ist zu klären, ob der Arbeitgeber über den Einsatz des KI-Systems auch informieren muss, wenn es „nur“ zur Entscheidungsunterstützung genutzt wird. Nach einer Auffassung soll eine Informationspflicht über das „Ob“ auch außerhalb des engen Anwendungsbereichs von Art. 22 DS-GVO, konkret im Falle von Profiling ohne ausschließlich hierauf beruhender Entscheidung, bestehen.772 Wollte man dem folgen, müsste der Arbeitgeber auch bei der Durchführung von Profiling über die Tatsache der Durchführung von Profiling informieren. Hierfür spricht, dass die „Entscheidungsfindung“ vom Wortsinn her der Entscheidung vorgelagert ist.773 Allerdings kommt dem Begriff der Entscheidungsfindung wohl kein eigener Bedeutungsinhalt zu.774 Dies ergibt sich aus Erwägungsgrund 71, S. 3, wonach eine „auf einer derartigen Verarbeitung […] beruhende Entscheidungsfindung“ in den in Art. 22 Abs. 2 DS-GVO genannten Fällen erlaubt ist. Der Begriff der Entscheidungsfindung ist demnach mit dem Begriff der Entscheidung gleichzusetzen. Dies wird auch an der englischen Sprachfassung der DS-GVO deutlich, die in Art. 13 Abs. 2 lit. f) DS-GVO auf „the existence of automated decision-making“ abstellt und damit auf die gleichlautende Überschrift des Art. 22 DS-GVO („Automated individual decision-making“) Bezug nimmt. Die Bezugnahme und gleichzeitige Beschränkung auf den engen Anwendungsbereich des Art. 22 DS-GVO wird ferner an der zusätzlichen Formulierung in Art. 13 Abs. 2 lit. f) DS-GVO „gemäß Artikel 22 Absätze 1 und 4 772  Ingold, in: Sydow, Europäische Datenschutzgrundverordnung, Art. 13 DSGVO, Rn. 20; Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 52; Mester, in: Taeger/Gabel, DSGVO BDSG, Art. 13 DS-GVO, Rn. 27; Dix, in: Simitis/ Hornung/Spiecker, Datenschutzrecht, Art. 13 DSGVO, Rn. 16. 773  Kamlah, in: Plath, DSGVO/BDSG, Art. 13 DSGVO, Rn. 24. 774  Kamlah, in: Plath, DSGVO/BDSG, Art. 13 DSGVO, Rn. 24.



C. Verwendung der Ausgabedaten157

[…]“ deutlich.775 Gegen eine Erstreckung der Informationspflicht spricht auch, dass sich die Parenthese in Art. 22 Abs. 1 DS-GVO auf die automatisierte Verarbeitung bezieht („automatisierten Verarbeitung – einschließlich Profiling – […]“); Profiling ist kein Unterfall der automatisierten Entscheidung, sondern der automatisierten Verarbeitung.776 Für eine Erstreckung der Informationspflicht wird argumentiert, die Parenthese in § 13 Abs. 2 lit. f) DS-GVO, dass „zumindest in diesen Fällen“ erweiterte Informationspflichten, also die Pflicht zur Erteilung aussagekräftiger Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung bestehen, sei sinnlos, wenn nicht auch bei bloßem Profiling grundlegende Informationspflichten bestünden.777 Allerdings bezieht sich die Parenthese auf den ersten Satzteil („automatisierten Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4 […]“) und deutet nur an, dass die erweiterten Informationspflichten auch in Fällen jenseits von Art. 22 DS-GVO bestehen können (siehe Seite 157 ff.).778 Es besteht also keine sich aus Art. 13 Abs. 2 lit. f) DS-GVO ergebende Pflicht, über den Einsatz von Profiling („Ob“) zu unterrichten.779 Insoweit ist von Seiten der Sachverständigenkommission für den Dritten Gleichstellungsbericht der Bundesregierung zuletzt vorgeschlagen worden, § 11 AGG um einen zweiten Absatz zu ergänzen und darin vorzusehen, dass der Einsatz algorithmischer Systeme jedenfalls im Rahmen personeller Maßnahmen offenzulegen sei.780 Auch in Art. 52 Abs. 1 KI-VO-E sind Transparenzpflichten vorgesehen; allerdings wird bei den hier in Rede stehenden Systemen oft die in Art. 52 Abs. 1 KI-VO-E enthaltene Einschränkung greifen, dass der Einsatz eines KI-Systems aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist. bb) Bereitstellung aussagekräftiger Informationen über die involvierte Logik sowie die Tragweite der Verarbeitung auch bei der Durchführung von „bloßem“ Profiling? Allerdings könnten de lege lata die erweiterten Informationspflichten, also die Pflicht zur Bereitstellung aussagekräftiger Informationen über die involBlackbox Algorithmus, S. 178. MMR 2021, 288 (289). 777  Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 52. 778  Sesing, MMR 2021, 288 (289). 779  Sesing, MMR 2021, 288 (289); Sesing/Tschech, MMR 2022, 24 (27). 780  BT-Drs. 19/30750, S. 168; Sesing/Tschech, MMR 2022, 24 (27). 775  Martini, 776  Sesing,

158

3. Kap.: Datenschutzrechtliche Konformität

vierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung („Wie“) auch außerhalb des Bereichs automatisierter Entscheidungen bestehen. Der Anwendungsbereich dieser Informationspflicht ist jedenfalls nicht deckungsgleich mit dem der Informationspflicht über den Einsatz von Verfahren zur automatisierten Entscheidungsfindung („Ob“).781 Es stellt sich auch insoweit die Frage, ob der Arbeitgeber diese Informationen bereitstellen muss, wenn die KI-Systeme zur Entscheidungsunterstützung genutzt werden. (1) E  rste Auffassung – Informationspflicht nur bei ausschließlich auf Profiling beruhender automatisierter Entscheidung Die Parenthese („zumindest in diesen Fällen“) in Art. 13 Abs. 2 lit. f) DSGVO ist ohne nähere Überprüfung aus der Vorgängervorschrift782 übernommen worden. Art. 12 lit. a) der RL 95/46/EG sah eine Auskunft über den logischen Aufbau der automatisierten Verarbeitung zumindest im Fall automatisierter Entscheidungen vor. Aufgrund des Richtliniencharakters und des damit einhergehenden mitgliedstaatlichen Umsetzungsspielraums hatte die Formulierung ihren Sinn.783 In der auf Vollharmonisierung abzielenden DSGVO ist die Formulierung aber gegenstandslos, zumal im hiesigen Kontext kein mitgliedstaatlicher Regelungsspielraum besteht. Art. 23 DS-GVO erlaubt lediglich Beschränkungen, keine Erweiterungen.784 Wolle man der Parenthese normativen Sinn zuschreiben, könne Art. 13 Abs. 2 lit. f) DS-GVO dahingehend verstanden werden, dass sich das Demonstrativpronomen „diesen“ nur auf eine auf Profiling beruhende, automatisierte Entscheidung bezieht. Damit würden die erweiterten Informationspflichten stets im Falle einer ausschließlich auf Profiling beruhenden, automatisierten Entscheidung bestehen und optional in anderen Fällen automatisierter Entscheidungen.785 Auch Erwägungsgrund 63, S. 3786 soll hierfür sprechen.788 Danach muss darüber Auskunft erteilt werden, „nach welcher Logik die automatische VerMMR 2021, 288 (289); Strassemeyer, DSRITB 2019, 31 (38). lit. a) der RL 95/46/EG. 783  Kumkar/Roth-Isigkeit, JZ 2020, 277 (282). 784  Kumkar/Roth-Isigkeit, JZ 2020, 277 (282). 785  Martini, Blackbox Algorithmus, S. 184; vgl. auch Sesing, MMR 2021, 288 (290). 786  Erwägungsgrund 63 bezieht sich auf das Auskunftsrecht in Art. 15 DS-GVO, wobei die Informationspflicht in Art. 13 Abs. 2 lit. f) DS-GVO und das Auskunftsrecht in Art. 15 Abs. 1 lit. h) DS-GVO wortlautidentisch sind, sodass die dortigen Erwägungen – jedenfalls insoweit – übertragbar sind. 781  Sesing, 782  Art. 12



C. Verwendung der Ausgabedaten159

arbeitung […] erfolgt […], zumindest in Fällen, in denen die Verarbeitung auf Profiling beruht.“ Die „automatische Verarbeitung“ meine die Entscheidung.788 Dies sei so zu verstehen, dass zumindest in den Fällen, in denen die Entscheidung auf einem Profiling beruhe, die erweiterten Informationspflichten bestünden. Allerdings bezieht sich die Parenthese bei intuitiver Lesart auf den gesamten vorangegangenen und zusammenhängenden789 Satzteil „Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4“ und damit auf sämtliche automatisierten Entscheidungen.790 Diese Auffassung muss sich daher den Vorwurf gefallen lassen, eine mutwillige Verengung der Informationspflicht herbeiführen zu wollen.791 (2) Z  weite Auffassung – Informationspflicht bei automatisierter ­Entscheidung und Möglichkeit freiwilliger Informationserteilung Nach anderer Auffassung soll die Parenthese in erster Linie verdeutlichen, dass die erweiterten Informationspflichten zwingend nur bei sämtlichen automatisierten Entscheidungen nach Art. 22 DS-GVO bestehen.792 Es solle dadurch verhindert werden, dass außerhalb des Bereichs automatisierter Entscheidungen die freiwillige Erteilung solcher Informationen e contrario für unzulässig erachtet wird.793 (3) Dritte Auffassung – Informationspflicht in anderen Fällen Hiergegen wird von anderer Seite zu Recht eingewandt, eine freiwillige Informationserteilung durch den Verantwortlichen sei immer zulässig, weshalb es einer solchen klarstellenden gesetzlichen Regelung nicht bedürfe.794 Deswegen sei es überzeugend, das Bestehen von erweiterten InformationsBlackbox Algorithmus, S. 185. Blackbox Algorithmus, S. 185, Fn. 93. 789  Die Zusammengehörigkeit dieses Satzteils wird an den Begriffen „einschließlich“ sowie „gemäß“ deutlich. 790  Martini, Blackbox Algorithmus, S. 184. 791  Martini, Blackbox Algorithmus, S. 184. 792  Schmidt-Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DS-GVO, Rn. 77; Kamlah, in: Plath, DSGVO/BDSG, Art. 13 DSGVO, Rn. 27; Paal/Hennemann, in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 32. 793  Sesing, MMR 2021, 288 (290). 794  Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 53; Sesing, MMR 2021, 288 (290). 787  Martini, 788  Martini,

160

3. Kap.: Datenschutzrechtliche Konformität

pflichten auch außerhalb des Bereichs automatisierter Entscheidungen anzunehmen.795 Fraglich ist, in welchen Fällen eine Informationspflicht besteht. (a) Erste Unterauffassung – Informationspflicht bei Profiling Nach einer Unterauffassung besteht die Informationspflicht bei Profil­ ing796. Für eine solch weitreichende Anwendung der Informationspflicht kann, bei weiter Deutung, ebenfalls Erwägungsgrund 63, S. 3 herangezogen werden.797 Danach soll jede betroffene Person, zumindest in Fällen, „in denen die Verarbeitung auf Profiling beruht“, ein Anrecht darauf haben, zu erfahren, nach welcher Logik die Datenverarbeitung erfolgt ist. Jedoch lässt sich Erwägungsgrund 63, S. 3 sowohl dahingehend verstehen, dass Informationspflichten in jeglichen Fällen von Profiling bestehen als auch dahingehend, dass „nur“ automatisierte Entscheidungen im Sinne des Art. 22 Abs. 1 DS-GVO adressiert werden, die auf Profiling beruhen (siehe Seite 158 f.).798 So nutzt Erwägungsgrund 63, S. 3, wie geschrieben, den Begriff „automatische Verarbeitung“. Damit könnte schlicht eine automatisierte Verarbeitung gemeint sein. Daraus ließe sich aber auch folgern, dass eher der Fall eines selbsttätigen Systems, also eine automatisierte Entscheidung, angesprochen wird. Hierfür spricht etwa Erwägungsgrund 71, S. 1 der als Beispiel für eine automatisierte Entscheidung eine „automatische Ablehnung“ nennt. Allerdings bleibt letztlich unklar, was der Verordnungsgeber meint, wenn er von „automatische[r] Verarbeitung“ spricht; es besteht daher Interpretationsspielraum.799 Für eine Erstreckung der Informationspflichten auf Profiling spricht, dass Sinn und Zweck der Informationspflicht die Sicherstellung einer transparenten Datenverarbeitung ist. Transparenzdefizite bestehen nicht nur bei automatisierten Entscheidungen, sondern bei sämtlichen algorithmischen Datenverarbeitungsvorgängen.800 Dem lässt sich wiederum entgegenhalten, dass automatisierte Entscheidungen besondere Risiken bergen und deswegen besondere Transparenzanforderungen gerechtfertigt sind.801 MMR 2021, 288 (290); Martini, Blackbox Algorithmus, S. 182. in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 52 ff.; Franck, in: Gola, Datenschutz-Grundverordnung, Art. 13 DS-GVO, Rn. 27; Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 13 DSGVO, Rn. 16. 797  Martini, Blackbox Algorithmus, S. 185. 798  Martini, Blackbox Algorithmus, S. 185. 799  Martini, Blackbox Algorithmus, S. 185. 800  Glatzner, DuD 2020, 312 (313); Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 12. 801  Hoeren/Niehoff, RW 2018, 47 (55); Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 8. 795  Sesing,

796  Bäcker,



C. Verwendung der Ausgabedaten161

Ferner spricht auf den ersten Blick die Bezugnahme in Art. 13 Abs. 2 lit. f) DS-GVO auf die Verarbeitung für eine Erweiterung der Informationspflicht auf Profiling. Danach sind Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen „einer derartigen Verarbeitung“ zur Verfügung zu stellen. Allerdings wird damit Umfang und Inhalt der Informationspflicht geregelt. Diese Formulierung lässt keine letztgültigen Rückschlüsse auf den Anwendungsbereich zu, zumal automatisierten Entscheidungen naturgemäß Datenverarbeitungsvorgänge vorangehen und von den „Auswirkungen“ der Verarbeitung die Rede ist. Es wird also ein Bezug zu der Entscheidung hergestellt.802 (b) Zweite Unterauffassung – Informationspflicht bei äquivalenten Risiken Nach einer weiteren Unterauffassung gibt es Fälle, in denen über die Verarbeitungslogik und die Tragweite der Verarbeitung zu informieren ist. Es müssten aber weitergehende Kriterien formuliert werden. Es wird darauf abgestellt, ob das Profiling für die betroffene Person mit ähnlich gewichtigen Risiken wie eine automatisierte Entscheidung einhergeht bzw. eine „Äquivalenz der Persönlichkeitsgefährdung“ vorliegt.803 Das Risiko, das vom europäischen Gesetzgeber bei automatisierten Entscheidungen identifiziert worden ist, bestehe darin, dass Menschen zum Objekt maschineller Entscheidungen degradiert werden.804 Dieses Risiko könne sich auch in anderen Konstellationen realisieren. Die Beurteilung einer, im Vergleich zu automatisierten Entscheidungen, funktionalen Gleichwertigkeit setze eine wertungsoffene Einzelfallabwägung voraus.805 Als Kriterien werden unter anderem das Gewicht der vorbereiteten Entscheidung, die Verarbeitungsmethode, Art und Ausmaß der verarbeiteten Daten, die Gefahr einer ungeprüften Übernahme sowie der Stellenwert der generierten Ausgabe für die Entscheidung genannt.806 Für die vorliegende Konstellation würde man bei Zugrundelegung dieser Vorgehensweise auch bei bloßer Entscheidungsunterstützung eine Informa­ tionspflicht annehmen müssen. Der vorbereiteten Entscheidung kommt unter 802  Kamlah, in: Plath, DSGVO/BDSG, Art. 13 DS-GVO, Rn. 29; Martini, Blackbox Algorithmus, S. 178; Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DSGVO, Rn. 55. 803  Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 53; Sesing, MMR 2021, 288 (290); Martini, Blackbox Algorithmus, S. 183 f. 804  Sesing, MMR 2021, 288 (290). 805  Martini, Blackbox Algorithmus, S. 184; Sesing, MMR 2021, 288 (290). 806  Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 53; Sesing, MMR 2021, 288 (290).

162

3. Kap.: Datenschutzrechtliche Konformität

sozioökonomischen Gesichtspunkten eine hohe Bedeutung zu.807 Ferner ist die Gefahr einer ungeprüften Übernahme in Anbetracht des Automatisierungsbias (engl. automation bias) (siehe Seite 215 ff.) hoch.808 Wie stark die vom KI-System generierten Ergebnisse bei entscheidungsunterstützendem Einsatz der Systeme in die zu treffende Entscheidung einfließen, bedürfte einer Beurteilung im Einzelfall.809 Der Arbeitgeber wird den Ergebnissen aber in aller Regel einen hohen Stellenwert beimessen. Gegen eine Erstreckung der Informationspflicht mag man anführen, dass Verstöße gegen die Informationspflicht nach Art. 83 Abs. 5 lit. b) DS-GVO bußgeldbewehrt sind. Mangels normativer Anhaltspunkte bleibe aber unklar, auf welche Verarbeitungsvorgänge die Informationspflicht genau erstreckt werden soll; der unscharfe Anwendungsbereich sei vor dem Hintergrund der Bußgeldbewehrung rechtsstaatlich problematisch.810 Anhand der obengenannten Kriterien (Gewicht der vorbereiteten Entscheidung, Verarbeitungsmethode, Art und Ausmaß der verarbeiteten Daten, Gefahr einer ungeprüften Übernahme, Stellenwert der generierten Ausgabe für die Entscheidung) lässt sich aber eine Bewertung vornehmen. Zudem ließe sich dies durch eine Konkretisierung von Seiten der Gerichte und Datenschutzbehörden abmildern.811 Dass eine Unterteilung anhand des Risikos jedenfalls dem Grunde nach möglich ist, zeigt das Schweizer Datenschutzgesetz (im Folgenden: „DSG“), das revidiert worden ist und nach seinem voraussichtlichen Inkrafttreten im Laufe des Jahres 2022 zwischen Profiling (Art. 5 lit. f) DSG) und Profiling mit hohem Risiko (Art. 5 lit. g) DSG) differenzieren wird.812 (4) Z  wischenergebnis – Erstreckung des Anwendungsbereichs erweiterter Informationspflichten Es sprechen die besseren Argumente dafür, mit der letztgenannten Unterauffassung auch bei lediglich entscheidungsunterstützendem Einsatz, also abseits automatisierter Entscheidungen, eine Informationspflicht nach Art. 13 Abs. 2 lit. f) DS-GVO anzunehmen. Mit Blick auf die in dieser Arbeit besprochenen KI-Systeme muss der Arbeitgeber dem Bewerber daher, auch 807  Vgl.

für generelle Abwägungskriterien: Sesing, MMR 2021, 288 (290). für generelle Abwägungskriterien: Sesing, MMR 2021, 288 (290). 809  Vgl. für generelle Abwägungskriterien: Sesing, MMR 2021, 288 (290). 810  Kumkar/Roth-Isigkeit, JZ 2020, 277 (282); Martini, Blackbox Algorithmus, S.  183 f. 811  Sesing, MMR 2021, 288 (290 f). 812  Vgl. Bundesgesetz über den Datenschutz vom 25. September 2020 (Datenschutzgesetz, DSG), (17.059-3) – XXI – 2017-1085; Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 171. 808  Vgl.



C. Verwendung der Ausgabedaten163

wenn keine automatisierten Entscheidungen getroffen werden, aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung bereitstellen. b) Umfang der Informationspflicht Mit Blick auf die inhaltliche Reichweite der Informationspflicht nach Art. 13 Abs. 2 lit. f) DS-GVO bestehen ebenfalls Unklarheiten. Klärungsbedürftig ist, welche Informationen der Arbeitgeber dem Bewerber zur Verfügung stellen muss. aa) Mindestrechte Fraglich ist im Zusammenhang mit Art. 13 Abs. 2 lit. f) DS-GVO zunächst, ob sich die Informationspflicht auch auf die in Art. 22 Abs. 3 DS-GVO genannten Mindestrechte (Recht auf Erwirkung des Eingreifens einer Person seitens des Verantwortlichen, Recht auf Darlegung des eigenen Standpunkts, Recht auf Anfechtung der Entscheidung) erstreckt. Dafür kann man anführen, dass eine Ausübung dieser Rechte deren Kenntnis voraussetzt.813 Gegen eine solche Informationspflicht könnte auf den ersten Blick sprechen, dass der Verantwortliche der betroffenen Person schon nach Art. 12 Abs. 3 S. 1 DS-GVO Informationen über die auf Antrag gemäß den Artikeln 15–22 ergriffenen Maßnahmen zur Verfügung zu stellen hat. Durch die Auferlegung einer Rechenschaftspflicht sichert Art. 12 Abs. 3 DS-GVO aber nur die Erfüllung der geltend gemachten Rechte durch den Verantwortlichen, ermöglicht aber nicht deren Geltendmachung; diese Informationen werden nach Ausübung der Rechte erteilt.814 Allerdings verweist Art. 13 Abs. 2 lit. f) DS-GVO gerade nicht auf den dritten Absatz, sondern lediglich auf Art. 22 Abs. 1 und 4 DS-GVO.815 Der fehlende Verweis deutet auf eine bewusste Entscheidung des Verordnungsge813  Schulz, in: Gola, Datenschutz-Grundverordnung, Art. 22 DS-GVO, Rn. 41; Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 32. 814  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 33; Heckmann/Paschke, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 12 DS-GVO, Rn. 31; Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 12 DSGVO, Rn. 25. 815  Martini, Blackbox Algorithmus, S. 187; Kumkar/Roth-Isigkeit, JZ 2020, 277 (282).

164

3. Kap.: Datenschutzrechtliche Konformität

bers hin.816 Jedenfalls geht eine derartige Informationspflicht nicht klar aus dem Verordnungstext hervor.817 Allenfalls kann die Informationspflicht über die Mindestrechte selbst eine angemessene Maßnahme im Sinne des Art. 22 Abs. 3 DS-GVO darstellen.818 Dafür spricht, dass Erwägungsgrund 71, S. 4 eine „spezifische U ­ nterrichtung“ fordert.819 Dogmatisch besteht jedoch ein Unterschied zwischen Schutzmaßnahmen und einer entsprechenden Informationspflicht.820 Eine Ergänzung der Art. 13 Abs. 2 lit. f), 14 Abs. 2 lit. g) und 15 Abs. 1 lit. h) DS-GVO um eine entsprechende Informationspflicht über die Mindestrechte ist wünschenswert.821 bb) Aussagekräftige Informationen über die involvierte Logik Ferner sind nach Art. 13 Abs. 2 lit. f) DS-GVO unter anderem aussagekräftige Informationen über die involvierte Logik der Datenverarbeitung zur Verfügung zu stellen. Im folgenden Abschnitt wird der Frage nachgegangen, welche Informationen hiernach durch den Arbeitgeber bereitgestellt werden müssen. (1) Offenlegung des Algorithmus – Allgemeines Unter dem Begriff der „Logik“ wird allgemein die Folgerichtigkeit des Denkens822 verstanden. Es geht um die Richtigkeit oder innere Schlüssigkeit des Verfahrens.823 Die Logik kann man demzufolge mit der Folgerichtigkeit des zugrundeliegenden statistisch-mathematischen Verfahrens gleichsetzen.824 Dementsprechend mag man verlangen, dass infolge der Erteilung aussagekräftiger Informationen über die involvierte Logik die Folgerichtigkeit des statistisch-mathematischen Verfahrens für die betroffene Person nachvollziehbar ist. Unklar ist, inwieweit aufgrund dessen Einblicke in das System gewährt werden müssen. Blackbox Algorithmus, S. 187. Blackbox Algorithmus, S. 187. 818  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 32; Martini, Blackbox Algorithmus, S. 187. 819  Buchner, in: Kühling/Buchner, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 32. 820  Martini, Blackbox Algorithmus, S. 187. 821  Martini, Blackbox Algorithmus, S. 187. 822  Logik, in: Duden online, abrufbar unter: www.duden.de/rechtschreibung/Logik. 823  Schnapp, Logik für Juristen, S. 15. 824  Kamlah, in: Plath, DSGVO/BDSG, Art. 22 DSGVO, Rn. 16. 816  Martini, 817  Martini,



C. Verwendung der Ausgabedaten165

In Betracht kommt eine Offenlegung des Algorithmus. Der Algorithmus gilt als die mathematische Logik hinter dem System.825 Algorithmen sind eindeutige Handlungsvorschriften, bestehend aus Einzelschritten, zur Lösung eines Problems, die regelmäßig als Software dargestellt werden.826 Anhand dieser aus Einzelschritten bestehenden Handlungsvorschrift könnte man die Folgerichtigkeit oder innere Schlüssigkeit des statistisch-mathematischen Verfahrens einschätzen. Deren Offenlegung kann aber vor allem mit Geschäftsgeheimnissen kon­ fligieren. Algorithmen können als technologisches Knowhow Geschäftsgeheimnisse darstellen.827 Die Offenlegung des Algorithmus versetzt die betroffene Person zwar nicht unmittelbar in die Lage einer Nutzung oder eines Missbrauchs der offenbarten Handlungsvorschriften; hierfür wäre auch die Offenlegung des Quellcodes erforderlich.828 Das Geschäftsgeheimnisgesetz soll den Geheimnisinhaber aber vor wirtschaftlichen Nachteilen schützen.829 Bereits durch die Offenlegung von Geschäftsgeheimnissen an einen größeren Personenkreis droht eine Wertminderung des Geschäftsgeheimnisses; eines Missbrauchs bedarf es nicht.830 Dabei soll nicht unerwähnt bleiben, dass das Problem vor dem Hintergrund, dass in erster Linie Systeme von Drittanbietern in Anspruch genommen werden, darin begründet sein dürfte, dass sich der Arbeitgeber als Adressat der Informationspflicht zunächst mit dem Softwareanbieter auseinanderzusetzen hätte.831 (2) Offenlegung des Algorithmus – SCHUFA-Urteil des BGH Schon vor Geltung der DS-GVO hatte der Bundesgerichtshof im Bereich des Scorings über den Umfang einer von der SCHUFA zu erteilenden Aus825  Kasper,

People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 29. in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.5,

826  Schröder,

Rn. 20. 827  Scheja, CR 2018, 485 (486 f.); Redeker, in: Redeker, IT-Recht, A., Rn. 204; Kugelmann, DuD 2016, 566 (568); Conrad/Schneider, in: Auer-Reinsdorff/Conrad, Handbuch IT- und Datenschutzrecht, Teil C., § 11, Rn. 108. 828  Hoeren/Niehoff, RW 2018, 47 (57); Martini, Blackbox Algorithmus, S. 182: Die Offenlegung des Quellcodes würde dazu führen, dass sich der getätigte Investi­ tionsaufwand letztlich nicht lohnt. 829  Hiéramente, in: BeckOK GeschGehG, § 1, Rn. 3. 830  Hiéramente, in: BeckOK GeschGehG, § 1, Rn. 5. 831  Hoffmann, NZA 2022, 19 (22); vgl. auch VG Wiesbaden, Beschl. v. 01.01.2021 – 6 K 788/20, ZD 2022, 121 (123): „Auch der dritte Verantwortliche kann Informationen über die Score-Wert-Erstellung, die seiner Entscheidung ja gerade maßgeblich zu Grunde liegt, ggü. der betroffenen Person nicht erteilen, weil er nicht um die involvierte Logik weiß; sie wird ihm von der Auskunftei nicht offenbart.“

166

3. Kap.: Datenschutzrechtliche Konformität

kunft zu entscheiden. Nach der damaligen Rechtslage musste gemäß § 34 Abs. 4 S. 1 Nr. 4 BDSG a. F. über das Zustandekommen und die Bedeutung der Wahrscheinlichkeitswerte einzelfallbezogen und nachvollziehbar in allgemein verständlicher Form Auskunft erteilt werden. Gegenstand des Rechtsstreits war, ob dieses datenschutzrechtliche Auskunftsrecht auch die Offen­ barung der Score-Formel als abstrakte Berechnungsmethode, also des Algorithmus, umfasst.832 Der Bundesgerichtshof nahm eine Abwägung zwischen Informations- und Geheimnisschutzinteresse vor und verneinte eine Offenlegungspflicht mit der Begründung, dass die Score-Formel dem gesetzgeberischen Willen entsprechend als Geschäftsgeheimnis zu schützen sei.833 (3) Offenlegung des Algorithmus – DS-GVO und KI-Systeme Auch bei KI-Systemen bestehen infolge hoher Entwicklungskosten berechtigte Geheimhaltungsinteressen.834 Fraglich ist, ob eine Abwägung nach heutiger Rechtslage und in Bezug auf KI-Systeme anders ausfallen würde. Im Ausgangspunkt muss bei KNN835 zwischen dem Ausgangskonstrukt und dem trainierten KNN unterschieden werden.836 Ein KNN ist zwar selbst streng genommen kein Algorithmus im herkömmlichen Sinne, sondern gehört zur Klasse der „Heuristik“.837 Die Übergänge sind allerdings fließend. Teilweise wird das trainierte Netz daher auch als „Anwendungsalgorithmus“ bezeichnet.838 (a) Offenlegung des Ausgangskonstrukts Zum Teil wird erwogen, nicht den Anwendungsalgorithmus offenzulegen, sondern nur das Ausgangskonstrukt des KNN.839 Etwaige Geschäftsgeheimnisse wären dadurch weit weniger berührt, da nur eine Vorgängerversion offengelegt würde.840 Dies würde aber kein ausreichendes Maß an Transparenz 832  BGH,

Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489. Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (490 f.). 834  Joos, NZA 2020, 1216 (1218). 835  Vgl. zur Abkürzung S. 13. 836  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 54. 837  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.2, Rn. 4; Schröder, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.5, Rn. 21. 838  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 54. 839  Hoeren/Niehoff, RW 2018, 47 (59). 840  Hoeren/Niehoff, RW 2018, 47 (59). 833  BGH,



C. Verwendung der Ausgabedaten167

herbeiführen, da sich im Laufe des Trainingsprozesses die Gewichtungen der Synapsen verändern.841 Die Offenlegung des Ausgangskonstrukts könnte also sogar für Verwirrung sorgen. In der Offenlegung des Ausgangskonstrukts läge auch keine Information über die in die Entscheidungsfindung involvierte Logik.842 Auch effektiver Rechtsschutz würde damit nicht ermöglicht.843 (b) Offenlegung des Anwendungsalgorithmus Mit Blick auf eine Offenlegung des Anwendungsalgorithmus und die heutige Rechtslage ist zu berücksichtigen, dass § 34 Abs. 7 i. V. m. § 33 Abs. 2 S. 1 Nr. 7 lit. b) BDSG a. F. für Fälle, in denen die Benachrichtigung die Geschäftszwecke der verantwortlichen Stelle erheblich gefährden würde, ausdrücklich eine Ausnahme von der Auskunftspflicht vorgesehen hatte; eine solche Ausnahme hat, zumindest in den Verordnungstext der DS-GVO, keinen Eingang gefunden.844 Stattdessen soll nach Erwägungsgrund 63, S. 5 das Auskunftsrecht keine Geschäftsgeheimnisse beeinträchtigen. Der Geschäftsgeheimnisschutz darf ausweislich Erwägungsgrund 63, S. 6 aber auch nicht dazu führen, „dass der betroffenen Person jegliche Auskunft verweigert wird“. Vor dem Hintergrund dieses Abwägungserfordernisses ist eine Offenlegung des Algorithmus also nicht vollkommen ausgeschlossen, sofern eine Abwägung im Einzelfall ergibt, dass die Kenntnis des Algorithmus zwingend erforderlich ist.845 Gegen eine schlichte Übertragung der Rechtsprechung des Bundesgerichtshofs spricht auch, dass dieser zu erkennen gegeben hat, dass die Entscheidung keine präjudizielle Wirkung hinsichtlich des Auskunftsrechts aus Art. 12 lit. a), 3. Spiegelstrich DSRL hat, der eine Auskunft über den logischen Aufbau der automatisierten Verarbeitung im Falle einer automatisierten Einzelentscheidung vorsah. Der Bundesgerichtshof hat vielmehr festgehalten, dass mangels Vorliegen einer automatisierten Einzelentscheidung die „Frage der Reichweite des Auskunftsanspruchs über den logischen Aufbau der automatisierten Verarbeitung […] dahinstehen […]“ könne.846 Bei Art. 12 lit. a), 3. Spiegelstrich DSRL und der entsprechenden mitgliedstaatlichen Vorschrift, § 6a Abs. 3 BDSG a. F., und nicht etwa bei § 34 Abs. 4 S. 1 Nr. 4 RW 2018, 47 (59). RW 2018, 47 (59). 843  Hoeren/Niehoff, RW 2018, 47 (59). 844  Franck, in: Gola, Datenschutz-Grundverordnung, Art. 13 DS-GVO, Rn. 28. 845  Schmidt-Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DS-GVO, Rn. 78.3. 846  BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (492). 841  Hoeren/Niehoff, 842  Hoeren/Niehoff,

168

3. Kap.: Datenschutzrechtliche Konformität

BDSG a. F.847, handelte es sich um die Vorgängervorschrift zu Art. 13 Abs. 2 lit. f) DS-GVO.848 Aus dem zitierten Urteil lässt sich also für die Frage, ob der Algorithmus aufgrund von Art. 13 Abs. 2 lit. f) DS-GVO offenbart werden muss, keine letztgültige Aussage herleiten. Allerdings können einige Erwägungen auch für die Reichweite des Art. 13 Abs. 2 lit. f) DS-GVO fruchtbar gemacht werden. So hat der Bundesgerichtshof festgestellt, dass Transparenz nicht zwangsläufig die Offenlegung des Algorithmus erfordere. Nachvollziehbarkeit dürfe nicht im Sinne einer Nachrechenbarkeit oder Überprüfbarkeit missverstanden werden.849 Tatsächlich wird Logik häufig als ein Hantieren mit mathematischen Symbolen missverstanden.850 Die Mathematik verfügt über eine Symbolik und allgemeine Methodik und kann deswegen logische Sätze mitunter gut veranschaulichen.851 Daraus ergibt sich aber nicht zwingend eine Offenlegung mathematischer Handlungsvorschriften. Der Verantwortliche muss der betroffenen Person nicht ermöglichen, Berechnungsfehler aufzudecken.852 Diese Erwägungen sind auf Art. 13 Abs. 2 lit. f) DS-GVO übertragbar. Zwar hat der in Art. 13 Abs. 2 lit. f) DS-GVO verwendete Begriff der „involvierten Logik“ einen mathematisch-technischeren Einschlag als § 34 Abs. 4 S. 1 Nr. 4 BDSG a. F., der nur von dem „Zustandekommen“ und der „Bedeutung der Wahrscheinlichkeitswerte“ sprach.853 Überwiegend wird aber auch der Begriff der „involvierten Logik“ nicht im Sinne einer mathematischen Formel, sondern im Sinne eines der Berechnung zugrundeliegenden Prinzips verstanden. Hierfür spricht Erwägungsgrund 63, S. 3 in dessen englischer854, französischer855 und niederländischer856 Sprachfassung.857 Diese Formulierungen sollen so zu verstehen sein, dass lediglich die grundlegende Logik zu 847  So

aber Götz, Big Data im Personalmanagement, S. 151. Blackbox Algorithmus, S. 181. 849  BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (491); OLG Nürnberg, Urt. v. 30.10.2012 – 3 U 2362/11, ZD 2013, 26 (27); Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 67 f.: Es sei „unschädlich, dass Bewerber ihren individuellen Scorewert nicht exakt reproduzieren können.“ 850  Beckermann, Einführung in die Logik, S. 9. 851  Ziehen, Lehrbuch der Logik, S. 16. 852  A. A.: Schmidt-Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DSGVO, Rn. 78.3. 853  Götz, Big Data im Personalmanagement, S. 152. 854  „the logic involved in any automatic personal data processing“. 855  „la logique qui sous-tend leur éventuel traitement automatisé“. 856  „welke logica er ten grondslag ligt“. 857  Ehmann, in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art.  15 DSGVO, Rn. 19; Hoeren/Niehoff, RW 2018, 47 (56). 848  Martini,



C. Verwendung der Ausgabedaten169

offenbaren ist.858 An den gewählten Formulierungen werde deutlich, dass Gegenstand der Informationspflicht das zugrundeliegende Prinzip sei.859 Nun mag man argumentieren, dass ein Prinzip nichts anderes als eine feste Regel860, also eine Vorschrift, ist und auch ein Algorithmus eine (mathematische) Handlungsvorschrift darstellt. Gemeint ist aber, dass nur die Grund­ annahmen der zugrundeliegenden Logik darzustellen sind.861 Der Sinn und Zweck der Informationspflicht bestehe darin, der betroffenen Person ein grundlegendes Verständnis der automatisierten Entscheidung zu ermöglichen.862 Gestützt wird dies auch von der Definition der Logik als „Lehre von der formalen Gesetzmäßigkeit des Denkens mit Bezug auf seine Richtigkeit und Falschheit“.863 Die Logik wolle nur die allgemeinen Gesetze, denen gefolgt wird, feststellen und habe insgesamt einen allgemeinen Charakter.864 Hätte der Verordnungsgeber mit Art. 13 Abs. 2 lit. f) DS-GVO die Offenlegung des Algorithmus gewollt, hätte er dies dort festlegen können. Gegen eine Offenlegung des Algorithmus soll ferner der Zweck der Informationspflicht sprechen. Durch die Informationspflicht soll ein effektiver Rechtsschutz gewährleistet werden.865 Die betroffene Person muss in die Lage versetzt werden, effektiv und entschieden gegen die automatisierte Entscheidung vorgehen zu können. Die betroffene Person soll die Entscheidung hinterfragen, substantiierte Einwände hiergegen vorbringen und eine menschliche Überprüfung herbeiführen können.866 Die Mindestrechte des Art. 22 Abs. 3 DS-GVO zielen insgesamt auf eine menschliche Überprüfung ab. Im Rahmen dieses menschlichen Überprüfungsprozesses sind Kenntnisse des Algorithmus aber in der Regel nicht von Belang.867 Zudem spricht gegen eine Offenlegung des Algorithmus auch die in Art. 12 Abs. 1 DS-GVO vorgesehene Art und Weise der Informationserteilung.868 RW 2018, 47 (56). in: Ehmann/Selmayr, Datenschutz-Grundverordnung, Art. 15 DS-

858  Hoeren/Niehoff, 859  Ehmann,

GVO, Rn. 19. 860  Prinzip, in: Duden online, abrufbar unter: www.duden.de/rechtschreibung/ Prinzip. 861  Gausling, PinG 2019, 61 (68). 862  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284). 863  Ziehen, Lehrbuch der Logik, S. 1. 864  Ziehen, Lehrbuch der Logik, S. 2 f. 865  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 57. 866  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 57; Paal/Hennemann, in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 4; Hoeren/Niehoff, RW 2018, 47 (58); Kumkar/Roth-Isigkeit, JZ 2020, 277 (284). 867  Kumkar/Roth-Isigkeit, JZ 2020, 277 (285). 868  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284).

170

3. Kap.: Datenschutzrechtliche Konformität

Die Informationserteilung soll danach in präziser, transparenter, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache erfolgen. Der Algorithmus selbst wird für die betroffene Person regelmäßig schwer verständlich sein.869 So wird argumentiert, bei der Offenlegung des Algorithmus handele es sich überhaupt nicht um aussagekräftige Informationen.870 Dies werde anhand der englischen Sprachfassung von Art. 13 Abs. 2 lit. f) DS-GVO deutlich („meaningful information“).871 Der Begriff „Meaning“ könne mit „Bedeutung“ übersetzt werden.872 Damit werde semantisch auf die Perspektive der betroffenen Person abgestellt.873 Für die betroffene Person sei die Offenlegung des Algorithmus aber nicht verständlich.874 Tatsächlich wusste ein Großteil der Deutschen noch im Jahr 2018 nicht einmal, was ein Algorithmus ist oder macht.875 Dem mag man entgegenhalten, dass für Laien oftmals auch die Erklärung der grundlegenden Systemstruktur nicht unbedingt verständlich sein wird.876 Zudem können Informationen auch dann „bedeutend“, also wichtig, sein, wenn die betroffene Person diese nicht unmittelbar versteht. Schließlich könnte die Offenlegung von Algorithmen um erklärende Bestandteile ergänzt werden.877 Allerdings würde die Auseinandersetzung mit dem Anwendungsalgorithmus jedenfalls ein höheres Maß an technischem Verständnis verlangen und die Ergänzung um erklärende Bestandteile kann schnell zu einer Überfrachtung mit Informationen führen. Als weiteres Argument gegen die Offenlegung des Algorithmus wird angeführt, dass durch eine Geheimhaltung eine Manipulation der Systeme verhin869  von Lewinski/Pohl, ZD 2018, 17 (22); Martini, Blackbox Algorithmus, S. 181; Kumkar/Roth-Isigkeit, JZ 2020, 277 (284); Sesing, MMR 2021, 288 (291); vgl. zur verständlichen Informationsvermittlung durch Piktogramme, Ablaufdiagramme und Gamification Strassemeyer, DSRITB 2019, 31 (41 ff.). 870  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284); Selbst/Powles, Int. Data Priv. Law 2017, 233 (236); Sesing, MMR 2021, 288 (291). 871  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284); Selbst/Powles, Int. Data Priv. Law 2017, 233 (236). 872  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284). 873  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284); Selbst/Powles, Int. Data Priv. Law 2017, 233 (236). 874  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284); Selbst/Powles, Int. Data Priv. Law 2017, 233 (236). 875  Blum/Kainer, PERSONALquarterly 03/2019, 22, die darauf hinweisen, dass „lediglich 31 % der Deutschen eine ungefähre Vorstellung davon [haben], was ein Algorithmus ist“ und „56 % […] mit dem Begriff Algorithmus kaum etwas anfangen“ können. 876  Wischmeyer, AöR 143 (2018), 1 (47). 877  Franck, in: Gola, Datenschutz-Grundverordnung, Art. 13 DS-GVO, Rn. 26.



C. Verwendung der Ausgabedaten171

dert werden könne.878 So könnte das Wissen über Algorithmen ausgenutzt werden, um das System auszuhebeln.879 Gegen eine Offenlegung des Algorithmus spricht auch, dass Art. 13 Abs. 2 lit. f) DS-GVO die Erteilung von Informationen über die involvierte Logik konstituiert. Die Offenlegung des Algorithmus entspräche hingegen der Offenlegung der Logik selbst.880 (c) Zwischenergebnis – Keine Offenlegung des Algorithmus Eine Preisgabe des Algorithmus durch den Arbeitgeber ist also nicht erforderlich.881 Die Informationen sind nach Art. 13 Abs. 1 DS-GVO zum Zeitpunkt der Datenerhebung zu erteilen. Wegen dieses Zeitpunkts der Informationserteilung müssen nur Informationen über die allgemeine Systemfunktionalität erteilt werden.882 Ausreichend sind Darstellungen der Grundannahmen der zugrundeliegenden Logik.883 Um eine Aussagekraft zu haben, müssen die Angaben einen wirklichen Erkenntnisgewinn liefern.884 Hierzu zählen jedenfalls eine Umschreibung der Trainingsdaten, die spezifischen Eigenschaften eingesetzter Lernverfahren, die Grundstruktur des Entscheidungsprozesses (allgemeinverständliche Beschreibung der Berechnungsgrundlagen/Methodik der Berechnung885) sowie Angaben zu den eingesetzten Parametern886, wobei sich die Darstellung nicht in der Nennung einiger analysierter Eingabevariablen erschöpfen sollte.887 Man würde also für die hier in Rede stehenden KI-Systeme jedenfalls darüber informieren, dass zunächst Sprach- bzw. Videodaten verarbeitet werden und dabei von der Ausprägung von Sprach- und/ AöR 143 (2018), 1 (48). AöR 143 (2018), 1 (64). 880  Schmid, jurisPR-ITR 17/2018, Anm. 2, B. II.1. 881  Lorenz, VuR 2019, 213 (219); Ehmann, in: Ehmann/Selmayr, DatenschutzGrundverordnung, Art. 15 DS-GVO, Rn. 19; Paal/Hennemann, in: Paal/Pauly, DSGVO BDSG, Art. 13 DS-GVO, Rn. 31b; Kamlah, in: Plath, DSGVO/BDSG, Art. 13 DSGVO, Rn. 28a; Hoeren/Niehoff, RW 2018, 47 (56); Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 54. 882  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (78). 883  Gausling, PinG 2019, 61 (68). 884  Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 55a. 885  Kamlah, in: Plath, DSGVO/BDSG, Art.  13 DSGVO, Rn. 28a; Huff/Götz, NZA-Beilage 2019, 73 (76); Sesing, MMR 2021, 288 (291). 886  Paal/Hennemann, in: Paal/Pauly, DS-GVO BDSG, Art.  13 DS-GVO, Rn.  31c ff.; Lorenz, VuR 2019, 213 (219); Edwards/Veale, Duke Law & Technology Review 2017, 18 (55). 887  Selbst/Powles, Int. Data Priv. Law 2017, 233 (240); Kaminski, BTLJ 2019, 189 (211 f.). 878  Wischmeyer, 879  Wischmeyer,

172

3. Kap.: Datenschutzrechtliche Konformität

oder Gesichtsmerkmalen auf Persönlichkeitsmerkmale rückgeschlossen wird. Ferner wäre, je nach Erscheinungsform der KI-Systeme, darzulegen, dass diese Persönlichkeitsmerkmale mit dem Soll-Profil abgeglichen werden, um die Eignung des Bewerbers zu ermitteln. Zudem wäre darzulegen, auf welchen grundlegenden Annahmen diese Schlussfolgerungen basieren. Es müsste dargelegt werden, dass die KI-Systeme auf KNN basieren, die mithilfe überwachter Lernverfahren und beispielsweise auf der Grundlage von Sprachproben und den Ergebnissen analoger psychologischer Testverfahren (Ermittlungsmodell) bzw. auf den Daten von erfolgreichen Bestandsmitarbeitern (Entscheidungsmodell) trainiert worden sind. Auch bei KI-Systemen kann und muss man als Arbeitgeber also einige Informationen bereitstellen und eine gewisse systemische Transparenz vermitteln.888 8. Erklärbarkeit von KI-Systemen Diese Angaben führen aber bei dem jeweiligen Bewerber nicht zwangsläufig zu einer Nachvollziehbarkeit der ihn betreffenden Entscheidung.889 Selbst die Offenlegung von Metadaten über Trainingsdaten890 und von Prozessinformationen über den Trainings- und Testprozess891 ist nicht zielführend.892 Die Kenntnis dieser Informationen bewirkt auf Seiten der betroffenen Person keine Kenntnis der für die konkrete Entscheidungsfindung relevanten Parameter in den verborgenen Schichten.893 Vor diesem Hintergrund wird zunehmend diskutiert, ob die betroffene Person ein „Recht auf Erläuterung“ oder „Recht auf Erklärung“, also auf eine Erklärung der sie betreffenden Entscheidung, hat.894 Zudem stellt sich, vorbehaltlich des Bestehens dieses Rechts, die Frage nach dem Umfang dieses Rechts.

888  Huff/Götz, NZA-Beilage 2019, 73 (76); Baum, in: Leupold/Wiebe/Glossner, ITRecht, Teil 9.1, Rn. 28 u. 33, der meint, die Basismechanismen seien „recht simpel“; Sesing, MMR 2021, 288 (288 ff.). 889  Kumkar/Roth-Isigkeit, JZ 2020, 277 (284). 890  Edwards/Veale, Duke Law & Technology Review 2017, 18 (55). 891  Edwards/Veale, Duke Law & Technology Review 2017, 18 (56). 892  Hoeren/Niehoff, RW 2018, 47 (59); Hacker, NJW 2020, 2142 (2143). 893  Hoeren/Niehoff, RW 2018, 47 (59). 894  Paal/Hennemann, in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 31d; Strassemeyer, DSRITB 2019, 31 (39 f.).



C. Verwendung der Ausgabedaten173

a) Recht auf Erklärung Im Gegensatz zum öffentlich-rechtlichen Bereich, der etwa Informationsfreiheitsrechte kennt, herrscht im privatrechtlichen Bereich keine grundsätzliche Transparenz.895 Grundsätzlich sind Privatrechtssubjekte wie der Arbeitgeber nicht verpflichtet, ihre entscheidungsleitenden Motive offenzulegen.896 Diese fehlende Begründungsverpflichtung resultiert aus der Privatautonomie und besteht selbst dort, wo eine Ungleichbehandlung anhand bestimmter Merkmale unzulässig ist.897 Gerade im Bewerbungskontext verzichten Arbeitgeber in der Regel darauf, Gründe für die Ablehnung der Bewerbung zu nennen. Mit Ausnahme der Unterrichtungs- und Begründungspflicht des § 164 Abs. 1 S. 9 SGB IX im Falle der Ablehnung der Bewerbungen von Schwerbehinderten898 haben Bewerber im analogen Bereich weder Einblick in interne Entscheidungsprozesse noch in Auswahlkriterien des Arbeitgebers.899 Der EuGH hat mehrfach entschieden, dass ein Auskunftsanspruch hinsichtlich des letztendlich eingestellten Bewerbers und der ausschlaggebenden Kriterien nicht besteht.900 Im analogen Bereich herrscht also Intransparenz. Es sollte aber berücksichtigt werden, dass das Datenschutzrecht eines der wenigen Rechtsgebiete ist, das ein allgemeines Transparenzprinzip gleichsam auf öffentliche und private Verantwortliche anwendet.901 Auch Privaten wird durch die DS-GVO in verschiedenen Bereichen die Erfüllung „staatsanaloger Pflichten“ aufgebürdet.902 Zudem besteht die Möglichkeit, für automatisierte Verarbeitungsprozesse und Entscheidungen strengere Regeln zu etablieren als für traditionelle Entscheidungsprozesse und Entscheidungen. Zwar sind auch menschliche Entscheidungsprozesse für betroffene Personen häufig schwer nachvollziehbar und im Einzelnen kaum aufklärbar.903 Für strengere Regeln als im traditioDuke Law & Technology Review 2017, 18 (39 f.). Blackbox Algorithmus, S. 192; Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 12 f. 897  Martini, Blackbox Algorithmus, S. 193; Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 13. 898  Brose, in: BeckOK Sozialrecht, § 164 SGB IX, Rn. 15. 899  Göbel-Zimmermann/Marquardt, ZAR 2012, 369 (375). 900  EuGH, Urt. v. 19.04.2012 – C-415/10, juris Rn. 46 f.; EuGH, Urt. v. 21.07.2011 – C-104/10. 901  Edwards/Veale, Duke Law & Technology Review 2017, 18 (40). 902  Veil, Datenschutz, das zügellose Recht – Teil III. 903  Wischmeyer, AöR 143 (2018), 1 (54); Krügel/Pfeiffenbring, in: Ebers/Heinze/ Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 11, Rn. 77. 895  Edwards/Veale, 896  Martini,

174

3. Kap.: Datenschutzrechtliche Konformität

nellen Einstellungsverfahren spricht aber, dass Menschen im Zuge des jahrtausendelangen Zusammenlebens ein (ansatzweises) wechselseitiges Verständnis voneinander entwickelt haben, welches es rechtfertigt, insoweit auf Erklärungen zu den entscheidungserheblichen Kriterien zu verzichten.904 Hier besteht ein gewisses Maß an Intuition in dem Sinne, dass Bewerber im zwischenmenschlichen Bereich ein Gespür dafür haben, ob sie benachteiligt wurden oder nicht. Hinzu kommt, dass der Wirkungsbereich von KI-Systemen wesentlich größer ist als der von menschlichen Entscheidern.905 In anderen Ländern gibt es ein solches Recht auch bereits. So wird in Frankreich das Recht auf Erklärung (für den öffentlich-rechtlichen Bereich) in Art. R311-3-1-2 des Code des relations entre le public et l’administration konkretisiert und auch in den USA existiert ein solches Recht im Falle von Kreditscoring.906 Ein Recht auf Erklärung ist also vor dem Hintergrund des allgemeinen Transparenzprinzips, der ansonsten fehlenden Anhaltspunkte für eine Benachteiligung sowie der Lage in anderen Ländern sinnvoll. Fraglich ist, ob de lege lata eine Anspruchsgrundlage für eine Erklärung in dieser Form besteht. Erklärungen sind jedenfalls nicht (allein) auf Grundlage von Art. 13 Abs. 2 lit. f) DS-GVO zu erlangen. Denn, wie gezeigt, sind die Informationen gemäß Art. 13 Abs. 2 S. 1 DS-GVO zum Zeitpunkt der Datenerhebung zur Verfügung zu stellen. Art. 13 Abs. 2 lit. f) DS-GVO bezieht sich nicht auf bereits konkretisierte Entscheidungen.907 aa) Art. 15 Abs. 1 lit. h)  – Abweichender Bedeutungsgehalt Nach einer Auffassung ergibt sich ein Recht auf Erklärung aus Art. 15 Abs. 1 lit. h) DS-GVO.908

AöR 143 (2018), 1 (45). Studie „Diskriminierungsrisiken durch Verwendung von Algorith-

904  Wischmeyer, 905  Diercks,

men“.

ZfPP 2020, 265 (288). in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 41c; Kumkar/ Roth-Isigkeit, JZ 2020, 277 (282 f.). 908  Hacker, NJW 2020, 2142 (2144); Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 13 DS-GVO, Rn. 17 u. Art. 15 DS-GVO, Rn. 25; Selbst/Powles, Int. Data Priv. Law 2017, 233 (242); Goodman/Flaxman, AI Magazine 2017, 50 (55); Kaminski, BTLJ 2019, 189 (204 u. 211); Malgieri/Comandé, Int. Data Priv. Law 2017, 243 (255 f.); Edwards/Veale, Duke Law & Technology Review 2017, 18 (52); Roßnagel/Geminn, Evaluation der Datenschutz-Grundverordnung aus Verbrauchersicht, S.  38 f. 906  Koch,

907  Martini,



C. Verwendung der Ausgabedaten175

Gegen ein Art. 15 Abs. 1 lit. h) DS-GVO zu entnehmendes Recht auf Erklärung spricht der mit dem von Art. 13 Abs. 2 lit. f) und Art. 14 Abs. 2 lit. g) DS-GVO übereinstimmende Wortlaut. Dieser soll einem divergierenden Inhalt des Auskunftsrechts entgegenstehen.909 Tatsächlich lassen sich, anders als bei Art. 13 Abs. 2 lit. f) DS-GVO, aus dem Zeitpunkt der Informationserteilung aber keine Rückschlüsse auf den Inhalt des Auskunftsrechts ziehen.910 Denn die Auskunfterteilung kann auch erst nach erfolgter Datenverarbeitung erfolgen (vgl. Art. 12 Abs. 3 DSGVO).911 Dies wird, wenn es, wie hier, dem Bewerber darum geht, sich gegen eine für ihn nachteilige Auswahlentscheidung zur Wehr zu setzen, sogar der Regelfall sein.912 Die Vorschrift steht in einem anderen systematischen Zusammenhang und kann dementsprechend anders ausgelegt werden.913 Die Annahme eines übereinstimmenden Informationsgehalts von Art. 13, 14 und 15 DS-GVO hätte außerdem zur Folge, dass das Auskunftsrecht nach Art. 15 DS-GVO nur noch in Fällen relevant wäre, in denen eine Informa­ tionserteilung nach Art. 13, 14 DS-GVO unterblieben ist.914 Gegen ein Recht auf Erklärung soll sprechen, dass nach Art. 15 Abs. 1 lit. h) DS-GVO Informationen über die „angestrebten Auswirkungen“ erteilt werden müssen. Dies soll eine Zukunftsorientierung nahelegen.915 Es spricht jedoch viel dafür, dass Art. 15 Abs. 1 lit. h) DS-GVO in diesem Bereich schlicht nicht ausreichend auf den Fall einer nach Art. 12 Abs. 3 DS-GVO möglichen, nachträglichen Auskunftserteilung abgestimmt ist. An anderen Stellen ist Art. 15 DS-GVO gerade nicht zukunftsorientiert. So heißt es in Art. 13 Abs. 1 lit. c) DS-GVO, dass die Zwecke, für die die personenbezogenen Daten „verarbeitet werden sollen“, mitgeteilt werden müssen, wohin­ gegen in Art. 15 Abs. 1 lit. a) DS-GVO nur von „Verarbeitungszwecken“ gesprochen wird.916 Ferner heißt es in Art. 15 Abs. 1 lit. c) DS-GVO, dass die Empfänger oder Kategorien von Empfängern, gegenüber denen die per909  Kumkar/Roth-Isigkeit, JZ 2020, 277 (283); Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 41c; Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 12; Sesing, MMR 2021, 288 (292). 910  Kumkar/Roth-Isigkeit, JZ 2020, 277 (283). 911  Schmidt-Wudy, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 15 DS-GVO, Rn. 83. 912  Krügel/Pfeiffenbring, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 11, Rn. 77. 913  Hänold/Schlee/Antweiler/Beckh, MedR 2021, 516 (521). 914  Martini, Blackbox Algorithmus, S. 192. 915  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (83); Kumkar/RothIsigkeit, JZ 2020, 277 (283); Martini, Blackbox Algorithmus, S. 192. 916  Malgieri/Comandé, Int. Data Priv. Law 2017, 243 (256).

176

3. Kap.: Datenschutzrechtliche Konformität

sonenbezogenen Daten „offengelegt worden sind“, mitzuteilen sind.917 Eine allgemeine Zukunftsorientierung kann man Art. 15 Abs. 1 DS-GVO daher nicht attestieren.918 Gegen ein Recht auf Erklärung soll zudem § 6a Abs. 2 Nr. 2 bzw. Abs. 3 BDSG a. F. sprechen. Diese Vorschriften dienten der Umsetzung von Art. 12 und 15 DSRL. Offenkundig ging der deutsche Gesetzgeber bei der damaligen Richtlinienumsetzung davon aus, dass von dem Auskunftsrecht hinsichtlich des logischen Aufbaus gemäß § 6a Abs. 3 BDSG a. F. keine Verpflichtung zur Erklärung der konkreten Entscheidung umfasst war. Andernfalls hätte er dieses Erklärungsrecht wohl nicht zusätzlich in § 6a Abs. 2 Nr. 2 BDSG a. F. geregelt.919 Diese Argumentation ist allerdings auch berechtigter Kritik ausgesetzt. Man könne aufgrund von (unverbindlichen) mitgliedstaatlichen Interpretationen von Richtlinienbestimmungen keine letztgültigen Aussagen treffen, zumal die richtlinienersetzende DS-GVO gerade auf eine Stärkung der Betroffenenrechte abziele.920 Es spricht daher Einiges dafür, dass Art. 15 Abs. 1 lit. h) DS-GVO ein Recht auf Erklärung umfasst. Geht man davon aus, dass Art. 15 Abs. 1 lit. h) DS-GVO das Recht auf Erklärung umfasst, gelten für den Anwendungs­ bereich die Erwägungen auf Seite 157 ff. entsprechend. Es könnte also auch abseits automatisierter Entscheidungen durch KI-Systeme geltend gemacht werden. bb) Art. 22 Abs. 3 DS-GVO; Erwägungsgrund 71, S. 4; Gesamtschau Geht man wegen des mit den Informationspflichten übereinstimmenden Wortlauts und der Rechtslage unter der DSRL davon aus, dass sich aus Art. 15 Abs. 1 lit. h) DS-GVO kein Recht auf Erklärung ergibt921, kommt Art. 22 Abs. 3 DS-GVO (gegebenenfalls i. V. m. Erwägungsgrund 71, S. 4) bzw. eine Auslegung der Gesamtheit der relevanten Vorschriften als Anspruchsgrundlage in Betracht.922

Int. Data Priv. Law 2017, 243 (256): „have been“. NZA 2022, 19 (22). 919  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (87). 920  Selbst/Powles, Int. Data Priv. Law 2017, 233 (241). 921  Kumkar/Roth-Isigkeit, JZ 2020, 277 (283); Martini, Grundlinien eines Kon­ trollsystems für algorithmenbasierte Entscheidungsprozesse, S. 12; Sesing, MMR 2021, 288 (292). 922  Kaminski, BTLJ 2019, 189 (204, 208 u. 211); Malgieri/Comandé, Int. Data Priv. Law 2017, 243 (254 f.); Kumkar/Roth-Isigkeit, JZ 2020, 277 (280). 917  Malgieri/Comandé, 918  Hoffmann,



C. Verwendung der Ausgabedaten177

(1) R  echt auf Erklärung als Mindestmaßnahme im Sinne von Art. 22 Abs. 3 DS-GVO Ein Recht auf Erklärung als Mindestmaßnahme im Sinne des Art. 22 Abs. 3 DS-GVO einzuordnen, kommt wegen der abschließenden Aufzählung der Mindestrechte im Verordnungstext nicht infrage923, wobei teilweise vertreten wird, dass ein Recht auf eine Erklärung automatisierter Entscheidungen implizit in dem in Art. 22 Abs. 3 DS-GVO genannten Recht auf Anfechtung der Entscheidung enthalten sein könne.924 Gegen ein Recht auf Erklärung als Mindestmaßnahme spricht aber, dass dieses auch in Anhang 1 der Leitlinien zu automatisierten Entscheidungen925 der Art.-29-Datenschutzgruppe nicht genannt wird.926 (2) Recht auf Erklärung als angemessene Maßnahme Ein Recht auf Erklärung könnte sich aber aus Art. 22 Abs. 3 DS-GVO i. V. m. Erwägungsgrund 71, S. 4 ergeben. So sieht Art. 22 Abs. 3 DS-GVO vor, dass der Verantwortliche angemessene Maßnahmen zu treffen hat, um die Rechte und Freiheiten sowie die berechtigten Interessen der betroffenen Person zu wahren. In Erwägungsgrund 71, S. 4 findet sich ein Anspruch auf „Erläuterung der nach einer entsprechenden Bewertung getroffenen Entscheidung“. Ob eine solche Auslegung angezeigt ist, hängt davon ab, wie man Erwägungsgrund 71, S. 4 versteht. Teilweise wird vertreten, der Passus „Erläuterung der nach einer entsprechenden Bewertung getroffenen Entscheidung“ nehme grammatikalisch nur auf den Textteil „Darlegung des eigenen Standpunktes“ Bezug.927 Dies wird gestützt durch eine frühe Entwurfsfassung von Art. 22 DS-GVO. In einem Entwurfsvorschlag des Europäischen Parlaments hieß es: „Zu den geeigneten Maßnahmen zur Wahrung der berechtigten Interessen gemäß Absatz 2 gehören das Recht auf persönliche Prüfung und die Erläuterung der nach einer 923  Kumkar/Roth-Isigkeit, JZ 2020, 277 (281); von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 47. 924  Mendoza/Bygrave, in: Synodinou/Jougleux/Markou/Prastitou, EU Internet Law: Regulation and Enforcement, S. 77 (93 ff.). 925  Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 35. 926  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (867). 927  Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 12; Martini, Blackbox Algorithmus, S. 191; Martini, in: Paal/Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 39 f.

178

3. Kap.: Datenschutzrechtliche Konformität

solchen Prüfung getroffenen Entscheidung.“928 Diese Formulierung kann man so verstehen, dass danach nicht die automatisierte Entscheidung zu erläutern sein sollte, sondern die nach der menschlichen Überprüfung der automatisierten Entscheidung ergangene menschliche Entscheidung („solchen“). Gegenstand wären Erklärungen, inwieweit der dargelegte Standpunkt der betroffenen Person im Rahmen der menschlichen Entscheidung berücksichtigt worden ist. Jedenfalls scheint das die ursprüngliche Intention des Europäischen Parlaments gewesen zu sein. Nichtsdestotrotz erwähnt Erwägungsgrund 71, S. 4 nun, in einer bestimmten Lesart, ein Recht auf Erklärung der automatisierten Entscheidung als Regelbeispiel für eine angemessene Schutzmaßnahme.929 Insbesondere spricht dafür die dortige Bezugnahme auf die „Bewertung“ und damit auf die „Bewertung der persönlichen Aspekte in Bezug auf eine natürliche Person“ in Erwägungsgrund 71, S. 2 bzw. Art. 4 Nr. 4 DS-GVO. Zugegebenermaßen ist ein Recht auf Erklärung der automatisierten Entscheidung nicht in den Verordnungstext aufgenommen worden.930 Eine zu extensive Auslegung könnte dazu führen, dass gegen den Verantwortlichen nach Art. 83 Abs. 5 lit. b) DS-GVO Bußgelder verhängt werden, obwohl dessen Pflichten nicht ausdrücklich und zweifelsfrei im Verordnungstext niedergelegt sind.931 Außerdem kann die Nichtaufnahme als Argument für eine bewusste Entscheidung des Verordnungsgebers gegen ein solches Recht herhalten.932 In Art. 22 Abs. 3 DS-GVO sind aber nun einmal lediglich Mindestmaßnahmen konstituiert.933 Tatsächlich dürfte die Aufnahme dieses Rechts in die Erwägungsgründe eine Kompromisslösung gewesen sein.934 Einige kontrovers diskutierte Punkte wurden nicht in den Verordnungstext aufgenom928  Europäisches Parlament, Entwurf einer legislativen Entschließung des Europäischen Parlaments zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehrs (allgemeine Datenschutzverordnung), Änderungsantrag 115. 929  Kumkar/Roth-Isigkeit, JZ 2020, 277 (281); Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (80); Wischmeyer, AöR 143 (2018), 1 (51 f.). 930  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (81); Kumkar/RothIsigkeit, JZ 2020, 277 (281). 931  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (80); Martini, Blackbox Algorithmus, S. 172. 932  Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (81); Kumkar/RothIsigkeit, JZ 2020, 277 (281). 933  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 22 DS-GVO, Rn. 47. 934  Brkan, Int. J. Law Inf. Technol. 2019, 91 (115).



C. Verwendung der Ausgabedaten179

men, sondern als politischer Mittelweg in die Erwägungsgründe verfrachtet.935 Die endgültige Entscheidung über das Bestehen eines solchen Rechts wollte der Verordnungsgeber dem EuGH überlassen.936 Der EuGH ist bei der Auslegung datenschutzrechtlicher Vorschriften betroffenenfreundlich. Die Erwägungsgründe zieht er regelmäßig als Auslegungshilfe heran.937 Es ist daher nicht unwahrscheinlich, dass dem Verantwortlichen vom EuGH eine nachträgliche Erklärung als angemessene Maßnahme abverlangt wird.938 (3) Recht auf Erklärung als Produkt verschiedener Vorschriften Ein anderer, aber gleichgerichteter Herleitungsansatz ist es, die relevanten Vorschriften, also Art. 5 Abs. 1 lit. a), 13 Abs. 2 lit. f), Art. 14 Abs. 2 lit. g), Art. 15 Abs. 1 lit. h) sowie Art. 22 im Lichte von Erwägungsgrund 71, S. 4 zusammenzufassen und aus einer Interpretation dieser Gesamtheit von Vorschriften ein Recht auf Erklärung abzuleiten.939 Für eine solche Interpretation sprechen die bereits genannten Argumente. So ist die DS-GVO, ausweislich Art. 5 Abs. 1 lit. a) DS-GVO, insgesamt auf ein hohes Maß an Transparenz ausgerichtet.940 Zudem handelt es sich nur um aussagekräftige Informationen, wenn die betroffene Person diese Informationen für sich bei der Durchsetzung ihrer Rechte nutzbar machen kann. Hierfür benötigt sie jedenfalls auch Informationen über die konkreten Entscheidungskriterien.941 Zudem lassen sich aus dem Zeitpunkt der Informa­ tionserteilung mit Blick auf Art. 15 Abs. 1 lit. h) DS-GVO keine Rückschlüsse auf den Informationsgehalt ziehen.942 Hinsichtlich Erwägungsgrund 71, S. 4, der ein Recht auf Erklärung postuliert, ist es zwar so, dass Erwägungsgründe nicht herangezogen werden können, um von Bestimmungen der Verordnung abzuweichen oder diese in einem Sinne auszulegen, der ihrem Wortlaut offensichtlich widerspricht.943 Allerdings würde eine AusleDuke Law & Technology Review 2017, 18 (50). Int. J. Law Inf. Technol. 2019, 91 (115). 937  Brkan, Int. J. Law Inf. Technol. 2019, 91 (115); Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (80). 938  Kumkar/Roth-Isigkeit, JZ 2020, 277 (281); Wachter/Mittelstadt/Floridi, Int. Data Priv. Law 2017, 76 (80); Wischmeyer, AöR 143 (2018), 1 (51 f.); Hänold/Schlee/ Antweiler/Beckh, MedR 2021, 516 (522). 939  Brkan, Int. J. Law Inf. Technol. 2019, 91 (112). 940  Brkan, Int. J. Law Inf. Technol. 2019, 91 (116). 941  Brkan, Int. J. Law Inf. Technol. 2019, 91 (114 f.). 942  Brkan, Int. J. Law Inf. Technol. 2019, 91 (114). 943  EuGH, Urt. v. 19.06.2014 – C-345/13, juris Rn. 31: „[…] Begründungserwägungen eines Gemeinschaftsrechtsakts [sind] rechtlich nicht verbindlich […] und [können] weder herangezogen werden […], um von den Bestimmungen des betref935  Edwards/Veale, 936  Brkan,

180

3. Kap.: Datenschutzrechtliche Konformität

gung der Vorschriften im Sinne eines Rechts auf Erklärung nicht zu einer Auslegung contra legem führen, sondern Unklarheiten auflösen.944 Insgesamt wird man daher zumindest aus der Zusammenschau der benannten Vorschriften ein Recht auf Erklärung der automatisierten Entscheidung ableiten müssen.945 (4) A  nwendungsbereich eines Rechts auf Erklärung auf Grundlage von Art. 22 Abs. 3 i. V. m. Erwägungsgrund 71 Ordnet man das Recht auf Erklärung als angemessene Maßnahme im Sinne von Art. 22 Abs. 3 DS-GVO oder als Produkt der vorgenannten Vorschriften ein, kommt eine Erklärung von vornherein nur bei automatisierten Entscheidungen in Betracht. Da es sich nicht um eine in jedem Fall einzuhaltende Mindestmaßnahme handelt (siehe Seite 177), ist außerdem die Frage zu beantworten, in welchen Fällen eine nachträgliche, einzelfallbezogene Erklärung der automatisierten Entscheidung zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person erforderlich ist.946 Ein Recht auf Erklärung wird man vor allem deswegen legitimieren können, weil automatisierte Prozesse anders fehleranfällig sind.947 Anwendungsspezifische Fehler resultieren insbesondere daraus, dass die KI-Systeme auf Grundlage von Mustern in den Daten arbeiten, ohne die jeweiligen Musterursachen ermitteln und wertend einordnen zu können.948 Dies kann dazu führen, dass durch KI-Systeme aus (unerwünschten) faktischen, gesellschaftlichen Zuständen für relevant erachtete Kriterien konstruiert und automatisierte Entscheidungen sodann auf Basis dieser Kriterien gefällt werden.949 Ohne Ursachenermittlung sind Schlussfolgerungen fehleranfällig. Dieses spezifische Fehlerrisiko rechtfertigt die Nennung von Entscheidungsgründen zur Ermöglichung wirksamer Kontrolle vor allem in Bereichen, in denen derartige Fehler zu schwerwiegenden Schäden führen könfenden Rechtsakts abzuweichen, noch, um diese Bestimmungen in einem Sinne auszulegen, der ihrem Wortlaut offensichtlich widerspricht […]“; EuGH, Urt. v. ­ 13.07.1989 – C-215/88, juris Rn. 31: „Eine Begründungserwägung einer Verordnung kann zwar dazu beitragen, Aufschluss über die Auslegung einer Rechtsvorschrift zu geben, sie kann jedoch nicht selbst eine solche Vorschrift darstellen.“ 944  Brkan, Int. J. Law Inf. Technol. 2019, 91 (115). 945  Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 15 DSGVO, Rn. 25. 946  Kumkar/Roth-Isigkeit, JZ 2020, 277 (281). 947  Martini, Blackbox Algorithmus, S. 195. 948  Martini, Blackbox Algorithmus, S. 195 f. 949  Käde/von Maltzan, CR 2020, 66.



C. Verwendung der Ausgabedaten181

nen.950 Gerade in Bereichen, in denen von Natur aus Gefährdungen für das Persönlichkeitsrecht bestehen, kommt ein Recht auf Erklärung in Betracht.951 Insbesondere, sofern durch die automatisierte Entscheidung eine Leistung versagt wird, die für die Entfaltung von Lebenschancen zentral ist, ist ein Recht auf Erklärung vorstellbar.952 Die Versagung des Abschlusses eines Arbeitsvertrages hat erhebliche sozioökonomische Relevanz. Der Bewerbungsprozess ist, da er naturgemäß mit der umfassenden Beurteilung einer Person einhergeht, besonders anfällig für Diskriminierungen, sodass ein Recht auf Erklärung hier angezeigt ist. b) Umfang des Rechts auf Erklärung Der Bewerber hat also ein Recht auf Erklärung. Es stellt sich die Anschlussfrage, welche Informationen durch den Arbeitgeber idealerweise bereitzustellen sind, wenn dieses Recht auf Erklärung durch den Bewerber geltend gemacht wird, und, inwiefern die Bereitstellung dieser Informationen technisch möglich ist. Eine Erklärung versucht, die „Ursachen eines beobachteten Sachverhaltes durch eine sprachliche Darlegung seiner logischen und kausalen Zusammenhänge verständlich zu machen“.953 Bei herkömmlichen Softwaresystemen werden Informationen häufig durch einfach nachvollziehbare Verknüpfungen („Wenn-Dann-Beziehung“; „Jedesto-Beziehung“) erteilt.954 So kann man etwa im Zusammenhang mit der Bonitätsermittlung zur Erklärung der Logik die Information erteilen, dass die ermittelte Bonität umso schlechter ist, je häufiger es in der Vergangenheit zu Zahlungsausfällen gekommen ist.955 Entsprechend könnte man beispielsweise für die besagten KI-Systeme verlangen, dass dargelegt wird, dass die Ausprägung bestimmter Persönlichkeitsmerkmale vornehmlich von bestimmten Sprachmerkmalen abhängt und die Eignung für die Stelle wiederum von bestimmten Ausprägungsgraden von Persönlichkeitsmerkmalen. Die Modelle weisen aber, anders als regelbasierte Systeme mit einer expliziten Logik bzw. Regelvorgabe956, infolge des Trainingsprozesses eine imBlackbox Algorithmus, S. 196; Hacker, NJW 2020, 2142 (2144). Blackbox Algorithmus, S. 196. 952  Martini, Blackbox Algorithmus, S. 196. 953  Holzinger, Informatik-Spektrum 2018, 138 (139). 954  Sesing, MMR 2021, 228 (291). 955  Sesing, MMR 2021, 228 (291). 956  Wegner, in: Leupold/Wiebe/Glossner, IT-Recht, Teil 6.5, Rn. 4. 950  Martini, 951  Martini,

182

3. Kap.: Datenschutzrechtliche Konformität

plizite Logik auf.957 Im Zuge des Trainingsprozesses haben die Modelle die Wichtigkeit der Eingabevariablen selbst bestimmt.958 Selbst die Entwickler haben oftmals keine detaillierten Kenntnisse der Funktionsweise des Modells und können daher auch die Funktionsweise nicht genau erläutern.959 So konnte der Anbieter des Systems, das für dieselben Personen bei kleineren Änderungen in deren Erscheinungsbild unterschiedliche Ergebnisse produziert hatte, nicht feststellen, wie es zu diesen Abweichungen gekommen ist.960 Da selbst Experten mitunter nur schwer nachvollziehen können, wie Entscheidungen zustande kommen, ist die Funktionsweise für betroffene Personen, aufgrund steigender Komplexität, erst Recht kaum nachvollziehbar.961 aa) Angabe sämtlicher Parameter Die Informationserteilung durch die Angabe nachvollziehbarer Verknüpfungen bei KI-Systemen scheitert schon an der Vielzahl von Parametern, deren Angabe Schwierigkeiten bereitet, und an deren unbekannter Relevanz.962 So wird im Zusammenhang mit KNN die Nennung aller Eingabevariablen kaum hilfreich sein. Diese sind zwar bekannt963; KI-Systeme arbeiten aber teilweise mit mehr als 500.000 Eingabevariablen.964 Daneben steigen durch die hohe Anzahl an Variablen auch die Kombinationsmöglichkeiten exponentiell an.965 Manche Modelle weisen insgesamt mehr als 100 Millionen Parameter auf.966 Eine Angabe sämtlicher Parameter würde für die betroffene Person keine erhöhte Transparenz bedeuten967 und wäre für den Verantwortlichen nicht darstellbar. Zuviel Transparenz kann sogar von den wesentlichen Informationen und der Ausübung der Betroffenenrechte Duke Law & Technology Review 2017, 18 (25). Künstliche neuronale Netze und Deep Learning einfach erklärt. 959  Hoeren/Niehoff, RW 2018, 47 (58); Gausling, PinG 2019, 61 (68); Joos, NZA 2020, 1216 (1218); Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 62; Krajewski, Stimmbasierte akustische Schläfrigkeitsdetektion, S. 108; Huff/Götz, NZA-Beilage 2019, 73 (76). 960  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 3 f. 961  Döbel et al., Maschinelles Lernen, S. 21; Biallaß, in: Ory/Weth, jurisPK-ERV, Bd. 1, Kap. 8, Rn. 257. 962  Joos/Meding, CR 2020, 834 (838). 963  Hoeren/Niehoff, RW 2018, 47 (59). 964  Schmidt-Atzert/Künecke/Zimmermann, Report Psychologie 2019, 19. 965  Edwards/Veale, Duke Law & Technology Review 2017, 18 (56 f.). 966  Körner, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.4, Rn. 7; Höpfner/Daum, ZfA 2021, 467 (471 f.). 967  Selbst/Powles, Int. Data Priv. Law 2017, 233 (240). 957  Edwards/Veale, 958  Semmelmann,



C. Verwendung der Ausgabedaten183

ablenken.968 Die Erklärbarkeit ist also begrenzt und stößt an „darstellerische und verständnisbezogene Grenzen“.969 bb) Angabe der wichtigsten Parameter Fraglich ist, wie trotzdem ein ausreichendes Maß an Transparenz sichergestellt werden kann, um einen rechtskonformen Einsatz zu ermöglichen.970 Denkbar wäre, wegen der Vielzahl der Parameter, der betroffenen Person nur die wichtigsten Parameter zu offenbaren. Einen ähnlichen Vorschlag hatte der Bundesrat in seiner Stellungnahme zum Gesetzentwurf der Bundesregierung zur Änderung des Bundesdatenschutzgesetzes im Jahr 2008 gemacht. Der Bundesrat schlug vor, § 34 BDSG um eine Auskunftsverpflichtung über die „zur Berechnung der Wahrscheinlichkeitswerte genutzten Daten in absteigender Reihenfolge ihrer Bedeutung für das im Einzelfall berechnete Ergebnis“ zu ergänzen.971 Diesen Vorschlag hatte die Bundesregierung in ihrer Gegenäußerung zwar abgelehnt.972 Zur Begründung verwies sie allerdings darauf, dass der betroffenen Person die Einordnung des Score-Wertes in den allgemeinen Rahmen auch ohne eine solche Auflistung möglich sei.973 Die theoretische Prämisse war, dass die betroffene Person den Datenverarbeitungsvorgang rekonstruieren könne, wenn ihr die Eingabedaten bekanntgegeben würden.974 Hierauf hat auch der BGH in der SCHUFA-Entscheidung hingewiesen. Bei KI-Systemen bedarf dies allerdings einer Neubewertung, denn die betroffene Person hat hier in Anbetracht der beschriebenen Komplexität des Modells und der Vielzahl der Parameter eben keine „schlüssige Erkenntnismöglichkeit [dahingehend], welche Faktoren die ausgewiesene Bewertung beeinflusst haben“.975

People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 203. in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 31e; Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 13 DSGVO, Rn. 16. 970  Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 13 DSGVO, Rn. 16, der im Falle einer unzureichenden Information über die involvierte Logik die Möglichkeit eines rechtskonformen Einsatzes verneint. 971  BT-Drs. 16/10529, S. 28; BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (491). 972  BT-Drs. 16/10581, S. 5; BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (491). 973  BT-Drs. 16/10581, S. 5. 974  Huff/Götz, NZA-Beilage 2019, 73 (77). 975  BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (491). 968  Kasper,

969  Paal/Hennemann,

184

3. Kap.: Datenschutzrechtliche Konformität

Hinzu kommt, dass betroffene Personen nach Art. 15 Abs. 1, 2. Hs. DSGVO ohnehin ein Recht auf Auskunft über die verarbeiteten personenbezogenen (Eingabe-)Daten haben. Eine Darlegung der ausschlaggebenden Parameter ist daher angezeigt. Diese Parameter können auf unterschiedliche Art und Weise ermittelt werden. Das Forschungsgebiet XAI, also erklärbare KI, hat sich der Erarbeitung von Erklärungsmodellen verschrieben.976 Bei den erarbeiteten Erklärungsmodellen kann man im Ausgangspunkt zwischen ante-hoc- und post-hoc-Ansätzen unterscheiden.977 Bei ante-hoc-Ansätzen werden Modelle eingesetzt, die von Natur aus transparent sind (sog. Glassbox-Modelle wie etwa Entscheidungsbäume). Die in dieser Arbeit besprochenen KI-Systeme basieren auf KNN, also auf Blackbox-Modellen, weshalb post-hoc-Ansätze erforderlich sind.978 Diese post-hoc-Ansätze unternehmen den Versuch, im Nachhinein globale oder lokale Erklärungen zu erzeugen. Es existieren hierfür verschiedene Methoden: (1) Globale Methoden Infrage kommt eine Auflistung der global, also für das gesamte Modell, wichtigsten Eingabevariablen.979 Die globale Wichtigkeit von Eingabevariablen ist bei KNN in den Gewichtungen der Synapsen repräsentiert. Die Erstellung einer Liste mit den wichtigsten Eingabevariablen ist technisch möglich. Aus den komplexen Modellen können als Surrogate sog. Stellvertretermodelle extrahiert werden. Es gibt etwa Methoden, die KNN in besser interpretierbare Entscheidungsbäume überführen.980 Diese Entscheidungsbäume als Stellvertretermodelle sind weniger komplex und versuchen, die Entscheidungsfindung des KNN bestmöglich zu simulieren. Aus diesem Stellvertretermodell lassen sich sodann bestimmte Regeln oder die globale Relevanz von Eingabevariablen ableiten. Einen ähnlichen Ansatz verfolgen Informatiker der TU Berlin. Das in: Leupold/Wiebe/Glossner, IT-Recht, Teil 9.1, Rn. 33. IEEE Access 6/2018, 52138 (52146 ff.); eine Übersicht der vom Bundesministerium für Bildung und Forschung geförderten Projekte in diesem Bereich ist abrufbar unter: www.softwaresysteme.pt-dlr.de/de/ki-erkl-rbarkeit-undtransparenz.php. 978  Papp et al., Handbuch Data Sciene, S. 585. 979  Hacker, NJW 2020, 2142 (2143 f.); Edwards/Veale, Duke Law & Technology Review 2017, 18 (56). 980  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 65. 976  Baum,

977  Adadi/Berrada,



C. Verwendung der Ausgabedaten185

von diesen Informatikern entwickelte Verfahren bestimmt mit Blick auf eine Vielzahl von Einzelfällen die relevanten Faktoren und ermöglicht dadurch Rückschlüsse auf die globale Wichtigkeit von Eingabevariablen.981 Ein weiterer Ansatz ist der Permutation-Feature-Importance-Algorithmus, der ebenfalls eine globale Abschätzung der einflussreichsten Variablen ermöglicht.982 Allerdings bietet auch die Nennung der global wichtigsten Eingabevariablen für die betroffene Person nicht stets einen Mehrwert, weil nicht deutlich wird, ob diese in ihrem konkreten Fall ausschlaggebend waren. Die konkreten Entscheidungsergebnisse werden durch abstrakte Informationen zu Entscheidungskriterien nicht zwingend nachvollziehbar.983 Hinzu kommt, dass bei tiefen neuronalen Netzen die Gewichtungen teilweise gar nicht global, sondern, unter Zuhilfenahme von Erklärungsmodellen, nur lokal (d. h. für die jeweilige Entscheidung) festgestellt werden können.984 (2) Lokale Methoden Sämtliche bisher genannten Erklärungsansätze unternehmen den Versuch, das KI-System und dessen generelle Logik zu erklären.985 Eine Erklärung ist aber kein Selbstzweck, sondern ein Mittel, dass den betroffenen Personen helfen soll, zu handeln.986 Der betroffenen Person soll ermöglicht werden, gegen die sie betreffende Entscheidung vorgehen zu können.987 Dieser Zweck der Erklärung sollte bei der Bemessung von Inhalt und Umfang der Information berücksichtigt werden und kann dabei hilfreiche Impulse liefern.988 Insbesondere kann die Begründung einzelner Entscheidungen nützlich sein.989 Die nachträgliche Erklärung des automatisierten Entscheidungspro981  Hacker,

REL 2021, 62 (65).

MedR 2021, 516 (519). Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 11. 984  Hacker, NJW 2020, 2142 (2143 f.); Wischmeyer, AöR 143 (2018), 1 (53); Edwards/Veale, Duke Law & Technology Review 2017, 18 (56). 985  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (845). 986  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (843). 987  Scholz, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  22 DS-GVO, Rn. 57; Paal/Hennemann, in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 4; Hoeren/Niehoff, RW 2018, 47 (58); Kumkar/Roth-Isigkeit, JZ 2020, 277 (284). 988  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (843). 989  Greco, in: Dederer/Shin, Künstliche Intelligenz und juristische Herausforderungen, S. 103 (109); Martini, Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse, S. 11 f. 982  Hänold/Schlee/Antweiler/Beckh, 983  Martini,

186

3. Kap.: Datenschutzrechtliche Konformität

zesses durch die Darlegung von Entscheidungskriterien kann im Rahmen des Rechtsschutzersuchens hilfreich sein.990 So kann die betroffene Person etwa bei der Darlegung des eigenen Standpunkts im Rahmen von Art. 22 Abs. 3 DS-GVO auf die Entscheidungskriterien Bezug nehmen. Eine Darlegung der Entscheidungskriterien wäre auch aussagekräftig.991 Das Verhalten von KNN lässt sich auch für konkretes Systemverhalten, also lokal, nachvollziehen. Dabei wird nur ein Ausschnitt des Modells betrachtet.992 Insoweit bestehen wiederum verschiedene Ansätze: (a) Kontrafaktische Erklärungen Durch lokale Erklärungsmodelle lassen sich beispielsweise sog. kontrafaktische Erklärungen erstellen.993 Die Erklärungen arbeiten mit Gegenfakten und sollen dabei nach folgendem Muster erfolgen: „Ihnen wurde y versagt, weil Sie Eigenschaft x aufweisen. Hätten Sie Eigenschaft z aufgewiesen, wäre Ihnen y gewährt wor­ den.“994 Der zweite Satz enthält sog. counterfactuals (dt. Gegen- oder Kontrafakten). Hierdurch wird angegeben, inwieweit Veränderungen erforderlich sind, um das gewünschte Ergebnis zu erreichen.995 Diese Gegen-/Kontrafakten beschreiben die Abhängigkeit der Entscheidung von externen Fakten.996 Eine Autorin des vorzitierten Aufsatzes hat eine Software entwickelt, die solche Erklärungen erstellen kann.997 Diese wird auch bereits bei großen Unternehmen eingesetzt.998 Dabei ist nachteilig, dass oft nur einzelne Gegen-/Kontrafakten genannt werden, also alternative Erklärungen für die jeweilige Ausgabe nicht erfolgen. Aus diesem Grund besteht ein gewisses Risiko, dass durch EinflussmögDuD 2020, 312 (314). NJOZ 2019, 657 (659). 992  Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn.  59 ff.; Edwards/Veale, Duke Law & Technology Review 2017, 18 (56). 993  Wachter/Mittelstadt/Russell, Harv. J.L. & Tech 2018, 842 (842 ff.); Joos/Meding, CR 2020, 834 (838); ein vom Bundesministerium für Bildung und Forschung gefördertes Projekt in diesem Bereich ist KOSMOX; das Projektblatt ist verfügbar unter: www.softwaresysteme.pt-dlr.de/media/content/Projektblatt_KOSMOX_01IS190 82.pdf. 994  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (844); Hermstrüwer, AöR 145 (2020), 479 (499). 995  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (844 f.). 996  Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (845). 997  Boeing, Algorithmen sind auch nur Menschen, in: Die Zeit, 23. März 2021. 998  Boeing, Algorithmen sind auch nur Menschen, in: Die Zeit, 23. März 2021. 990  Glatzner,

991  Bilski/Schmid,



C. Verwendung der Ausgabedaten187

lichkeiten des Verantwortlichen nur eine illusorische Transparenz bei der betroffenen Person erweckt wird.999 Ein gesteigerter Informationsgehalt ließe sich allerdings durch die Bereitstellung mehrerer Gegen-/Kontrafakten erreichen.1000 (b) Lokale Features Denkbar wäre auch die Offenlegung der wichtigsten, der konkreten Entscheidungsfindung zugrundeliegenden Eingabevariablen.1001 Dadurch würde das Transparenzdefizit ebenfalls ausgeglichen.1002 Praktisch umgesetzt werden könnte dies durch die Offenlegung einer Liste.1003 Durch die Offenlegung der entscheidenden Faktoren und deren Gewichtung werden keine Geschäftsgeheimnisse berührt, da ein Reverse-Engineering hierdurch nicht ermöglicht wird.1004 Selbst wenn, könnte berechtigten Geheimhaltungsinteressen, die in dem SCHUFA-Urteil des Bundesgerichtshofs auch mit Blick auf die genauen Gewichtungen der Eingabevariablen gesehen wurden1005, dadurch Rechnung getragen werden, dass die genauen Gewichtungen weggelassen oder bewusst unpräzise offengelegt werden.1006 Das wäre hinnehmbar; schließlich kann der Einfluss bestimmter Entscheidungskriterien auch bei menschlichen Entscheidungen nicht exakt beziffert werden.1007 Der Umfang der Begründungspflicht würde nicht überdehnt und sich zugleich an der (auf hoheitliche Entscheidungen beschränkten) Begründungspflicht des § 39 Abs. 1 S. 2 VwVfG sowie an der alten Rechtslage (§ 6a Abs. 2 Nr. 2 BDSG a. F.) orientieren.1008 Dort war vorgesehen, dass auf Verlangen die wesentlichen Gründe mitzuteilen und zu erläutern sind. Der

Duke Law & Technology Review 2017, 18 (41 f.). AöR 145 (2020), 479 (499). 1001  Kaulartz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.2, Rn. 8; Art.-29-Datenschutzgruppe, Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling, S. 28; Kumkar/Roth-Isigkeit, JZ 2020, 277 (285 f.). 1002  Hacker, NJW 2020, 2142 (2143 f.); Dix, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 15 DSGVO, Rn. 25. 1003  Hacker, NJW 2020, 2142 (2144); Hacker, REL 2021, 62 (65). 1004  Hänold/Schlee/Antweiler/Beckh, MedR 2021, 516 (522). 1005  BGH, Urt. v. 28.01.2014 – VI ZR 156/13, MMR 2014, 489 (490 f.). 1006  Hacker, NJW 2020, 2142 (2144); ähnlich Bäcker, in: Kühling/Buchner, DSGVO BDSG, Art. 13, Rn. 54, der von einem „Verrauschen“ der Informationen spricht; Strassemeyer, DSRITB 2019, 31 (38). 1007  Blum, People Analytics, S. 317. 1008  Martini, Blackbox Algorithmus, S. 197; Wischmeyer, AöR 143 (2018), 1 (55 f.). 999  Edwards/Veale, 1000  Hermstrüwer,

188

3. Kap.: Datenschutzrechtliche Konformität

betroffenen Person sollte sich erschließen, woran es gelegen hat.1009 Wie umfangreich und konkret die Eingabevariablen darzustellen sind, könnte die Sanktionspraxis der Datenschutzaufsichtsbehörden zeigen.1010 Die Erstellung einer Liste mit den lokal wichtigsten Eingabevariablen ist unter Nutzung bestimmter Erklärungsmodelle technisch realisierbar. Nachstehend wird beispielhaft auf einige dieser Erklärungsmodelle eingegangen, wobei zwischen modellagnostischen und modellspezifischen/dekompositionellen Ansätzen differenziert wird. (aa) Modellagnostische Ansätze Modellagnostische Ansätze sind nicht auf die Erklärung von KNN beschränkt.1011 Der prominenteste Vertreter dieser lokalen Erklärungsmodelle ist LIME (sog. Local Interpretable Model-Agnostics).1012 LIME identifiziert Datensätze mit ähnlichen Eingabevariablen-Ausprägungen und erstellt auf dieser Basis „einfache“ lokale Modelle, die zur Erklärung der Entscheidung herangezogen werden können. Es wird „vom Kleinen auf’s Große“ geschlossen.1013 Die Relevanz von Eingabevariablen für einzelne Entscheidungen kann hierdurch festgestellt werden. LIME kann die für ein bestimmtes Ergebnis relevanten Begriffe auch visualisieren.1014 Diese Methode bietet „nur“ einen Annäherungswert.1015 Es kann nicht ausgeschlossen werden, dass beispielsweise auch an diskriminierende Kriterien angeknüpft worden ist.1016 Ein anderer beliebter Ansatz ist SHAP (sog. Shapley Additive Explanations). Auch dieser Ansatz erlaubt es, durch die Erstellung lokaler und weniger komplexer Modelle zu eruieren, welche Eingabevariablen mit welchem Gewicht zum Ergebnis geführt haben.1017

1009  von Lewinski, in: Wolff/Brink, BeckOK Datenschutzrecht, § 6a BDSG, Rn. 48; Gola/Schomerus, in: Gola/Schomerus, Bundesdatenschutzgesetz, § 6a BDSG, Rn. 14a; BT-Drs. 16/13219, S. 8. 1010  Kumkar/Roth-Isigkeit, JZ 2020, 277 (286). 1011  Käde/von Maltzan, CR 2020, 66 (69). 1012  Hoeren/Niehoff, RW 2018, 47 (60); Käde/von Maltzan, CR 2020, 66 (70). 1013  Käde/von Maltzan, CR 2020, 66 (70). 1014  Hoffmann, LIME ein vielseitiges Erklärermodell, S. 5; Edwards/Veale, Duke Law & Technology Review 2017, 18 (60). 1015  Hoeren/Niehoff, RW 2018, 47 (60). 1016  Hoeren/Niehoff, RW 2018, 47 (60). 1017  Adadi/Berrada, IEEE Access 6/2018, 52138 (52148); Käde/von Maltzan, CR 2020, 66 (70); Slack/Hilgard/Jia/Sing/Lakkaraju, in: AIES ’20 – Proceedings of the



C. Verwendung der Ausgabedaten189

Die vorgenannten (wissenschaftlichen) modellagnostischen Erklärungsmodelle finden bereits praktische Anwendung1018 und haben den Vorteil, dass, anders als bei dekompositionellen Ansätzen, keine Informationen über die interne Funktionsweise der komplexen Modelle benötigt werden.1019 (bb) Modellspezifische/Dekompositionelle Ansätze Dekompositionelle Ansätze unternehmen den Versuch, die innere Struktur des KNN durch Zerlegung zu verstehen, benötigen hierfür allerdings Zugriff auf große Teile der Modellstruktur.1020 Einen solchen dekompositionellen Ansatz zur Erklärung einzelner Entscheidungen verfolgt LRP (sog. Layer-Wise Relevance Propogation).1021 Hierbei wird der maschinelle Entscheidungsprozess mithilfe eines mathe­ matischen Verfahrens rückwärts abgespielt und die entscheidungsrelevanten Bereiche auf einer Heatmap mittels verschiedener Farben visualisiert.1022 Diese Methode findet vor allem bei Bilderkennungssoftware Anwendung.1023 Es ist unklar, ob diese Methode auch bei komplexeren Abwägungsvorgängen anwendbar ist bzw. für Verständlichkeit sorgen würde.1024 LRP kann aber jedenfalls auch bei der Klassifizierung von Texten Erklärungen liefern. Trotz des Potenzials mit Blick auf die Nachvollziehbarkeit von Entscheidungen wird LRP im Beschäftigtenkontext bislang kaum genutzt.1025

AAAI/ACM Conference on AI, Ethics and Society, S. 180; Hänold/Schlee/Antweiler/ Beckh, MedR 2021, 516 (519). 1018  Zum Beispiel im IBM-Tool AIF360, Googles „What If Tool“ oder im InterpretML-Framework von Microsoft. 1019  Käde/von Maltzan, CR 2020, 66 (70 f.); Slack/Hilgard/Jia/Sing/Lakkaraju, in: AIES ’20 – Proceedings of the AAAI/ACM Conference on AI, Ethics and Society, S. 180 (181); Edwards/Veale, Duke Law & Technology Review 2017, 18 (65). 1020  Lapuschkin, Opening the Machine Learning Black Box with Layer-wise Relevance Propagation, S. 2; Edwards/Veale, Duke Law & Technology Review 2017, 18 (64). 1021  Hoeren/Niehoff, RW 2018, 47 (59); eine Demo von LRP ist abrufbar unter: https://lrpserver.hhi.fraunhofer.de/. 1022  Hoeren/Niehoff, RW 2018, 47 (59); Lapuschkin, Opening the Machine Learning Black Box with Layer-wise Relevance Propagation, S. 2; Holzinger, InformatikSpektrum 2018, 138 (140); Joos/Meding, CR 2020, 834 (838). 1023  Hoeren/Niehoff, RW 2018, 47 (59  f.); Kumkar/Roth-Isigkeit, JZ 2020, 277 (285). 1024  Hoeren/Niehoff, RW 2018, 47 (59  f.); Kumkar/Roth-Isigkeit, JZ 2020, 277 (285). 1025  Joos/Meding, CR 2020, 834 (838).

190

3. Kap.: Datenschutzrechtliche Konformität

III. Zwischenergebnis – Verwendung der Ausgabedaten und davon gegebenenfalls abhängige Informations- und ­Auskunftspflichten Die durch das KI-System generierten Ausgaben werden entweder einem menschlichen Benutzer zur Verfügung gestellt, der darauf basierend das Einstellungsverfahren betreffende Entscheidungen trifft, oder das KI-System trifft die Entscheidungen selbst. In beiden Fällen kann das Verbot automatisierter Entscheidungen des Art. 22 Abs. 1 DS-GVO eingreifen. Eine automatisierte Entscheidung ist letztlich nur zulässig, wenn eine Vielzahl von Bewerbungen anders nicht mehr handhabbar ist. Mit Blick auf den Anwendungsbereich der Informationspflicht (Art. 13 Abs. 2 lit. f) DS-GVO) und des Auskunftsrechts (Art. 15 Abs. 1 lit. h) DSGVO) ist festzuhalten, dass auch bei dem entscheidungsunterstützenden Einsatz von KI-Systemen aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person bereitzustellen sind, sofern äquivalente Risiken bestehen. Bezüglich der in dieser Arbeit besprochenen KISysteme ist dies der Fall. In Bezug auf den Umfang der Informationspflichten ist eine Offenlegung des Algorithmus nicht erforderlich. Stattdessen sind Informationen über die Systemfunktionalität zu erteilen. Diese abstrakten Ausführungen zur Systemfunktionalität führen aber bei KI-Systemen nicht zu einer Nachvollziehbarkeit für den Bewerber. Darüber kann das Auskunftsrecht des Art. 15 Abs. 1 lit. h) DS-GVO hinweghelfen. Dieses beinhaltet nach hier vertretener Auffassung de lege lata ein Recht auf Erklärung. Aus Gründen der Rechtsklarheit empfiehlt sich aber eine Klarstellung im Verordnungstext.1026 Insoweit könnte man sich an dem damaligen Vorschlag des Bundesrats zur Ergänzung von § 34 BDSG orientieren und Art. 15 Abs. 1 lit. h) DS-GVO wie folgt anpassen: „h) das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4 und – zumindest in diesen Fällen – aussagekräftige Informationen über die involvierte Logik, insbesondere eine Darlegung der wesentlichen Parameter in absteigender Reihenfolge ihrer Bedeutung für die im Einzelfall berechneten Ergebnisse, sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person.“1027

1026  Vgl. Sesing, MMR 2021, 288 (292), der von einer Ergänzung der DS-GVO um ein solches Recht spricht. 1027  Für einen alternativen Formulierungsvorschlag: Roßnagel/Geminn, Evaluation der Datenschutz-Grundverordnung aus Verbrauchersicht, S. 72.



C. Verwendung der Ausgabedaten191

Geht man davon aus, dass sich ein Recht auf Erklärung nicht aus Art. 15 Abs. 1 lit. h) DS-GVO ergibt, handelt es sich dabei zumindest um eine angemessene Maßnahme im Sinne von Art. 22 Abs. 3 DS-GVO. Jedenfalls, wenn Bewerber automatisiert durch ein KI-System abgelehnt werden, haben sie also ein Recht auf Erklärung. Macht ein Bewerber dieses Recht geltend, sind ihm die wesentlichen Parameter zu offenbaren. Der Arbeitgeber muss Möglichkeiten finden, den Bewerber hierüber zu informieren.1028 Auf welche Art und Weise die Parameter letztlich ermittelt werden, ist dem Arbeitgeber überlassen. Sofern dem Bewerber die Entscheidung kontrafaktisch erklärt werden soll, sollten mehrere Gegen-/Kontrafakten bereitgestellt werden. Die Ermittlung dieser Parameter ist technisch, mittels auf dem Forschungsgebiet XAI erarbeiteter Erklärungsmodelle, möglich. Es ist natürlich auch vorstellbar, von vornherein auf die eingangs erwähnten Glassbox-Modelle wie etwa Entscheidungsbäume zu setzen. Diese weisen aber in der Regel eine geringere Prognosegenauigkeit auf.1029 Dabei wird eine kontrafaktische Erklärung oder die Einsichtnahme in eine Liste mit den lokal wichtigsten Eingabevariablen für betroffene Personen bei offensichtlichen Fehlern oder Verwechslungen einen Mehrwert bieten.1030 Die Einsichtnahme in eine solche Liste wird zwar oft nicht die Aufdeckung allgemeiner Qualitätsmängel, latenter Diskriminierungen oder datenschutzrechtlicher Verstöße und damit bisweilen auch keine eingehende Beurteilung der Erfolgsaussichten eines zukünftigen Verfahrens ermöglichen.1031 So handelt es sich beispielsweise bei den Sprach- und Gesichtsmerkmalen um Variablen, die nicht unbedingt eine klare menschliche Interpretation zulassen.1032 Deswegen sind subjektzentrierte Erklärungen aber nicht bedeutungslos.1033 Dies gilt vor allem im Bereich der Versagung von Leistungen.1034 Die Erklärungsmodelle und das Recht auf Erklärung können hier Unterstützung bei der Interpretation von Entscheidungen bieten.1035 Eine so erreichte Transparenz kann jedenfalls die Aufdeckung und Bekämpfung algorithmischer BeDSRITB 2018, 505 (512). Maltzan, CR 2020, 66 (70). 1030  Wischmeyer, AöR 143 (2018), 1 (53). 1031  Wischmeyer, AöR 143 (2018), 1 (53); Hoeren/Niehoff, RW 2018, 47 (60); Wachter/Mittelstadt/Russell, Harv. J. L. & Tech 2018, 842 (854). 1032  Edwards/Veale, Duke Law & Technology Review 2017, 18 (60); Wachter/ Mittelstadt/Russell, Why Fairness Cannot Be Automated, S. 11, 67: „A certain type of proxy might not ring ‚alarm bells‘ […]“. 1033  Edwards/Veale, Duke Law & Technology Review 2017, 18 (22 f.). 1034  Edwards/Veale, Duke Law & Technology Review 2017, 18 (42 f.). 1035  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 66. 1028  Wieder,

1029  Käde/von

192

3. Kap.: Datenschutzrechtliche Konformität

nachteiligung vorbereiten.1036 Sie können als Baustein im Rahmen eines holistischen Ansatzes1037 dienen.1038 Ferner dienen Begründungen der Selbstund Fremdkontrolle, implizieren die Anerkennung der Subjekteigenschaft der von der Entscheidung betroffenen Personen und können dadurch womöglich auch mehr soziale Akzeptanz und Systemvertrauen schaffen.1039 Vertrauen fördert wiederum die Bereitschaft, Daten bereitzustellen.1040

D. Potenzielle nachteilige Folgen bei unzulässiger Datenverarbeitung Für den Arbeitgeber ist die Erfüllung der vorbezeichneten, datenschutzrechtlichen Anforderungen von großer Wichtigkeit. Kommt es zu einer Persönlichkeitsdurchleuchtung des Bewerbers, ermittelt der Arbeitgeber Persönlichkeitsmerkmale ohne Arbeitsplatzbezug oder die Emotionen des Bewerbers, macht er trotz fehlender Erforderlichkeit von der Möglichkeit automatisierter Entscheidungen Gebrauch oder erfüllt er die Informationspflichten bzw. das Auskunftsrecht nicht oder unzureichend, verstößt der Arbeitgeber gegen die DS-GVO bzw. das BDSG und es kommen neben Bußgeldern (vgl. Art. 83 Abs. 5 DS-GVO, § 41 BDSG) im Verhältnis zu dem Bewerber Schadensersatz- und Entschädigungsansprüche auf ihn zu.1041 Wie noch zu zeigen sein wird, ist der Grundsatz der Verarbeitung nach Treu und Glauben (vgl. Art. 5 Abs. 1 lit. a) DS-GVO) verletzt, wenn es durch den Einsatz von KISystemen zu einer Benachteiligung kommt1042, sodass auch dann die AnsprüPeople Analytics in privatrechtlichen Arbeitsverhältnissen, S. 199. Wischmeyer, AöR 143 (2018), 1 (48, 52 ff., 61 ff.); Glatzner, DuD 2020, 312 (314  f.); Europäische Kommission, Weissbuch zur Künstlichen Intelligenz, S.  22 f.; Hacker, NJW 2020, 2142 (2143 ff.); Leeb/Schmidt-Kessel, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 10, Rn. 33; Martini, Blackbox Algorithmus, S. 225 ff. u. 249 ff.; Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 64; Edwards/Veale, Duke Law & Technology Review 2017, 18 (23): Die Sicherstellung von Transparenz sollte nicht allein in diesem Verhältnis stattfinden sondern stattdessen, ähnlich wie bei menschlichen Entscheidungen, auf einem Netz von Regeln und Institutionen aufbauen. Ein holistischer Ansatz sollte dabei alle Phasen im Blick behalten (z. B. Entwicklung der Systeme, präventives Prüf-/Zulassungsverfahren, Dokumentations- bzw. Protokollierungspflichten, fortlaufende Rechtmäßigkeitskontrolle, effektiver Rechtsschutz). 1038  Käde/von Maltzan, CR 2020, 66 (67); Wischmeyer, AöR 143 (2018), 1 (53 f.). 1039  Wischmeyer, AöR 143 (2018), 1 (58 f.); Edwards/Veale, Duke Law & Technology Review 2017, 18 (22). 1040  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 301 ff. 1041  Grunewald, NZA 1996, 15 (15 f.). 1042  Hacker, Common Market Law Review 2018, 1143 (1168). 1036  Kasper, 1037  Vgl.



D. Potenzielle nachteilige Folgen bei unzulässiger Datenverarbeitung 193

che, die einen Verstoß gegen die DS-GVO voraussetzen, zur Anwendung gelangen.

I. Schadensersatzansprüche – Seltenheit materieller Schäden So kommt mit Blick auf das vorvertragliche Anbahnungsverhältnis ein Schadensersatzanspruch gemäß §§ 280 Abs. 1, 241 Abs. 2, 311 Abs. 2 Nr. 1, 2 BGB in Betracht. Die datenschutzrechtlichen Vorgaben sind als vertragliche Nebenpflichten einzuhalten. Ein weiterer Schadensersatzanspruch kann sich aus § 823 Abs. 2 i. V. m. der verletzten Schutznorm der DS-GVO ergeben (vgl. Art. 1 DS-GVO). Außerdem kann in der Durchführung einer nicht erforderlichen Analyse ohne wirksame Einwilligung eine Verletzung des Persönlichkeitsrechts des Bewerbers liegen. Das Persönlichkeitsrecht wird vom Bundesgerichtshof in ständiger Rechtsprechung als „sonstiges Recht“ im Sinne von § 823 Abs. 1 BGB qualifiziert1043, weshalb auch § 823 Abs. 1 BGB in Betracht kommt. Allerdings setzen diese Ansprüche materielle Schäden voraus. In der Vergangenheit ist, unter Geltung des § 7 BDSG a. F., selten materieller Schadensersatz geltend gemacht worden, weil es betroffenen Personen zumeist schwerfiel, einen kausalen materiellen Schaden nachzuweisen.1044

II. Schadensersatz nach Art. 82 DS-GVO Diese Lücke füllt Art. 82 Abs. 1 DS-GVO. Nach Art. 82 Abs. 1 DS-GVO hat jede Person, der wegen eines Verstoßes gegen die DS-GVO ein materieller oder immaterieller Schaden entstanden ist, Anspruch auf Schadensersatz bzw. Schmerzensgeld gegen den Verantwortlichen oder gegen den Auftragsverarbeiter. Diese Vorschrift ergänzt die nationalen Regelungen.1045 1. Verstoß gegen die DS-GVO Der Ersatzanspruch setzt nach Art. 82 Abs. 1 DS-GVO einen Verstoß gegen die DS-GVO voraus. Ausweislich Erwägungsgrund 146, S. 5 genügt auch ein Verstoß gegen nach Maßgabe der DS-GVO erlassene Rechtsakte, Durchführungsrechtsakte und Rechtsvorschriften der Mitgliedstaaten zur Präzisierung von Bestimmungen der DS-GVO. Der Anspruchsverpflichtete verstößt gegen die DS-GVO, in: Jauernig, BGB, § 823 BGB, Rn. 65. r+s 2018, 345 (346). 1045  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (9). 1043  Teichmann, 1044  Dickmann,

194

3. Kap.: Datenschutzrechtliche Konformität

sofern er eine Datenverarbeitung durchführt, ohne sämtliche datenschutzrechtliche Pflichten einzuhalten.1046 Weder ist eine Persönlichkeitsrechtsverletzung Voraussetzung des Anspruchs1047 noch bedarf es für Art. 82 Abs. 1 DS-GVO einer besonders schwerwiegenden Verletzung datenschutzrecht­ licher Vorschriften.1048 Art. 82 Abs. 1 DS-GVO ist also bei unzulässigen Datenverarbeitungen, unzulässigen automatisierten Entscheidungen, bei einer Verletzung von Informations- und Auskunftspflichten oder in dem Fall, in dem es durch den Einsatz von KI-Systemen zu einer Benachteiligung kommt, einschlägig.1049 2. Ersatzfähigkeit immaterieller Schäden Art. 82 Abs. 1 DS-GVO umfasst auch immaterielle Schäden. Dies ist im Vergleich zu §§ 7, 8 BDSG a. F. BDSG ein Fortschritt, denn nach früherer Rechtslage kam ein Ersatz immaterieller Schäden nur bei einer unzulässigen oder unrichtigen Datenverarbeitung durch öffentliche Stellen in Betracht (vgl. § 8 Abs. 2 BDSG a. F.). Nach überwiegender Auffassung konnte ein Anspruch auf immaterielle Entschädigung auch nicht mittels richtlinienkonformer Auslegung auf § 7 S. 1 BDSG a. F. gestützt werden.1050 Die Erscheinungsformen immaterieller Schäden sind zahlreich. So kann ein immaterieller Schaden ausweislich Erwägungsgrund 75 vorliegen, wenn die Datenverarbeitung zu einer Diskriminierung, einer Rufschädigung oder gesellschaftlichen Nachteilen führt.1051 In der Rechtsprechung des EuG wurde in anderen Zusammenhängen immaterieller Schadensersatz etwa für die „Gefühle von Ungerechtigkeit, Unverständnis und sogar Frustration“1052 oder für einen „lang anhaltenden Zustand der Ungewissheit und der Unsicherheit in Bezug auf die Anerkennung seiner Rechte und seiner beruflichen Zukunft“1053 zugesprochen.

1046  Boehm,

Rn. 10.

in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 82 DSGVO,

in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 82 DS-GVO, Rn. 11. r+s 2018, 345 (353). 1049  Wybitul, NJW 2021, 1190 (1191); vgl. zum Arbeitsmarkt-Chancen-Assistenzsystem des österreichischen Arbeitsmarktservices: Jorthan/Wallner, AMS goes ADM – Systematische Diskriminierung? Rechtliche Abhilfe?. 1050  BGH, Urt. v. 29.11.2016 – VI ZR 530/15, NJW 2017, 800. 1051  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (9 f.). 1052  EuG, Urt. v. 26.10.2017 – T-601/16, juris Rn. 84; Dickmann, r+s 2018, 345 (352). 1053  EuG, Urt. v. 12.12.2000 – T 11/00, juris Rn. 58; Dickmann, r+s 2018, 345 (352). 1047  Quaas,

1048  Dickmann,



D. Potenzielle nachteilige Folgen bei unzulässiger Datenverarbeitung 195

Gerade im Kontext des Einstellungsverfahrens wird vor diesem Hintergrund ein immaterieller Schaden vorliegen. 3. Kausalität Der Schaden muss außerdem auf den Verstoß gegen die datenschutzrechtlichen Vorschriften zurückzuführen sein.1054 Die Schädigung muss im Sinne eines adäquaten Kausalzusammenhangs für den Anspruchsverpflichteten vorhersehbar gewesen sein, woran es aber nur bei völlig atypischen und ungewöhnlichen Kausalverläufen fehlt.1055 4. Exkulpation Nach Art. 82 Abs. 3 DS-GVO wird der Verantwortliche oder der Auftragsverarbeiter von der Haftung befreit, wenn er nachweist, dass er in keinerlei Hinsicht für den Umstand, durch den der Schaden eingetreten ist, verantwortlich ist. Nach überwiegender Auffassung handelt es sich um eine Verschuldensvermutung.1056 Der Anspruchsverpflichtete muss nachweisen, dass ihn kein Verschulden trifft.1057 Umfasst sind sämtliche Formen des Verschuldens. Eine Exkulpation nach Art. 82 Abs. 3 DS-GVO wird angesichts des strengen Maßstabs1058 nur in Ausnahmefällen Erfolg haben.1059

III. Entschädigungsanspruch gemäß § 823 Abs. 1 BGB i. V. m. Art. 2 Abs. 1, 1 Abs. 1 GG In der Durchführung einer unzulässigen Datenverarbeitung kann, wie geschrieben, eine Verletzung des Persönlichkeitsrechts liegen. Zum Zwecke der

1054  Quaas, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 82 DS-GVO, Rn. 26; Boehm, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 82 DSGVO, Rn. 13; Wybitul, NJW 2021, 1190 (1194). 1055  Quaas, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 82 DS-GVO, Rn. 26; Boehm, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art. 82 DSGVO, Rn. 14. 1056  Boehm, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  82 DSGVO, Rn. 6; Quaas, in: Wolff/Brink, BeckOK Datenschutzrecht, Art. 82 DS-GVO, Rn. 17.1; a. A.: Becker, in: Plath, DSGVO/BDSG, Art. 82 DSGVO, Rn. 5; Martini/Ruschemeier/Hain, VerwArch 2021, 1 (11). 1057  Boehm, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  82 DSGVO, Rn. 21. 1058  Dickmann, r+s 2018, 345 (347). 1059  Boehm, in: Simitis/Hornung/Spiecker, Datenschutzrecht, Art.  82 DSGVO, Rn. 22.

196

3. Kap.: Datenschutzrechtliche Konformität

Genugtuung und Prävention1060 kann, bei schwerwiegenden Persönlichkeitsrechtsverletzungen, gemäß § 823 Abs. 1 BGB i. V. m. Art. 2 Abs. 1, 1 Abs. 1 GG eine billige Entschädigung in Geld beansprucht werden. Dieser Anspruch geht auf den Schutzauftrag aus Art. 2 Abs. 1, 1 Abs. 1 GG zurück und ist auf Ersatz des immateriellen Schadens gerichtet.1061 Voraussetzung für den Entschädigungsanspruch ist ein erheblicher und rechtswidriger Eingriff des potenziellen Arbeitgebers in das Persönlichkeitsrecht. 1. Schwerwiegende Persönlichkeitsrechtsverletzung Bei der Beurteilung, ob eine schwerwiegende Persönlichkeitsrechtsverletzung vorliegt, muss neben dem Beweggrund des Handelnden und dem Verschuldensgrad auch die Tragweite des Eingriffs Berücksichtigung finden.1062 Dies erfordert eine Abwägung im Einzelfall. Die unzulässige Durchführung einer Persönlichkeitsanalyse erfüllt regelmäßig die Anforderungen, die an eine schwerwiegende Persönlichkeitsrechtsverletzung zu stellen sind. Denn durch die Analyse der Persönlichkeit kann, ungeachtet der Leistungsfähigkeit des eignungsdiagnostischen Verfahrens, das Persönlichkeitsbild schwer und nachhaltig erschüttert werden. Der potenzielle Arbeitgeber macht sich anhand einiger Merkmale ein Bild über die Bewerber und konfrontiert diese mit fremdgefertigten Konstruktionen ihrer Identität.1063 Das nimmt Bewerbern ihr, aus dem Recht auf freie Entfaltung der Persönlichkeit entstammendes, Recht auf Selbstdarstellung.1064 Es kann auch zu negativen Auswirkungen auf die äußere Persönlichkeitsentfaltung in Form von Entscheidungs- und Handlungsspielräumen von Individuen kommen. Handlungsspielräume sind mitunter abhängig von der Kooperationsbereitschaft anderer Menschen. Die Kooperationsbereitschaft ist wiederum abhängig von dem Persönlichkeitsbild, das andere Menschen von einer Person haben.1065 Darüber hinaus bleibt, gerade bei umfassenden Persönlichkeitsprofilen, auch für eigene Vorstellungen der Persönlichkeit und eigene Rolleninterpretationen in sozialen Kontexten kein Raum. Das Recht auf freie Entfaltung

in: beck-online.GROSSKOMMENTAR, § 823 BGB, Rn. 1850. Urt. v. 19.2.2015 – 8 AZR 1007/13, juris Rn. 30; Hermann, in: beckonline.GROSSKOMMENTAR, § 823 BGB, Rn. 1863. 1062  Hermann, in: beck-online.GROSSKOMMENTAR, § 823 BGB, Rn. 1865. 1063  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 93. 1064  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 93. 1065  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 94. 1060  Hermann, 1061  BAG,



D. Potenzielle nachteilige Folgen bei unzulässiger Datenverarbeitung 197

der Persönlichkeit beinhaltet aber auch die innere Persönlichkeitsentfaltung, also zu einem gewissen Grad selbst bestimmen zu können, „wer man ist“.1066 Der Bewerber wird also einer Beurteilung seiner Persönlichkeit ausgesetzt, die das Potenzial hat, nachhaltig die Persönlichkeitsentwicklung zu beeinflussen. Dies gilt umso mehr, sofern Teile der ermittelten Persönlichkeitsmerkmale nahe am Kern der Persönlichkeit liegen und damit ein stark geschützter Bereich des Persönlichkeitsrechts betroffen ist.1067 Dies dürfte beispielsweise für Aussagen zum Anerkennungsbedürfnis oder zur emotionalen Stabilität eines Bewerbers gelten. 2. Rechtswidrigkeit Bei der Überprüfung der Rechtswidrigkeit des Eingriffs in das allgemeine Persönlichkeitsrechts ist wegen dessen Rahmenrechtseigenschaft eine Inte­ ressenabwägung vorzunehmen.1068 Rechtswidrigkeit ist gegeben, wenn die Interessenabwägung ergibt, dass das Schutzinteresse des Betroffenen die schutzwürdigen Belange der anderen Seite, des potenziellen Arbeitgebers, überwiegt. Dies bemisst sich nach dem Grad des Verschuldens, der Art und Schwere der Benachteiligung, der Nachhaltigkeit und Fortdauer der Interessenschädigung sowie dem Anlass und Beweggrund des potenziellen Arbeitgebers.1069 In Anbetracht des Gleichlaufs von Beschäftigtendatenschutz und dem Schutz des Allgemeinen Persönlichkeitsrechts1070 kommt der Feststellung eines Verstoßes gegen Vorgaben der DS-GVO an dieser Stelle wesent­ liche Bedeutung zu.1071 3. Subsidiarität der Entschädigung in Geld Der Entschädigungsanspruch besteht nur, wenn anderweitige Ausgleichsmöglichkeiten ausscheiden. Dabei kommen zum Beispiel Unterlassungsansprüche in Frage.1072 Regelmäßig lässt sich die Persönlichkeitsverletzung aber nicht auf andere Weise befriedigend ausgleichen.1073 Dies gilt gerade in Bezug auf die hier in Rede stehenden Fälle. Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 94. MMR 2019, 142 (145). 1068  BAG, Urt. v. 15.12.2016 – 8 AZR 418/15, juris Rn. 52. 1069  Teichmann, in: Jauernig, BGB, § 823 BGB, Rn. 68  ff.; Reinfeld, in: Moll, Münchener Anwaltshandbuch Arbeitsrecht, § 34, Rn. 72. 1070  Kort, NZA-Beilage 2016, 62 (66 f.). 1071  Vgl. LAG Düsseldorf, Urt. v. 11.03.2020 – 12 Sa 186/19, juris Rn. 164. 1072  Hermann, in: beck-online.GROSSKOMMENTAR, § 823 BGB, Rn. 1889. 1073  Reinfeld, in: Moll, Münchener Anwaltshandbuch Arbeitsrecht, § 34, Rn. 73. 1066  Orwat,

1067  Wandtke,

4. Kapitel

Diskriminierungsrisiken und AGG Es bestehen also schon in datenschutzrechtlicher Hinsicht diverse Herausforderungen und ein beachtliches Schadenspotenzial für betroffene Personen.1 Ein weiteres KI-typisches Schadensszenario wird unter dem Begriff der Diskriminierung diskutiert.2 Das AGG spricht nicht von Diskriminierung, sondern von Benachteiligung.3 Eine Benachteiligung wird zur Diskriminierung, wenn keine Rechtfertigung hierfür gegeben ist.4

A. Vermeintliche Diskriminierungsfreiheit KI-Systemen wird häufig eine Unvoreingenommenheit attestiert. So waren 62,9 % der Top-1.000-Unternehmen und 36,4 % der Kandidaten im Jahr 2019 der Meinung, dass durch den Einsatz von KI-Systemen eine diskriminierungsärmere Bewerbervorauswahl gefördert wird.5 Tatsächlich konnte durch KI-Systeme teilweise eine höhere Diversität erreicht werden. So soll etwa die Auswertung von Spielverhalten durch ein KI-System dazu geführt haben, dass 39 % mehr Frauen angestellt worden sind.6 Anders als Menschen werden Systeme für objektiv und ihre Berechnungen und Entscheidungen für frei von Willkür und subjektiven Präferenzen gehalten.7 Dem liegt die Annahme zugrunde, die Berechnungen und Entscheidungen von KI-Systemen würden auf Fakten beruhen und unbeeinflusst von Emotionen getroffen.8 Letzteres ist sicherlich richtig. So sind die Berechnungen und Entscheidungen des Systems, anders als menschliche Entscheidungen, nicht abhängig von Tagesstimmungen, Müdigkeit, Launen Robo-Recruiting, S. 5. DOeD 2021, 161 (165). 3  Schrader/Schubert, in: Däubler/Beck, AGG, § 3 AGG, Rn. 9. 4  Schrader/Schubert, in: Däubler/Beck, AGG, § 3 AGG, Rn. 9. 5  Weitzel et al., Digitalisierung und Zukunft der Arbeit, S. 21; Höpfner/Daum, ZfA 2021, 467 (489). 6  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 2; Grün­ berger, ZRP 2021, 232. 7  Wischmeyer, AöR 143 (2018), 1 (26). 8  Freyler, NZA 2020, 284 (285). 1  Peters, 2  Els,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 199

etc.9 Bei der ersten Annahme, dass die Systeme faktenbasierte Berechnungen und Entscheidungen treffen, muss aber widersprochen werden. Die Tatsache, dass die KI-Systeme aus Daten lernen, bewahrt sie nicht vor einem Bias im Sinne verzerrter Schlussfolgerungen.10 Man spricht hier auch von Verzerrungseffekten, womit eine systematische und reproduzierbare Benachteiligung gemeint ist.11 KI-Systeme treffen, gerade im Einstellungsverfahren, Unterscheidungen zwischen einzelnen Personen; schon ein Blick auf die Etymologie deutet ein Diskriminierungsrisiko an (lat. discriminare: unter­ scheiden).12

B. Gegenteilige Beispiele Dass es durch den Einsatz von KI-Systemen im Einstellungsverfahren zu Diskriminierungen kommen kann, zeigt die Vergangenheit. So setzte Amazon ein System zur Bewerberauswahl ein, das Frauen tendenziell schlechter bewertete als Männer, was auf eine Imbalance in den Daten zurückgeführt wurde.13 Bei einem Testlauf einer Software für Karrierechancen des österreichischen Arbeitsmarktservices wurden Frauen wegen ihres Geschlechts geringere Chancen zugeschrieben.14 Zuletzt machte ein Algorithmus von Facebook unrühmliche Schlagzeilen, da er ein Video, in dem schwarze Menschen zu sehen waren, als Video über Primaten interpretierte.15

C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG Fraglich ist vor diesem Hintergrund, wie der Einsatz von KI-Systemen im Einstellungsverfahren in antidiskriminierungsrechtlicher Hinsicht zu beurteilen ist.

Blackbox Algorithmus, S. 47. ZdiW 2021, 62 (64). 11  Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 2 f. 12  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 88. 13  Wilke, Künstliche Intelligenz diskriminiert (noch), in: Die Zeit, 18. Oktober 2018. 14  Kuner, KI im Bewerbungsprozess – Und raus bist du!, in: Frankfurter Allgemeine Zeitung, 9. August 2021. 15  Vgl. Facebook-Algorithmus verwechselt schwarze Menschen mit Affen, in: Frankfurter Allgemeine Zeitung, 4. September 2021, abrufbar unter : https://www.faz. net/aktuell/wirtschaft/digitec/facebook-algorithmus-verwechselt-schwarze-menschenmit-affen-17516807.html. 9  Martini,

10  Diercks,

200

4. Kap.: Diskriminierungsrisiken und AGG

Das AGG enthält Schutzmechanismen gegen Diskriminierungen im privatrechtlichen Bereich.16 So dient § 15 AGG als zentrale Haftungsnorm des arbeitsrechtlichen Teils des AGG der Prävention von Diskriminierungen und zugleich dem Schadensausgleich.17 Die antidiskriminierungsrechtlichen Problemstellungen im Hinblick auf den Einsatz von KI-Systemen im Einstellungsverfahren lassen sich am besten mithilfe des Schemas zu § 15 Abs. 1 AGG darstellen.

I. Anwendbarkeit des AGG – Persönlich und sachlich Zunächst ist zu klären, ob das AGG auf die in Rede stehenden Fallkonstellationen, den Einsatz von KI-Systemen zur Beurteilung von Bewerbern, überhaupt sachlich und persönlich Anwendung findet. 1. Persönlicher Anwendungsbereich – Formaler Bewerberbegriff Gemäß § 6 AGG findet der zweite Abschnitt des AGG, also die §§ 6–18 AGG, Anwendung auf Beschäftigte und Arbeitgeber. Gemäß § 6 Abs. 1 S. 2 AGG gelten auch Bewerber für ein Beschäftigungsverhältnis als Beschäftigte. Dabei enthält § 6 Abs. 1 S. 2 AGG einen formalen Bewerberbegriff, sodass es allein auf die Einreichung einer Bewerbung und nicht auf die ­subjektive Ernsthaftigkeit der Bewerbung ankommt.18 Vor Durchführung der Sprach- und Videoanalysen wird es zu einer Bewerbung gekommen sein, sodass der persönliche Anwendungsbereich des AGG vorliegend eröffnet ist.19 2. Sachlicher Anwendungsbereich – Zugang zu unselbstständiger Erwerbstätigkeit Der sachliche Anwendungsbereich des AGG richtet sich nach § 2 AGG. Gemäß § 2 Abs. 1 Nr. 1 AGG sind Benachteiligungen aus einem in § 1 AGG genannten Grund unzulässig in Bezug auf die Bedingungen, einschließlich Auswahlkriterien und Einstellungsbedingungen, für den Zugang zu unselbstständiger und selbstständiger Erwerbstätigkeit. Davon umfasst ist die gesamte Phase der Vertragsanbahnung, also vor allem Auswahlverfahren sowie VorLKV 2019, 49 (57). in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 1. 18  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 6 AGG, Rn. 2. 19  Dzida/Groh, NJW 2018, 1917 (1918). 16  Härtel,

17  Benecke,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 201

stellungsgespräche.20 Der Einsatz von KI-Systemen findet in der Phase der Vertragsanbahnung statt und kann sich auf den Zugang zur Erwerbstätigkeit auswirken.21 3. Zwischenergebnis – Anwendbarkeit des AGG Das AGG bietet also für die zur Diskussion stehende Situation, dass ein Bewerber im Einstellungsverfahren durch ein KI-System beurteilt wird, dem Grunde nach Schutz vor Benachteiligungen.

II. Verstoß gegen das Benachteiligungsverbot des § 7 Abs. 1 AGG § 15 Abs. 1 AGG setzt einen Verstoß gegen das Benachteiligungsverbot voraus und verweist damit im Sinne einer Rechtsgrundverweisung auf § 7 Abs. 1 AGG.22 Daher müssen die Tatbestandsvoraussetzungen des § 7 Abs. 1 AGG vorliegen. § 7 Abs. 1 AGG verlangt seinerseits, dass Beschäftigte nicht wegen eines in § 1 AGG genannten Grundes benachteiligt werden dürfen. Im Mittelpunkt des folgenden Abschnitts steht die Beantwortung der Frage, ob und inwieweit bei der Beurteilung von Bewerbern durch KI-Systeme Benachteiligungen vorliegen können. 1. Unmittelbare Benachteiligung – Weniger günstige Behandlung Zunächst ist eine unmittelbare Benachteiligung gemäß § 3 Abs. 1 AGG vorstellbar. Dabei stellt sich zunächst die Frage, wie eine unmittelbare Benachteiligung definiert ist und worin eine unmittelbare Benachteiligung in den vorliegenden Fallkonstellationen liegen kann. Eine unmittelbare Benachteiligung liegt gemäß § 3 Abs. 1 AGG vor, wenn eine Person wegen eines in § 1 AGG genannten Grundes eine weniger günstige Behandlung erfährt als eine andere Person.23

20  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 2 AGG, Rn. 27; Dzida/ Groh, NJW 2018, 1917 (1918). 21  Freyler, NZA 2020, 284 (287); Sesing/Tschech, MMR 2022, 24 (25). 22  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 15. 23  Koch, in: Schaub/Koch, Arbeitsrecht von A–Z, Allgemeines Gleichbehandlungsgesetz, III.

202

4. Kap.: Diskriminierungsrisiken und AGG

a) Behandlung – Kein Erfordernis menschlichen Tuns oder Unterlassens Als Benachteiligung kommt zuerst einmal das Verhalten in der konkreten Bewerbungssituation in Betracht. In erster Linie wird es sich dabei um Systemverhalten handeln. Denn die Ermittlung der persönlichen Aspekte, deren Bewertung und gegebenenfalls die (Vor-)Auswahl erfolgt durch das KI-System. Das KI-System errechnet die Ausprägungen der Persönlichkeitsmerkmale, berechnet gegebenenfalls nach einem Abgleich mit dem Soll-Profil einen Zahlenwert, der die Eignung eines Bewerbers repräsentiert, und erstellt eine Rangfolge der Bewerber. Unter Umständen trifft das KI-System auf Grundlage dieser Berechnungen auch selbst die (Vor-)Auswahl. In all diesen Prozessen könnte eine unmittelbare Benachteiligung liegen. Ob das AGG insoweit aber eingreift, ist umstritten.24 Gegen die Annahme einer Benachteiligung durch das System soll bereits sprechen, dass eine „Behandlung“ ein menschliches Tun oder Unterlassen voraussetze.25 Dieser Ausgangspunkt ist angreifbar. aa) Etymologie Rein etymologisch steht der Begriff der „Behandlung“ dem Begriff der „Handlung“ nahe (wenngleich Behandlung nicht zwingend ein Handeln implizieren muss26). Zum Handlungsbegriff hat der Bundesgerichtshof im Jahr 1986 festgehalten, dass „[…] – jedenfalls nach heutigem Verständnis – von einer Handlung nur bei einem Verhalten gesprochen werden kann, dass der Bewusstseinskontrolle und Willenslenkung unterliegt und somit beherrschbar ist.“27 Diese Anforderungen erfüllen die von KI-Systemen durchgeführten Berechnungen nicht.

24  Henssler/Wewetzer, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, E., Rn. 55. 25  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 2; Steege, MMR 2019, 715 (718); von Lewinski/de Barros Fritz, NZA 2018, 620 (621); Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 25; Armbrüster, in: Erman, BGB, § 3 AGG, Rn. 4; Serr, in: Staudinger, BGB, § 3 AGG, Rn. 5; Spiecker/Fröhlich, Können Algorithmen diskriminieren?; so offenbar auch Berendt, Algorithmic discrimination, S. 7: „An algorithm by itself does not discriminate […]. An Algorithm is a procedure for effecting certain computations, including the input and output of data.“ 26  Koch, ZfPP 2020, 265 (286 Fn. 8). 27  BGH, Urt. v. 01.07.1986 – VI ZR 294/85, NJW 1987, 121.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 203

Das vorbezeichnete Begriffsverständnis ist aber nicht zwingend. So kann jedenfalls unter Behandlung auch ein Verfahren verstanden werden (etwa „Wärmebehandlung“ als ein Verfahren zur Behandlung von Werkstücken). Außerdem hat der Bundesgerichtshof zu erkennen gegeben, dass hinsichtlich des Begriffsverständnisses ein Bedeutungswandel möglich ist („nach heutigem Verständnis“). Die grundsätzliche Möglichkeit eines Bedeutungswandels wird etwa daran deutlich, dass im Bereich des Verwaltungsrechts in § 35a VwVfG klargestellt worden ist, dass auch der vollständig durch automatische Einrichtungen erlassene Verwaltungsakt ein Verwaltungsakt im Sinne des VwVfG ist und menschliches Zutun nicht erforderlich ist.28 Ferner würden mit diesem Verständnis für Diskriminierungen mentale Eigenschaften als relevant eingeordnet. Tatsächlich ist es so, dass im Bereich von Diskriminierungen oftmals die Geisteshaltung des Benachteiligenden für besonders kritikwürdig erachtet wird.29 Die diskriminierende Geisteshaltung ist aber nur ein problematischer Aspekt von Diskriminierung, der nicht notwendigerweise vorliegen muss.30 Es geht letztlich um von der Geisteshaltung unabhängige Handlungsfolgen.31 Hierzu passt, dass das Präfix „be-“ die Bedeutung des Verbs verändert. Durch dieses Präfix und die damit einhergehende Transitivierung des Verbs wird der Fokus auf das grammatikalische Objekt verschoben und das Ergebnis des Verhaltens betont.32 bb) Wertungswiderspruch Hinzu kommt, dass das herkömmliche Begriffsverständnis zu Wertungswidersprüchen führt.33 Bei entscheidungsunterstützenden Systemen wäre, wenn ein Mitarbeiter der Personalabteilung an die Empfehlung des KI-Systems anknüpft und die Benachteiligung erst in der menschlichen Anknüpfung an die Ausgabe liegt, diskriminierungsrechtlicher Schutz zu erlangen. Es besteht in diesen Kon­ stellationen die Möglichkeit, dass ein menschlicher Letztentscheider die Ausgabe des KI-Systems kritisch hinterfragt und weitere Informationen aus

28  Roth-Isigkeit, AöR 145 (2020), 321 (326 f.); Prell, in: BeckOK VwVfG, § 25a VwVfG, Rn. 7. 29  Koch, ZfPP 2020, 265 (284 f.). 30  Koch, ZfPP 2020, 265 (285). 31  Koch, ZfPP 2020, 265 (285). 32  be-, in: Duden online, abrufbar unter: www.duden.de/rechtschreibung/be_. 33  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 22.

204

4. Kap.: Diskriminierungsrisiken und AGG

anderen Quellen in seine Entscheidung miteinbezieht.34 Ungeachtet der Tatsache, dass auch bei entscheidungsunterstützenden KI-Systemen mitunter bereits die durch das KI-System vorgenommene Bewertung mit einem Nachteil einhergeht (siehe Seite 213 ff.)35, kommt es bei entscheidungsersetzenden Systemen nicht zu einem menschlichen Eingriff nach Generierung der Ausgabe. Eine Möglichkeit der Überprüfung durch einen Menschen besteht hier also nicht. Der Wegfall dieser menschlichen Kontroll­instanz kann aber nicht zu einem geringeren Schutz führen.36 Noch extremer tritt der Wertungswiderspruch zutage, wenn man (irrigerweise) entsprechend der datenschutzrechtlichen Vorgaben, sogar besondere Anforderungen an das menschliche Verhalten stellt, konkret die Anforderungen im Rahmen von Art. 22 Abs. 1 DS-GVO auch auf § 3 AGG überträgt und eine formale Bestätigung oder Übernahme für die Annahme einer Behandlung nicht genügen lässt.37 Diese Auslegung würde sogar zu einem höheren Schutzniveau in dem Bereich führen, in dem Menschen die Ausgabe tatsächlich kritisch hinterfragen, als in dem Bereich, in dem kein solches menschliches Dazwischentreten erfolgt.38 cc) Vermeidung des Wertungswiderspruchs durch Anknüpfung an vorheriges, menschliches Verhalten – Werkzeugtheorie Denkbar wäre, zur Umgehung des vorgenannten Wertungswiderspruchs, mit der sog. Werkzeugtheorie das KI-System als Werkzeug des Arbeitgebers zu qualifizieren, mit Hilfe dessen der Arbeitgeber (be-)handelt.39 Für KI-Systeme, die mit konkreten Zielvorgaben in einem engen Anwendungsfeld eingesetzt werden, ist die Einordnung als Werkzeug durchaus vertretbar.40 Mit Blick auf den Einsatz von KI-Systemen durch den Arbeit­ 34  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 22. 35  Spiecker/Fröhlich, Können Algorithmen diskriminieren? 36  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 22. 37  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 23. 38  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 22. 39  Deinert, in: Däubler/Beck, AGG, § 15 AGG, Rn. 27; Wagner/Luyken, in: FS Windbichler, S. 155 (169  ff.); Riehm/Meier, in: Fischer/Hoppen/Wimmers, DGRI Jahrbuch 2018, S. 1 (14 f.); vgl. auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 358 f., der auch eine Anknüpfung an die menschliche Beteiligung in der Entwicklungsphase für möglich hält. 40  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 87, der sich auf Softwareagenten bezieht.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 205

geber im Einstellungsverfahren zur Beurteilung von Bewerbern kommt also dem Grunde nach eine Einordnung des KI-Systems als Werkzeug in Betracht. Die Werkzeugtheorie ermittelt menschliches Tun oder Unterlassen im Umfeld des Einsatzes des Systems41 und erzwingt die Feststellung einer Benachteiligung bei dem Benutzer.42 (1) Inbetriebnahme als Benachteiligung Insoweit müsste man die Kausalkette bis zur letzten menschlichen Handlung zurückverfolgen, mit der das KI-System in Betrieb genommen oder gesteuert worden ist.43 Je nach Erscheinungsform des KI-Systems kommt in Betracht, an die jeweilige Eingabe der Daten des Bewerbers als menschliche Handlung an­ zuknüpfen. Eine Benachteiligung durch den Arbeitgeber wäre dann anzunehmen, wenn die Benutzung des KI-Systems zu einem Nachteil führt.44 Ist das KI-System aber in das Bewerbermanagementsystem eingebunden und kommt es nicht mehr zu menschlichen Eingriffen, könnte nur in der Inbetriebnahme des KI-Systems eine Benachteiligung, also eine menschliche Behandlung mittels eines KI-Systems, liegen.45 Einziger möglicher Anknüpfungspunkt der Haftung des Arbeitgebers wäre die Inbetriebnahme des KI-Systems.46 Insoweit bestehen gewisse Ähnlichkeiten zu dem strafrechtlichen Distanzdelikt, da Handlung und Erfolg zeitlich auseinanderfallen.47 (2) (Keine) Unterbrechung des Kausalzusammenhangs Gegen die Werkzeugtheorie könnte man anführen, dass der Nachteil aufgrund des Verhaltens einer Person eintreten muss.48 Für das Deliktsrecht wird vertreten, dass autonomes Systemverhalten mit dem Dazwischentreten eines Dritten vergleichbar sei und zu einer Unterbrechung dieser haftungsbegründenden Kausalität führen könne.49 Auf die hiesige Konstellation überVerwArch 2021, 1 (13). in: FS Windbichler, S. 155 (171). 43  Für die deliktsrechtliche Haftung: Riehm, ITRB 2014, 113 (114). 44  Wagner/Luyken, in: FS Windbichler, S. 155 (166). 45  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 21 ff.; für das Verwaltungsrecht: Roth-Isigkeit, AöR 145 (2020), 321 (336). 46  Denga, CR 2018, 69 (72). 47  Zech, Gutachten A zum 73. Deutschen Juristentag, A 56; Zech, ZfPW 2019, 198 (206 f.). 48  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 25. 49  Brand, MedR 2019, 943 (947). 41  Martini/Ruschemeier/Hain, 42  Wagner/Luyken,

206

4. Kap.: Diskriminierungsrisiken und AGG

tragen, bestünde dann keine Kausalität zwischen Behandlung, also Inbetriebnahme des KI-Systems, und Nachteil. Dies dürfte aber erst für sog. starke KI50 erwägenswert sein51; diese Erwägung schlägt daher vorliegend nicht durch. (3) Maßgeblichkeit der Vorgänge in der konkreten Bewerbungssituation Allerdings beinhaltet das Abstellen auf die (vorgelagerte) menschliche Handlung einen sehr weit gefassten Vorwurf, der letztlich auf eine „Veranlasserhaftung“ hinausläuft.52 Die Benachteiligung in der konkreten Situation lässt sich nur mittelbar auf das Verhalten des Arbeitgebers zurückführen.53 Der Werkzeuggedanke versperrt den Blick darauf, dass in der konkreten Situation der menschliche Einfluss zurückgedrängt, die Bewertung von etwaiger menschlicher Willkür abgeschirmt und der Mensch in der konkreten Situation substituiert werden soll.54 Es besteht auch eine Vergleichbarkeit von Systemverhalten und menschlichem Verhalten. Denn letztlich ist eine auf Erfahrungswissen basierende Einschätzung, etwa, ob ein Bewerber eine hohe berufliche Eignung aufweist, durch einen Menschen ebenfalls eine (subjektiv getrübte) statistische Einschätzung.55 Die eigentliche Benachteiligung erfolgt also durch das KI-System in der konkreten Situation.56 Das wird ferner daran deutlich, dass zum Zeitpunkt der Inbetriebnahme noch kein Einstellungsverfahren begonnen haben wird und erst in einem späteren Stadium die Bewerber beurteilt werden.

50  Geminn, ZD 2021, 354 (355): „Allgemein wird Künstliche Intelligenz in starke […] und schwache […] Künstliche Intelligenz aufgespalten.“; Kaulartz/Braegelmann, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 1, Rn. 10: „Bei schwacher KI geht es darum, den Menschen ‚intelligent‘ beim Erreichen eines seiner Ziele zu unterstützen. Die starke KI zielt auf eine Imitation des Menschen ab, wenn Intelligenz nicht nur auf ein, sondern auf jedes Problem angewendet wird, was eher als Zukunftsvision für in rund 20–50 Jahren taugt und derzeit nicht praxisrelevant ist.“ 51  Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 56. 52  Teubner, AcP 218 (2018), 155 (186); für § 823 Abs. 1 BGB: Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 52. 53  Denga, CR 2018, 69 (72). 54  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 86 f. 55  Koch, ZfPP 2020, 265 (274 f.). 56  Teubner, AcP 218 (2018), 155 (185); Wagner/Luyken, in: FS Windbichler, S. 155 (171).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 207

Gleichzeitig würde durch die Anknüpfung an die vorgelagerte menschliche Handlung letztlich die detaillierte Prüfung der einzelnen Vorgänge in der konkreten Bewerbungssituation – etwa im Hinblick auf die Art der Benachteiligung – weitgehend verhindert.57 Diese Vorgänge verlangen aber eigentlich nach rechtlicher Bewertung.58 Die Anknüpfung an das menschliche Verhalten würde beispielsweise dazu führen, dass hinsichtlich der Art der Benachteiligung die systeminternen Prozesse nicht im Einzelnen aufgegliedert werden müssten und oft „nur“ eine mittelbare Benachteiligung angenommen werden könnte. Hierdurch werden die technischen Abläufe ignoriert, was zu einer Vereinfachung der rechtlichen Bewertung führt. (4) V  orverlagerung des Antidiskriminierungsschutzes und die Fiktion des § 3 Abs. 5 AGG Gegen die Werkzeugtheorie spricht des Weiteren folgende Erwägung: Die Inbetriebnahme und die konkrete Bewerbungssituation können, wie geschrieben, zeitlich weit auseinanderfallen. Es käme durch die Anknüpfung an vorgelagertes menschliches Verhalten also zu einer Vorverlagerung des Diskriminierungsschutzes. Diese Ausdehnung des Schutzes vor einer Benachteiligung in das Vorfeld der eigentlichen Benachteiligung ist dem AGG zwar nicht fremd. Eine solche Ausdehnung erfolgt nämlich auch bei der Anweisung zur Benachteiligung gemäß § 3 Abs. 5 AGG.59 Gemäß § 3 Abs. 5 S. 1 AGG gilt auch die Anweisung zu einer Benachteiligung als Benachteiligung. Die Anwendung von § 3 Abs. 5 AGG wäre grundsätzlich auch bei dem Einsatz von KI-Systemen denkbar, da die Vorschrift nicht voraussetzt, dass ein anderer Mensch zur Benachteiligung angewiesen wird60, sodass man in der Inbetriebnahme eines KI-Systems eine Anweisung zur Benachteiligung erblicken könnte. Dann würde die Inbetriebnahme als verbotene Benachteiligungshandlung fingiert.61 Allerdings ist im Rahmen von § 3 Abs. 5 AGG eine zielgerichtete Handlung des Arbeitgebers erforderlich.62 Die Anweisung muss vom Handlungs-

AcP 218 (2018), 155 (186). Autonome und vernetzte Aktanten im Zivilrecht, S. 89. 59  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 141. 60  § 3 Abs. 5 S. 2 AGG stellt zwar klar, dass insbesondere eine Bestimmung einer Person zu einem Verhalten infrage kommt, lässt aber Raum für andere Anweisungen („insbesondere“); a. A. offenbar Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/ Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 33. 61  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 148. 62  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 147. 57  Teubner,

58  Linardatos,

208

4. Kap.: Diskriminierungsrisiken und AGG

willen einer Benachteiligung erfasst sein.63 Übertragen auf den hiesigen Fall bedürfte es also eines zielgerichteten Einsatzes des KI-Systems zur Benachteiligung. Im Umkehrschluss kommt eine Ausdehnung des Schutzes vor einer Benachteiligung in das Vorfeld der eigentlichen Benachteiligung außerhalb des zielgerichteten Einsatzes eines KI-Systems zur Benachteiligung nicht in Betracht. Die Benachteiligung ist also nach alledem, abseits des zielgerichteten Einsatzes des KI-Systems zur Benachteiligung, bezogen auf die konkrete Bewerbungssituation festzustellen.64 Da es in der konkreten Bewerbungssituation kein menschliches Verhalten gibt, muss zur Vermeidung von Wertungswidersprüchen auf das Systemverhalten abgestellt werden. dd) Zwischenergebnis – Kein Erfordernis menschlichen Tuns oder Unterlassens Eine unmittelbare Benachteiligung setzt also kein menschliches Tun oder Unterlassen voraus. Dies wird schon an der Etymologie deutlich, die die Behandlungsfolgen in den Vordergrund stellt. Der mit der Forderung nach einem menschlichen Tun oder Unterlassen einhergehende Wertungswiderspruch im Hinblick auf entscheidungsersetzende KI-Systeme könnte zwar mithilfe der Werkzeugtheorie vermieden werden; allerdings ignoriert die Werkzeugtheorie die Vorgänge in der konkreten Bewerbungssituation und die Tatsache der Substitution. Sie führt ferner zu einer Vorverlagerung, die aber gemäß § 3 Abs. 5 AGG nur bei vorsätzlicher Bestimmung zu einer Benachteiligung infrage kommt. Eine Vorverlagerung abseits des zielgerichteten Einsatzes ist abzulehnen. Das Festhalten am Erfordernis eines menschlichen Verhaltens und die Anwendung der Werkzeugtheorie würde außerdem zu dem Ergebnis führen, dass bei nicht zielgerichtetem Einsatz eines entscheidungsersetzenden KISystems, das auf Benachteiligungsmerkmale65 als Variablen abstellt, nur eine mittelbare Benachteiligung angenommen werden kann; die technischen Abläufe in dem KI-System würden ignoriert. Abseits des zielgerichteten Einsatzes ist also auf das Systemverhalten abzustellen.

in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 147. in: FS Windbichler, S. 155 (171). 65  Damit sind die in § 1 AGG genannten Merkmale gemeint. Diese werden teilweise als „verpönte Merkmale“, „Benachteiligungsmerkmale“ oder auch als „Diskriminierungsmerkmale“ bezeichnet. 63  Baumgärtner,

64  Wagner/Luyken,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 209

Die Forderung nach einer gesetzgeberischen Klarstellung, dass kein menschliches Tun oder Unterlassen erforderlich ist, ist berechtigt.66 b) Weniger günstig – Verortung des Nachteils Die Behandlung muss auch weniger günstig sein. Hier muss im Ausgangspunkt zwischen verschiedenen Automatisierungsgraden67, konkret entscheidungsersetzenden68 und entscheidungsunterstützenden69 KI-Systemen unter­ schieden werden. aa) Entscheidungsersetzende Systeme Mit Blick auf entscheidungsersetzende KI-Systeme beschränken sich die bisherigen Ausführungen im Schrifttum zu möglichen Benachteiligungen in der konkreten Bewerbungssituation im Wesentlichen auf den Hinweis, dass dies aufgrund des Verbots aus Art. 22 Abs. 1 DS-GVO unzulässig sein wird.70 Allerdings existieren Ausnahmetatbestände, sodass eine ausschließlich auf einer automatisierten Datenverarbeitung beruhende Entscheidung im Bereich des Möglichen liegt (siehe Seite 147 ff.). Ordnet man das Systemverhalten in der konkreten Situation als Behandlung ein, ist zu klären, durch welchen Vorgang die betroffene Person einen Nachteil erleidet („weniger günstig“). Die Benachteiligung könnte in der Entscheidung des entscheidungsersetzenden Systems oder bereits in dieser Entscheidung vorgelagerten systeminternen Prozessen liegen.71 (1) Nachteil durch (systeminterne) Prozesse Grundsätzlich können auch einer Auswahlentscheidung vorausgehende Verfahrenshandlungen eine weniger günstige Behandlung darstellen, sofern die Person hierdurch einen Nachteil erleidet.72 Insoweit kommen die system­ MMR 2019, 715 (718). AöR 145 (2020), 321 (324). 68  Roth-Isigkeit, AöR 145 (2020), 321 (325 f.). 69  Roth-Isigkeit, AöR 145 (2020), 321 (325). 70  Dzida/Groh, NJW 2018, 1917 (1920); von Lewinski/de Barros Fritz, NZA 2018, 620 (621); Freyler, NZA 2020, 284 (287); Steege, MMR 2019, 715 (718). 71  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 20. 72  Serr, in: Staudinger, BGB, § 3 AGG, Rn. 5; Baumgärtner, in: beck-online. GROSSKOMMENTAR, § 3 AGG, Rn. 25; Höpfner/Daum, ZfA 2021, 467 (493). 66  Steege,

67  Roth-Isigkeit,

210

4. Kap.: Diskriminierungsrisiken und AGG

internen Prozesse in Betracht. Gegen die Einordnung systeminterner Prozesse als Benachteiligung spricht, dass damit nur eine potenzielle Benachteiligung einhergeht.73 Irgendwelche nachteiligen Folgen für den Bewerber treten noch nicht ein. Nach einer Auffassung sollen aber bereits potenzielle Benachteiligungen im Datenverarbeitungsprozess als Benachteiligung anzusehen seien; dies ergebe sich aus einer richtlinienkonformen Auslegung.74 Zur Begründung wird die Rechtssache Feryn75 herangezogen. Hier hatte der EuGH entschieden, dass nicht einmal aus dem Fehlen einer diskriminierten Person auf das Fehlen einer unmittelbaren Diskriminierung geschlossen werden könne. Auch eine öffentliche Äußerung eines Arbeitgebers könne Bewerber davon abhalten, ihre Bewerbungen einzureichen und begründe deshalb eine unmittelbare Diskriminierung.76 Diese Linie hat der EuGH in einer späteren Entscheidung bestätigt.77 Dies wirkt sich indes allenfalls mit Blick auf § 17 Abs. 2 AGG, also die Möglichkeiten des Betriebsrats, aus.78 Die Feryn-Rechtsprechung hat aber im Bereich des Individualrechtsschutzes keinen vorverlagerten Diskriminierungsschutz bewirkt.79 Hier bedarf es weiterhin einer konkret-individuellen Benachteiligung.80 Eine solche liegt hier nicht vor.

73  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 20; vgl. auch Serr, in: Staudinger, BGB, § 3 AGG, Rn. 8; Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 6. 74  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 20; Schrader/Schubert, in: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 44; a. A.: Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 6; Ahrendt, in: Schaub, Arbeitsrechts-Handbuch, § 26, Rn. 33; Thüsing, in: MüKo BGB, § 3 AGG, Rn. 11; Annuß, BB 1629 (1631). 75  EuGH, Urt. v. 10.07.2008 – C-54/07, EuZW 2008, 500 – Feryn. 76  EuGH, Urt. v. 10.07.2008 – C-54/07, EuZW 2008, 500 (502) – Feryn. 77  EuGH, Urt. v. 23.04.2020 – C-507/18, NZA 2020, 703 – NH. 78  Schrader/Schubert, in: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 44; Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 21. 79  Mohr, in: Franzen/Gallner/Oetker, Kommentar zum europäischen Arbeitsrecht, Art. 2 RL 2000/78/EG, Rn. 32; BAG, Urt. v. 19.08.2010 – 8 AZR 370/09, NZA 2011, 200 (202); Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 21. 80  Mohr, in: Franzen/Gallner/Oetker, Kommentar zum europäischen Arbeitsrecht, Art. 2 RL 2000/78/EG, Rn. 32.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 211

(2) Nachteil durch (Vor-)Auswahl Das Vorliegen eines Nachteils ist aus objektiver Sicht eines verständigen Dritten zu beurteilen.81 Das Bundesarbeitsgericht hat stets eine Beeinträchtigung von Chancen für einen Nachteil genügen lassen.82 Trifft das System nach Durchführung der Berechnungen eine negative Vorauswahl oder Letztentscheidung über die Einstellung, liegt eine weniger günstige Behandlung vor. Die betroffene Person erleidet hier einen Nachteil, da sie aus dem weiteren Einstellungsverfahren ausscheidet. Die Benachteiligung liegt dann in der konkreten Entscheidung des Systems.83 (3) Z  wischenergebnis – Verortung des Nachteils bei ­entscheidungsersetzenden KI-Systemen Bei entscheidungsersetzenden KI-Systemen liegt die Benachteiligung erst in der (Vor-)Auswahl durch das KI-System. Systeminterne Prozesse gehen nicht mit einem Nachteil einher. bb) Entscheidungsunterstützende Systeme Bei entscheidungsunterstützenden Systemen, die nicht unmittelbar, sondern erst vermittelt durch die Entscheidung des Mitarbeiters der Personalabteilung auf die betroffene Person durchschlagen84 und menschliche Entscheidungen „nur“ vorbereiten, erfolgt ebenfalls zunächst eine Datenverarbeitung. Ergebnis dieses Datenverarbeitungsvorganges sind Ausgaben. Geht man im Bereich entscheidungsersetzender Algorithmen, unter anderem aufgrund des dort skizzierten Wertungswiderspruchs, von einem weiten Behandlungsbegriff aus, kann konsequenterweise auch im Bereich entscheidungsunterstützender KI-Systeme nicht an dem Erfordernis eines mensch­ lichen Tuns oder Unterlassens festgehalten werden. An die generierte Ausgabe knüpft zwar ein Mensch an und an dieses anknüpfende Verhalten, durch in: Staudinger, BGB, § 3 AGG, Rn. 7. Urt. v. 21.07.2009 – 9 AZR 431/08, NZA 2009, 1087 (1090): „Sind die Chancen eines Bewerbers bereits durch ein diskriminierendes Verfahren beeinträchtigt worden, kommt es nicht mehr darauf an, ob die (Schwer-)Behinderung bei der abschließenden Einstellungsentscheidung noch eine nachweisbare Rolle gespielt hat […]“; vgl. auch BAG, Urt. v. 20.01.2016 – 8 AZR 194/14, NZA 2016, 681 (683 f.); BAG, Urt. v. 07.04.2011, NZA-RR 2011, 494 (496). 83  So auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 360. 84  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (18). 81  Serr,

82  BAG,

212

4. Kap.: Diskriminierungsrisiken und AGG

das der Mitarbeiter die Ausgabe in außenwirksames Handeln transponiert, kann man stets die Haftung knüpfen.85 Wie gezeigt können aber auch einer Auswahlentscheidung vorausgehende Verfahrenshandlungen eine weniger günstige Behandlung darstellen.86 Womöglich stellt also bereits der vorgelagerte Datenverarbeitungsvorgang eine weniger günstige Behandlung dar.87 Die konkrete Empfehlung des entscheidungsunterstützenden Systems könnte die Benachteiligung sein.88 Voraussetzung hierfür ist, dass eine Person hierdurch einen Nachteil erleidet.89 In der Ausgabe müsste ein Nachteil liegen. Das Vorliegen eines Nachteils ist, wie geschrieben, aus objektiver Sicht eines verständigen Dritten zu beurteilen.90 Es genügt, dass die Chancen des Bewerbers beeinträchtigt werden.91 Die Ausgabe kann verschiedene Erscheinungsformen annehmen, weshalb wie folgt zu differenzieren ist: (1) Nachteil durch Zuschreibung von Merkmalen Die erste zu betrachtende Situation ist, dass es sich bei der Ausgabe des KI-Systems „nur“ um (Persönlichkeits-)Merkmalsausprägungen handelt. Für die Annahme einer konkret-individuellen Benachteiligung durch die Zuschreibung von Merkmalsausprägungen spricht zwar, dass diese Zuschreibung grundrechtliche Relevanz hat, insbesondere die Freiheit auf Selbstdarstellung/Selbstbestimmung verkürzt.92 Zudem kann die Zuschreibung offensichtlich negativer Eigenschaften nachteilig sein. Das wäre mit Blick auf die Big Five-Faktoren etwa der Fall, wenn dem Bewerber besonders niedrige 85  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (18). 86  Serr, in: Staudinger, BGB, § 3 AGG, Rn. 5; Höpfner/Daum, ZfA 2021, 467 (493). 87  von Lewinski/de Barros Fritz, NZA 2018, 620 (621). 88  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 20; a. A. offenbar Els, DOeD 2021, 213 (213), der meint, eine diskriminierende Wirkung könne sich erst „in der Folge der Anwendung der algorithmischen Bewertung“ einstellen. 89  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 25. 90  Serr, in: Staudinger, BGB, § 3 AGG, Rn. 7. 91  BAG, Urt. v. 21.07.2009 – 9 AZR 431/08, NZA 2009, 1087 (1090): „Sind die Chancen eines Bewerbers bereits durch ein diskriminierendes Verfahren beeinträchtigt worden, kommt es nicht mehr darauf an, ob die (Schwer-)Behinderung bei der abschließenden Einstellungsentscheidung noch eine nachweisbare Rolle gespielt hat […]“; vgl. auch BAG, Urt. v. 20.01.2016 – 8 AZR 194/14, NZA 2016, 681 (683 f.); BAG, Urt. v. 07.04.2011, NZA-RR 2011, 494 (496). 92  Spiecker/Fröhlich, Können Algorithmen diskriminieren?



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 213

Werte bei Gewissenhaftigkeit (Unorganisiertheit, Ungenauigkeit) oder besonders hohe Werte bei Neurotizismus (Ängstlichkeit, Reizbarkeit) zugeschrieben würden. In der Regel sind die Konnotationen von zugeschriebenen Eigenschaften aber kontextabhängig.93 Bestimmte Persönlichkeitsmerkmale können in einem Zusammenhang überwiegend positiv und in einem anderen Zusammenhang überwiegend negativ konnotiert sein.94 Dies gilt für das Einstellungsverfahren im Besonderen. Für unterschiedliche Berufe ist etwa ein unterschiedliches interpersonelles Verhalten gefragt. In einigen Berufen wird etwa wettbewerbsorientiertes Verhalten, in anderen Berufen kooperatives Verhalten wichtig sein. Unter Zugrundelegung dieses Maßstabes liegt in dieser Ausgabe also in der Regel noch kein Nachteil.95 Ob sich die zugeschriebenen Merkmalsausprägungen nachteilig auswirken, ist vom jeweiligen Soll-Profil und damit kontextabhängig. Die bloße Gefahr eines Nachteils ist aber nicht ausreichend.96 Soweit die Ausgabe noch keinen Nachteil darstellt, ist auf die an die Ausgabe anknüpfende menschliche (Vor-)Auswahlentscheidung abzustellen.97 Der Nachteil tritt hier durch die an die Ausgabe anknüpfende, menschliche (Vor-)Auswahlentscheidung ein.98 (2) Nachteil durch Zahlenwert oder Platzierung Etwas Anderes gilt, wenn das KI-System die ermittelten Merkmale mit dem im Entscheidungsmodell enthaltenen Soll-Profil abgleicht, hieraus einen Zahlenwert errechnet und gegebenenfalls zusätzlich, nachdem es die BewerEinzelfallgerechtigkeit versus Generalisierung, S. 124. Einzelfallgerechtigkeit versus Generalisierung, S. 124. 95  A. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 356  ff., der das Vorliegen einer weniger günstigen Behandlung zunächst verneint, aber unter Rückgriff auf die Rechtssachen Feryn und NH im Wege eines argumentum a minori ad maius im Ergebnis von einer weniger günstigen Behandlung ausgeht. Diese Argumentation ist abzulehnen, weil sich, wie dargestellt, aus diesen Rechtssachen kein Verzicht auf das Erfordernis einer konkret-individuellen Benachteiligung im Bereich des Individualrechtsschutzes ergibt. 96  Ahrendt, in: Schaub, Arbeitsrechts-Handbuch, § 26, Rn. 33; Thüsing, in: MüKo BGB, § 3 AGG, Rn. 11; Annuß, BB 1629 (1631). 97  von Lewinski/de Barros Fritz, NZA 2018, 620 (621); Freyler, NZA 2020, 284 (287). 98  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (18). 93  Britz, 94  Britz,

214

4. Kap.: Diskriminierungsrisiken und AGG

ber relativ zueinander geordnet hat,99 eine (unverbindliche) Rangfolge der Bewerber als finale Ausgabe erstellt. Die Rangfolge weist einen Empfehlungscharakter auf. Bewerber mit einer niedrigen Platzierung dürften regelmäßig eine weniger große Aufmerksamkeit durch den Personaler erhalten. (a) Vergleichbarkeit mit Suchmaschinen So werden etwa auch bei Suchmaschinen die ersten Treffer am häufigsten angeklickt.100 Inhaltsanbieter im Internet erhalten aufgrund niedriger Rangfolgenplatzierung eine geringere Nutzeraufmerksamkeit.101 Ursachen hierfür können etwa ein grundlegendes Vertrauen in die Rangfolge, eine beabsichtigte Minimierung der Suchkosten oder eine bloße Wahrnehmung der oberen Bildschirmhälfte sein.102 Die Inhaltsanbieter haben hier mitunter einen wettbewerbsrechtlichen Anspruch auf Nichtdiskriminierung (vgl. § 19 Abs. 2 Nr. 1 GWB).103 Dieser Anspruch setzt eine nachteilige Auswirkung auf die Wettbewerbsposition des jeweiligen Inhaltsanbieters voraus.104 Für Suchmaschinen wird davon ausgegangen, dass es durch die Rangfolge zu nachteiligen Auswirkungen auf die Wettbewerbsposition des jeweiligen Inhaltsanbieters kommen kann.105 Fraglich ist, ob diese Erwägungen auf das Einstellungsverfahren direkt übertragbar sind. Bei den genannten Ursachen für die geringere Nutzeraufmerksamkeit handelt es sich um Aspekte, die bei einer Rangfolge von Bewerbern in ähnlicher Form auftreten können. Gegen eine Übertragbarkeit dieser Erwägungen spricht aber, dass sich die Rangfolge der Treffer bei einer Suchmaschine stärker und unmittelbarer auf die Wettbewerbsfähigkeit der Inhaltsanbieter auswirkt als eine Rangfolge von Bewerbern im Einstellungsverfahren auf deren Einstellungschancen. Denn Inhaltsanbieter sind, bedingt durch die Struktur des Internets, sehr stark auf die Aufmerksamkeitsvermittlung durch Suchmaschinen angewiesen.106 Hier kann es, anders als im Einstellungsverfahren, zu völliger Unauffindbar99  Zweig/Krafft, in: Mohabbat Kar/Thapa/Parycek, (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. 204 (209). 100  Kühling/Gauß, MMR 2007, 751 (756). 101  Hartl, Suchmaschinen, Algorithmen und Meinungsmacht, S. 175. 102  Kühling/Gauß, MMR 2007, 751 (756). 103  Hartl, Suchmaschinen, Algorithmen und Meinungsmacht, S. 189. 104  Westermann, in: MüKo Wettbewerbsrecht, § 19 GWB, Rn. 44; BGH, Urt. v. 24.10.2011 – KZR 7/10, NJW 2012, 773 (775). 105  Hartl, Suchmaschinen, Algorithmen und Meinungsmacht, S. 183; Paal, ZRP 2015, 34 (35). 106  Hartl, Suchmaschinen, Algorithmen und Meinungsmacht, S. 183.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 215

keit der Inhaltsanbieter kommen.107 In Einstellungsverfahren mit einer gewöhnlichen Bewerberzahl ist eine völlige Unauffindbarkeit von Bewerbern nicht vorstellbar. (b) Nutzung menschlicher Entscheidungsspielräume Die Rangfolge im Einstellungsverfahren ist in der Regel auch nicht allein entscheidend für die Einstellungschancen, sondern dient oft als zusätzliche Informationsquelle. Hinzu kommt, dass im Regelfall eine Auswahl aus der gesamten Rangfolge durch den jeweiligen Personaler möglich ist. Diese beiden Argumente wurden auch in einem Verfahren vor dem Su­ preme Court of Wisconsin in den USA genannt.108 Gegenstand dieses Verfahrens war unter anderem, ob in der Verwendung der Software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), die die Rückfallwahrscheinlichkeit von straffällig gewordenen Personen errechnet, eine Verletzung des Rechts auf ein ordnungsgemäßes Verfahren liegt. Das Gericht wies insbesondere darauf hin, dass davon ausgegangen werden könne, dass sich menschliche Letztentscheider nicht vollkommen auf die generierte Ausgabe verlassen, sondern diese bewerten und bei der Letztentscheidung ihre eigenen Entscheidungsspielräume nutzen werden. Es ist nicht unwahrscheinlich, dass auch deutsche Gerichte im Streitfalle so argumentieren würden. (c) Ankereffekte und Verhaltensfolgen übersteigerten Systemvertrauens Diese vom Supreme Court of Wisconsin geäußerte Erwartung soll aufgrund von Ankereffekten sowie in Anbetracht des hohen Vertrauens in softwaregenerierte Empfehlungen und deren Objektivität und Neutralität sowie der damit einhergehenden Verhaltensfolgen ungerechtfertigt sein.109 Der Ankereffekt beschreibt den Effekt, sich zu stark von einem Anker beeinflussen zu lassen.110 Der Anker ist eine Information, an der sich die Entscheidung orientiert. Die Ausgabe des KI-Systems kann einen solchen Anker darstellen. Die Heranziehung der Ausgabe des KI-Systems als Unterstützung bei der Entscheidungsfindung ist stets mit der Frage der Gewichtung der ZRP 2015, 34 (35). v. Loomis, 881 N.W.2d 749 (2016), 764 f. 109  Citron, (Un)Fairness Of Risk Scores In Criminal Sentencing, in: Forbes, 13. Juli 2016; Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 22; Hermstrüwer, AöR 145 (2020), 479 (492). 110  Plessner, in: Dorsch/Wirtz, Lexikon der Psychologie, Ankereffekt. 107  Paal, 108  State

216

4. Kap.: Diskriminierungsrisiken und AGG

Ausgabe verbunden.111 Die Einbindung von KI-Systemen soll gerade eine Steuerungsfunktion übernehmen.112 Die generierte Ausgabe stellt also einen wichtigen Anker dar. Aufgrund des Ankereffektes kommt es zu einer Einschränkung des subjektiven Entscheidungsspielraums.113 Dieser Effekt wird durch ein hohes Systemvertrauen noch verstärkt. Vertrauen kann man definieren als Überzeugung einer Person, dass das System sie bei der Zielerreichung in einer durch Unsicherheit gekennzeichneten Situation unterstützen wird.114 Dieses Vertrauen wird gesteigert, wenn der menschliche Letztentscheider die Erfahrung macht, dass das System zuverlässig ist.115 Je höher die Leistungsfähigkeit des Systems ist, desto eher kommt es zu einem übersteigerten Vertrauen in das System.116 Zwar können Systemfehler zu einem gewissen Vertrauensverlust führen.117 Allerdings werden Fehler – gerade im hiesigen Kontext – selten wahrgenommen. So wird das Unternehmen, welches das KI-System im Einstellungsverfahren einsetzt, nicht erfahren, ob ein nichteingestellter Bewerber womöglich bessere Leistungen erbracht hätte.118 Es wird also ein mitunter zu großes Systemvertrauen vorliegen. Unter automation misuse versteht man die Verhaltensfolgen eines übersteigerten Systemvertrauens.119 Vorliegend, also im Bereich von entscheidungsunterstützenden Systemen, ist insbesondere das Phänomen des Automatisierungsbias von Relevanz. Menschen erliegen hierbei einem problematischen psychologischen Bindungseffekt.120 Der Automatisierungsbias wird definiert als „errors resulting from the use of automated cues as a heuristic replacement for vigilant information seeking and processing“121 (dt. „Fehler, die sich aus der Verwendung automatischer Hinweise als heuristischem Ersatz für eine aufmerksame Informationssuche und -verarbeitung ergeben“). Es besteht eine Tendenz, die Ausgabe eines Systems nicht zu hinterfragen, sondern schlichtweg zu übernehmen.122 Es kommt zu einer Verengung des DOeD 2021, 161 (167). VerwArch 2021, 1 (19). 113  Hermstrüwer, AöR 145 (2020), 479 (492). 114  Bahner, Übersteigertes Vertrauen in Automation, S. 21. 115  Bahner, Übersteigertes Vertrauen in Automation, S. 25. 116  Bahner, Übersteigertes Vertrauen in Automation, S. 25. 117  Bahner, Übersteigertes Vertrauen in Automation, S. 25. 118  Hacker, Common Market Law Review (2018), 1143 (1150). 119  Bahner, Übersteigertes Vertrauen in Automation, S. 27. 120  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (19). 121  Mosier/Skitka/Heers/Burdick, Int. J. Aviat. Psychol. 1998, S. 47 (48). 122  Bahner, Übersteigertes Vertrauen in Automation, S. 40; Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 22. 111  Els,

112  Martini/Ruschemeier/Hain,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 217

subjektiven Entscheidungsspielraums.123 Die Gründe hierfür sind vielfältig. So kann beispielsweise ein reduzierter (Begründungs-)Aufwand gegenüber Vorgesetzten bei schlichter Übernahme der Empfehlung zu einer Übernahme verleiten. Dabei werden Informationen, die eine Überprüfung der Ausgabe ermög­ lichen würden, oftmals überhaupt nicht abgerufen. Selbst wenn aber eine Auseinandersetzung mit der Ausgabe erfolgt, kann es zu Problemen kommen. Im Einstellungsverfahren wird die Ausgabe in der Regel nur eine von mehreren Informationsquellen sein. Hierdurch kommt es aber nicht zwingend zu einer Relativierung der Ausgabe. Denn aus anderen Quellen abgerufene Informationen werden dann durch den menschlichen Letztentscheider verzerrt verarbeitet.124 Dabei existieren verschiedene Arten der Verzerrung. Zum einen der sog. assimilation bias. Hier werden mehrdeutige Informationen aus anderen Quellen in einer Weise interpretiert, die der Empfehlung entspricht.125 Zum anderen der sog. confirmational bias. Bei diesem Verzerrungsmechanismus blendet der menschliche Letztentscheider der Ausgabe widersprechende Informationen aus und nimmt dadurch allein Informationen wahr, die die Ausgabe bestätigen.126 Zuletzt der sog. discounting bias, bei dem der menschliche Letztentscheider der Ausgabe widersprechende Informationen zwar als solche wahrnimmt, diesen aber eine geringe Bedeutung zuschreibt.127 (d) Zwischenergebnis – Nachteil durch Zahlenwert/Rangfolgenplatzierung Obwohl Mitarbeiter der Personalabteilung also theoretisch unter allen Bewerbern auswählen können und die Rangfolge nur eine Informationsquelle ist, kann die ermittelte Rangfolge den Entscheidungskorridor im Einstellungsverfahren faktisch stark verengen.128 Dem kann zu einem gewissen Grad entgegengewirkt werden, indem die menschlichen Letztentscheider durch den Arbeitgeber zu einer kritischen Überprüfung der Ausgabe angehalAöR 145 (2020), 479 (492). Übersteigertes Vertrauen in Automation, S. 41. 125  Bahner, Übersteigertes Vertrauen in Automation, S. 41; Mosier/Skitka, in: Parasuraman/Mouloua, Automation and Human Performance: Theory and Applications, S. 201 (205). 126  Bahner, Übersteigertes Vertrauen in Automation, S. 41; Mosier/Skitka, in: Parasuraman/Mouloua, Automation and Human Performance: Theory and Applications, S. 201 (205). 127  Bahner, Übersteigertes Vertrauen in Automation, S. 41; Mosier/Skitka, in: Parasuraman/Moulou: Automation and Human Performance: Theory and Applications, S. 201 (205). 128  Wischmeyer, AöR 143 (2018), 1 (27). 123  Hermstrüwer, 124  Bahner,

218

4. Kap.: Diskriminierungsrisiken und AGG

ten werden. Dennoch kann man unter diesen Gegebenheiten mit guten Argumenten vertreten, dass aus objektiver Sicht eines verständigen Dritten hierin bereits ein Nachteil liegt.129 c) Direkte Anknüpfung an Benachteiligungsmerkmal Weitere Voraussetzung einer unmittelbaren Benachteiligung ist, dass das Benachteiligungsmerkmal direkter Anknüpfungspunkt der Behandlung ist.130 Die weniger günstige Behandlung muss mit dem Merkmal im Sinne von § 1 AGG kausal verknüpft sein. Der Benachteiligende muss seine benachteiligende Maßnahme entweder ausdrücklich oder gedanklich an ein Merkmal im Sinne des § 1 AGG direkt anknüpfen.131 Eine unmittelbare Benachteiligung verlangt einen Zurechnungszusammenhang zwischen Benachteiligung und verpöntem Merkmal.132 Das Merkmal muss bei der Entscheidung mitberücksichtigt worden sein, d. h. es muss bei der Entscheidungsfindung eine unmittelbare Rolle gespielt haben.133 aa) Maßgeblichkeit des Trainingsprozesses Allgemeine Voraussetzung ist, dass die in das KI-System implementierten Modelle auf Benachteiligungsmerkmale als Variablen abstellen. Entscheidend für die Frage, ob eine unmittelbare Benachteiligung vorliegt, sind die Ausgestaltung des Trainingsprozesses und die dort gesetzten Ursachen von Verzerrungen. Man kann grob zwischen zwei Ursachen von Verzerrungen unterscheiden.134 Zum einen kann schlicht und ergreifend eine gesellschaftliche Ungleichverteilung von bestimmten Eigenschaften bei Merkmalsträgern und NichtMerkmalsträgern vorliegen, die im Trainingsdatensatz korrekt abgebildet ist (engl. unequal ground truth; societal bias).135 Dies kann insbesondere zu 129  Höpfner/Daum, ZfA 2021, 467 (493); a. A.: Straker, in: Hoeren/Sieber/Holz­ nagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 20. 130  Serr, in: Staudinger, BGB, § 3 AGG, Rn. 17; Baumgärtner, in: beck-online. GROSSKOMMENTAR, § 3 AGG, Rn. 47. 131  Rupp, RdA 2009, 307 (308). 132  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 47. 133  von Steinau-Steinrück/Schneider, in: Boecken/Düwell/Diller/Hanau, Gesamtes Arbeitsrecht, § 3 AGG, Rn. 4; Selig, Rechtliche Probleme des Allgemeinen Gleichbehandlungsgesetzes, S. 49. 134  Hacker, Common Market Law Review 2018, 1143 (1147). 135  Hacker, Common Market Law Review 2018, 1143 (1148 f.).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 219

Proxy-Diskriminierung und damit zu einer mittelbaren Benachteiligung führen.136 Zum anderen kann es aufgrund verzerrter Trainingsdaten (engl. statistical bias) zu Verzerrungen im Modell kommen, wobei Verzerrungen in Daten wiederum in verschiedenen Ausprägungen auftreten.137 Diese können etwa schlecht ausgewählt, unvollständig, falsch, veraltet oder nicht repräsentativ sein.138 Eine unmittelbare Benachteiligung ist im Falle eines überwachten Trainingsprozesses selten, aber nicht ausgeschlossen. Dies kommt von vornherein nur in Betracht, wenn die Trainingsdaten direkte Aussagen zu Benachteiligungsmerkmalen treffen.139 Die Modelle müssten also mit Daten trainiert worden sein, die beispielsweise direkte Aussagen zu der ethnischen Herkunft oder dem Geschlecht enthalten. Bei den hier in Rede stehenden Modellen ist das oft nicht der Fall. Grundsätzlich ist eine unmittelbare Benachteiligung aber nicht ausgeschlossen. Dies ist etwa denkbar, wenn das das Ermittlungsmodell auf Videodaten trainiert wird, die direkte Aussagen zur ethnischen Herkunft enthalten oder das Entscheidungsmodell auf Grundlage von Bestandsmitarbeiterdaten trainiert wird, die direkte Aussagen zu Geschlecht oder Alter enthalten. Benachteiligungsmerkmale als Variablen können die Folge verzerrter Trainingsdaten sein und etwa vorkommen, wenn den Entwicklern keine vorannotierten Daten zur Verfügung stehen und diese die Daten aus diesem Grund selbst annotieren.140 Der Annotationsprozess unterliegt den subjektiven Vorstellungen der Entwickler und ist damit potenziell fehleranfällig.141 Nutzt der Entwickler für das Training des Modells etwa Benachteiligungsmerkmale im Sinne des § 1 AGG als Eingabe und annotiert diese in negativer Weise, kann

Common Market Law Review 2018, 1143 (1148 f.). Common Market Law Review 2018, 1143 (1148 f.); für einen Überblick Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 7; Untergruppen sind beispielsweise der sog. sampling bias/representation bias im Sinne einer Unterrepräsentation bestimmter Bevölkerungsgruppen in den Trainingsdaten oder der sog. historical bias, bei dem historische Gegebenheiten zu verzerrten Trainingsdaten geführt haben (z. B. Training auf Daten bisher erfolgreicher Bewerber, aber vornehmlich Einstellung von Männern in der Vergangenheit). Auch ein fehlerhafter Umgang mit Daten durch den Entwickler im Sinne einer durch implizite Voreingenommenheit bedingten, unrichtigen Annotation beim überwachten Lernen kann zu verzerrten Trainingsdaten führen. 138  Wildhaber/Lohmann/Kasper, ZSR 2019, 459 (466). 139  Hacker, Common Market Law Review 2018, 1143 (1151): „[…] unless these practices directly relate to class membership […]“; Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 95. 140  Barocas/Selbst, Calif. L. Rev. 2016, 671 (681). 141  Barocas/Selbst, Calif. L. Rev. 2016, 671 (681). 136  Hacker, 137  Hacker,

220

4. Kap.: Diskriminierungsrisiken und AGG

es später zu unmittelbaren Benachteiligungen kommen.142 Denn das Modell würde im Zuge des Trainingsprozesses nach Verbindungen zwischen Eingabe und Ausgabe suchen und etwaige statistische Zusammenhänge zwischen verpöntem Stellvertretermerkmal und Hauptmerkmal zu Entscheidungsregeln generalisieren. Bei unrichtigen Regeln, die auf fehlerhafter Generalisierung basieren, handelt es sich um Vorurteile. In der Anwendungsphase würde das System daher vorurteilsbehaftet auf Benachteiligungsmerkmale als Variablen abstellen. Dies gilt auch, wenn der Entwickler bei der Annotation aufgrund impliziter (also unbewusster) Vorurteile Personen, die Benachteiligungsmerkmale aufweisen, negative Ausgabewerte zuweist.143 Zwar handelt es sich dann um eine unbewusst negative Annotation. Am Ergebnis, einem trainierten Modell, welches auf Benachteiligungsmerkmale als Variablen abstellt, ändert sich aber nichts, sodass auch in diesem Fall eine unmittelbare Benachteiligung vorliegen kann.144 Dasselbe würde gelten, wenn der Entwickler den Datensatz so konstruiert, dass Personen mit Benachteiligungsmerkmalen über-/unterrepräsentiert sind (engl. sampling bias).145 Die Trainingsdaten müssen repräsentativ für die Gesamtbevölkerung sein, da andernfalls die gefundenen Muster nur für den Trainingsdatensatz gelten und im Übrigen fehlerhafte Rückschlüsse gezogen werden.146 Die Überrepräsentation bestimmter Personengruppen führt etwa dazu, dass diese Personengruppen für eine bestimmte Entscheidung häufiger empfohlen werden.147 Ein weiterer Fall, der sich später als unmittelbare Benachteiligung auswirken kann, liegt vor, wenn für das Training des Modells Personen mit Benachteiligungsmerkmalen ausgewählt werden, die schlechtere Ausgabewerte aufweisen.148 bb) Inbetriebnahme als unmittelbare Benachteiligung Ein Abstellen auf die Inbetriebnahme des KI-Systems kommt von vorn­ herein nur in den Fällen in Betracht, in denen der Benutzer das KI-System zielgerichtet zur Benachteiligung einsetzt (vgl. § 3 Abs. 5 AGG; sog. Masking). Im Falle des Masking manipuliert der Arbeitgeber den Trainingsprozess, etwa indem absichtlich Trainingsdatensätze genutzt werden, in denen Merkmalsträger über-/unterrepräsentiert sind149 oder schlechtere Werte aufweiCommon Market Law Review 2018, 1143 Common Market Law Review 2018, 1143 144  Hacker, Common Market Law Review 2018, 1143 145  Hacker, Common Market Law Review 2018, 1143 146  Barocas/Selbst, Calif. L. Rev. 2016, 671 (686 f.). 147  Hermstrüwer, AöR 145 (2020), 479 (493). 148  Hacker, Common Market Law Review 2018, 1143 149  Sog. Stichprobenverzerrung. 142  Hacker, 143  Hacker,

(1151). (1152). (1152). (1151 f.). (1151 f.).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 221

sen.150 In diesem Fall ist § 3 Abs. 5 AGG anzuwenden, wonach die Anweisung zur Benachteiligung einer Person als Benachteiligung durch den Anweisenden gilt. In solchen Fällen handelt es sich dann auch um eine unmittelbare Benachteiligung. Allerdings werden Arbeitgeber, die Merkmalsträger wissentlich und willentlich benachteiligen, wenig Interesse an einer Verschleierung ihrer Benachteiligungsabsichten durch kostspielige KI-Systeme haben.151 Viel eher besteht die Tendenz, keinerlei, gerade auch keine technischen Spuren zu hinterlassen.152 cc) Systemverhalten als unmittelbare Benachteiligung Stellt man auf das Systemverhalten ab, ist für die Frage, ob in dem Systemverhalten in der konkreten Situation eine unmittelbare Benachteiligung liegt, allein entscheidend, ob die Benachteiligung an ein Benachteiligungsmerkmal anknüpft.153 Sofern das System infolge des Trainingsprozesses bei der Datenverarbeitung an Benachteiligungsmerkmale als Variablen anknüpft, handelt es sich um eine unmittelbare Benachteiligung.154 Das Benachteiligungsmerkmal ist dann ursächlich für die Ausgabe.155 Das System knüpft an diese Entscheidungsregeln an, die bei KNN im Trainingsprozess aus den Trainingsdaten abgeleitet werden. Man kann insoweit von statistisch-unmittelbarer Benachteiligung sprechen.156 Entgegen einer teilweise vertretenen Auffassung157 bedarf es hier keiner Kenntnis des Arbeitgebers von der Entscheidungsrelevanz des Benachteiligungsmerkmals.158 In herkömmlichen Einstellungsverfahren wird die Kennt150  Barocas/Selbst, Calif. L. Rev. 2016, 671 (692); Hacker, Common Market Law Review 2018, 1143 (1151 f.). 151  Barocas/Selbst, Calif. L. Rev. 2016, 671 (693); a. A. wohl Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 342 ff. 152  Krieger, Stanford Law Review 1995, 1161 (1177). 153  Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 3 AGG, Rn. 2. 154  Höpfner/Daum, ZfA 2021, 467 (491). 155  Das ist etwas anderes als der Hinweis darauf, dass die Systeme nur Korrela­ tionen zwischen Merkmalen ermitteln, keine Kausalitäten. So kann die Variable „Geschlecht“ mitursächlich für die generierte Ausgabe sein und gleichwohl nicht feststehen, ob tatsächlich eine Kausalität zwischen Geschlecht und Ausgabe besteht. 156  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 28; Höpfner/Daum, ZfA 2021, 467 (491). 157  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 364 ff.; von Lewinski/ de Barros Fritz, NZA 2018, 620 (622). 158  So auch Höpfner/Daum, ZfA 2021, 467 (493 f.); aus diesem Grund erübrigen sich auch Ausführungen zu einer etwaigen Zurechnung impliziten Wissens intransparenter KI-Systeme.

222

4. Kap.: Diskriminierungsrisiken und AGG

nis vom Vorliegen des Benachteiligungsmerkmals (nicht von dessen Entscheidungsrelevanz159) allein deshalb verlangt, weil andernfalls eine direkte gedankliche Anknüpfung an dieses Merkmal denklogisch nicht möglich ist.160 Hier knüpft aber das KI-System an ein Benachteiligungsmerkmal an; es ist daher allein maßgeblich, wie die Ausgabe zustande kommt.161 dd) Menschliche (Vor-)Auswahlentscheidung als unmittelbare Benachteiligung Fraglich ist, wann in der (Vor-)Auswahlentscheidung, die auf der Ausgabe des Systems beruht, eine unmittelbare Benachteiligung gemäß § 3 Abs. 1 AGG liegt. Konkret ist fraglich, ob und wann in dieser Konstellation die Benachteiligung in Form der menschlichen (Vor-)Auswahlentscheidung normativ als Anknüpfung an ein Benachteiligungsmerkmal gewürdigt werden kann.162 Es wird vertreten, dass der Mitarbeiter der Personalabteilung in den hier in Rede stehenden Fallkonstellationen nicht etwa wegen des Geschlechts, einer Behinderung oder einer bestimmten ethnischen Herkunft von einer Einstellung absieht, sondern stets wegen der generierten Ausgabe, sodass eine unmittelbare Benachteiligung von vornherein nicht in Betracht komme.163 Allerdings kann auch bei entscheidungsunterstützenden KI-Systemen und einer vordergründigen Anknüpfung an die neutrale Ausgabe eine unmittelbare Benachteiligung vorliegen, wenn das KI-System an Benachteiligungsmerkmale im Sinne des § 1 AGG als Variablen anknüpft164 und der Mitarbeiter Kenntnis dieser Variablen hat. Für eine unmittelbare Benachteiligung ist zumindest erforderlich, dass der Mitarbeiter erkennt, dass die Ausgabe des Systems auf die systeminterne Anknüpfung an ein Benachteiligungsmerkmal im Sinne von § 1 AGG zurückzuführen ist.165 Das kann nur der Fall sein, wenn der Mitarbeiter in die Entwicklung involviert war und aus diesem Grund Kenntnisse über den Trainingsprozess im Allgemeinen und über die in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1072. in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 3 AGG, Rn. 2. 161  Barocas/Selbst, Calif. L. Rev. 2016, 671 (694); vgl. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 362, der mit Blick auf das Entscheidungsmodell vom Erfordernis einer „entscheidungsmodellbezogenen Kauslität“ spricht. 162  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 49. 163  Dzida/Groh, NJW 2018, 1917 (1919). 164  von Lewinski/de Barros Fritz, NZA 2018, 620 (622). 165  Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 44. 159  Geißler,

160  Schlachter,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 223

Trainingsdaten im Besonderen hat.166 Selbst Kenntnisse der Trainingsdaten und des Trainingsprozesses vermitteln, wie dargelegt, nicht zwangsläufig eine Kenntnis der Variablen. Führen die Kenntnisse des Entwicklungsprozesses aber zu einer Kenntnis der für die Ausgabe ausschlaggebenden Merkmale, macht sich der Mitarbeiter die Empfehlung des KI-Systems durch die Umsetzung in einer menschlichen Entscheidung zu eigen.167 Abseits echter Kenntnis kommt eine Zurechnung des impliziten Wissens des KI-Systems allenfalls ausnahmsweise und unter der Voraussetzung in Betracht, dass die Ausgabe Verdacht erregt.168 d) Zwischenergebnis – Unmittelbare Benachteiligung Eine unmittelbare Benachteiligung setzt kein menschliches Tun oder Unterlassen voraus. Dies kann etymologisch begründet werden und wäre überdies wertungswidersprüchlich. Die Werkzeugtheorie kann zur Vermeidung dieses Wertungswiderspruchs nicht angewandt werden. Dies ergibt sich jedenfalls als argumentum e contrario aus § 3 Abs. 5 AGG. Selbst eine Anwendung der Werkzeugtheorie würde dazu führen, dass nur eine mittelbare Benachteiligung angenommen werden könnte. Dies würde die systeminternen Vorgänge, konkret die Tatsache, dass das KI-System auf Benachteiligungsmerkmale als Variablen abstellt, ignorieren. Sofern also das KI-System, beispielsweise aufgrund verzerrter Trainingsdaten, auf Benachteiligungsmerkmale als Variablen abstellt, gilt Folgendes: Trifft ein entscheidungsersetzendes KI-System eine (Vor-)Auswahl, handelt es sich dabei um eine unmittelbare Benachteiligung. Bei entscheidungsunterstützenden KI-Systemen ist die Bewertung von der jeweiligen Erscheinungsform der Ausgabe abhängig. Eine unmittelbare Benachteiligung liegt, wegen des übersteigerten Systemvertrauens und der damit einhergehenden Verhaltensfolgen, vor, wenn ein entscheidungsunterstützendes KI-System einen Punktwert oder eine Rangfolgenplatzierung ausgibt. Gibt das KI-System lediglich die Ausprägungen von Persönlichkeitsmerkmalen aus und knüpft ein Mitarbeiter der Personalabteilung seine Entscheidung an diese Ausgabe, handelt es sich dabei um die weniger günstige Behandlung. Eine unmittel166  von Lewinski/de Barros Fritz, NZA 2018, 620 (622); Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 44; Hacker, Common Market Law Review 2018, 1143 (1151). 167  Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 44. 168  Vgl. hierzu im Einzelnen Hacker, RW 2018, 243 (270 ff.); Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 367 ff.; vgl. Linke, Digitale Wissensorganisation, S. 248 ff., der eine Zurechnung impliziten Wissens von KI-Systemes in dieser Konstellation ablehnt.

224

4. Kap.: Diskriminierungsrisiken und AGG

bare Benachteiligung liegt nur vor, sofern er Kenntnisse der Variablen hat. Dies wird selten der Fall sein, weil der Mitarbeiter der Personalabteilung in aller Regel nicht zugleich in die Entwicklung des KI-Systems involviert ist. 2. Mittelbare Benachteiligung Das Antidiskriminierungsrecht kennt zwei Kategorien von Benachteiligungen.169 Das AGG schützt auch vor mittelbarer Benachteiligung (§  3 Abs. 2).170 Eine mittelbare Benachteiligung ist gegeben, wenn dem Anschein nach neutrale Vorschriften, Kriterien oder Verfahren Personen wegen eines in § 1 AGG genannten Grundes gegenüber anderen Personen in besonderer Weise benachteiligen können. Es wird dabei nicht direkt an ein Benachteiligungsmerkmal, sondern an neutrale Vorschriften, Kriterien oder Verfahren angeknüpft. Dies muss sich auf Träger eines Benachteiligungsmerkmals nachteilig auswirken.171 a) „dem Anschein nach neutrale Vorschriften, Kriterien oder Verfahren“ Denkbar wäre, die durch das KI-System verwendeten Variablen, sofern es sich um neutrale Stellvertretermerkmale handelt, als neutrale Kriterien im Sinne von § 3 Abs. 2 AGG einzuordnen. Eine mittelbare Benachteiligung würde dann vorliegen, wenn durch das KI-System an dem Anschein nach neutrale Kriterien angeknüpft wird und die Anknüpfung an diese Kriterien faktisch zu einer überproportionalen Belastung von Merkmalsträgern führt.172 Praxistauglicher ist es aber, das ganze KI-System als ein dem Anschein nach neutrales Verfahren im Sinne von § 3 Abs. 2 AGG einzuordnen, sofern durch das KI-System (systemintern) an neutrale Stellvertretermerkmale angeknüpft wird.173 Das bedeutet, dass auch hier maßgeblich ist, wie die Ausgabedaten zustande kommen. Bei statistischer Vorgehensweise sollen Eigenschaften einer Person, sog. Hauptmerkmale, ermittelt werden.174 Dabei kann es sich etwa um Persönlich­ keitsmerkmale handeln. Eine Einschätzung solcher Hauptmerkmale könn­te erfolgen, indem menschliches Erfahrungswissen aufgebaut und abgerufen in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 1. in: Staudinger, BGB, § 3 AGG, Rn. 26. 171  Annuß, BB 2006, 1629 (1631). 172  Baumgärtner, in: beck-online.GROSSKOMMENTAR, §  3 AGG, Rn. 76  f.; Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 53; Barocas/Selbst, Calif. L. Rev. 2016, 671 (699); Hacker, Common Market Law Review 2018, 1143 (1153). 173  Hacker, Common Market Law Review 2018, 1143 (1153). 174  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 12. 169  Baumgärtner, 170  Serr,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 225

wird.175 Diese Einschätzungen sind allerdings anfällig für Fehler und gerade der Aufbau von Erfahrungswissen ist kostspielig.176 Da die direkte Ermittlung des Hauptmerkmals hohe Informationskosten verursachen kann, wird stattdessen auf sog. Stellvertretermerkmale177 abgestellt, die in einem statistischen Zusammenhang mit dem Hauptmerkmal stehen.178 Diese Stellvertretermerkmale sind leichter zu ermitteln. Dabei kann statistische Diskriminierung – gerade im Kontext maschinellen Lernens – in Form mittelbarer Diskriminierung auftreten.179 Die Trainingsdaten treffen häufig keine direkten Aussagen zu Benachteiligungsmerkmalen, sondern zu vermeintlich neu­tralen Merkmalen wie etwa, bezogen auf das Ermittlungsmodell, zu Sprach-/Gesichtsmerkmalen. Als Stellvertretermerkmale werden diese scheinbar neutralen Merkmale genutzt.180 Dies kann eine Benachteiligung von Merkmalsträgern zur Folge haben.181 Diese neutralen Stellvertretermerkmale können nämlich zwar grundsätzlich auch von Nichtmerkmalsträgern erfüllt werden.182 Mittelbare Benachteiligungen durch KI-Systeme können aber Folge einer ungleichen Verteilung dieser Eigenschaften bei Merkmalsträgern und Nicht-Merkmalsträgern sein, die im Trainingsdatensatz korrekt abgebildet ist (engl. unequal ground truth; societal bias).183 Die Stellvertretermerkmale korrelieren stark mit der Zugehörigkeit zu einer geschützten Gruppe im Sinne des § 1 AGG.184 Bestimmte Eigenschaften können schlicht in einer bestimmten Subpopulation häufiger vorkommen.185 Da das neutrale Merkmal als Stellvertreter (Proxy) eines geschützten Merkmals fungiert, spricht man auch von Proxy-Diskriminierung.186

ZfPP 2020, 265 (274 f.). ZfPP 2020, 265 (274 f.). 177  Engl. proxy traits. 178  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 12; Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 9. 179  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 54; Hacker, Common Market Law Review 2018, 1143 (1149). 180  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 54; Hacker, Common Market Law Review 2018, 1143 (1149). 181  Koch, ZfPP 2020, 265 (275). 182  Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 3 AGG, Rn. 9. 183  Hacker, Common Market Law Review 2018, 1143 (1148 f.). 184  Wildhaber/Lohmann/Kasper, ZSR 2019, 459 (467 f.); Hacker, Common Market Law Review 2018, 1143 (1148 f.); Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 36. 185  Hermstrüwer, AöR 145 (2020), 479 (495). 186  Wildhaber/Lohmann/Kasper, ZSR 2019, 459 (467 f.); Hacker, Common Market Law Review 2018, 1143 (1148 f.). 175  Koch, 176  Koch,

226

4. Kap.: Diskriminierungsrisiken und AGG

b) „in besonderer Weise benachteiligen“ Die in § 3 Abs. 2 AGG genutzte Formulierung „in besonderer Weise benachteiligen“ meint, dass es insbesondere Personen, die Benachteiligungsmerkmale vorweisen, sein müssen, die durch die neutralen Vorschriften, Kriterien oder Verfahren benachteiligt werden.187 Obgleich sowohl Stellvertretermerkmal als auch Hauptmerkmal diskriminierungsrechtlich neutral sind, sind nachteilige Auswirkungen in Bezug auf Menschen mit einer Behinderung sowie auf Menschen mit einer anderen ethnischen Herkunft denkbar.188 Auch sind Benachteiligungen wegen des Geschlechts und des Alters vorstellbar. Die Anknüpfung an neutrale Merkmale kann sich gleichheitswidrig auswirken.189 aa) Behinderung So bestehen bei Menschen mit Sprach- und/oder Sprechstörungen Unterschiede hinsichtlich verschiedener Sprachmerkmale wie etwa Sprachrhythmus, Betonung, Satzbau und Wortwahl. Sprach- und/oder Sprechstörungen, die in vielfältigen Erscheinungsformen auftreten (etwa Stottern, Lispeln oder Poltern), können Behinderungen im Sinne des § 1 AGG darstellen. Der Begriff der Behinderung beruht auf der Gleichbehandlungsrahmenrichtlinie190 und ist unionrechtsautonom auszulegen.191 Nach der Rechtsprechung des EuGH muss eine Einschränkung von Fähigkeiten vorliegen, die auf langfristige physische, geistige oder psychische Beeinträchtigungen zurückzuführen ist, und die den Betreffenden in Wechselwirkung mit verschiedenen Barrieren an der vollen und wirksamen Teilhabe am Berufsleben hindern kann.192 Bei Sprachstörungen ist die Fähigkeit zur gedanklichen Erzeugung von Sprache gestört, während bei einer Sprechstörung die Fähigkeit, Sprachlaute zu artikulieren, beeinträchtigt ist.

in: Däubler/Beck, AGG, § 3 AGG, Rn. 51. NJW 2018, 1919 (1918); Steege, MMR 2019, 715 (719); O’Connor, Algorithms at work signal a shift to management by numbers, in: Financial Times, 6. Februar 2018. 189  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 3 AGG, Rn. 76. 190  RL 2000/78/EG. 191  Baumgärtner, in: beck-online.GROSSKOMMENTAR, §  1 AGG, Rn. 131; Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 1 AGG, Rn. 7. 192  EuGH, Urt. v. 11.09.2019 – C-397/18, NZA 2019, 1634 (1635 f.). 187  Schrader/Schubert, 188  Dzida/Groh,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 227

Diese Störungen können verschiedene Ursachen (etwa neurologische Erkrankungen) haben. Die Sprach- bzw. Sprechstörungen können die betroffenen Personen auch an der vollen und wirksamen Teilhabe am Berufsleben hindern. Im beruf­ lichen Umfeld bedarf es ständiger Kommunikation. Hier ist die von einer Sprach-/Sprechstörung betroffene Person erkennbar eingeschränkt. Auch kann es bei Sprach-/Sprechstörungen zu sozialem Vermeidungsverhalten kommen. Zudem sind Personen mit Sprach-/Sprechstörungen häufig Vorurteilen und Stigmatisierungen ausgesetzt.193 Wenn nun das KI-System an neutrale Sprachmerkmale anknüpft, die bei Menschen mit Sprach- und/oder Sprechstörungen anders ausgeprägt sind als bei Menschen ohne eine solche Behinderung, kann es zu einer mittelbaren Benachteiligung kommen194, wenn die Heranziehung dieses scheinbar neu­ tralen Stellvertretermerkmals im Ergebnis zu einer überproportionalen Belastung von Merkmalsträgern führt.195 bb) Ethnische Herkunft Besondere Sprechgewohnheiten können auch darin begründet sein, dass Personen die deutsche Sprache als Zweitsprache gelernt haben und etwa ­einen Akzent aufweisen.196 So können auch insoweit Abweichungen hinsichtlich Sprachrhythmus, Betonung, Satzbau oder Wortwahl vorliegen. Das Merkmal der ethnischen Herkunft ist in einem umfassenden Sinn zu verstehen.197 Bestandteil der ethnischen Zugehörigkeit sind sämtliche abstammungsbezogenen Merkmale.198 Die Erstsprache (ugs. Muttersprache) ist typischerweise mit der ethnischen Herkunft verknüpft und daher ein Indikator für die Zugehörigkeit zu einer bestimmten ethnischen Gruppe.199

in: beck-online.GROSSKOMMENTAR, § 1 AGG, Rn. 144. Einzelfallgerechtigkeit versus Generalisierung, S. 55; Dzida/Groh, NJW 2018, 1917 (1920). 195  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 53. 196  Dzida/Groh, NJW 2018, 1917 (1919); Hoffmann, NZA 2022, 19 (21). 197  Göbel-Zimmermann/Marquardt, ZAR 2012, 369 (370). 198  Göbel-Zimmermann/Marquardt, ZAR 2012, 369 (370). 199  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 1 AGG, Rn. 77; Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 3 AGG, Rn. 147; BAG, Urt. v. 29.06.2017 – 8 AZR 402/15, NZA 2018, 33 (38). 193  Baumgärtner, 194  Britz,

228

4. Kap.: Diskriminierungsrisiken und AGG

cc) Geschlecht Auch zwischen Männern und Frauen bestehen Differenzen im Sprachgebrauch.200 Der auffälligste Unterschied besteht im Bereich der Stimmhöhe. Vornehmlich aufgrund physiologischer Ursachen wie dickerer Stimmbänder und einem größeren Resonanzraum haben Männer im Durchschnitt eine tiefere Stimme.201 Zudem hat sich gezeigt, dass Frauen im Vergleich zu Männern eine dynamischere Intonation und eine höhere Aussprachegenauigkeit aufweisen.202 Ferner bestehen zwischen den Geschlechtern Unterschiede im Gebrauch syntaktischer Formen.203 Auch auf semantischer Ebene wurden erhebliche geschlechtsbezogene Unterschiede in der Gebrauchshäufigkeit bestimmter Wörter festgestellt.204 Eine mittelbare Benachteiligung aufgrund neutraler Stellvertretermerkmale ist also auch in diesem Bereich denkbar. dd) Alter Sogar mit Blick auf das Lebensalter kommt eine mittelbare Benachteiligung in Betracht. Mit zunehmendem Alter kommt es gegebenenfalls zu Sprachveränderungen wie etwa einer geringeren syntaktischen Komplexität. So verwenden Menschen ab dem 70. Lebensjahr weniger Nebensätze. Zudem verringert sich ab dem 70. Lebensjahr auch das Sprachtempo um ca. 20 %.205 Zwar dürfte diese Feststellung – in Anbetracht der Regelaltersgrenze – für das Einstellungsverfahren eine eher geringe Bedeutung haben. Dennoch sind auch mit Blick auf dieses Merkmal mittelbare Benachteiligungen dem Grunde nach denkbar. ee) Videoanalyse Im Bereich der Videoanalyse wird (auch) an Gesichtsmerkmale angeknüpft, sodass insoweit eine Benachteiligung wegen nahezu sämtlicher in § 1 AGG genannter Merkmale in Betracht kommt, weil im Hinblick auf die Benachteiligungsmerkmale gegebenenfalls unterschiedlich ausgeprägte Gesichtsmerkmale vorliegen. Hier kann es sogar bereits im Bereich der HardSprache und Geschlecht, S. 38. Sprache und Geschlecht, S. 39 f. 202  Klann-Delius, Sprache und Geschlecht, S. 40 ff. 203  Klann-Delius, Sprache und Geschlecht, S. 43 ff. 204  Klann-Delius, Sprache und Geschlecht, S. 48 ff. 205  Dittmann, Sprachliche Veränderungen im Alter. 200  Klann-Delius, 201  Klann-Delius,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 229

ware Diskriminierungseffekte geben; die Erkennung von Emotionen setzt nämlich voraus, dass Gesichtsbewegungen zuverlässig erkannt werden; bisweilen werden aber (aus technischen Gründen) Gesichter von Männern bzw. Menschen mit heller Hautfarbe zuverlässiger erkannt als Gesichter von Frauen bzw. Menschen mit dunkler(er) Hautfarbe.206 ff) Weitere potenzielle Korrelationen mit Benachteiligungsmerkmalen Und auch, wenn das KI-System, konkret das Entscheidungsmodell, von ermittelten Persönlichkeitsmerkmalen Rückschlüsse auf die Eignung des Bewerbers zieht, sind wegen Korrelationen dieser Merkmale mit Benachteiligungsmerkmalen mittelbare Benachteiligungen vorstellbar.207 So wurden etwa im Hinblick auf die Persönlichkeitsmerkmale der Verträglichkeit und des Neurotizimus geschlechtsspezifische Unterschiede festgestellt.208 Und auch ermittelte Emotionen des Bewerbers können Korrelationen mit einer möglicherweise als Behinderung einzuordnenden psychischen Erkrankung aufweisen.209 Natürlich sind, sofern noch weitere, auf verschiedenen Wegen ermittelte Eigenschaften des Bewerbers im Rahmen des Entscheidungsmodells Berücksichtigung finden, eine Vielzahl weiterer Korrelationen denkbar. So können auch Familienstand, Wohnort, Anzahl der Kinder, Studienort/Reputation der Universiät, Sprachkenntnisse, Berufserfahrung und außercurriculare Aktivitäten Korrelationen mit Benachteiligungsmerkmalen aufweisen.210 c) Zwischenergebnis – Mittelbare Benachteiligung Im Falle des Einsatzes von KI-Systemen handelt es sich um eine mittelbare Benachteiligung in Form der Anknüpfung an ein dem Anschein nach neutrales Verfahren im Sinne von § 3 Abs. 2 AGG, sofern das KI-System auf neutrale Stellvertretermerkmale als Variablen abstellt und sich daraus nachteilige Auswirkungen in Bezug auf Menschen mit Benachteiligungsmerk­ malen ergeben. Dies ist der Fall, wenn negativ bewertete, neutrale Stell­ vertretermerkmale mit Benachteiligungsmerkmalen korrelieren. Ab welcher zahlenmäßig stärkeren Betroffenheit der Merkmalsträger davon gesprochen 206  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 3; Jaume-Palasi/ Lindinger/Kloiber, AI Powered Recruiting?, S. 27. 207  Hermstrüwer, AöR 145 (2020), 479 (510 f.); Freyler, NZA 2020, 284 (288). 208  Kindel, Wie sich Frau und Mann unterscheiden: Verblüffende Erkenntnisse der neuen Forschung, in: GEO; Hyde, Am Psychol 2005, 581 (585). 209  Dzida/Groh, NJW 2018, 1917 (1919); Freyler, NZA 2020, 284 (288). 210  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 377 ff.

230

4. Kap.: Diskriminierungsrisiken und AGG

werden kann, dass die neutralen Verfahren „in besonderer Weise benachteiligen“, wird auf Seite 232 ff. behandelt.  3. Kausalität Gemäß § 7 Abs. 1 AGG bedarf es für einen Verstoß gegen das Benachteiligungsverbot einer Benachteiligung wegen eines in § 1 AGG genannten Grundes, also eines Kausalzusammenhangs. An der Kausalität zwischen der Benachteiligung und dem Benachteiligungsmerkmal wird die Inanspruchnahme des Arbeitgebers nicht scheitern. Es genügt, dass ein Parameter allein oder im Zusammenspiel mit anderen Parametern unmittelbar oder mittelbar an ein Benachteiligungsmerkmal anknüpft, denn schließlich beeinflusst jeder Parameter die Ausgabe.211 Bei entscheidungsunterstützenden Systemen beeinflusst die Ausgabe wiederum die anknüpfende menschliche Entscheidung, sodass auch insoweit eine Kausalität besteht.212

III. § 22 AGG – Beweislast Es obliegt dem Bewerber, das Vorliegen einer Benachteiligung darzulegen und zu beweisen.213 Dies wird dem Bewerber, der die Stelle nicht erhalten hat, keine Probleme bereiten. Mit Blick auf die Kausalität zwischen dem Benachteiligungsmerkmal und der Benachteiligung muss der Bewerber gemäß § 22 AGG „nur“ Indizien, also Vermutungstatsachen214, darlegen und beweisen. Es genügt, wenn diese eine Benachteiligung wegen eines Benachteiligungsmerkmals vermuten lassen. Eine Kausalität muss überwiegend wahrscheinlich erscheinen (Kausalitätswahrscheinlichkeit in Höhe von mehr als 50 %).215 Für diese Feststellung bedarf es keines statistischen Beweises; dies kann auch auf andere Art und Weise dargelegt werden.216 Insoweit ist eine Gesamtwürdigung des Sachverhalts unter Berücksichtigung aller beund entlastenden Indizien des Einzelfalls vorzunehmen.217 ZfA 2021, 467 (493). ZfA 2021, 467 (494). 213  Höpfner/Daum, ZfA 2021, 467 (494); Grünberger, Personale Gleichheit, S. 721. 214  Thüsing, in: MüKo BGB, § 22 AGG, Rn. 12. 215  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 22 AGG, Rn. 6; Weigert, NZA 2018, 1166 (1167). 216  BAG, Urt. v. 27.01.2011 – 6 AZR 526/09, NZA 2011, 1361 (1363); Braun, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 3 AGG, Rn. 11; Schrader/Schubert, in: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 5; Dzida/Groh, NJW 2018, 1917 (1920). 217  Höpfner/Daum, ZfA 2021, 467 (495); vgl. Weigert, NZA 2018, 1166 (1167). 211  Höpfner/Daum,

212  Höpfner/Daum,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 231

1. Mögliche Vermutungstatsachen Teilweise wird vertreten, bereits die Tatsache, dass ein System die Sprechweise von Bewerbern analysiere, könne als Indiz im Rahmen von § 22 AGG herangezogen werden.218 Dies dürfte zu weit gehen, da auch eine Verarbeitung von Sprachdaten denkbar ist, die nicht zu einer Benachteiligung führt. Allerdings kann etwa die Unterrepräsentation von Personen mit Benachteiligungsmerkmalen, die auch der Bewerber aufweist, in den Trainingsdatensätzen als Indiz herangezogen werden. Bewerber werden aber in der Regel keinen Einblick in die Trainingsdatensätze haben. Auch deswegen ist gefordert worden, dass jedenfalls Metadaten zu Trainingsdaten öffentlich zugänglich gemacht werden sollten.219 An diesen bestehe auch kein signifikantes Geheimhaltungsinteresse.220 Auch soll es ausreichen, wenn die Kriterien „ihrem Wesen nach geeignet sind, Personen oder Personengruppen aus den in § 1 AGG genannten Gründen in besonderer Weise zu benachteiligen“.221 Die Kriterien können inhaltlich auf ihre abstrakte Diskriminierungseignung untersucht werden.222 Die Eigenart der Parameter könnte somit als Indiz herhalten. Dies könnte etwa bei dem Beispiel der Stimmhöhe zum Erfolg führen. Allerdings sind die Kriterien bei KI-Systemen mitunter unbekannt; diese wird der Bewerber nur kennen, sofern man ihm ein entsprechendes Recht auf Erklärung gewährt (siehe Seite 173 ff.).223 Zudem lassen die Kriterien teilweise eine klare menschliche Interpretation nicht zu.224 So ist darauf hingewiesen worden, dass Sprache anhand von Merkmalen analysiert werden kann, die unverständlich sind und sich nicht alltagssprachlich übersetzen lassen.225 Zuletzt ist vorgeschlagen worden, § 12 AGG (der Organisationspflichten des Arbeitgebers konstituiert) um eine Testpflicht für KI-Systeme zu erweitern und mit einer Dokumentationspflicht zu flankieren.226 Die Verletzung von Pflichten aus § 12 AGG könne als Indiz für das Vorliegen einer BenachZfA 2021, 467 (495). NJW 2020, 2142 (2144). 220  Hacker, NJW 2020, 2142 (2144). 221  BAG, Urt. v. 27.01.2011 – 6 AZR 526/09, NZA 2011, 1361 (1363). 222  Hoffmann, AcP 214 (2014), 822 (837). 223  Höpfner/Daum, ZfA 2021, 467 (495). 224  Edwards/Veale, Duke Law & Technology Review 2017, 18 (60); Koch, ZfPP 2020, 265 (292); Wachter/Mittelstadt/Russell, Why Fairness Cannot Be Automated, S. 11. 225  Koch, ZfPP 2020, 265 (292). 226  Sesing/Tschech, MMR 2022, 24 (26). 218  Höpfner/Daum, 219  Hacker,

232

4. Kap.: Diskriminierungsrisiken und AGG

teiligung gewertet werden.227 Die Nichtvorlage einer Dokumentation der Tests sei dann ausreichendes Indiz im Sinne von § 22 AGG.228 Auf der anderen Seite könnte es sich bei der Durchführung von Tests, die keine Benachteiligungen aufzeigen, und der Vorlage der entsprechenden Dokumentation um eine entlastende Vermutungstatsache handeln.229 Es müsste sich dabei um eine Pflicht zur regelmäßigen Durchführung von Tests handeln. Denn durch gesellschaftliche Veränderungen können sich die Vorzeichen der Auswahlentscheidung verändern.230 Auch der Vorschlag der Sachverständigenkommission für den Dritten Gleichstellungsbericht der Bundesregierung, in einem neuen § 11 Abs. 2 AGG vorzusehen, dass der Einsatz algorithmischer Systeme im Rahmen personeller Maßnahmen offenzulegen sei, beinhaltet bei einem Verstoß gegen die Offenlegungspflicht das Eingreifen des § 22 AGG.231 2. Statistischer Nachweis Der eingangs erwähnte statistische Nachweis ist aber nicht unzulässig.232 Aus Statistiken können sich Indizien für eine Benachteiligung wegen eines Benachteiligungsmerkmals ergeben. In der Praxis kann der statistische Nachweis daher entscheidend sein.233 Dies gilt insbesondere bei mittelbaren Benachteiligungen.234 Es existieren verschiedene Methoden, einen statistischen Vergleich durchzuführen.235 Grundsätzlich wird hierfür die Verteilung von Merkmalsträgern in verschiedenen Vergleichsgruppen miteinander verglichen.236 Zu klären ist für den Bereich mittelbarer Benachteiligung, wann bei KI-Systemen Personen in besonderer Weise im Sinne des § 3 Abs. 2 AGG benachteiligt werden. Hierfür muss sich die mittelbare Benachteiligung auf 227  Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 12 AGG, Rn. 7. 228  Sesing/Tschech, MMR 2022, 24 (28). 229  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 448. 230  Vgl. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 327 f., der darauf hinweist, dass eine sich ändernde Realität, etwa eine zunehmende Gentrifizierung bei der Anknüpfung an das Stellvertretermerkmal des Wohnorts, erst zu einer Benachteiligung bestimmter Gruppen führen kann. 231  BT-Drs. 19/30750, S. 169. 232  BAG, Urt. v. 27.01.2011 – 6 AZR 526/09, NZA 2011, 1361 (1363); Schrader/ Schubert, in: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 5. 233  Hacker, Common Market Law Review 2018, 1143 (1152); Kraft/Mense/Wrieder, NZM 2020, 826 (830). 234  Serr, in: Staudinger, BGB, § 22 AGG, Rn. 22. 235  Hoffmann, AcP 214 (2014), 822 (824). 236  Hoffmann, AcP 214 (2014), 822 (824).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 233

Bewerber aus einer geschützten Personengruppe jedenfalls wesentlich stärker nachteilig auswirken.237 a) Vergleichsgruppenbildung bei KI-Systemen Zum Zwecke der Feststellung einer Benachteiligung bedarf es also der Bildung von Vergleichsgruppen. Die Vergleichsgruppen sind dann im Hinblick auf die Verteilung von Merkmalsträgern und Nichtmerkmalsträgern zu untersuchen.238 Vergleichsgruppen sind die Gesamtgruppe sowie die benachteiligte und die begünstigte Teilgruppe. Dabei ist die Bestimmung der Teilgruppen Folge einer Aufteilung der Gesamtgruppe.239 Die beiden Teilgruppen sind komplementär zueinander, bilden also zusammen die Gesamtgruppe.240 Es ist also zunächst die Gesamtgruppe festzulegen. Die Gesamtgruppe soll an den Geltungsbereich der differenzierenden Entscheidung anzupassen sein.241 Soweit der Zugang zu einer Beschäftigung betroffen ist, sollen nicht die tatsächlichen Bewerber, sondern alle potenziellen Beschäftigungsinteressenten in die Gesamtgruppe einzubeziehen sein.242 Wer die potenziellen Beschäftigungsinteressenten sind, ist einzelfallabhängig. Es sollen die Personen einbezogen werden, die den relevanten Arbeitsmarkt unter Berücksichtigung von Beschäftigten und Arbeitslosen bilden.243 Insbesondere sollen dabei die nachgefragten und objektiv für die Stelle erforderlichen Qualifikationen maßgeblich sein.244 Zum Zwecke der Aufteilung der Gesamtgruppe in die Teilgruppen soll für jedes (scheinbar) neutrale Kriterium ermittelt werden, welcher Personenkreis dieses Kriterium nicht erfüllt und hierdurch benachteiligt wird.245 Im Hinblick auf KI-Systeme ist dies problematisch. Die Modelle beinhalten eine Vielzahl von feingranularen und teilweise unbekannten Kriterien, sodass eine Teilgruppenbildung auf Grundlage der potenziellen Beschäftigungsinteressenten kaum möglich sein wird. Denn für die Bildung der begünstigten bzw. benachteiligten Teilgruppe werden statistische Daten über die Verteilung der in: MüKo BGB, § 3 AGG, Rn. 31 u. 35. AcP 214 (2014), 822 (829). 239  Hoffmann, AcP 214 (2014), 822 (828). 240  Hoffmann, AcP 214 (2014), 822 (833). 241  Thüsing, in: MüKo BGB, § 3 AGG, Rn. 35. 242  Hoffmann, AcP 214 (2014), 822 (826); Thüsing, in: MüKo BGB, § 3 AGG, Rn. 35. 243  Thüsing, in: MüKo BGB, § 3 AGG, Rn. 35. 244  Hoffmann, AcP 214 (2014), 822 (827). 245  Hoffmann, AcP 214 (2014), 822 (828 f.). 237  Thüsing,

238  Hoffmann,

234

4. Kap.: Diskriminierungsrisiken und AGG

Kriterien in der Gesamtgruppe benötigt. Nun werden etwa zur Verteilung von Bildungsabschlüssen vielleicht statistische Daten (z. B. vom Statistischen Bundesamt)246 existieren. Etwas anderes dürfte aber für die Frage gelten, wie viele Personen in der Gesamtgruppe aller potenziellen Beschäftigungsinteressenten etwa einen bestimmten Sprachrhythmus aufweisen. Zu diversen Kriterien wird es keine statistischen Daten geben; dementsprechend wird eine Teilgruppenbildung insoweit scheitern. Daher ist überlegenswert, im Bereich des Einsatzes von KI-Systemen „nur“ auf die tatsächlichen Bewerber abzustellen.247 Damit würde man einen Vergleich innerhalb der konkreten Maßnahme anstellen; dies hat gleichzeitig eine höhere Aussagekraft der Statistik zur Folge.248 Sofern eine kontinuierliche Dokumentation der Ausgaben des KI-Systems erfolgt,249 können auch Vergleiche mit Maßnahmen aus der jüngeren Vergangenheit angestellt werden.250 Zudem stehen auch die benachteiligte und begünstigte Teilgruppe fest. Diese Begrenzung der Gesamtgruppe ist in Anbetracht der Tatsache, dass für die Feststellung einer mittelbaren Diskriminierung ein statistischer Nachweis nicht unbedingt erforderlich ist, nicht zwingend. Sofern man aber von einer solchen Vergleichsgruppenbildung ausgeht, erfolgt die Durchführung des statistischen Vergleichs durch die vergleichende Betrachtung der gebildeten Gruppen. Dabei bestehen unterschiedliche methodische Vorgehensweisen251: b) Vergleich von Teilgruppen In der Rechtsprechung des Bundesarbeitsgerichts wurde bis zum Inkrafttreten des AGG die Verteilung von Merkmalsträgern/Nichtmerkmalsträgern in der begünstigten und in der benachteiligten Teilgruppe verglichen.252 Allein die vergleichende Betrachtung von prozentualen Anteilen von Merkmals­ trägern/Nichtmerkmalsträgern in begünstigter und benachteiligter Teilgruppe war für die Feststellung einer mittelbaren Benachteiligung ausschlaggein: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 54. wohl auch Wachter/Mittelstadt/Russell, Why Fairness Cannot Be Automated, S. 19; für den analogen Bereich Grobys, NZA 2006, 898 (902 f.). 248  Thüsing, in: MüKo BGB, § 22 AGG, Rn. 18; Grobys, NZA 2006, 898 (902 f.). 249  Hacker, NJW 2020, 2142 (2143 f.). 250  Thüsing, in: MüKo BGB, § 22 AGG, Rn. 18. 251  Hoffmann, AcP 214 (2014), 822 (829). 252  BAG, Urt. v. 14.10.1986 – 3 AZR 66/83, NZA 1987, 445 (446); BAG, Urt. v. 20.11.1990 – 3 AZR 613/89, NZA 1991, 635 (636); BAG, Urt. v. 10.12.1997 – 4 AZR 264/96, NZA 1998, 599 (601). 246  Schrader/Schubert, 247  So



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 235

bend.253 Die Zusammensetzung der Gesamtgruppe spielte keine Rolle für die Feststellung, sondern diente nur als Ausgangspunkt für die Aufteilung in die Teilgruppen.254 Diese Vergleichsmethodik hat den Nachteil, dass die Ergebnisse auch von der relativen Größe der Teilgruppen abhängig sind.255 Je kleiner die benachteiligte Gruppe im Verhältnis zu der Gesamtgruppe ist, desto mehr nähern sich die prozentualen Anteile in den beiden Teilgruppen an, was die Feststellung einer mittelbaren Benachteiligung erschweren kann.256 In Einstellungsverfahren dürfte dies allerdings keine Probleme verursachen, da hier die Gruppe abgelehnter Bewerber, also die benachteiligte Teilgruppe, im Verhältnis zu der Gesamtgruppe üblicherweise relativ groß ist. Eine besondere Benachteiligung soll vorliegen, wenn der Anteil der Merkmalsträger an der benachteiligten Teilgruppe wesentlich höher ist als der Anteil der Merkmalsträger an der begünstigten Teilgruppe.257 Fraglich ist, welche Schwellenwerte hierfür überschritten sein müssen. Teilweise wird auf einen Relationsunterschied von 75 % abgestellt.258 Andere halten einen Relationsunterschied in Höhe von 67 % für ausreichend.259 Wieder andere meinen, es bedürfe jedenfalls eines Relationsunterschiedes von 60 %.260 Unklar ist allerdings, wie der Relationsunterschied überhaupt berechnet werden soll.261 Die Literaturstellen nehmen Bezug auf einen Aufsatz262, welcher an der in Bezug genommenen Stelle zunächst den prozentualen Anteil der Merkmalsträger sowie den prozentualen Anteil der Nichtmerkmalsträger an der benachteiligten und begünstigten Teilgruppe feststellt und die so ermittelten prozentualen Werte dividiert (z. B. prozentualer Anteil der Frauen in der benachteiligten Teilgruppe/prozentualer Anteil der Männer in der benachteiligten Teilgruppe = Quotient). Die dadurch für beide Teilgruppen errechneten Quotienten werden dann gegenübergestellt. Der relative Unterschied zwischen den Quotienten soll dann als Indiz für eine nachteilige Betroffenheit AcP 214 (2014), 822 (833). AcP 214 (2014), 822 (832 f.). 255  Hoffmann, AcP 214 (2014), 822 (833 f.). 256  Vgl. das anschauliche Beispiel von Hoffmann, AcP 214 (2014), 822 (834). 257  BAG, Urt. v. 14.10.1986 – 3 AZR 66/83, NZA 1987, 445 (446). 258  Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeits­ recht, § 3 AGG, Rn. 10; Thüsing, in: MüKo BGB, § 3 AGG, Rn. 31; LAG Hamburg, Urt. v. 20.11.2008 – 7 Sa 41/08, BeckRS 2009, 51445; Wißmann, in: FS Wlotzke, S. 807. 259  Schrader/Schubert, in: Däubler/Bertzbach, AGG, § 3 AGG, Rn. 56. 260  Serr, in: Staudinger, BGB, § 3 AGG, Rn. 28. 261  Hoffmann, AcP 214 (2014), 822 (844). 262  Wißmann, in: FS Wlotzke, S. 807. 253  Hoffmann, 254  Hoffmann,

236

4. Kap.: Diskriminierungsrisiken und AGG

dienen.263 Sofern der für die benachteiligte Teilgruppe errechnete Quotient um mindestens 75 % (bzw. 67 %) höher liegt als der für die begünstigte Teilgruppe errechnete Quotient, kann dies eine mittelbare Diskriminierung vermuten lassen.264 c) Vergleich benachteiligte Teilgruppe – Gesamtgruppe Nach Inkrafttreten des AGG ist das Bundesarbeitsgericht zu einer anderen Betrachtung übergegangen. Nunmehr wurde kein Vergleich der beiden Teilgruppen, sondern von Gesamtgruppe und benachteiligter Teilgruppe angestellt.265 Mit Blick auf diese Vergleichsmethodik ist vorgeschlagen worden, auf einen als Diskriminierungsgrad bezeichneten Wert abzustellen, auf dessen Berechnung hier nicht näher eingegangen werden soll.266 Denn diese Vergleichsmethodik kann gerade dort zu Problemen führen, wo die begünstigte Teilgruppe vergleichsweise klein ist.267 Die Verteilung von Merkmalsträgern bzw. Nichtmerkmalsträgern in der benachteiligten Teilgruppe entspricht dann im Wesentlichen der Verteilung in der Gesamtgruppe. Gerade im Einstellungsverfahren wird es regelmäßig zu einer sehr kleinen begünstigten Teilgruppe kommen, sodass hier die Schwächen dieser Vergleichsmethodik offenbar werden können. d) EuGH/US-amerikanisches Recht Der EuGH ist hingegen der Auffassung, die beste Vergleichsmethodik sei, „die Gruppe der männlichen mit der der weiblichen Arbeitskräfte daraufhin zu vergleichen, wie hoch in jeder Gruppe der Anteil der Personen ist, die die […] Voraussetzung […] erfüllen“.268 Der EuGH bildet also bereits andere Vergleichsgruppen. Es werden zunächst Untergruppen des Benachteiligungsmerkmals, also beispielsweise Geschlechtergruppen, gebildet und dann die prozentualen Anteile in den Geschlechtergruppen miteinander verglichen. Der EuGH orienin: FS Wlotzke, S. 807 (814 f.). AcP 214 (2014), 822 (844). 265  Hoffmann, AcP 214 (2014), 822 (835); BAG, Urt. v. 27.01.2011 – 6 AZR 526/09, NZA 2011, 1361 (1364). 266  Vgl. zur Berechnung des Diskriminierungsrades und den Grenzwerten für die Annahme einer mittelbaren Benachteiligung Hoffmann, AcP 214 (2014), 822 (839 ff., 848). 267  Vgl. das anschauliche Beispiel bei Hoffmann, AcP 214 (2014), 822 (836). 268  EuGH, Urt. v. 09.02.1999 – C-167/97, EU:C:1999:60, Rn. 59 – SeymourSmith und Perez. 263  Wißmann,

264  Hoffmann,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 237

tiert sich damit in methodischer Hinsicht stark an der sog. Four-Fifths- oder 80 %-rule des US-amerikanischen Rechts.269 Diese Regel wird für die Feststellung eines sog. adverse impact, also einer nachteiligen Auswirkung, verwendet. Dabei werden die Erfolgsquoten in den verschiedenen Gruppen miteinander verglichen.270 Ausweislich Sect. 1607.4 D der Uniform Guidelines on Employee Selection Procedures (1978) soll eine Erfolgsquote für eine bestimmte Minderheit, die weniger als 4/5 der Erfolgsquote für die Gruppe mit der höchsten Auswahlrate beträgt, einen adverse impact vermuten lassen. Für ein Beispiel eignet sich die Geschlechterdiskriminierung, da das Merkmal nur zwei Werte annehmen kann.271 Nehmen wir an, auf eine Stelle bewerben sich 2.000 Personen bei geschlechtsparitätischer Zusammensetzung. Hiervon werden 162 Personen begünstigt, wobei davon 72 Frauen und 90 Männer sind. Der bevorzugte Anteil in der Gruppe der Frauen beträgt 7,2 % (72 : 1.000), in der Gruppe der Männer 9 % (90 : 1.000). Der Fokus liegt auf der begünstigten Teilgruppe. Dividiert man nun 7,2 % durch 9 % erhält man als Quotienten 0,8, was 80 % entspricht. Nach der US-amerikanischen Vergleichsmethodik würde also noch keine Vermutung für einen adverse impact sprechen, weil die Erfolgsquote für Frauen nicht weniger als 4/5 der Erfolgsquote für Männer beträgt. Den 80 %-Grenzwert hat der EuGH nicht übernommen.272 Diese Vergleichsmethodik stößt dort an ihre Grenzen, wo eine relativ kleine Teilgruppe benachteiligt wird.273 Im Einstellungsverfahren wird dies in der Regel nicht zu Problemen führen, sodass diese Vergleichsmethodik für die Feststellung von Benachteiligungen im Einstellungsverfahren gut geeignet ist. e) Zwischenergebnis – Statistischer Nachweis Insgesamt sollte nach den obigen Ausführungen für die Feststellung einer mittelbaren Benachteiligung im Zusammenhang mit dem Einsatz von KISystemen auf die tatsächlichen Bewerber als Gesamtgruppe abgestellt werden. In methodischer Hinsicht sollte vor dem Hintergrund der Schwächen der Methodik, die die Zusammensetzung der benachteiligten Teilgruppe mit der Zusammensetzung der Gesamtgruppe vergleicht, im Bereich von Einstellungsverfahren besser auf die (aus dem US-amerikanischen Recht entliehene) 269  Hoffmann, AcP 214 (2014), 822 (830); Thüsing, in: MüKo BGB, § 3 AGG, Rn. 31. 270  Hoffmann, AcP 214 (2014), 822 (831). 271  Hoffmann, AcP 214 (2014), 822 (852). 272  Hoffmann, AcP 214 (2014), 822 (831). 273  Hoffmann, AcP 214 (2014), 822 (831).

238

4. Kap.: Diskriminierungsrisiken und AGG

Vergleichsmethodik des EuGH oder die frühere Vergleichsmethodik des Bundesarbeitsgerichts abgestellt werden. Der EuGH hat selten konkrete Prozentsätze genannt.274 Mit Blick auf die Wesentlichkeitsschwelle bestehen keine Bedenken gegen die propagierten prozentualen Grenzen, zumal diese ohnehin nie vollkommen willkürfrei festgelegt werden können.275 Die Frage, ob dem Abstellen auf Erfolgsquoten in Untergruppen von Benachteiligungsmerkmalen und damit auf statistische Parität generell eine richtige Konzep­ tualisierung von Fairness zugrundeliegt, wird unter den Gliederungspunkten IV.1.b)cc)(3)(c) sowie V.2.b)aa) näher behandelt; zunächst einmal ist aber die Vorgehensweise des EuGH zu akzeptieren. 3. Einhegung der Durchsetzungsprobleme Das Antidiskriminierungsrecht leidet an einem Durchsetzungsproblem, das durch den Einsatz von KI-Systemen noch verschärft wird.276 Dieses Durchsetzungsproblem dürfte nicht unbedingt Anreize für die Einhaltung der Antidiskriminierungsvorschriften setzen.277 Anders als im analogen Bereich haben betroffene Personen keinen Ansatzpunkt für Klagen nach dem AGG. Die algorithmische Benachteiligung wird nicht gefühlt; auf ihre Intuition können sich betroffene Personen nicht verlassen.278 Wie gezeigt worden ist, können abgesehen von verschiedenen Vermutungstatsachen auch statistische Daten ein Indiz für eine Benachteiligung sein.279 Vor allem der Vergleich statistischer Verhältnisse in Bezug auf die konkrete Maßnahme oder ähnliche Maßnahmen in der jüngeren Vergangenheit kann eine hohe Aussagekraft haben.280 Eine hohe Aussagekraft hätte etwa die Darlegung einer statistischen Disparität in der Ausgabe des KI-Systems in Bezug auf bestimmte Subpopulationen.281 Hierfür benötigt die betroffene Person Informationen über die Verteilung der Ausgabe und die Gruppenzugehörigkeit der anderen Bewerber.282 Wenngleich auch im Falle der Gewährung von Auskunftsansprüchen der Beweis einer Benachteiligung herausfordernd ist283, könnte also ein Auskunftsanspruch nützlich sein. Why Fairness Cannot Be Automated, S. 29 f. AcP 214 (2014), 822 (842). 276  Hacker, Common Market Law Review 2018, 1143 (1164). 277  Hacker, Common Market Law Review 2018, 1143 (1166). 278  Wachter/Mittelstadt/Russell, Why Fairness Cannot Be Automated, S. 6, 10, 63. 279  Thüsing, in: MüKo BGB, § 22 AGG, Rn. 17. 280  Thüsing, in: MüKo BGB, § 22 AGG, Rn. 18. 281  Hacker, Common Market Law Review 2018, 1143 (1165). 282  Hacker, Common Market Law Review 2018, 1143 (1165). 283  Hartmann, EuZA 2019, 421 (422). 274  Wachter/Mittelstadt/Russell, 275  Hoffmann,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 239

a) Auskunftsanspruch und die Rechtssachen Kelly und Meister Ob ein Auskunftsanspruch des abgelehnten Bewerbers besteht, ist umstritten284 und war Gegenstand eines Rechtsstreits vor dem EuGH.285 Der EuGH hat in der Rechtssache Kelly286 entschieden, dass eine Person, die sich durch die Verletzung des Gleichbehandlungsgrundsatzes für beschwert hält, keinen Anspruch auf Einsichtnahme in Informationen hat, „um sie in die Lage zu versetzen, ‚Tatsachen, die das Vorliegen einer unmittelbaren oder mittelbaren Diskriminierung vermuten lassen‘, gemäß dieser Bestimmung glaubhaft zu machen“.287 In der Rechtssache Meister hat der EuGH auf diese Entscheidung verwiesen und festgehalten, dass ein abgelehnter Bewerber keinen Anspruch auf Auskunft darüber hat, ob der Arbeitgeber einen anderen Bewerber eingestellt hat.288 Gleichzeitig hat er aber festgehalten, dass die vollständige Auskunftsverweigerung eine hinreichende Vermutungstatsache darstellen könne.289 Hinsichtlich des Einsatzes von KI-Systemen dürfte es, wegen der datenschutzrechtlichen Vorgaben, bereits nicht zu einer „Verweigerung jedes Zugangs zu Informationen“ kommen.290 Zudem könnte es sich bei Informationen, die den Bewerber (theoretisch) in die Lage versetzen, Vermutungstatsachen darzulegen, beispielsweise um die Trainingsdatensätze oder die Parameter handeln. Bei der Verweigerung des Zugangs zu diesen Informationen wird es sich nur um eine schwache Vermutungstatsache handeln.291 Denn der EuGH hat die indizielle Bedeutung der Auskunftsverweigerung von den Einzelfallumständen abhängig gemacht.292 Die Auskunftsverweigerung muss aber nicht darin begründet sein, dass der Arbeitgeber etwas zu verbergen hat und bei Auskunftserteilung eine Haftung befürchtet. Vielmehr kann die Auskunftsverweigerung gerade bei dem Einsatz von KI-Systemen auch mit einer (aufgrund vertraglich vereinbarten Geheimnisschutzes bestehenden) rechtlichen oder (aufgrund der Intransparenz der KISysteme bestehenden) tatsächlichen Unmöglichkeit der Auskunftserteilung zusammenhängen.293 Zu guter Letzt kann die Nichterteilung der Auskunft auch damit zusammenhängen, dass die Zusammenstellung der begehrten Informationen aufwendig und kostspielig ist. in: MüKo BGB, § 22 AGG, Rn. 8. Urt. v. 19.04.2012 – C-415/10, EU:C:2012:217 – Meister. 286  EuGH, Urt. v. 21.07.2011 – C-104/10, EU:C:2011:506 – Kelly. 287  EuGH, Urt. v. 21.07.2011 – C-104/10, EU:C:2011:506 Rn. 34 – Kelly. 288  EuGH, Urt. v. 19.04.2012 – C-415/10, EU:C:2012:217 Rn. 46 – Meister. 289  EuGH, Urt. v. 19.04.2012 – C-415/10, EU:C:2012:217 Rn. 47 – Meister. 290  EuGH, Urt. v. 19.04.2012 – C-415/10, EU:C:2012:217 Rn. 47 – Meister. 291  Hacker, Common Market Law Review 2018, 1143 (1166). 292  EuGH, Urt. v. 19.04.2012 – C-415/10, EU:C:2012:217 Rn. 47 – Meister. 293  Grünberger, ZRP 2021, 232 (234). 284  Thüsing, 285  EuGH,

240

4. Kap.: Diskriminierungsrisiken und AGG

b) Datenschutzrechtliche Betroffenenrechte Vor diesem Hintergrund sind die datenschutzrechtlichen Betroffenenrechte als Mechanismus zur Überwindung der beschriebenen Durchsetzungsprobleme in den Blick geraten.294 aa) Auskunftsrecht nach Art. 15 Abs. 1 lit. h) DS-GVO Insbesondere bietet sich wiederum ein Rückgriff auf Art. 15 Abs. 1 lit. h) DS-GVO an. Art. 15 Abs. 1 lit. h) DS-GVO gesteht der betroffenen Person nicht nur ein Recht auf aussagekräftige Informationen über die involvierte Logik, sondern auch über die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person zu. Diese Begriffe bedürfen einer Konturierung.295 Der Wortlaut entspricht auch insoweit dem der Art. 13 Abs. 2 lit. f) und Art. 14 Abs. 2 lit. g) DS-GVO. Inwieweit sich aus dem gleichlautenden Art. 15 Abs. 1 lit. h) DS-GVO Auskunftsrechte im Hinblick auf die Verteilung der Ausgabe ergeben, ist von der Auslegung der Begriffe abhängig. Hierunter kann man lediglich mögliche Ergebnisse der Datenverarbeitung und daraus resultierende Entscheidungsmöglichkeiten verstehen.296 Demgegenüber wird vertreten, dass nach Art. 15 Abs. 1 lit. h) DS-GVO jedenfalls Auswirkungen offenzulegen seien, welche die in Art. 5 Abs. 1 DSGVO aufgezählten Grundsätze des Datenschutzrechts berühren.297 Die Verteilung der Ausgabe und eine etwaige statistische Disparität lässt zumindest Rückschlüsse auf eine Benachteiligung nach dem AGG zu und berührt damit den Grundsatz der Verarbeitung nach Treu und Glauben298 gemäß Art. 5 Abs. 1 lit. a) DS-GVO.299 Kommt es durch den Einsatz von KI-Systemen zu einer Benachteiligung, ist der Grundsatz der Verarbeitung nach Treu und

Common Market Law Review 2018, 1143 (1167). in: Paal/Pauly, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 31a; Bräutigam/Schmidt-Wudy, CR 2015, 56 (62). 296  Sesing, MMR 2021, 288 (291); Bäcker, in: Kühling/Buchner, DS-GVO BDSG, Art. 13 DS-GVO, Rn. 55. 297  Hacker, Common Market Law Review 2018, 1143 (1169). 298  In der englischen Sprachfassung „fairly“. 299  Hacker, Common Market Law Review 2018, 1143 (1168); Wolff, in: Wolff/ Brink, BeckOK Datenschutzrecht, Prinzipien des Datenschutzrechts, Rn. 66; Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 123. 294  Hacker,

295  Paal/Hennemann,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 241

Glauben verletzt.300 Es ist fernliegend, von einer fairen Datenverarbeitung auszugehen, wenn es durch oder aufgrund der Datenverarbeitung zu Benachteiligungen kommt.301 Hierfür spricht vor allem Erwägungsgrund 71, S. 6.302 Danach soll der Verantwortliche zur Gewährleistung einer fairen Verarbeitung „verhindern, dass es gegenüber natürlichen Personen […] zu diskriminierenden Wirkungen oder zu einer Verarbeitung kommt, die eine solche Wirkung hat“. Für eine gewisse antidiskriminierungsrechtliche Zielsetzung der DS-GVO spricht auch die Tatsache, dass diese in Art. 9 DS-GVO für die Verarbeitung von Daten zu Benachteiligungsmerkmalen höhere Voraussetzungen aufstellt.303 Es ist daher nach Art. 15 Abs. 1 lit. h) DS-GVO die statistische Verteilung der Ausgabe über Subpopulationen hinweg mitzuteilen.304 bb) Alternative – Sekundäre Darlegungslast des Benutzers Aufgrund des umstrittenen Anwendungsbereichs und Umfangs des Auskunftsrechts nach Art. 15 Abs. 1 lit. h) DS-GVO wurde zuletzt vorgeschlagen, es in einem ersten Schritt genügen zu lassen, dass die klagende Partei darlege, dass ein KI-System eingesetzt worden sei.305 Dies löse eine sekundäre Darlegungslast des Benutzers aus, der nun darlegen müsse, dass das eingesetzte KI-System die Fairnessanforderungen, also etwa bestimmte Fairnesskriterien306, erfülle.307 Mit Blick auf die nähere Ausgestaltung solle ein Zwei-Stufen-Modell zur Anwendung gelangen. Es solle auf der ersten Stufe widerleglich vermutet werden, dass das KI-System 300  Hacker, Common Market Law Review 2018, 1143 (1168); Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 123. 301  Hacker, Common Market Law Review 2018, 1143 (1168). 302  Hacker, Common Market Law Review 2018, 1143 (1168). 303  Vgl. zum schweizerischen DSG Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 124. 304  Hacker, NJW 2020, 2142 (2144); Geißler, in: Kramer, IT-Arbeitsrecht, B. Individualarbeitsrecht, Rn. 1074; wohl auch Wildhaber/Lohmann/Kasper, ZSR 2019, 459 (480); vgl. zum schweizerischen Recht Kasper, People Analytics in privatrecht­ lichen Arbeitsverhältnissen, S. 126. 305  Grünberger/Müller, Algorithmische Entscheidungssysteme im Nichtdiskriminierungsrecht, Vortrag bei den Verbraucherrechtstagen 2021; Grünberger, ZRP 2021, 232 (234); a. A.: Henssler/Wewetzer, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, E., Rn. 58. 306  Mathematische Fairnesskriterien können zur Bewertung der Ausgabe eines KI-Systems und zu deren Optimierung herangezogen werden. 307  Grünberger/Müller, Algorithmische Entscheidungssysteme im Nichtdiskriminierungsrecht, Vortrag bei den Verbraucherrechtstagen 2021.

242

4. Kap.: Diskriminierungsrisiken und AGG

den Fairnessanforderungen genüge, sofern (der Benutzer darlegt, dass) bereits in der Entwicklungsphase bestimmte Standards berücksichtigt und die KI-Systeme zertifiziert308 worden seien.309 Greife diese widerlegliche Vermutung nicht ein, bedürfe es einer konkreten Darlegung der jeweiligen Entscheidung durch den Benutzer.310 Sofern der Benutzer den Anforderungen an seine sekundäre Darlegungslast nicht genüge, soll dies die Beweislastumkehr gemäß § 22 AGG auslösen.311 Das führe vor dem Hintergrund, dass die KI-Systeme mitunter auch für die Benutzer intransparent sind, zwar zu einer Zuweisung des Risikos, das von dieser Intransparenz ausgehe, an den Benutzer; dies sei aber unter rechtsökonomischen Gesichtspunkten berechtigt.312 Die negativen externen Effekte des Einsatzes von KI-Systemen seien bei demjenigen zu internalisieren, der auch die Vorteile des Einsatzes in Anspruch nehme, zumal der Benutzer sich bei dem Anbieter regressieren könne.313 Letztlich dürfte es sich bei der Darlegung der Einhaltung bestimmter Standards und der Zertifizierung des KI-Systems um die Darlegung von Gegenindizien zum Zwecke der Reduzierung der Kausalitätswahrscheinlichkeit handeln. So kann die Darlegung, dass bei der Behandlung von Bewerbungen nach einem Verfahren vorgegangen wird, das eine Benachteiligung wegen eines Benachteiligungsmerkmals ausschließt, ein solches Gegenindiz darstellen.314 Die Annahme einer sekundären Darlegungslast leuchtet ein vor dem Hintergrund, dass der klagenden Partei, sofern man ihr kein Auskunftsrecht zugesteht, substantiierte Behauptungen bereits zum Vorliegen einer Benachteiligung nicht möglich sind, da sie weder nähere Kenntnis der maßgeblichen 308  Bei der Zertifizierung handelt es sich um ein freiwilliges Instrument der Selbstregulierung, mithilfe dessen die Einhaltung rechtlicher Anforderungen nachgewiesen werden kann. Akkreditierte Zertifizierungsstellen vergeben Zertifizierungen; für einen Überblick über bestehende Initiativen zur Zertifizierung von KI-Systemen: Heesen/Müller-Quade/Wrobel, Zertifizierung von KI-Systemen; Ebers, in: Ebers/ Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 3, Rn. 189. 309  Grünberger/Müller, Algorithmische Entscheidungssysteme im Nichtdiskriminierungsrecht, Vortrag bei den Verbraucherrechtstagen 2021; Grünberger, ZRP 2021, 232 (235); vgl. ferner Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 453 ff., der von einer Vermutung der Benachteiligungsfreiheit zugunsten des Arbeitgebers spricht. 310  Grünberger/Müller, Algorithmische Entscheidungssysteme im Nichtdiskriminierungsrecht, Vortrag bei den Verbraucherrechtstagen 2021; so bereits Martini, Blackbox Algorithmus, S. 286; Grünberger, ZRP 2021, 232 (235). 311  Grünberger, ZRP 2021, 232 (235). 312  Grünberger, ZRP 2021, 232 (234). 313  Grünberger, ZRP 2021, 232 (234). 314  Koch, in: Schaub/Koch, Arbeitsrecht von A-Z, Allgemeines Gleichbehandlungsgesetz, V. (9); Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 428, 433.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 243

Umstände noch eine Möglichkeit zur weiteren Sachaufklärung hat.315 Dieser Ansatz hat den Vorteil, dass er die Streitigkeiten im Hinblick auf den Umfang des Auskunftsrechts umgeht.

IV. Rechtfertigung Grundsätzlich kommt eine Rechtfertigung von Benachteiligungen in Betracht. Dabei ist zwischen der Rechtfertigung einer mittelbaren und der Rechtfertigung einer unmittelbaren Benachteiligung zu unterscheiden. 1. Rechtfertigung einer mittelbaren Benachteiligung Eine mittelbare Benachteiligung liegt gemäß § 3 Abs. 2, 2. Hs. AGG nicht vor, wenn die betreffenden neutralen Vorschriften, Kriterien oder Verfahren durch ein rechtmäßiges Ziel sachlich gerechtfertigt und die Mittel zur Erreichung dieses Ziels geeignet, erforderlich und angemessen sind. Es ist bereits als negatives Tatbestandsmerkmal zu prüfen, ob die mittelbare Benachteiligung gerechtfertigt ist.316 Die Prüfung weist Überschneidungen mit der Prüfung von § 26 Abs. 1 BDSG auf, denn statistische Benachteiligung und Datenverarbeitung weisen in Ablauf und Wirkung starke Übereinstimmungen auf.317 a) Rechtmäßiges Ziel Zunächst muss das eigentliche Ziel der Differenzierung nach dem Hauptmerkmal legitim sein (sog. Primärziel).318 Dabei genügen sämtliche ihrerseits nicht diskriminierenden und auch sonst legalen Ziele.319 Bei der Bewertung der Legitimität des Ziels ist die grundrechtlich geschützte unternehmerische Freiheit nach Art. 12 Abs. 1 GG zu berücksichtigen.320 Privatautonom bestimmte Ziele des Arbeitgebers werden als rechtmäßig anerkannt.321 315  BGH,

Urt. v. 25.05.2020 – VI ZR 252/19, NJW 2020, 1962 (1966). in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 18. 317  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 183. 318  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 158; Braun, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 3 AGG, Rn. 12. 319  BAG, Urt. v. 29.06.2017 – 8 AZR 402/15, NZA 2018, 33 (39); Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 3 AGG, Rn. 112. 320  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 156. 321  Dzida/Groh, NJW 2018, 1917 (1920 f.); von Lewinski/de Barros Fritz, NZA 2018, 620 (622 f.); Freyler, NZA 2020, 284 (288). 316  Roloff,

244

4. Kap.: Diskriminierungsrisiken und AGG

Darin liegt eine Öffnung des Nichtdiskriminierungsrechts für die Anforderungen des Marktes.322 Die Differenzierung nach dem Hauptmerkmal erfolgt, um den „besten“ Bewerber zu finden und die optimale Erfüllung der mit der ausgeschriebenen Stelle verbundenen Tätigkeit sicherzustellen.323 Der Arbeitgeber muss in Erfahrung bringen dürfen, welcher Bewerber den Unternehmenszweck voraussichtlich am besten fördern und den arbeitsvertrag­ lichen Haupt- und Nebenpflichten am besten nachkommen wird.324 b) Mittel zur Zielerreichung Sodann ist zu klären, was das Mittel zur Erreichung des Ziels ist. Das gesamte KI-System und die von diesem vorgenommene Datenverarbeitung ist als Mittel zur Erreichung des Primärziels anzusehen.325 Der Arbeitgeber bedient sich des KI-Systems als Mittel. aa) Geeignetheit des Mittels In unionsrechtskonformer Auslegung von § 3 Abs. 2 AGG muss das Mittel, obwohl dies im Wortlaut des § 3 Abs. 2 AGG nicht genannt ist, geeignet sein, das Ziel zu erreichen.326 Erstens muss die Differenzierung nach dem Hauptmerkmal durch das Entscheidungsmodell geeignet sein, das Primärziel zu erreichen.327 Die Hauptmerkmale müssen dafür eine unternehmerische Relevanz haben; andernfalls kann das Primärziel nicht erreicht werden.328 Der Arbeitgeber kann Anforderungen an persönliche Fähigkeiten des Bewerbers festlegen, sofern ein berechtigtes Interesse hieran besteht.329 Wie im Rahmen der Prüfung von § 26 BDSG deutlich geworden ist, ist die Ermittlung bestimmter persönlicher Fähigkeiten dem Arbeitgeber erlaubt. Die Differenzierung nach diesen Fähigkeiten ist dann auch geeignet, das Primärziel zu erreichen. Dies gilt im Besonderen für die Differenzierung nach Persönlichkeitsmerkmalen, da beispielsweise zwischen den Big-Five-Faktoren und der beruflichen Leistung Personale Gleichheit, S. 665. NJW 2018, 1917 (1920). 324  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 68. 325  Hacker, Common Market Law Review 2018, 1143 (1150  f., 1153); Dzida/ Groh, NJW 2018, 1917 (1920 f.). 326  BAG, Urt. v. 29.06.2017 – 8 AZR 402/15, NZA 2018, 33 (39). 327  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 160. 328  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 158. 329  Ahrendt, in: Schaub, Arbeitsrecht-Handbuch, § 36, Rn. 43. 322  Grünberger,

323  Dzida/Groh,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 245

signifikante Korrelationen bestehen.330 Etwas anderes kann für Hauptmerkmale gelten, die eine eindeutige menschliche Beurteilung, ob eine Differenzierung hiernach zur Erreichung des Primärziels geeignet ist, nicht zulassen.331 In diesem Fall gelten die nachfolgenden Ausführungen zur Erreichung des Sekundärziels entsprechend. Zweitens kann das Primärziel nur erreicht werden, wenn zunächst das sog. Sekundärziel erreicht wird. Dabei handelt es sich um ein Zwischenziel. Es sollen mithilfe des in das KI-System implementierten Ermittlungsmodells bzw. der Verwendung von Stellvertretermerkalen Informationsdefizite in Bezug auf das Hauptmerkmal überwunden werden. Auch dieses Sekundärziel der Informationsgewinnung ist von der unternehmerischen Freiheit nach Art. 12 Abs. 1 GG gedeckt und daher legitim. Auch bei der Frage der Rechtfertigung gemäß § 3 Abs. 2, 2. Hs. AGG geht es um die inhaltliche Richtigkeit der vom KI-System erzielten Ergebnisse.332 Fraglich ist, welche Anforderungen insoweit bestehen. (1) Kausalzusammenhang Für die Überwindung des Informationsdefizits werden, wie geschrieben, neutrale Stellvertretermerkmale verwendet.333 In der englischsprachigen Kommentarliteratur wird zum Teil für den Bereich des Einstellungsverfahrens die Darlegung eines Kausalzusammenhangs zwischen dem Stellvertretermerkmal und dem Hauptmerkmal gefordert.334 Diese Auffassung findet zunehmend auch hierzulande Verbreitung.335 Damit würden mathematisch „richtige“ Zusammenhänge336 und bloße Scheinkausalitäten allein nicht genügen. Die Operationen von KI-Systemen beruhen auf Korrelationsbeziehungen, wohingegen Kausalitätsbeziehungen sich ihnen nicht erschließen. Es fehlt mitunter eine Erklärung dafür, weshalb anhand des Stellvertretermerkmals eine gute Prognose im Hinblick auf das Hauptmerkmal erstellt werden kann.337 Die Feststellung eines kausalen Zusamin: Laske/Othey/Schmid, PersonalEntwickeln, 8.114, S. 1 (7 f.). Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 382 f., der als Beispiele den Tagesrhythmus oder das Bewegungsprofil nennt. 332  Sesing/Tschech, MMR 2022, 24 (26). 333  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 157 f. 334  Grimmelmann/Westreich, Calif. L. Rev. Online 2017, 164 (173); in dieselbe Richtung für Kreditscoring: Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 82. 335  Diercks, ZdiW 2021, 62 (65). 336  Diercks, ZdiW 2021, 62 (63). 337  Koch, ZfPP 2020, 265 (276). 330  Satow, 331  Vgl.

246

4. Kap.: Diskriminierungsrisiken und AGG

menhangs würde sicher zu einer höheren normativen Akzeptanz beitragen bzw. eine normative Bewertung ermöglichen.338 Gegen das Erfordernis der Darlegung eines Kausalzusammenhangs kann man vorbringen, dass auch die Orientierung an Korrelationen rational ist.339 Auch der Wahrheitsgehalt einer Kausalität kann selten bewiesen werden.340 Oft kann man nur feststellen, dass ein Kausalzusammenhang mit hoher Wahrscheinlichkeit vorliegt.341 Die Feststellung statistisch signifikanter Korrelationen erlaubt es, bestimmte Kausalitäten zumindest zu vermuten.342 Wenn ein statistischer Zusammenhang aber ein Indiz für einen möglichen Kausalzusammenhang ist, muss es genügen, dass eine starke Korrelation dargelegt wird; dies gilt umso mehr, als Korrelationen umso zuverlässiger sind, je größer die Datenmenge ist.343 (2) Statistischer Zusammenhang Insoweit könnte man sich auf den Standpunkt stellen, dass für die Annahme der Geeignetheit zur Überwindung des Informationsdefizits aufgezeigt werden muss, dass das Stellvertretermerkmal statistisch signifikant mit dem Hauptmerkmal zusammenhängt.344 Besteht ein solcher statistischer Zusammenhang, kann man von einer sachlichen Angemessenheit der Verwendung dieses Merkmals sprechen.345 Fraglich ist, welche Anforderungen nach deutschem Recht an diesen statistischen Zusammenhang zwischen Stellvertretermerkmal und Hauptmerkmal zu stellen sind. Für den Bereich privater Versicherungen trifft § 20 Abs. 2 S. 2 AGG Anforderungen an den statistischen Zusammenhang zwischen Risikomerkmalen und Schadenserwartung.346 In Bereichen, in denen, wie im Beschäftigungskontext, keine gesetzlichen Vorgaben bestehen, obliegt es der Rechtsanwendung, angemessene Anforderungen zu bestimmen.347 ZfPP 2020, 265 (293). EuZA 2019, 421 (422). 340  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 33. 341  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 33. 342  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (2); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 65; Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 33. 343  Kasper, People Analytics in privatrechtlichen Arbeitsverhältnissen, S. 35. 344  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 157 f., 161. 345  Koch, ZfPP 2020, 265 (270 f.). 346  Serr, in: Staudinger, BGB, § 20 AGG, Rn. 52. 347  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 216. 338  Koch,

339  Hartmann,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 247

Die plausible Behauptung eines statistischen Zusammenhangs genügt nicht.348 Stattdessen müssen Maßnahmen zur Ermittlung der statistischen An­nahmen durchgeführt werden. Dabei hängen die Anforderungen insbesondere von der Schwere der mit dem statistischen Vorgehen potenziell einhergehenden Nachteile ab.349 Vor diesem Hintergrund wären die Anforderungen an den Nachweis vorliegend allein deshalb hoch, weil erhebliche Nachteile für die Bewerber vorstellbar sind. Insoweit kann es aber noch ausreichen, bestehendes Datenmaterial statistisch auszuwerten.350 Bei KI-Systemen, die auf maschinellem Lernen basieren, werden diese Anforderungen in aller Regel erfüllt sein, denn eine statistische Auswertung von Datenmaterial ist die Grundlage maschinellen Lernens.351 Indes steigen die Anforderungen an die Ermittlungsmaßnahmen, wenn – wie im Falle von Sprach- und Videoanalyse – der statistische Zusammenhang in der Wissenschaft oder der Öffentlichkeit bestritten wird (siehe Seite 73 ff.).352 Vor diesem Hintergrund erscheinen höhere Anforderungen an die Ermittlung eines statistischen Zusammenhangs (etwa eine Pflicht zur Durchführung wissenschaftlicher empirischer Forschung353) nicht ausgeschlossen. Es muss jedenfalls vom Arbeitgeber dargelegt werden, welche Datengrundlage verwendet worden ist und, welche Maßnahmen zur Ermittlung der statistischen Annahmen durchgeführt worden sind.354 Dies würde mit einer hohen Erklärungslast des Arbeitgebers einhergehen. Allerdings hat der Arbeitgeber in der Regel mehr Informationen über das System als die betroffene Person.355 Zugleich kann die Auferlegung dieser Erklärungslast die Auseinandersetzung mit dem System und damit ein tieferes Verständnis des Systems auf Arbeitgeberseite fördern.356 Das Risiko der Nichterklärbarkeit des Systems würde auf die Partei verschoben, die von dem System profitiert.357

348  Zu § 20 Abs. 2 S. 2 AGG Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 175. 349  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 162. 350  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 176. 351  Hacker, Common Market Law Review 2018, 1143 (1160). 352  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 176. 353  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 176. 354  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 175 f. 355  Grimmelmann/Westreich, Calif. L. Rev. Online 2017, 164 (173 f.). 356  Grimmelmann/Westreich, Calif. L. Rev. Online 2017, 164 (173). 357  Grimmelmann/Westreich, Calif. L. Rev. Online 2017, 164 (174).

248

4. Kap.: Diskriminierungsrisiken und AGG

(3) Prognosegenauigkeit Allerdings kann man sich auch auf den Standpunkt stellen, dass eine Darlegung des statistischen (oder kausalen) Zusammenhangs der einzelnen Stellvertretermerkmale mit dem Hauptmerkmal nicht vonnöten ist.358 Hierfür spricht, dass mitunter unklar sein wird, welches Stellvertretermerkmal die stärkere Betroffenheit einer Subpopulation ausgelöst hat. Außerdem ist das KI-System als neutrales Verfahren im Sinne von § 3 Abs. 2 AGG einzuordnen und daher dessen Geeignetheit als Ganzes darzulegen. Deshalb kann man es für ausreichend erachten, dass die generelle Prognosegenauigkeit des KI-Systems dargelegt wird.359 Die Prognosegenauigkeit wird stets gemessen und nach der Trainingsphase mit einem Testdatensatz überprüft.360 Die Prognosegenauigkeit kann in der Anwendungsphase geringer sein, weil bislang unbekannte Daten eingeordnet werden müssen.361 Allerdings kann es schwer sein, diese fehlende Prognosegenauigkeit in der Realwelt festzustellen.362 Mit Blick auf das Maß der Prognosegenauigkeit soll es ausreichen, dass das Primärziel im Durchschnitt gefördert wird.363 Es sei unschädlich, dass keine sichere Vorhersage im Einzelfall möglich ist, denn gerade im Bereich der Auswahl von Bewerbern handele es sich stets um eine „Wette auf die Zukunft“ und sichere Vorhersagen über zukünftiges Verhalten seien physikalisch unmöglich.364 Das stimmt mit den Erwägungen, die bei der Prüfung der Geeignetheit im Rahmen von § 26 BDSG angestellt worden sind, überein. bb) Erforderlichkeit des Mittels Im Bereich der Erforderlichkeit des Mittels ist fraglich, ob ein ebenso effektives, aber weniger benachteiligendes Mittel zur Verfügung steht, um das jeweilige Ziel zu erreichen. Common Market Law Review 2018, 1143 (1160). Common Market Law Review 2018, 1143 (1160). 360  Hacker, Common Market Law Review 2018, 1143 (1160); Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn. 30; Niederée/­Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 31. 361  Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 36. 362  Hacker, Common Market Law Review 2018, 1143 (1160). 363  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S.  68 f. 364  Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S.  68 f. 358  Hacker, 359  Hacker,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 249

Im Hinblick auf die Erforderlichkeit des Einsatzes des KI-Systems ist eine direkte Informationsgewinnung vorstellbar.365 An die Stelle des Einsatzes eines KI-Systems könnte eine menschliche und direkte Ermittlung von Hauptmerkmalen treten. Zum einen ist die Prognosegenauigkeit von KISystemen in der Regel aber wesentlich höher.366 Zum anderen kann diese direkte Informationsgewinnung mit gänzlich anderen Beeinträchtigungen der betroffenen Person einhergehen und ist dementsprechend nicht unbedingt ein milderes Mittel.367 Insbesondere bedarf es dabei einer eingehenderen Untersuchung.368 Zudem schätzen auch Menschen Zusammenhänge auf Grundlage von allgemeinem Erfahrungswissen ein369; dabei kommen gegebenenfalls sogar implizite Vorurteile zum Tragen, sodass auch unter diesem Gesichtspunkt nicht von einem milderen Mittel gesprochen werden kann. Zum anderen kann die direkte Ermittlung deutlich größeren Aufwand und höhere Kosten bedeuten und auch dementsprechend weniger geeignet sein.370 Es kann daher nicht pauschal von einer gleichwertigen Alternative gesprochen werden. Dasselbe gilt für eine Differenzierung nach den Hauptmerkmalen durch einen Menschen. Auch hier kann bereits nicht von einer gleichen Geeignetheit gesprochen werden.371 Eine fehlende Erforderlichkeit kommt nur in Betracht, wenn bei gleichen Kosten eine Wahlmöglichkeit zwischen zwei KI-Systemen bestand.372 An dieser Stelle wäre zu beurteilen, ob andere KI-Systeme existieren, die eine ebenso hohe Prognosegenauigkeit aufweisen und gleichzeitig die Benachteiligung vermeiden oder abschwächen.373 cc) Angemessenheit des Mittels Zu guter Letzt muss das Mittel angemessen sein. Dabei sind der Nutzen des statistischen Vorgehens und die Beeinträchtigung durch das statistische Vorgehen zu vergleichen.374 Der Nutzen des statistischen Vorgehens besteht

Einzelfallgerechtigkeit versus Generalisierung, S. 164. Common Market Law Review 2018, 1143 (1160). 367  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 164. 368  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 164. 369  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 122. 370  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 164. 371  Vgl. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 385 f. 372  Hacker, Common Market Law Review 2018, 1143 (1160). 373  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 163; Hacker, Common Market Law Review 2018, 1143 (1160 f.). 374  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 165. 365  Britz,

366  Hacker,

250

4. Kap.: Diskriminierungsrisiken und AGG

in der (kosten-)effektiven Erreichung des Ziels.375 Gleichzeitig besteht auf der anderen Seite das Bestreben, von benachteiligenden Auswahlentscheidungen verschont zu bleiben.376 Für die Angemessenheit entscheidend ist letztlich, ob mildere Handlungsalternativen existieren.377 Dabei sind auch zur Verfügung stehende Handlungsalternativen zu berücksichtigen, die zwar größeren Aufwand oder höhere Kosten verursachen, aber zu einer geringeren Beeinträchtigung auf Seiten der betroffenen Person führen.378 Bis zur Grenze der Unzumutbarkeit muss der Arbeitgeber höhere Kosten tragen.379 Wo die Grenze der Unzumutbarkeit verläuft, ist kontextabhängig. Gerade im sensiblen Bereich des Beschäftigungszugangs sind aber hohe Anforderungen zu stellen, da die Auswirkungen von Entscheidungen gravierend sein können.380 Schließlich wirkt sich das Ausscheiden aus einem Einstellungsverfahren und die Ablehnung eines Vertragsschlusses negativ auf die wirtschaftlichen Entfaltungsmöglichkeiten abgelehnter Bewerber aus.381 Auch kann das statistische Vorgehen stigmatisierende Wirkung entfalten und ist daher nur unter erhöhten Voraussetzungen zu rechtfertigen.382 Die Beeinträchtigungsintensität ist daher erhöht.383 (1) Verzicht auf Differenzierung Eine Handlungsalternative wäre der Verzicht auf eine Differenzierung nach dem Hauptmerkmal.384 Dieser völlige Differenzierungsverzicht würde eine erhebliche Einschränkung des Arbeitgebers darstellen, dem die differenzierende Behandlung anhand unternehmerisch wichtiger Hauptmerkmale verboten wird; dieser Verzicht könnte seinerseits Ungleichheit bewirken und auch zu einer Schlechterstellung aller Bewerber führen.385

Einzelfallgerechtigkeit versus Generalisierung, S. 167. Einzelfallgerechtigkeit versus Generalisierung, S. 153. 377  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 170. 378  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 171. 379  Hacker, Common Market Law Review 2018, 1143 (1161). 380  Hacker, Common Market Law Review 2018, 1143 (1161); Hermstrüwer, AöR 145 (2020), 479 (517). 381  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 94 f. 382  Hermstrüwer, AöR 145 (2020), 479 (518). 383  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 215. 384  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 169. 385  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 170. 375  Britz, 376  Britz,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 251

(2) Direkte Ermittlung Ein völliger Differenzierungsverzicht wird im Einstellungsverfahren in der Regel nicht erforderlich sein. Es kommt zumindest eine direkte Ermittlung des Hauptmerkmals, also ohne statistisches Vorgehen, in Betracht. Eine direkte Ermittlung von Hauptmerkmalen ist, gegebenenfalls unter Inkaufnahme höherer Informationskosten, regelmäßig möglich. Die direkte Ermittlung von Hauptmerkmalen birgt allerdings, wie oben beschrieben, andere Risiken und ist oft gar keine mildere Handlungsalternative.386 Es wäre zu prüfen, ob sich andere infrage kommende Formen von Entscheidungsprozessen, z. B. analoge Entscheidungsprozesse, im Vergleich überhaupt weniger benachteiligend ausgewirkt hätten.387 Hier werden teilweise eindeutige Nachweise der durchgehenden Verbesserung der Objektivität von Entscheidungen durch KISysteme eingefordert.388 Ein verlässlicher Nachweis, dass das KI-System in geringerem Maße benachteiligt als ein Mensch, wird aber schwierig zu führen sein.389 (3) Alternative, indirekte Ermittlung Statt einer direkten Ermittlung des Hauptmerkmals oder eines völligen Differenzierungsverzichts wird es oft alternative Wege zur indirekten Ermittlung des Hauptmerkmals geben. Die Angemessenheit kann ernsthaft in Frage stehen, sofern kostspieligere KI-Systeme zugänglich waren, die sich weniger benachteiligend ausgewirkt hätten.390 Dabei ist Folgendes zu beachten: (a) Alternative Trainingsdatensätze Das statistische Vorgehen ist umso problematischer je mehr es sich benachteiligend auswirkt und je höher die Treffungenauigkeit ist.391 Ein statistical bias (siehe Seite 219), also ein verzerrter Trainingsdatensatz, führt zu einer geringeren Prognosegenauigkeit und zu größerer Benachteiligung.392 Das KI-System kann aber dennoch eine für die Bejahung der Geeignetheit noch hinreichende Prognosegenauigkeit aufweisen.393 Es ist, wenn die BeEinzelfallgerechtigkeit versus Generalisierung, S. 164. Common Market Law Review 2018, 1143 (1161 f.). 388  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 140. 389  Sommerer, Personenbezogenes Predictive Policing, S. 191. 390  Dzida/Groh, NJW 2018, 1917 (1921). 391  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 171. 392  Hacker, Common Market Law Review 2018, 1143 (1160). 393  Hacker, Common Market Law Review 2018, 1143 (1161). 386  Britz,

387  Hacker,

252

4. Kap.: Diskriminierungsrisiken und AGG

nachteiligung auf verzerrten Trainingsdaten beruht und gleichzeitig „faire“ Trainingsdatensätze zur Verfügung gestanden hätten, deren Nutzung allerdings höhere Kosten verursacht hätten, aber dann von einer Unangemessenheit des Mittels auszugehen.394 Denn die Nutzung ausbalancierter Trainingsdatensätze hätte eine höhere Prognosegenauigkeit und eine geringere Beeinträchtigung zur Folge. Es wäre dann vom Vorliegen einer weniger benachteiligenden Handlungsalternative auszugehen. (b) Accuracy-Fairness-Tradeoff Bei einer Proxy-Diskriminierung, die nicht auf verzerrten Trainingsdaten, sondern auf einer gesellschaftlichen Ungleichverteilung von Merkmalen beruht, besteht ein echtes Spannungsverhältnis zwischen Fairness und Genauigkeit.395 Unter dem Begriff Accuracy-Fairness-Tradeoff ist die mathematische Unmöglichkeit zu verstehen, gleichzeitig Genauigkeit und Diskriminierungsfreiheit zu maximieren.396 Fairness kann durch die Erfüllung von Fairnesskriterien sichergestellt werden. Die Einhaltung des Fairnesskrite­ riums der statistischen Parität führt aber etwa zu einer Reduktion der Gesamtgenauigkeit.397 Auch die Sicherstellung subpopulationsübergreifend übereinstimmender Richtig-Positiv-/Falsch-Positiv-Raten ist nur um den Preis von Präzisionsverlusten zu haben.398 Es wird also bei der Nutzung bestimmter Fairnesskriterien eine höhere Anzahl falscher Ergebnisse produziert.399 Je höher die Zahl der Fehler ist, desto geringer ist der Nutzen des statistischen Vorgehens.400 Hier ist zu fragen, wieviel Präzisionsverlust, also Einbußen im Hinblick auf den Nutzen des statistischen Vorgehens, für eine stärkere Gleichbehandlung, also eine geringere Beeinträchtigung durch das statistische Vorgehen, in Kauf zu nehmen ist.401

Common Market Law Review 2018, 1143 (1161). AöR 145 (2020), 479 (495); Hacker, Common Market Law Review 2018, 1143 (1162). 396  Hermstrüwer, AöR 145 (2020), 479 (495). 397  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 40. 398  Hermstrüwer, AöR 145 (2020), 479 (510). 399  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 40. 400  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 171 f. 401  Hermstrüwer, AöR 145 (2020), 479 (516). 394  Hacker,

395  Hermstrüwer,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 253

(c) Unterschiedliche Konzeptualisierung von Fairness Ferner ist zu berücksichtigen, welche Fairnesskriterien durch das eingesetzte KI-System erfüllt werden und, ob alternative KI-Systeme auf dem Markt verfügbar sind, die andere Fairnesskriterien erfüllen.402 Die Erfüllung von Fairnesskriterien ist ein Abwägungsgesichtspunkt.403 Im Zusammenhang mit dem allgemeinen Gleichheitssatz wird vorgebracht, dass eine mittelbare Benachteiligung – mit Blick auf mathematische Fairnesskriterien404 – in verschiedene Untergruppen aufgeteilt werden könne.405 So existieren verschiedene Fairnesskriterien, die Benachteiligung unterschiedlich konzeptualisieren bzw. formal-mathematisch definieren.406 Die unterschiedlichen Fairnesskriterien betreffen verschiedene Aspekte von Benachteiligung.407 Man kann sich etwa an der für die Feststellung mittelbarer Benachteiligungen genutzten Vergleichsmethodik des EuGH orientieren (siehe Seite 236 f.) und den Grad der Annäherung an statistische Parität für maßgeblich halten.408 Je höher die Abweichung von statistischer Parität ist, desto eher würde die Abwägung zugunsten der betroffenen Person ausfallen.409 Teilweise wird auch gefordert, dass das KI-System das Fairnesskriterium der konditionalen statistischen Parität erfüllen müsse (engl. conditional statistical parity), das die Gleichbehandlung an die Erfüllung zusätzlicher Bedingungen, etwa die Erfüllung bestimmter Merkmale, knüpft.410 Dieses Fairnesskriterium ist erfüllt, wenn sich die Benachteiligung, also eine statistische Disparität, auf Unterschiede in diesen (bedingenden) Merkmalen zurückführen lässt.411 Diese Bedingungen müssten allerdings zunächst definiert werden.412 AöR 145 (2020), 479 (517). AöR 145 (2020), 479 (517). 404  Die Bezeichnung der Fairnesskriterien erfolgt im Folgenden teilweise auch in englischer Sprache, denn nicht sämtliche Fairnesskriterien haben deutsche Bezeichnungen, jedenfalls sind diese nicht allgemein gebräuchlich. 405  Sommerer, Personenbezogenes Predictive Policing, S. 184. 406  Für einen Überblick: Verma/Rubin, in: ACM/IEEE, FairWare ’18: Proceedings of The International Workshop on Software Fairness, S. 1 (1 ff.); Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 1 ff.; Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 37. 407  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 42. 408  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (186). 409  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (186). 410  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (760); Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 15; Hermstrüwer, AöR 145 (2020), 479 (506 f.). 411  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (760). 412  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (760 f.); Hermstrü­wer, AöR 145 (2020), 479 (507). 402  Hermstrüwer, 403  Hermstrüwer,

254

4. Kap.: Diskriminierungsrisiken und AGG

Zudem wird vorgebracht, dass mittelbare Benachteiligung nicht mehr allein dadurch gekennzeichnet sei, dass eine Subpopulation im Sinne einer Abweichung von statistischer Parität413 im Ergebnis überproportional häufig Nachteile erleide.414 Die Frage, ob zwei Subpopulationen gleich behandelt werden, sei auch eine Frage vergleichbarer Genauigkeit und vergleichbarer Fehlerraten. Es sei nicht einzusehen, weshalb eine Subpopulation einem höheren Fehlerrisiko ausgesetzt sei als eine andere Subpopulation.415 Es könne etwa darauf abgestellt werden, ob die Vorhersagegenauigkeit sich zwischen den Subpopulationen unterscheide. Dieses Fairnesskriterium wird als gleiche (Vorhersage-)Genauigkeit bezeichnet (engl. overall accuracy equality).416 Ebenso könne darauf abgestellt werden, ob Unterschiede in der Fehlerrate vorliegen.417 Es sind hier die Fairnesskriterien der gleichen bedingten Gruppengenauigkeit, also subpopulationsübergreifend übereinstimmende RichtigPositiv-/Falsch-Positiv-Raten (Belastungsgleichheit418; engl. equalized odds; conditional procedure accuracy equality), der gleichen bedingten Vorher­ sagegenauigkeit (Prognosegleichheit419; engl. conditional use accuracy equality) sowie das Fairnesskriterium des gleichen Fehlerverhältnisses (engl. treatment equality) zu nennen.420 In Bezug auf diese Unterkategorien mag man argumentieren, dass es bei der Personalauswahl vor dem Hintergrund der erheblichen sozioökonomischen Relevanz des Abschlusses eines Arbeitsvertrages eher angezeigt sein könnte, auf eine Gleichverteilung falsch-negativer Ergebnisse in den Subpopulationen, also auf gruppenübergreifend einheitliche Falsch-Negativ-Raten, abzuzielen.421 413  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 40. 414  Sommerer, Personenbezogenes Predictive Policing, S. 184. 415  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 39; vgl. auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 331. 416  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 39. 417  Sommerer, Personenbezogenes Predictive Policing, S. 185; für einen Gesamtüberblick über die Fairnesskriterien: Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 13 ff.; Gesellschaft für Informatik, Technische und rechtliche Betrach­ tungen algorithmischer Entscheidungsverfahren, S. 39; Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (744). 418  Hermstrüwer, AöR 145 (2020), 479 (509). 419  Hermstrüwer, AöR 145 (2020), 479 (507). 420  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 39 f. 421  Vgl. für die Darlehensbewilligung Zafar//Valera/Rodriguez/Gummadi, in: WWW ’17: Proceedings of the 26th International Conference on World Wide Web, S. 1171.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 255

Das Problem besteht hauptsächlich darin, dass man die Nichterfüllung eines Fairnesskriteriums durch die Erfüllung eines anderen Fairnesskriteriums zu rechtfertigen versuchen wird.422 Dabei ist anzuerkennen, dass, obwohl man intuitiv sämtliche Fairnesskriterien erfüllt sehen will und die Erfüllung sämtlicher Fairnesskriterien auch den Idealzustand darstellen würde, bestimmte Fairnesskriterien rein mathematisch nicht gleichzeitig erfüllt werden können.423 So kann etwa nicht zugleich statistische Parität und eine gleiche Vorhersagegenauigkeit erreicht werden.424 Ebenso wenig können in der Regel eine gleiche bedingte Gruppengenauigkeit425, und statistische Parität sichergestellt werden.426 Auch widersprechen sich die Fairnesskriterien der gleichen bedingten Gruppengenauigkeit und der gleichen bedingten Vorhersagegenauigkeit.427 Die Erfüllung eines Fairnesskriteriums führt also mitunter zwingend zur Nichterfüllung eines anderen Fairnesskriteriums.428 Im Rahmen der Abwägung muss also, bevor dem Arbeitgeber der Einsatz eines alternativen KISystems abverlangt wird, in Abhängigkeit vom Einsatzkontext eine Wahl getroffen werden, an welchem Fairnesskriterium sich das KI-System primär zu orientieren hat.429 Es sind die Zielvorstellungen zu identifizieren, an die das KI-System gebunden sein soll.430 Maßgeblich ist etwa, wie wichtig unter normativen Gesichtspunkten eine paritätische Zusammensetzung der begünstigten Teilgruppe ist.431 Auch ist zu entscheiden, inwieweit man bereit ist, im Sinne formaler Gleichheit infolge ungleicher Verteilung von Eigenschaften eine Ungleichverteilung von Lebenschancen hinzunehmen.432 Zudem wird Personenbezogenes Predictive Policing, S. 189. das anschauliche Beispiel bei Zweig/Krafft, in: Mohabbat Kar/Thapa/Parycek, (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S.  204 (216 ff.); Huq, Duke L.J. 2019, 1043 (1124); Sommerer, Personenbezogenes Predictive Policing, S. 187; Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 23. 424  Sommerer, Personenbezogenes Predictive Policing, S. 187. 425  Zur Begrifflichkeit Sommerer, Personenbezogenes Predictive Policing, S. 185; Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 40. 426  Vgl. Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 23: „Also, group fairness, equalised odds […] contradict each other […] given unequal base rates.“ 427  Sommerer, Personenbezogenes Predictive Policing, S. 187. 428  Sommerer, Personenbezogenes Predictive Policing, S. 187. 429  Sommerer, Personenbezogenes Predictive Policing, S. 18; Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 40. 430  Nink, Justiz und Algorithmen, S. 382. 431  Hermstrüwer, AöR 145 (2020), 479 (517). 432  Grünberger, Personale Gleichheit, S. 545 ff., 741. 422  Sommerer, 423  Vgl.

256

4. Kap.: Diskriminierungsrisiken und AGG

zu berücksichtigen sein, ob überhaupt Informationen über die Basisrate, also etwa die berufliche Eignung, verfügbar sind, da die Erfüllung diverser Fairnesskriterien (z. B. Unterschiede bei den Fehlerraten) nur bei Verfügbarkeit dieser Informationen sinnvoll bewertet werden kann.433 Auf die Erfüllung welchen Fairnesskriteriums im hiesigen Kontext geachtet werden sollte, wird im Rahmen der Anforderungen an die Auswahlentscheidung des Arbeitgebers noch näher beleuchtet. Bereits jetzt sei aber darauf hingewiesen, dass sog. verzerrungserhaltenden Fairnesskriterien (etwa gleiche Vorhersagegenauigkeit, prädiktive Parität, Belastungsgleichheit, Prognosegleichheit, gleiches Fehlerverhältnis) im Rahmen der Abwägung weniger Gewicht beizumessen sein wird. Nach einer Auffassung basiert das AGG allein auf dem Gedanken formaler Gleichheit.434 Allerdings dient das AGG auch der Beseitigung bestehender Nachteile und beinhaltet ebenso den Gedanken materieller Gleichheit.435 Dies wird allein an § 5 AGG deutlich. Gerade die mittelbare Benachteiligung ist vom Blick auf die tatsächlichen Auswirkungen geprägt und einem ­Verständnis von materieller Gleichheit verpflichtet.436 Das AGG ist durch Unionsrecht geprägt und dient der Umsetzung verschiedener Richtlinien, die ihrerseits das allgemeine Diskriminierungsverbot in Art. 21 GRC bzw. den Gleichbehandlungsgrundsatz in Art. 23 GRC konkretisieren.437 Auch Art. 23 Abs. 2 GRC stellt mit Blick auf Geschlechterdiskriminierung klar, dass der Grundsatz der Gleichheit spezifischen Vergünstigungen für das unterrepräsentierte Geschlecht nicht entgegensteht. Verzerrungserhaltende Fairnesskriterien sind schlechter geeignet, dieses Ziel des europäischen Antidiskriminierungsrechts, materielle Gleichheit, zu erreichen438, als sog. verzerrungsumwandelnde Fairnesskriterien.439 KI-Systeme, die verzerrungserhaltende Fairnesskriterien erfüllen, sind daher nicht als alternative Wege zur indirekten Ermittlung des Hauptmerkmals einzuordnen. 433  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (765 f.); Hermstrüwer, AöR 145 (2020), 479 (517): Dies gilt dies nicht für statistische Parität. 434  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6; Bachmann, NJW 2018, 1648 (1649). 435  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6; Bachmann, NJW 2018, 1648 (1649); Grünberger, Personale Gleichheit, S. 546; vgl. auch Mangold, in: Duve/Ruppert, Rechtswissenschaft in der Berliner Republik, S.  461 (469 ff.). 436  Mangold, in: Duve/Ruppert, Rechtswissenschaft in der Berliner Republik, S. 461 (469 f.). 437  Sesing/Tschech, MMR 2022, 24 (25). 438  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (745). 439  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (775).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 257

2. Rechtfertigung einer unmittelbaren Benachteiligung Eine unmittelbare statistische Benachteiligung kommt nur in Betracht, wenn die Trainingsdaten direkte Aussagen zu Benachteiligungsmerkmalen beinhalten, im Zuge des Trainingsprozesses ein Benachteiligungsmerkmal als Variable identifiziert worden ist und hieran direkt angeknüpft wird. Für den Fall einer unmittelbaren Benachteiligung440 kommt eine Rechtfertigung gemäß § 8 Abs. 1 AGG in Frage. Danach ist eine unterschiedliche Behandlung wegen eines in § 1 AGG genannten Grundes zulässig, wenn dieser Grund wegen der Art der auszuübenden Tätigkeit oder der Bedingungen ihrer Ausübung eine wesentliche und entscheidende berufliche Anforderung darstellt, sofern der Zweck rechtmäßig und die Anforderung angemessen ist. a) Erste Auffassung Eine Auffassung verweist in diesem Zusammenhang auf das EuGH-Urteil in der Rechtssache Wolf.441 Nach Art. 4 Abs. 1 der RL 2000/78/EG müsse „nicht der Grund, auf den die Ungleichbehandlung gestützt ist, sondern ein mit diesem Grund im Zusammenhang stehendes Merkmal eine wesentliche und entscheidende berufliche Anforderung darstellen“442. Das Bundesarbeitsgericht hat dies in unionsrechtskonformer Auslegung auch für § 8 Abs. 1 AGG festgehalten.443 Für eine Rechtfertigung einer statistisch-unmittelbaren Benachteiligung sei deshalb erforderlich, dass zwischen dem Benachteiligungsmerkmal und einer bestimmten Eigenschaft ein echter Zusammenhang bestehe.444 Ferner müsse diese Eigenschaft eine wesentliche und entscheidende berufliche Anforderung darstellen.445 So müsste, sofern etwa das Entscheidungsmodell auf ein höheres Alter abstellt, dargelegt werden, welche zugrundeliegende Eigenschaft hiermit erfasst werden soll.446 Dies könnte beispielsweise eine hohe Berufserfahrung sein.447 440  Vgl. zum Verhältnis des § 8 Abs. 1 AGG zu mittelbaren Benachteiligung Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 8 AGG, Rn. 1. 441  EuGH, Urt. v. 12.01.2010, C-229/08, EU:C:2010:3 – Wolf. 442  EuGH, Urt. v. 12.01.2010, C-229/08, EU:C:2010:3 Rn. 35 f. – Wolf. 443  BAG, Urt. v. 22.05.2014 – 8 AZR 662/13, juris Rn. 34; BAG, Urt. v. 19.12.2019 – 8 AZR 2/19, juris Rn. 37 f. 444  Hacker, Common Market Law Review 2018, 1143 (1163); Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 397. 445  Hacker, Common Market Law Review 2018, 1143 (1163); von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Grünberger, Personale Gleichheit, S. 686; Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 397. 446  Hacker, Common Market Law Review 2018, 1143 (1163); Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 395 f. 447  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 395 f.

258

4. Kap.: Diskriminierungsrisiken und AGG

Hinzu kommt, dass das Merkmal eine wesentliche und entscheidende berufliche Anforderung sein muss. Die ordnungsgemäße Durchführung der Tätigkeit muss vom Vorliegen dieses Merkmals abhängig sein.448 Die Tätigkeit muss ohne das Merkmal nicht oder nicht ordnungsgemäß durchgeführt werden können.449 b) Zweite Auffassung Nach anderer Auffassung muss gemäß § 8 Abs. 1 AGG das Benachteiligungsmerkmal, an das angeknüpft wird, eine wesentliche und entscheidende berufliche Anforderung darstellen.450 Dafür spricht der Wortlaut des § 8 Abs. 1 AGG, wonach eine Benachteiligung wegen eines in § 1 genannten Grundes zulässig ist, „wenn dieser Grund […] eine wesentliche und entscheidende berufliche Anforderung darstellt“. Dieses Benachteiligungsmerkmal sei aber im Falle statistischer Diskriminierung keine wesentliche und berufliche Anforderung. Vielmehr fungiere das Benachteiligungsmerkmal lediglich als Stellvertretermerkmal bei einer statistisch-unmittelbaren Benachteiligung.451 Hierdurch werde nur auf ein Hauptmerkmal geschlossen. Dies reiche für eine Rechtfertigung nicht aus.452 Etwas anderes könne allenfalls bei einem besonders starken Kausalzusammenhang zwischen Stellvertretermerkmal und Hauptmerkmal gelten.453 Die Darlegung eines Kausalzusammenhangs wird dem Arbeitgeber schwerfallen, da lediglich statistische Zusammenhänge ermittelt werden.454

V. Vertretenmüssen Gemäß § 15 Abs. 1 S. 2 AGG muss der Arbeitgeber die Pflichtverletzung zu vertreten haben. Aufgrund der mit § 280 Abs. 1 S. 2 BGB weitgehend übereinstimmenden Formulierung des § 15 Abs. 1 S. 2 AGG ist von einer 448  BAG,

Urt. v. 22.05.2014 – 8 AZR 662/13, juris Rn. 34. in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 8 AGG, Rn. 4. 450  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 68; Thüsing, in: MüKo BGB, § 8 AGG, Rn. 19; wohl auch Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 74. 451  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 68; Thüsing, in: MüKo BGB, § 8 AGG, Rn. 19; wohl auch Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 74. 452  Britz, Einzelfallgerechtigkeit versus Generalisierung, S. 68 f. 453  Thüsing, in: MüKo BGB, § 8 AGG, Rn. 19. 454  von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Freyler, NZA 2020, 284 (288); Hinz, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 11, Rn. 74. 449  Roloff,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 259

Verschuldensvermutung auszugehen.455 Der Arbeitgeber muss also nachweisen, dass weder ihm noch seinen Erfüllungsgehilfen objektiv pflichtwidriges Verhalten vorgeworfen werden kann.456 Im Folgenden wird der Frage nachgegangen, ob der Schadensersatzanspruch tatsächlich ein Verschulden voraus­setzt sowie, ob und inwieweit ein Verschulden der Beteiligten (gegebenenfalls unter Zuhilfenahme der Zurechnungsnorm des § 278 BGB für fremdes Verschulden) angenommen werden kann. 1. Verschuldenserfordernis und Unionsrecht Die Unionsrechtskonformität des Verschuldenserfordernisses ist umstritten. Die EU-Kommission hatte im Jahr 2008 ein Vertragsverletzungsverfahren gegen Deutschland eingeleitet.457 Der Streit fand seinen Ausgangspunkt darin, dass § 15 AGG auf Sanktionsbestimmungen in verschiedenen EURichtlinien zurückgeht.458 Unter anderem heißt es in den Sanktionsbestimmungen der Art. 15 RL 2000/43/EG (Antirassismus-Richtlinie), Art. 17 RL 2000/78/EG (Gleichbehandlungsrahmen-Richtlinie) und Art. 25 RL 2006/54/ EG (Gleichbehandlungs-Richtlinie), dass die Mitgliedstaaten zwar die bei einem Verstoß gegen die einzelstaatlichen Vorschriften zu verhängenden Regeln für die Sanktionen festlegen, aber die „Sanktionen, die auch Schadensersatzleistungen an die Opfer umfassen können, […] wirksam, verhältnismäßig und abschreckend sein“ müssen. a) Erste Auffassung – Unionsrechtswidrigkeit Nach einer Auffassung steht das Erfordernis wirksamer und abschreckender Sanktionen der Verschuldensabhängigkeit des Schadensersatzanspruchs entgegen.459 Hierfür spreche, dass der EuGH zu der RL 76/207/EWG, der VorgängerRichtlinie der RL 2006/54/EG, mehrfach entschieden hat, dass diese einer nationalen Vorschrift entgegensteht, die eine zivilrechtliche Haftung von einem Verschulden abhängig macht.460 Es handele sich dann nicht um eine in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 32. § 280 Abs. 1 S. 2 BGB: Stadler, in: Jauernig, BGB, § 280 BGB, Rn. 25. 457  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 4. 458  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 3. 459  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31; Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 31; Wagner/Potsch, JZ 2006, 1085 (1091). 460  EuGH, Urt. v. 22.04.1997, C-180/95, NZA 1997, 645 (646) – Draehmpaehl; EuGH, Urt. v. 08.11.1990, C-177/88, NJW 1991, 628 (629) – Dekker. 455  Benecke, 456  Zu

260

4. Kap.: Diskriminierungsrisiken und AGG

abschreckende Sanktion.461 Gerade die Androhung der Ersatzverpflichtung in Bezug auf Vermögensschäden habe eine Abschreckungswirkung.462 Allein der Verstoß gegen das Benachteiligungsverbot müsse genügen.463 Eine Begrenzung dieser Forderung auf Nichtvermögensschäden wurde durch den EuGH dabei nicht vorgenommen.464 Gegen die Unionsrechtskonformität soll ferner sprechen, dass § 611a BGB a. F. und § 81 SGB IX a. F. bereits einen verschuldensunabhängigen Ersatzanspruch für materielle und immaterielle Schäden vorgesehen hatten.465 Nun sehen aber Art. 27 Abs. 2 RL 2006/ 54/EG und Art. 8 Abs. 2 RL 2000/78/EG vor, dass die Umsetzung der Richtlinien nicht zu einer Absenkung des mitgliedstaatlich bereits garantierten Schutzniveaus führen darf. Dieser Rückschritt ist in Anbetracht der Gesetzesbegründung, die das Ziel formuliert hat, den Schutz vor Diskriminierungen zu verbessern466, befremdlich.467 Allerdings sind diese Formulierungen eher als Begründungsverbot zu verstehen.468 Die Mitgliedstaaten dürfen die Umsetzung der Richtlinie nicht als Grund für die Absenkung des Schutzniveaus heranziehen.469 Ein generelles Absenkungsverbot soll damit nicht einhergehen. Dies wäre auch in Anbetracht des Ziels der Mindestharmonisierung primärrechtlich unzulässig.470 b) Zweite Auffassung – Unionsrechtskonformität Nach anderer Auffassung genügt die Verschuldensvermutung den Anforderungen des Unionsrechts.471

in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 5. JZ 2006, 1085 (1091). 463  Stoffels, RdA 2009, 204 (210). 464  Wagner/Potsch, JZ 2006, 1085 (1091). 465  Stoffels, RdA 2009, 204 (210); Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31; Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 3; BAG, Urt. v. 12.09.2006 – 9 AZR 807/05, NZA 2007, 507 (510). 466  BT-Drs. 16/1780, S. 20. 467  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 32. 468  EuGH, Urt. v. 22.11.2005 – C 144/04, NZA 2005, 1345 (1346 f.) – Mangold; Thüsing, in: MüKo BGB, § 15 AGG, Rn. 33. 469  EuGH, Urt. v. 22.11.2005 – C 144/04, NZA 2005, 1345 (1346 f.) – Mangold; Thüsing, in: MüKo BGB, § 15 AGG, Rn. 33. 470  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 33. 471  Lobinger, Entwicklung, Stand und Perspektiven des europäischen Antidiskriminierungsrechts, S.  29 f. 461  Deinert,

462  Wagner/Potsch,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 261

Eine Haftung für vermutetes Verschulden sei nicht Gegenstand der genannten Entscheidungen gewesen.472 Dieser Aussage kann man entgegenhalten, dass der EuGH entschieden hat, dass es unerheblich ist, ob „der Nachweis für ein solches Verschulden leicht zu erbringen sei“.473 Einige betrachten § 15 AGG als Gesamtregelung und argumentieren, dem Erfordernis wirksamer und abschreckender Sanktionen werde dadurch genügt, dass der Entschädigungsanspruch gemäß § 15 Abs. 2 AGG verschuldensunabhängig ausgestaltet ist.474 Hierdurch sei sichergestellt, dass ein Verstoß gegen das Benachteiligungsverbot im Falle fehlenden Verschuldens nicht sanktionslos bleibe.475 Der Entschädigungsanspruch gemäß § 15 Abs. 2 AGG gewährleiste eine ausreichende verschuldensunabhängige Sanktion bei einem Verstoß gegen das Benachteiligungsverbot.476 Der Anspruch auf Ersatz materieller Schäden gemäß § 15 Abs. 1 AGG werde zusätzlich gewährt.477 Die EU-Kommission folgte dieser Argumentation und hat das Vertragsverletzungsverfahren im Herbst 2010 eingestellt.478 Dieser Argumentation lässt sich aber entgegengehalten, dass immaterielle Schäden nur einen Teil der eingetretenen Schäden ausmachen479 und in den Fällen, in denen ein hoher materieller Schaden entstehe, der Entschädigungsanspruch keinen ausreichenden Ausgleich biete, zumal in der arbeitsgerichtlichen Rechtsprechung selten hohe Entschädigungen für immaterielle Schäden gewährt würden.480 Im Einstellungsverfahren und bei einer unterbliebenen Einstellung kann es zu hohen materiellen Schäden (etwa entgangenem Gewinn) kommen.481 c) Konsequenzen der verschiedenen Auffassungen Geht man von einer Unionsrechtswidrigkeit des Verschuldenserfordernisses aus, stellt sich die Frage nach der Rechtsfolge dieser Unionsrechtswidrigkeit. 472  Lobinger, Entwicklung, Stand und Perspektiven des europäischen Antidiskriminierungsrechts, S. 30. 473  EuGH, Urt. v. 22.04.1997, C-180/95, NZA 1997, 645 (646); Stoffels, RdA 2009, 204 (210). 474  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 33. 475  BVerwG, Urt. v. 25.07.2013 – 2 C 12711, NVwZ 2014, 300 (304). 476  Bauer/Evers, NZA 2006, 893 (893). 477  Walker, NZA 2009, 5 (6). 478  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 4. 479  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 33. 480  Stoffels, RdA 2009, 204 (210). 481  Stoffels, RdA 2009, 204 (210).

262

4. Kap.: Diskriminierungsrisiken und AGG

Eine unionsrechtskonforme Auslegung des § 15 Abs. 1 S. 2 AGG kommt wegen des eindeutigen Wortlauts der Vorschrift nicht in Betracht.482 Nach einer Auffassung findet § 15 Abs. 1 S. 2 AGG als richtlinienwidriges mitgliedstaatliches Recht keine Anwendung.483 Dies hätte einen verschuldens­ unabhängigen Schadensersatzanspruch zur Folge.484 Zur Begründung wird auf die Mangold-Entscheidung des EuGH Bezug genommen. Darin hatte der EuGH festgehalten, dass die Wirksamkeit des Unionsrechts dadurch zu garantieren sei, dass dem Gemeinschaftsrecht entgegenstehende mitgliedstaat­ liche Vorschriften unangewendet gelassen werden.485 Dem wird entgegengehalten, dass der EuGH die Unanwendbarkeit des dort streitgegenständlichen § 14 Abs. 3 TzBfG mit einem Verstoß gegen das Verbot der Altersdiskriminierung als allgemeinem Grundsatz des (primären) Gemeinschaftsrechts begründet habe, wohingegen bei § 15 Abs. 1 S. 2 AGG lediglich die Nichterreichung der von den Richtlinien gebotenen Effektivität der Sanktion in Rede stehe.486 Lediglich im Verhältnis zu staatlichen Arbeitgebern sei die Vorschrift wegen der unzureichenden Umsetzung der Antidiskriminierungs-Richtlinien im Sinne einer vertikalen Direktwirkung unanwendbar.487 Im Übrigen, also im Verhältnis zwischen Privaten, bestehe keine horizontale Direktwirkung der Richtlinien.488 Daher sei der deutsche Gesetzgeber „nur“ verpflichtet, das deutsche Recht richtlinienkonform auszugestalten.489 Diese Verpflichtung könnte im Rahmen eines Vorabentscheidungsverfahrens nach Art. 267 AEUV gerichtlich festgestellt werden.490 Hiergegen wird vorgebracht, dass die Richtlinien durch Art. 21, 23 der GRC „primärrechtlich unterfüttert“ seien.491 Durch das Verschuldenserfordernis sei die Effektivität der Sanktionen für die Verletzung des primärrechtlichen Diskriminierungsverbots eingeschränkt. Darin liege zugleich eine Verletzung des primärrechtlichen Diskriminierungsverbots.492 482  Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 32; Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/ Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 3; Wagner/Potsch, JZ 2006, 1085 (1091). 483  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31; Wagner/Potsch, JZ 2006, 1085 (1093). 484  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31. 485  EuGH, Urt. v. 22.11.2005 – C-144/04, NJW 2005, 3695 (3695 ff.). 486  Stoffels, RdA 2009, 204 (210 f.). 487  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 33; Stoffels, RdA 2009, 204 (211). 488  Thüsing, in: MüKo BGB, Einl. AGG, Rn. 27. 489  Stoffels, RdA 2009, 204 (211). 490  Stoffels, RdA 2009, 204 (211). 491  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31. 492  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 31.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 263

d) Zwischenergebnis – Verschuldenserfordernis und Unionsrecht Hält man das Verschuldenserfordernis für unionsrechtskonform oder trotz Unionsrechtswidrigkeit mangels horizontaler Direktwirkung für weiter anwendbar, muss mit Blick auf KI-Systeme nach der Ursache der Benachteiligung unterschieden werden. Fraglich ist, wer die Benachteiligung zu vertreten hat. Dabei kann bereits die retrospektive Lokalisierung der Ursache der Benachteiligung Probleme bereiten, weshalb, vor allem zum Zeitpunkt des Fehlverhaltens, eine Protokollierung der Systemaktivitäten (in Protokolldateien) unumgänglich ist.493 Die Verortung von Verantwortung ist elementar, da andernfalls die betroffenen Personen die Leidtragenden sind.494 2. Eigenes Verschulden des Arbeitgebers Zunächst kommt ein schuldhaftes Verhalten des Arbeitgebers in Betracht. Schuldhaftes Verhalten des Arbeitgebers wird gemäß § 15 Abs. 1 S. 2 AGG vermutet. Er haftet nicht, wenn er die Pflichtverletzung nicht zu vertreten hat. Gemäß § 276 Abs. 1 BGB handelt fahrlässig, wer die im Verkehr erforderliche Sorgfalt außer Acht lässt. Der Fahrlässigkeitsvorwurf besteht entweder darin, dass das vorhergesehene Fehlverhalten nicht vermieden wurde oder darin, dass das Fehlverhalten nicht vorhergesehen und daher nicht vermieden wurde495. Insoweit ist entscheidend, ob das schädigende Verhalten bei Anwendung der im Verkehr erforderlichen Sorgfalt erkennbar und vermeidbar gewesen wäre.496 Dabei setzt das Verschuldensurteil die Missachtung eines vom Schuldner zu beachtenden Verhaltensprogramms voraus.497 Der Sorgfaltsmaßstab richtet sich danach, was von einem besonnenen und gewissenhaften Angehörigen des jeweiligen Verkehrskreises in der jeweiligen Situation erwartet werden kann.498 Bislang fehlt es im Bereich der Haftung für KI-Systeme an anerkannten Verhaltensregeln.499 Es ist zu klären, welche Sorgfaltspflichten im Bereich des Einsatzes von KI-Systemen bestehen. Dies lässt sich nicht ein493  Horner/Kaulartz, CR 2016, 7 (10); Benecke, in: beck-online.GROSSKOMMEN­ TAR, § 15 AGG, Rn. 31; Grützmacher, CR 2021, 433 (435 f.); Reichwald/Pfisterer, CR 2016, 208 (210). 494  Els, DOeD 2021, 161 (164). 495  Stadler, in: Jauernig, BGB, § 276 BGB, Rn. 23. 496  Horner/Kaulartz, InTeR 2016, 22 (25). 497  Deutsch, AcP 202 (2002), 889 (900). 498  Stadler, in: Jauernig, BGB, § 276 BGB, Rn. 29. 499  Grützmacher, CR 2021, 433 (436).

264

4. Kap.: Diskriminierungsrisiken und AGG

heitlich für sämtliche KI-Systeme beantworten. Generell hängen die Prüfpflichten des Benutzers von dem Gefahrenpotenzial und dem Grad der Autonomie ab.500 Der Sorgfaltsmaßstab soll ferner von der Komplexität und Spezialität des KI-Systems abhängen.501 a) Sorgfaltswidrigkeit des Einsatzes per se Teilweise wird bereits der Einsatz eines KI-Systems, das sich unvorhersehbar verhält, als sorgfaltswidrig klassifiziert.502 Diesem eher radikalen Ansatz wird entgegengehalten, die Eingehung von Risiken sei nicht per se sorgfaltswidrig.503 Dogmatisch sei insoweit die Grenze zur Gefährdungshaftung überschritten.504 Es könne von einer „Quasi-Gefährdungshaftung“ gesprochen werden.505 Ferner ist die Innovationsfeindlichkeit dieses Ansatzes evident.506 Allerdings ist die Frage berechtigt, ob aus rechtspolitischer Sicht im Einstellungsverfahren der Einsatz von KI-Systemen tatsächlich gesetzeskonform sein bzw. sogar Anreize hierfür gesetzt werden sollen.507 b) § 831 BGB/§ 12 Abs. 1 AGG – Auswahl und Überwachung Der Arbeitgeber setzt in der eigenen Verantwortungssphäre ein KI-System, also gewissermaßen einen Dritten, ein. Insoweit lassen sich die aus der Haftung für Verrichtungsgehilfen gemäß § 831 BGB bekannten Kategorien von Sorgfaltspflichten (insbesondere Auswahl und Überwachung) übertragen508, so ein anderer Ansatz. Bei § 831 Abs. 1 BGB handelt es sich um eine Art typisierte Verkehrspflichtverletzung.509 Zugleich ist die Verkehrspflichtverletzung mit der Außerachtlassung 500  Horner/Kaulartz, InTeR 2016, 22 (25); Riehm/Meier, in: Fischer/Hoppen/ Wimmers, DGRI Jahrbuch 2018, S. 1 (16). 501  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 121. 502  Zech, Gutachten A zum 73. Deutschen Juristentag, A 81; Riehm/Meier, in: Fischer/Hoppen/Wimmers, DGRI Jahrbuch 2018, S. 1 (15); vgl. für das Verwaltungsrecht: Roth-Isigkeit, AöR 145 (2020), 321 (344). 503  Wagner/Luyken, in: FS Windbichler, S. 155 (169). 504  Roth-Isigkeit, AöR 145 (2020), 321 (344). 505  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 199. 506  Zech, Gutachten A zum 73. Deutschen Juristentag, A 81. 507  Zech, Gutachten A zum 73. Deutschen Juristentag, A 81. 508  Riehm, ITRB 2014, 113 (114); Horner/Kaulartz, CR 2016, 7 (8); Zech, Gutachten A zum 73. Deutschen Juristentag, A 81. 509  Zech, ZfPW 2019, 198 (211).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 265

der im Verkehr erforderlichen Sorgfalt im Sinne des § 276 Abs. 2 BGB gleichzusetzen.510 Im Bereich des Antidiskriminierungsrechts werden diese Pflichten teilweise auch aus § 12 Abs. 1 S. 1 AGG abgeleitet.511 Die Regelung hat sogar die Amtliche Überschrift „Maßnahmen und Pflichten des Arbeitgebers“.512 Danach ist der Arbeitgeber verpflichtet, die erforderlichen Maßnahmen zum Schutz vor Benachteiligungen zu treffen. Hierdurch werden konkrete Handlungspflichten des Arbeitgebers begründet, bei deren Verletzung ein Organisationsverschulden angenommen werden könne.513 Insoweit wird teilweise auch von algorithmischer due diligence gesprochen.514 Auch in Art. 8 Abs. 2 der Entschließung des Europäischen Parlaments im Bereich der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz werden im Bereich der verschuldensabhängigen Haftung für KI-Systeme die ordnungsgemäße Auswahl und Überwachung eines KI-Systems betont.515 aa) Ordnungsgemäße Auswahl des KI-Systems Ungeachtet der Herleitung wird man vom Benutzer also eine ordnungsgemäße Auswahl des KI-Systems im Hinblick auf mögliche Benachteiligungen verlangen können.516 Der Arbeitgeber kann das Risiko in erster Linie durch die Entscheidung für oder gegen den Einsatz eines KI-Systems beeinflussen.517 Schon die Entscheidung über das „Ob“ des Einsatzes muss sorgfältig getroffen werden.518 Teilweise wird im Sinne der beschriebenen due diligence die Auswahl eines in: MüKo BGB, 8. Aufl., § 823 BGB, Rn. 447. NZA 2020, 284 (289); Henssler/Wewetzer, in: Chibanguza/Kuß/ Steege, Künstliche Intelligenz, § 6, E., Rn. 57; a. A.: Plum, in: Schleusener/Suckow/ Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 63. 512  Benecke, in: FS Preis, S. 73 (81). 513  Benecke, in: beck-online.GROSSKOMMENTAR, § 12 AGG, Rn. 1; Stoffels, RdA 2009, 204 (207); Bauer/Evers, NZA 2006, 893 (893); Freyler, NZA 2020, 284 (289); a. A.: Thüsing, in: MüKo BGB, § 15 AGG, Rn. 25; Suckow, in: Schleusener/ Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 12 AGG, Rn. 56; Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 61. 514  Hacker, REL 2021, 62 (65). 515  Europäisches Parlament, Entschließung des Europäischen Parlaments vom 20.10.2020 mit Empfehlungen an die Kommission für eine Regelung der zivilrecht­ lichen Haftung beim Einsatz künstlicher Intelligenz (2020/2014(INL)), S. 31. 516  Horner/Kaulartz, InTeR 2016, 22 (25); Freyler, NZA 2020, 284 (289). 517  Zech, Gutachten A zum 73. Deutschen Juristentag, A 89; Riehm/Meier, in: Fischer/Hoppen/Wimmers, DGRI Jahrbuch 2018, S. 1 (14). 518  Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 53. 510  Wagner, 511  Freyler,

266

4. Kap.: Diskriminierungsrisiken und AGG

erklärbaren KI-Systems gefordert.519 Die Überwachung im laufenden Betrieb setzt die Erklärbarkeit voraus.520 Denkbar wäre auch eine Pflicht des Arbeitgebers zur Durchführung von Testläufen vor dem produktiven Einsatz der KI-Systeme.521 Insoweit ist zuletzt vorgeschlagen worden, § 12 AGG um eine Testpflicht für KI-Systeme zu erweitern und diese mit einer Dokumentationspflicht zu flankieren.522 Außerdem hat der Arbeitgeber zu beurteilen, ob das KI-System für den konkreten Einsatzzweck geeignet ist.523 Insoweit wird man verlangen können, dass vor dem Einsatz Informationen zu dem KI-System abgerufen und berücksichtigt werden.524 Auch im privatrechtlichen Bereich ist dabei eine Auseinandersetzung mit dem Stand der Technik (oder jedenfalls den allgemein anerkannten Regeln der Technik) und der technischen Wirkweise des KI-Systems angezeigt.525 Der Arbeitgeber muss sich im Vorfeld mit der Funktionsweise, den Parametern und Diskriminierungsrisiken auseinandersetzen.526 Die Auseinandersetzung mit dem Stand der Technik (oder den allgemein anerkannten Regeln der Technik) wird auch bereits existente technische Ansätze zur Feststellung und Vermeidung von Benachteiligungen durch KISysteme umfassen müssen.527 In diesem Zusammenhang sind insbesondere die Fairnesskriterien zu nennen. Vom Arbeitgeber, der fremde KI-Systeme nutzt, wird man im Rahmen der Auswahl des KI-Systems verlangen können, dass er die Erfüllung von Fairnesskriterien in seine Auswahlentscheidung miteinbezieht. Es gibt, wie bereits dargestellt, eine ganze Reihe von Fairness­ kriterien.528 Problematisch ist, auf welches Fairnesskriterium der Arbeitgeber abstellen soll.

REL 2021, 62 (65). REL 2021, 62 (65). 521  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (14); Sesing/Tschech, MMR 2022, 24 (26). 522  Sesing/Tschech, MMR 2022, 24 (26); Sesing/Tschech, in: Gesellschaft für Informatik, Arbeitspapier Diskriminierende KI?, S. 10 (12). 523  Horner/Kaulartz, CR 2016, 7 (8 f.). 524  Denga, CR 2018, 69 (74). 525  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (13 f.). 526  Höpfner/Daum, ZfA 2021, 467 (496). 527  Berendt, Algorithmic discrimination, S. 8. 528  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101; Poretschkin et al., Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz, S. 41, die 20 Fairnesskriterien auflisten; Huq, Duke L.J. 2019, 1043 (1115) spricht sogar von 21 Fairnesskriterien. 519  Hacker, 520  Hacker,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 267

(1) Gruppenfairness oder individuelle Fairness Grob zu unterscheiden sind zunächst Fairnesskriterien, die auf Gruppenfairness und solche, die auf individuelle Fairness abzielen. Fairnesskriterien, die auf Gruppenfairness abzielen, sind beispielsweise statistische Parität, konditionale statistische Parität, Prognosegleichheit, prädiktive Parität und Belastungsgleichheit.529 Fairnesskriterien, die auf individuelle Fairness abzielen, sind beispielsweise Fairness through Unawareness sowie Fairness through Awareness.530 Im Ausgangspunkt besteht aber ein Spannungsverhältnis zwischen individueller Fairness und Gruppenfairness.531 So lässt sich „statistische Parität“, also das Erreichen einer gleich hohen prozentualen Erfolgsquote bei Bewerbungen bezogen auf die Subpopulationen532, zwar technisch vergleichsweise leicht in ein KI-System integrieren.533 „Statistische Parität“ kann aber bei unterschiedlichen Basisraten in den Subpopulationen zu Präzisionsverlusten, konkret zu unerwünschten Ergebnissen in Form der Ablehnung geeigneter bzw. der Einstellung ungeeigneter Personen führen.534 Dies wird zum Pro­ blem, wenn zwischen den Subpopulationen tatsächlich Unterschiede im Hinblick auf die Basisraten bestehen.535 Das wird an folgendem Beispiel536 deutlich: Es bewerben sich 100 Personen. Die Gesamtgruppe besteht aus Subpopulation A und Subpopulation B mit jeweils 50 Personen. Die 20 bestplatzierten Bewerber erhalten eine Stelle oder werden zum Vorstellungsgespräch eingeladen. Wenn sich aber die Basisraten unterscheiden, also beispielsweise 40 % aus der Subpopulation A und nur 10 % aus der Subpopulation B für die Stelle geeignet sind, führt vollständige Gruppenfairness im Sinne statistischer Parität zu Einbußen mit Blick auf die individuelle Fairness. Die vollständige Erfüllung statistischer Parität führt dazu, dass schlussendlich geeignete Personen abgelehnt und stattdessen ungeeignete Personen eingestellt werden

529  GETD,

Welche Art von Fairness macht KI-Systeme gerecht?, S. 25 ff. et al., Handbuch Data Sciene, S. 578 f. 531  Nink, Justiz und Algorithmen, S. 198. 532  Siehe oben: Kapitel 4 C.III.2. d). 533  Hermstrüwer, AöR 145 (2020), 479 (506). 534  Hermstrüwer, AöR 145 (2020), 479 (507). 535  Hacker, REL 2021, 62 (63); Hermstrüwer, AöR 145 (2020), 479 (507). 536  Ein ähnliches Beispiel findet sich bei Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (179 ff.). 530  Papp

268

4. Kap.: Diskriminierungsrisiken und AGG

müssen.537 Im obigen Beispiel müssten also zur Erfüllung statistischer Parität fünf ungeeignete Personen aus der Subpopulation B eingestellt und zehn geeignete Personen aus Subpopulation A abgelehnt werden. Damit erhalten einige Bewerber aus der Subpopulation A nun keine Stelle, obwohl sie besser geeignet sind als Bewerber aus Subpopulation B.538 Individuelle Fairness würde aber voraussetzen, dass gleiche Individuen gleich behandelt werden.539 Statistische Parität gewährleistet also Gruppenfairness unter Inkaufnahme negativer Auswirkungen auf die individuelle Fairness.540 Zwar existieren auch Fairnesskriterien, die auf individuelle Fairness abzielen.541 Vollständige individuelle Fairness und vollständige Gruppenfairness sind aber inkompatibel.542 Auch andere Fairnesskriterien sind rein mathematisch inkompatibel. Es können also nicht sämtliche Fairnesskriterien gleichzeitig erfüllt werden.543 „Perfekte Fairness“ gibt es nicht.544 Es bedarf einer Entscheidung für bestimmte, miteinander kompatible Fairnesskriterien.545 Hierbei handelt es sich um eine Entscheidung, die bei der Entwicklung des KI-Systems getroffen werden muss.546 Die Wahl des Fairnesskriteriums ist, wie bereits angedeutet, in erster Linie abhängig vom jeweiligen Einsatzszenario.547 Das Abstellen auf individuelle Fairness setzt dabei voraus, dass keine verzerrten Trainingsdaten vorlagen.548 Das bedeutet, dass Fairnesskriterien, die auf individuelle Fairness im Sinne formaler Gleichheit gerichtet sind, nur in Betracht kommen, sofern kein statistical bias vorliegt, die Trainingsdaten also nicht schlecht ausgewählt, unvollständig, falsch, veraltet oder nicht reAöR 145 (2020), 479 (507). Data Min. Knowl. Discov. 2020, 163 (181). 539  Cremers et al., Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, S. 17. 540  Hacker, Common Market Law Review 2018, 1143 (1170 f.). 541  Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 20 f. 542  Hacker, Common Market Law Review 2018, 1143 (1175). 543  Vgl. das anschauliche Beispiel bei: Zweig/Krafft, in: Mohabbat Kar/Thapa/ Parycek, (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. 204 (216 ff.); Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101; Martini, Blackbox Algorithmus, S. 56; Corbett-Davies/Pierson/Feller/Goel, A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear, in: Washington Post, 17. Oktober 2016; Huq, Duke L.J. 2019, 1043 (1125). 544  Aichroth/Lukashevich, FKT 2020, 28 (33). 545  Huq, Duke L.J. 2019, 1043 (1125). 546  Zweig/Krafft, in: Mohabbat Kar/Thapa/Parycek, (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. 204 (207); Huq, Duke L.J. 2019, 1043 (1125). 547  Zweig/Krafft, in: Mohabbat Kar/Thapa/Parycek, (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. 204 (223). 548  Hacker, Common Market Law Review 2018, 1143 (1176). 537  Hermstrüwer,

538  Zehlike/Hacker/Wiedemann,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 269

präsentativ waren.549 Nur, wenn keine verzerrten Trainingsdaten vorlagen, sondern ein societal bias im Sinne von Verzerrung und Ungleichheit in der sozialen Realität, der in den Trainingsdaten korrekt wiedergespiegelt wird550 und sich in Form von Proxy-Diskriminierungen auswirkt, kommen überhaupt Fairnesskriterien in Frage, die auf individuelle Fairness gerichtet sind. Fairnesskriterien, die auf Gruppenfairness gerichtet sind, kommen hingegen sowohl bei statistical bias als auch bei societal bias in Frage.551 Zu beurteilen ist, sofern ein societal bias vorliegt, auch, ob aus normativer Sicht im Einstellungsverfahren eher individuelle Fairness oder Gruppenfairness sicherzustellen ist.552 Für das Einstellungsverfahren lassen sich sowohl für Gruppenfairness, also eine egalitäre Herangehensweise553, als auch für individuelle Fairness, also eine meritokratische Herangehensweise554, Argumente vorbringen. So kann man für Gruppenfairness die sozio-ökonomischen Auswirkungen der Entscheidung anführen.555 Einstellungsentscheidungen haben mit Blick auf die durchschnittliche Dauer eines Arbeitsverhältnisses in Deutschland von 10,8 Jahren556 eine beachtenswerte sozio-ökonomische Relevanz, wenngleich diese nicht in gleichem Maße die Grundlage künftiger Lebenschancen bilden wie die Zulassung zu einer Schule oder Universität und auch keine Grundbedürfnisse wie Wohnraum, Zugang zum Recht oder Krankenversicherung betreffen.557 Es ist selbstredend aber auch nicht sinnvoll, Zugang zu Erwerbstätigkeit im Sinne eines völligen Egalitarismus unabhängig von vorangegangener individueller Leistung zu gewähren. Frühere Leistungen haben objektiv eine hohe Relevanz für die Einstellungsentscheidung.558 Diese hohe Relevanz früherer Leistungen für Einstellungsentscheidungen kann nicht ignoriert werden. Es macht keinen Sinn, im Sinne einer blinden Fokussierung auf das ZSR 2019, 459 (466). W. Va. Law Rev. 2021, 735 (743); Kuppler/Kern/ Bach/Kreuter, Distributive Justice and Fairness Metrics in Automated Decision-making, S. 18; Hacker, Common Market Law Review 2018, 1143 (1148 f.), der von „unequal ground truth“ spricht. 551  Hacker, Common Market Law Review 2018, 1143 (1176). 552  Hacker, Common Market Law Review 2018, 1143 (1176). 553  Hacker, Common Market Law Review 2018, 1143 (1176). 554  Hacker, Common Market Law Review 2018, 1143 (1176). 555  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (189). 556  Von der OECD ermittelte Werte zur durchschnittlichen Dauer von Arbeitsverhältnissen sind verfügbar unter: https://stats.oecd.org/Index.aspx?DataSetCode=TENU RE_AVE#. 557  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (189). 558  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (189). 549  Wildhaber/Lohmann/Kasper, 550  Wachter/Mittelstadt/Russell,

270

4. Kap.: Diskriminierungsrisiken und AGG

Fairnesskriterium statistischer Parität im Ergebnis Bewerber einzustellen, die für den konkreten Arbeitsplatz ungeeignet sind.559 Ein leistungsgerechter Zugang zu Erwerbstätigkeit ist erstrebenswert. Gleichzeitig würde eine gänzlich meritokratische Herangehensweise die (Ursachen für die) Verteilung von Merkmalen im Sinne eines societal bias ignorieren.560 Dabei ist auch zu beachten, dass das europäische Antidiskriminierungsrecht auf einen sozialen Wandel und auf die Erreichung substanzieller Gleichheit abzielt.561 (2) Verzerrungserhaltende oder verzerrungsumwandelnde Fairnesskriterien Hier wird die bereits angesprochene und von einigen Autoren vorgenommene Differenzierung zwischen verzerrungserhaltenden Fairnesskriterien (engl. bias preserving metrics) und verzerrungsumwandelnden Fairnesskriterien (engl. bias transforming metrics)562 relevant. Diese Klassifizierung ist nicht spiegelbildlich zu Gruppenfairness und individueller Fairness. In die Kategorie verzerrungserhaltender Fairnesskriterien fallen: Belastungsgleichheit, Prognosegleichheit, prädiktive Parität, gleiche (Vorhersage-)Genauigkeit, gleiche Fehlerverhältnisse.563 Bei dem Fairnesskriterium der prädiktiven Parität handelt es sich beispielsweise um ein Fairnesskriterium, das auf Gruppenfairness ausgerichtet ist, aber nicht um ein verzerrungsumwandelndes Kriterium.564 Dasselbe gilt für Belastungsgleichheit.565 In die Kategorie verzerrungsumwandelnder Fairnesskriterien fallen neben statistischer Parität und konditionaler statistischer Parität auch folgende Fairnesskriterien: Fairness Through Awareness, Counterfactual Fairness, No Unresolved Discrimination sowie No Proxy Discrimination.566 Verzerrungserhaltende Fairnesskriterien ignorieren die (Ursachen für die) ungleiche Verteilung von Merkmalen, also die sozialen Realitäten.567 Sie überschätzen implizit die Rolle der Meritokratie.568 Aus diesem Grund spreW. Va. Law Rev. 2021, 735 (766). Common Market Law Review 2018, 1143 (1176); Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (742 f.). 561  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (745). 562  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (778). 563  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (789). 564  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 29. 565  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 32. 566  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (789). 567  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (767). 568  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (772). 559  Wachter/Mittelstadt/Russell, 560  Hacker,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 271

chen sich die Autoren gerade im Kontext des Einstellungsverfahrens gegen die Nutzung verzerrungserhaltender Fairnesskriterien aus.569 Die Beantwortung des Prüffragenkatalogs bei Wachter et al. empfiehlt für den hiesigen Fall die Verwendung verzerrungsumwandelnder Fairnesskriterien.570 Es sollen verzerrungsumwandelnde Fairnesskriterien, wie etwa statistische Parität oder konditionale statistische Parität, genutzt werden. Für eine Nutzung dieser verzerrungsumwandelnden Fairnesskriterien spricht auch, dass die Beurteilung, ob ein KI-System die verzerrungserhaltenden Fairnesskriterien erfüllt, vielfach voraussetzt, dass Informationen über die Richtigkeit der Ausgabe vorliegen, da beispielsweise bei dem Fairnesskriterium der Belastungsgleichheit die Richtig-Positiv- und Richtig-NegativRaten angeglichen werden sollen. Es ist aber realitätsfern, dass Arbeitgeber Bewerber einstellen, die schlecht bewertet worden sind, um beurteilen zu können, ob das KI-System möglicherweise ein falsches Ergebnis generiert hat.571 Für Arbeitgeber ist es bei der Auswahl des KI-Systems auch deshalb nicht empfehlenswert, sich für verzerrungserhaltende Fairnesskriterien zu entscheiden, weil die Nutzung verzerrungserhaltender Fairnesskriterien die Darlegung einer besonderen Benachteiligung für den Kläger erleichtert.572 Aus diesem Grund sollte die Nutzung verzerrungserhaltender Fairnesskriterien bereits frühzeitig von Überlegungen hinsichtlich einer möglichen Rechtfertigung begleitet sein.573 (3) Konkrete Fairnesskriterien Es ist also die Auswahl von KI-Systemen anzuraten, die verzerrungsumwandelnde Fairnesskriterien erfüllen. Welche konkreten Fairnesskriterien erfüllt sein müssen, kann hier nicht abschließend bewertet werden; vielmehr bedarf es mit Blick auf die Frage, welche Fairnesskriterien in welchen Einsatzszenarien genutzt werden sollen, letztlich eines gesellschaftlichen und politischen Aushandlungs- und Entscheidungsprozesses.574 Ergebnis dieses W. Va. Law Rev. 2021, 735 (777). den Prüffragenkatalog bei Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (780). 571  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (765 f.). 572  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (775). 573  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (775); Hacker, REL 2021, 62 (63). 574  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101 f.; Datenethikkommission der Bundesregierung, Gutachten der Datenethikkommission, S. 74; Aichroth/Lukashevich, FKT 2020, 28 (33); Hacker, Common Market Law Re569  Wachter/Mittelstadt/Russell, 570  Vgl.

272

4. Kap.: Diskriminierungsrisiken und AGG

Aushandlungs- und Entscheidungsprozesses könnten dann Festlegungen der maßgeblichen Fairnesskriterien sein.575 In dieser Arbeit kann aber eine erste Annäherung erfolgen. So ist von anderer Seite ein Fairness Compass entwickelt worden. Dabei handelt es sich um ein Schema in Form eines Entscheidungsbaumes, das bei der Auswahl des richtigen Fairnesskriteriums helfen soll.576 Dieser ist auch als interaktives Online-Tool verfügbar.577 Zunächst ist dabei die Frage zu beantworten, ob benachteiligte Gruppen gefördert werden sollen, um bestehende Ungerechtigkeiten auszugleichen („Richtlinien?“). Dies kann sich aus einem Gesetz ergeben, aber auch aus internen Richtlinien einer Organisation.578 Geht man davon aus, dass das AGG jedenfalls auch auf die Beseitigung bestehender Ungleichheiten im Sinne materieller Gleichheit ausgerichtet ist (siehe Seite 256) und erkennt man darüber hinaus, dass sich auch Arbeitgeber zunehmend in Form interner Richtlinien das Ziel setzen, ihre Diversität zu erhöhen, ist anschließend die Frage zu stellen, ob in einem Beispielsfall, in dem keine geschlechtsparitätische Zusammensetzung vorliegt und sich beispielsweise 80 Frauen und zwanzig Männer bewerben von den 20 (vor-)ausgewählten Bewerbern zehn Frauen und zehn Männer zum Vorstellungsgespräch eingeladen werden sollen oder sechzehn Frauen und vier Männer.579 Es dürfte sinnvoll sein, eine proportionale Auswahl anzustreben. Dann muss die Wahl auf das Fairnesskriterium der statistischen Parität fallen.580 Es ist auch mit Blick auf antidiskriminierungsrechtliche Haftungsrisiken und ungeachtet des Accuracy-Fairness-Tradeoff empfehlenswert, auf die Erfüllung des Fairnesskriteriums der statistischen Parität und damit auf ein verzerrungsumwandelndes und auf Gruppenfairness abzielendes Fairness­ kriterium Acht zu geben. Denn statistische Parität wird bei der Feststellung einer mittelbaren Benachteiligung verwendet.581 Sofern das KI-System statistische Parität sicherstellt, wird vor dem Hintergrund der in dieser Arbeit präferierten Vergleichsmethodik (siehe Seite 236 ff.) eine besondere Benachteiligung im Sinne von § 3 Abs. 2 AGG bereits nicht festgestellt werden view 2018, 1143 (1176); Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (783). 575  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 140. 576  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 39. 577  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 39. 578  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 40. 579  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 41. 580  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 38. 581  Huq, Duke L.J. 2019, 1043 (1119); Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (759 f.).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 273

können.582 Ferner existieren mittlerweile Verfahren, die es erlauben mit Blick auf die Erfüllung des Fairnesskriteriums der statistischen Parität graduelle Abstufungen vorzunehmen.583 Im Zusammenhang mit der Feststellung einer mittel­baren Benachteiligung ist auf prozentuale Grenzen (z. B. Four-Fifthsoder 80 %-rule) eingegangen worden. Mithilfe dieser Verfahren wäre eine Einhaltung dieser prozentualen Grenze möglich. Unternehmen können damit den Grad der Gruppenfairness bzw. den Grad der Annäherung an statistische Parität beeinflussen.584 Je mehr sie sich statistischer Parität annähern, desto eher entgehen sie der Feststellung einer mittelbaren Benachteiligung.585 Je weiter sie sich von statistischer Parität entfernen, desto eher wird ein Indiz für eine mittelbare Benachteiligung angenommen werden.586 Dadurch steigt gleichsam das Risiko, die mittelbare Benachteiligung rechtfertigen zu müssen.587 Da der Benachteiligende für das Eingreifen des Rechtfertigungsgrundes darlegungs- und beweisbelastet ist (vgl. § 3 Abs. 2 AGG: „es sei denn“)588 steigt dann die Begründungslast für den Arbeitgeber.589 Geht man davon aus, dass das AGG auf dem Gedanken formaler Gleichheit basiert590 und bestehen auch keine unternehmensinternen Vorgaben, muss man die Frage beantworten, ob die Basisraten zwischen den Subpopulationen abweichen oder identisch sind („Basisraten identisch?“).591 Bezogen auf die Eignung von Bewerbern müsste man also klären, ob Personen aus Subpopulation A weniger geeignet sind als Personen aus Subpopulation B. Auch, wenn man zu dem Ergebnis gelangt, dass es Abweichungen bei den Basisraten gibt, sollte von gleichen Basisraten ausgegangen werden, wenn für die Abweichung soziale Diskriminierung in der Vergangenheit verantwortlich gemacht wird.592 Für Zulassungstests im Rahmen einer Studienplatzvergabe sind unterschied­liche Basisraten bei verschiedenen Subpopulationen etwa auf Chancen­ungleichheiten 582  Hacker,

REL 2021, 62 (63).

Data Min. Knowl. Discov. 2020, 163 (166) haben zu diesem Zweck einen sog. Continuous Fairness Algorithm (CFAθ) entwickelt. 584  Hacker, REL 2021, 62 (63); Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (186 f.). 585  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (186 f.). 586  Hacker, REL 2021, 62 (63). 587  Hacker, REL 2021, 62 (63); Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (186 f.). 588  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 3 AGG, Rn. 22. 589  Hacker, REL 2021, 62 (63 f.). 590  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6; Bachmann, NJW 2018, 1648 (1649). 591  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 41 f. 592  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 42. 583  Zehlike/Hacker/Wiedemann,

274

4. Kap.: Diskriminierungsrisiken und AGG

zurückgeführt worden.593 Daher seien trotzdem gleiche Basisraten anzusetzen.594 Dieser Fall ist mit dem hier in Rede stehenden Fall des Einsatzes eines KI-Systems im Einstellungsverfahren vergleichbar. Auch dann führt der Fairness Compass zur Anwendung des Fairnesskriteriums statistischer Parität oder konditionaler statistischer Parität. Selbst, wenn es einen berechtigten Grund zu der Annahme gäbe, dass ein Kausalzusammenhang zwischen der Zugehörigkeit zu einer Subpopulation und der divergierenden Basisrate, also der Eignung, gibt, und man sich an diesem Knotenpunkt für „Nein“ entscheidet, gelangt man letztlich nicht zu einem anderen Ergebnis. Denn die Modelle werden mit annotierten Datensamples trainiert. Diese Annotationen, also die Eignung einer bestimmten Person, kann nicht objektiv gemessen werden und es handelt sich bei der Eignung für eine bestimmte Stelle auch nicht um unumstößliche Fakten, sondern um durch Menschen abgeleitete Annotationen, weshalb in jedem Fall bei dem nächsten Knotenpunkt „Ground Truth vorhanden?“ die Antwort „Nein“ lauten müsste, sodass auch dann eine Auswahl zwischen den beiden Fairnesskriterien statistische Parität und konditionale statistische Parität erfolgen muss. Für die Nutzung des Fairnesskriteriums der konditionalen statistischen Parität spricht, dass man die skizzierten Nachteile der statistischen Parität im Hinblick auf Präzisionseinbußen auf diese Art und Weise entschärfen kann, weil es die Gleichbehandlung an zusätzliche Bedingungen knüpft.595 Es erfolgt hierdurch eine – mit Blick auf das Einstellungsverfahren sinnvolle – Einbeziehung gewisser meritokratischer Elemente. Ob man sich letztlich für das Fairnesskriterium statistischer Parität oder für das Fairnesskriterium konditionaler statistischer Parität entscheidet, ist letztlich abhängig davon, ob es Merkmale gibt, deren Einfluss auf die Prognose als legitim betrachtet wird und die als legitime Quelle für Abweichungen betrachtet werden.596 Es wird eine Entscheidung verlangt, von welchen Bedingungen (z. B. bestimmte Persönlichkeitsmerkmale; Numerus Clausus; Hochschulabschluss; Berufserfahrung, Sprachkenntnisse) die Gleichbehandlung abhängig gemacht werden soll, was nur im Einzelfall beantwortbar ist.597 Es ist dann zu ermitteln, wie hoch die Erfolgsquote bezogen auf die Personen in den jeweiligen Subpopulationen ist, die die zusätzliche Bedingung aufweisen. So kann man die Frage stellen, ob der Numerus Clausus oder ein Hochschulabschluss vor dem Hin-

593  GETD,

Welche Art von Fairness macht KI-Systeme gerecht?, S. 43. Welche Art von Fairness macht KI-Systeme gerecht?, S. 43. 595  Hermstrüwer, AöR 145 (2020), 479 (506 f.). 596  GETD, Welche Art von Fairness macht KI-Systeme gerecht?, S. 28, 44. 597  Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 (776 u. 782); Hermstrüwer, AöR 145 (2020), 479 (507). 594  GETD,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 275

tergrund ungleichen Zugangs zu Bildung und eines damit einhergehenden societal bias eine zulässige Bedingung sein soll.598 Bejaht man dies, kann man dieses Fairnesskriterium mit Recht als bestgeeignetes Fairnesskriterium bezeichnen.599 bb) Ordnungsgemäße Überwachung des KI-Systems Auch im Einsatz bestehen Sorgfaltspflichten600, die nachstehend skizziert werden. Die zur Überwachung des KI-Systems zur Verfügung stehenden Maßnahmen sind denklogisch davon abhängig, inwieweit überhaupt Zugriffsmöglichkeiten auf das KI-System bestehen.601 (1) Allgemeine Leitlinien Die Sorgfaltspflichten unterscheiden sich daher bereits in Abhängigkeit von der Frage, ob die Software On- oder Off-Premises genutzt wird. In der Regel wird der Arbeitgeber nicht zugleich Entwickler des KI-Systems sein, sondern Drittsoftware nutzen.602 In Anbetracht der Abkehr vom Nutzungsmodell des On-Premises und der Hinwendung zum Nutzungsmodell Off-Premises, etwa Software as a Service (SaaS), bei dem die Software auf dem Server des Entwicklers/Anbieters betrieben wird, und nur noch eine Nutzung über das Internet erfolgt603, handelt es sich bei dem Arbeitgeber nur um den Benutzer des KI-Systems. Wartung und Aktualisierung erfolgt durch den Anbieter.604 Die Tätigkeit des Arbeitgebers beschränkt sich also allenfalls noch auf die Erzeugung von Eingaben und die Entgegennahme von Ausgaben.605 In diesem Fall wird lediglich eine Leistung des Anbieters in Anspruch genommen, weshalb kein allzu hoher Sorgfaltsmaßstab an den Arbeitgeber gestellt werden kann.606 W. Va. Law Rev. 2021, 735 (783). W. Va. Law Rev. 2021, 735 (781 f.); Wachter/ Mittelstadt/Russell, Why Fairness Cannot Be Automated, S. 54 ff. 600  Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 54. 601  Mühlböck/Taupitz, AcP 221 (202)1, 179 (207). 602  Joos, NZA 2020, 1216 (1217). 603  Heydn, MMR 2020, 435. 604  Heydn, MMR 2020, 435. 605  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 77. 606  Zech, ZfPW 2019, 198 (207); Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 120. 598  Wachter/Mittelstadt/Russell, 599  Wachter/Mittelstadt/Russell,

276

4. Kap.: Diskriminierungsrisiken und AGG

Im Hinblick auf eine Überwachung des KI-Systems unter dem Gesichtspunkt möglicher Benachteiligungen wird der Arbeitgeber hier praktisch wenig Einblick in den Betrieb des KI-Systems haben.607 Zudem wird die Möglichkeit von Prüfungen des KI-Systems beschränkt sein.608 Auch der Benutzer wird aber das Verhalten im Feld überprüfen und auf offensicht­liches Fehlverhalten reagieren müssen.609 Hier wird sich auch die Auswahlentscheidung zugunsten eines erklärbaren KI-Systems auswirken. Ferner kann auch eine Rolle spielen, ob konkrete Anhaltspunkte bestehen, etwa der Benutzer – durch Pressemeldungen oder eigene Erfahrungen – positive Kenntnis von Fehlverhalten des KI-Systems erlangt hat.610 Der Sorgfaltsmaßstab dürfte zudem davon abhängig sein, ob es sich um ein Massenprodukt handelt oder eine Anpassung an die Bedürfnisse des Benutzers erfolgt ist.611 In letzterem Fall steigen die Sorgfaltspflichten und dies dürfte, jedenfalls sofern das KI-System unter Berücksichtigung des konkreten Soll-Profils der Stelle eine Auswahlempfehlung oder eine Auswahlentscheidung vornehmen soll, unumgänglich sein. Höhere Sorgfaltsanforderungen können gelten, wenn der Arbeitgeber das KI-System im Sinne des traditionellen Nutzungsmodell On-Premises auch selbst und für eigene Zwecke betreibt.612 In diesem Fall steht das KI-System unter seiner Kontrolle. Vor diesem Hintergrund kann eine regelmäßige Überprüfung erwartet werden. Hierfür können feste zeitliche Intervalle vorgesehen werden, deren Abstände von den Einzelfallumständen abhängig sind.613 Zum Teil wird angenommen, es bestehe eine Pflicht zur Kontrolle der Ausgaben.614 Die Kon­ trolle könnte etwa mithilfe der Durchführung von Stichproben erfolgen.615 607  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 120. 608  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 120; Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 100. 609  Horner/Kaulartz, InTeR 2016, 22 (25); Wagner/Luyken, in: FS Windbichler, S. 155 (168). 610  Horner/Kaulartz, CR 2016, 7 (9); Denga, CR 2018, 69 (74); Martini/Ruschemeier/Hain, VerwArch 2021, 1 (15). 611  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 120 f. 612  Zech, ZfPW 2019, 198 (207). 613  Für Verwaltungsentscheidungen Martini/Ruschemeier/Hain, VerwArch 2021, 1 (15). 614  Wagner/Luyken, in: FS Windbichler, S. 155 (168); für das Verwaltungsrecht Roth-Isigkeit, AöR 145 (2020), 321 (337). 615  Wagner/Luyken, in: FS Windbichler, S. 155 (168); für den Bereich von Verwaltungsentscheidungen Martini/Ruschemeier/Hain, VerwArch 2021, 1 (27).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 277

Entsprechende Prüftools sind auf dem Markt verfügbar.616 So kann die Messung von Benachteiligungen durch eine Analyse der Datensätze sowie der Ausgaben des KI-Systems617 anhand der beschriebenen, mathematischen Fairnesskriterien erfolgen. Diese Prüftools können den Grad der Fairness mit Blick auf bestimmte Fairnesskriterien ermitteln.618 Hierdurch kann auch die Ursache der Benachteiligung ermittelt werden.619 Auch eine regelmäßige Aktualisierung des Systems in Form von Updates kann verlangt werden.620 Gegebenenfalls muss der Arbeitgeber Hilfe von Experten einholen.621 (2) Konkretisierender Maßstab des § 832 BGB Die Konkretisierung der Sorgfaltspflichten im Einzelfall wird, vorbehaltlich gesetzgeberischer Empfehlungen, durch die Instanzgerichte erfolgen müssen, zumal unionsrechtliche Vorgaben in dieser Hinsicht in naher Zukunft nicht zu erwarten sind.622 Dabei könnte § 832 BGB Hilfestellung für die Ermittlung sachgerechter Sorgfaltsanforderungen leisten.623 § 832 BGB regelt die Haftung von aufsichtspflichtigen Personen wegen Verletzung ihrer Aufsichtspflicht.624 Die Anforderungen an die Aufsicht sind bei Kindern von verschiedenen Aspekten abhängig (z. B. Alter, Charakter, individueller Erziehungserfolg, äußere Umstände, zur Verfügung stehende Maßnahmen).625 Nach einer Auffassung soll man diese Aspekte auf KI-Systeme übertragen können.626

616  Für einen Überblick über verfügbare Tools Dunkelau/Leuschel, Fairness-Aware Machine Learning, S. 42 ff.; Roth-Isigkeit, AöR 145 (2020), 321 (332). 617  Hacker, Common Market Law Review 2018, 1143 (1170); Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101. 618  Mehrabi/Morstatter/Saxena/Lerman/Galstyan, ACM Comput. Surv. 2022, 1 (3). 619  Hacker, Common Market Law Review 2018, 1143 (1170). 620  Horner/Kaulartz, CR 2016, 7 (9); Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 54; Martini/Ruschemeier/Hain, VerwArch 2021, 1 (15). 621  Zur Zurechnung von Agentenerklärungen Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 55. 622  Beckmann, CTRL 2021, S. 132 (136 und 139); Grützmacher, CR 2021, 433 (437). 623  Mühlböck/Taupitz, AcP 221 (2021), 179 (197 u. 205). 624  Wellenhofer, in: beck-online.GROSSKOMMENTAR, § 832 BGB, Rn. 1. 625  Spindler, in: BeckOK BGB, § 832 BGB, Rn. 19. 626  Mühlböck/Taupitz, AcP 221 (2021), 179 (205 ff.).

278

4. Kap.: Diskriminierungsrisiken und AGG

Überträgt man etwa den Altersaspekt auf KI-Systeme wird man zu Beginn des Einsatzes eines KI-Systems eine engmaschigere Überwachung verlangen müssen.627 Der Charakteraspekt bezieht sich auf die konkrete Erscheinungsform des KI-Systems und den Grad der Autonomie.628 Ein höherer Autonomiegrad und damit einhergehende geringere Kontrolle führt zu einer Erhöhung der Sorgfaltspflichten.629 Es ist bereits dargestellt worden, dass es sich um statische Modelle handelt, bei denen es in der Anwendungsphase nicht mehr zu Modellveränderungen kommt. Ein solches „Einfrieren“ von KI-Systemen wäre ein technischer Ansatz zur Einschränkung der Freiheitsgrade und Risikosenkung, der zu geringeren Sorgfaltspflichten führt.630 Der individuelle Erziehungserfolg ist gleichzusetzen mit der Prognosegenauigkeit des KI-Systems631, die stets gemessen und nach der Trainingsphase mit einem Testdatensatz überprüft wird.632 Notfalls bedarf es der Informationseinholung bei dem Entwickler/Anbieter.633 Je höher die Prognosegenauigkeit, desto geringer sind die Sorgfaltspflichten. Zudem sind die äußeren Umstände zu berücksichtigen. Dabei dürfte vorliegend der Diskriminierungsanfälligkeit des Einsatzgebiets wesentliche Bedeutung beizumessen sein. c) Berücksichtigung technischer Maßnahmen Soweit der Arbeitgeber fremde KI-Systeme nutzt, spielt es für ihn keine Rolle, auf welche technische Art und Weise der Entwickler die Erfüllung bestimmter Fairnesskriterien sicherstellt. Etwas anderes kann gelten, wenn das KI-System durch eigene Mitarbeiter entwickelt wird. Ausweislich Erwägungsgrund 71, S. 6 sollte zur Verhinderung von Diskriminierungen „der für die Verarbeitung Verantwortliche geeignete mathematische oder statistische Verfahren für das Profiling verwenden […] sowie technische und organisatorische Maßnahmen treffen“. Die Fairnesskriterien bzw. die technischen Verfahren zu ihrer Erfüllung können hierunter fallen.634 AcP 221 (2021), 179 (206). AcP 221 (2021), 179 (206). 629  Zech, Gutachten A zum 73. Deutschen Juristentag, A 81. 630  Zech, ZfPW 2019, 198 (209). 631  Mühlböck/Taupitz, AcP 221 (2021), 179 (206 f.). 632  Hacker, Common Market Law Review 2018, 1143 (1160); Stiemerling, in: Kaulartz/Braegelmann, Rechtshandbuch AI und ML, Kap. 2.1, Rn. 30; Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 31. 633  Mühlböck/Taupitz, AcP 221 (2021), 179 (207). 634  Hermstrüwer, AöR 145 (2020), 479 (496 u. 505). 627  Mühlböck/Taupitz, 628  Mühlböck/Taupitz,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 279

Um einen späteren rechtskonformen Einsatz zu ermöglichen und den Anforderungen des Erwägungsgrunds 71, S. 6 gerecht werden zu können, muss bereits bei der Entwicklung angesetzt werden. Dies wird durch antidiskriminierungsrechtliche Vorschriften gestützt. Der Arbeitgeber ist gemäß § 12 Abs. 1 S. 1 AGG verpflichtet, die erforderlichen Maßnahmen zum Schutz vor Benachteiligungen zu treffen. Hiervon sind gemäß § 12 Abs. 1 S. 2 AGG auch vorbeugende Maßnahmen umfasst. Man wird vom Arbeitgeber also verlangen können, dass er bereits bei der Entwicklung eigener KI-Systeme vorbeugende Maßnahmen trifft und beispielsweise seine Mitarbeiter dazu anhält, die zur Verfügung stehenden technischen Verfahren zur Erfüllung von Fairnesskriterien, also zur Minderung von Benachteiligungen zu nutzen.635 Vor diesem Hintergrund kann man entsprechend der datenschutzrechtlichen Herangehensweise des Privacy by Design (vgl. Art. 25 DS-GVO) von Fairness by Design sprechen.636 Nachstehend werden einige technische Verfahren skizziert. Mit Blick auf technische Verfahren zur Erfüllung der Fairnesskriterien kann man auch von Minderungsalgorithmen sprechen.637 Sämtliche technischen Verfahren zur Vermeidung von Benachteiligungen kann man in eine der drei nachstehenden Kategorien einteilen, die sich danach unterscheiden, in welcher Phase eingegriffen wird.638 Die Verfahren sind für die verschiedenen Ursachen der Benachteiligung unterschiedlich gut geeignet. So eignen sich Pre-Processing-Verfahren gut im Falle von statistical bias, während Post-Processing-Verfahren bei einem societal bias vorzugswürdig sind.639 Es sind entsprechende Systeme auf dem Markt erhältlich.640 aa) Pre-Processing-Verfahren Pre-Processing-Verfahren umfassen sämtliche Verfahren, die auf eine Transformation der Trainingsdatensätze bzw. auf die Verwendung nicht kontaminierter Trainingsdatensätze abzielen.641 Die Trainingsdaten können etwa

635  Hacker, Common Market Law Review 2018, 1143 (1171 f.); Martini, in: Paal/ Pauly, DS-GVO BDSG, Art. 22 DS-GVO, Rn. 36a. 636  Straker, in: Hoeren/Sieber/Holznagel, Handbuch Multimedia-Recht, Teil 15.6, Rn. 52; Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 348. 637  Zhang, Algorithmische Fairness. 638  Hagendorff, ÖZS 2019, 53 (61); Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101. 639  Hacker, Common Market Law Review 2018, 1143 (1171). 640  Siehe die Auflistung bei Papp et al., Handbuch Data Sciene, S. 581. 641  Hermstrüwer, AöR 145 (2020), 479 (492 ff.); Hagendorff, ÖZS 2019, 53 (61); Hacker, REL 2021, 62 (63); Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 11.

280

4. Kap.: Diskriminierungsrisiken und AGG

bereinigt oder manipuliert werden. Dem liegt die Annahme zugrunde, dass Ursache der Benachteiligung die Trainingsdaten sind („statistical bias“).642 (1) Fairness by Blindness Ursprünglich ist ein Datennutzungsverbot, also eine Einschränkung der zur Verfügung stehenden Datensätze, in Erwägung gezogen worden (sog. Fairness by Blindness643). Dabei werden Informationen über Benachteiligungsmerkmale aus dem Datensatz entfernt, damit später keine Variablen, die auf Informationen über Benachteiligungsmerkmale zurückgreifen, genutzt werden.644 Ein solcher Ansatz wird mit Blick auf eine Diskriminierungsfreiheit in Anbetracht der Anknüpfung an Stellvertretermerkmale und damit verbundener Proxy-Diskriminierung keinen Vorteil bieten, sondern eher zu größeren Problemen führen.645 Die neutralen Stellvertretermerkmale korrelieren mitunter stark mit Benachteiligungsmerkmalen. Das Benachteiligungsmerkmal wird durch das Stellvertretermerkmal ersetzt; das Diskriminierungsproblem besteht fort. Es ist nunmehr sogar weniger erkennbar.646 Insbesondere lässt sich der Effekt des Benachteiligungsmerkmals nicht mehr messen.647 Konsequenterweise müsste man also auch Stellvertretermerkmale, die mit Benachteiligungsmerkmalen korrelieren, entfernen. Die Identifizierung von Stellvertretermerkmalen und Kombinationen von Stellvertretermerkmalen, die mit Benachteiligungsmerkmalen unkorreliert sind, ist indes praktisch unmöglich.648 Und auch die Definition erlaubter und verbotener, mit Benachteiligungsmerkmalen korrelierender Stellvertretermerkmale dürfte allein aufgrund der schieren Menge potenzieller Stellvertretermerkmale und entsprechender Kombinationen Probleme bereiten.649 Dieser Ansatz ist also nicht praktikabel. 642  Friedler/Scheidegger/Venkatasubramanian/Choudhary/Hamilton/Roth, in: Association for Computing Machinery, FAT ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, S. 329 (330); Papp et al., Handbuch Data Sciene, S. 580. 643  Gesellschaft für Informatik, Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, S. 36. 644  Hermstrüwer, AöR 145 (2020), 479 (501). 645  Hermstrüwer, AöR 145 (2020), 479 (482 u. 501); Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen bezeichnet diesen Ansatz daher auch als „naiv“; vgl. auch Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 348 ff. 646  Hermstrüwer, AöR 145 (2020), 479 (501). 647  Hermstrüwer, AöR 145 (2020), 479 (501). 648  Hermstrüwer, AöR 145 (2020), 479 (502 f.). 649  Hermstrüwer, AöR 145 (2020), 479 (503).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 281

(2) Relabelling, Resampling und Fair Representations Eine Unterkategorie von Pre-Processing-Ansätzen ist das Relabelling. Dabei werden die Basisraten einzelner Individuen im Trainingsdatensatz verändert. Dieser Ansatz zielt auf die Erfüllung des (in dieser Arbeit präferierten) Fairnesskriteriums der statistischen Parität ab.650 Eine weitere Unterkategorie ist das Resampling. Hier wird die Bedeutung von in den Trainingsdaten enthaltenen Datensätzen zu einzelnen Person (engl. Samples651) verändert, z. B. durch Verdoppelung.652 Die dritte Unterkategorie wird als Fair Representations bezeichnet. Hier wird ein synthetischer, repräsentativer Datensatz auf der Grundlage des ursprünglichen Trainingsdatensatzes konstruiert.653 bb) In-Processing-Verfahren Die beschriebenen Pre-Processing-Verfahren stoßen gerade bei reichhaltigen Datensätzen an Grenzen.654 Aus diesem Grund sind In-Processing-Verfahren in den Blickpunkt gerückt, die eine Steuerung des Trainings beinhalten.655 Dabei werden verzerrte Trainingsdatensätze einkalkuliert.656 In-Processing-Verfahren zielen auf eine Modifikation der Lernalgorithmen oder eine Beschränkung der Optimierung der Verlustfunktion über bestimmte Fairness­ prinzipen, und damit letztlich auf eine Kontrolle der Entscheidungsregeln ab.657 Auch bei In-Processing-Verfahren existiert eine Vielzahl von UnterkaFairness-Aware Machine-Learning, S. 24 f. Begrifflichkeit Dunkelau/Leuschel, Fairness-Aware Machine-Learning,

650  Dunkelau/Leuschel, 651  Zur

S. 9.

Fairness-Aware Machine-Learning, S. 25 f. Fairness-Aware Machine-Learning, S. 26. 654  Hermstrüwer, AöR 145 (2020), 479 (505). 655  Calders/Zliobaite, in: Custers/Calders/Schermer/Zarsky, Discrimination and Privacy in the Information Society, S. 43 (56); Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 12. 656  Dunkelau/Leuschel, Fairness-Aware Machine-Learning, S. 28. 657  Hacker, REL 2021, 62 (63); Hermstrüwer, AöR 145 (2020), 479 (505); Hagendorff, ÖZS 2019, 53 (61); Friedler/Scheidegger/Venkatasubramanian/Choudhary/ Hamilton/Roth, in: Association for Computing Machinery, FAT ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, S. 329 (330); Mehrabi/ Morstatter/Saxena/Lerman/Galstyan, ACM Comput. Surv. 2022, 1 (14); d’Alessandro/ O’Neil/LaGatta, Conscientous Classification, S. 20 ff.; Hacker, Common Market Law Review 2018, 1143 (1171); Dunkelau/Leuschel, Fairness-Aware Machine-Learning, S. 28; Papp et al., Handbuch Data Sciene, S. 580. 652  Dunkelau/Leuschel, 653  Dunkelau/Leuschel,

282

4. Kap.: Diskriminierungsrisiken und AGG

tegorien, auf die hier nicht im Einzelnen eingegangen werden soll.658 Möglichkeiten bestehen vor allem im Hinblick auf die Verlustfunktion. Einige In-Processing-Ansätze zielen auf eine Veränderung der Verlustfunktion oder auf eine Berücksichtigung von Fairnesskriterien bei der Minimierung des Verlusts ab.659 Im Verlaufe des Trainingsprozesses wird durch die Verlustfunktion der Verlust, also die Abweichung zwischen Zielwert und errechnetem Wert, berechnet und sodann minimiert, indem dieser Verlust rückwärts durch das Modell propagiert und dadurch Modifizierungen bei den Gewichtungen der Synapsen vorgenommen werden. In der Verlustfunktion ist das Ziel der Gesamtfehlerminimierung verankert. Die Minimierung von Fehlern für Mehrheitssubpopulationen wirkt sich stärker auf die Gesamtfehlerminimierung aus, sodass z. B. die Fehlerrate für Minderheitssubpopulationen stets höher ist.660 cc) Post-Processing-Verfahren Ferner existieren Post-Processing-Verfahren. (1) Ansatz von Post-Processing-Verfahren Diese Verfahren setzen nach dem Trainingsprozess an.661 Dadurch sind Post-Processing-Verfahren unabhängig vom angewandten Lernverfahren.662 Auch hier existieren verschiedene Unterkategorien.663 Post-Processing-Verfahren „take the output of any model and modify that output to be fair“.664 Man kann darunter also eine Nachbesserung der Ausgabe verstehen.665 Die jeweiligen Ausgaben (engl. raw scores666) werden in faire Ausgaben (engl. fair scores667) transformiert.668 Diese Verfahren eignen sich besonders gut Fairness-Aware Machine-Learning, S. 28 ff. Fairness-Aware Machine-Learning, S. 29 ff. 660  Hermstrüwer, AöR 145 (2020), 479 (495). 661  d’Alessandro/O’Neil/LaGatta, Conscientous Classification, S. 21; Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101; Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 13. 662  Hacker, REL 2021, 62 (64). 663  Dunkelau/Leuschel, Fairness-Aware Machine-Learning, S. 35 ff. 664  Friedler/Scheidegger/Venkatasubramanian/Choudhary/Hamilton/Roth, in: Association for Computing Machinery, FAT ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, S. 329 (330). 665  Cremers et al., Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, S. 16. 666  Hacker, Common Market Law Review 2018, 1143 (1171). 667  Hacker, Common Market Law Review 2018, 1143 (1171). 668  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (179). 658  Dunkelau/Leuschel, 659  Dunkelau/Leuschel,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 283

für die Vermeidung von Proxy-Diskriminierung.669 Post-Processing-Verfahren können ebenfalls auf die Erfüllung des Fairnesskriteriums statistischer Parität abzielen.670 Grundsätzlich kann auch der Verantwortliche, im produktiven Einsatz, Post-Processing-Verfahren einsetzen.671 Durch die Anwendung von Post-Processing-Verfahren kommt es aber zu einem Re-Ranking (etwa der Bewerber), was rechtliche Folgefragen auslöst, die im Folgenden adressiert werden.672 (2) Rechtliche Grenzen der Anwendung bei Post-Processing Diese technische Vorgehensweise setzt mitunter eine Ungleichbehandlung entlang von Benachteiligungsmerkmalen voraus.673 Infolgedessen könnte man die Sicherstellung bestimmter Fairnesskriterien, wie etwa statistischer Parität, durch technische Maßnahmen als positive Diskriminierung begreifen.674 Es geht um die Gleichstellung bisher benachteiligter Gruppen durch positive Maßnahmen aufgrund einer bestimmten Gruppenzugehörigkeit.675 Durch die Sicherstellung statistischer Parität wird zwischen den Mitgliedern verschiedener Subpopulationen die individuelle Fairness verletzt (siehe Seite 267 f.).676 Das Prinzip rechtlicher Gleichbehandlung und das Prinzip tatsächlicher Gleichheit bilden ein „Paradoxon der Gleichheit“.677 Dieser Widerspruch wird durch § 5 AGG aufgelöst, der eine Ungleichbehandlung unter bestimmten Voraussetzungen zulässt.678 Gemäß § 5 AGG ist eine unterschiedliche Behandlung zulässig, wenn durch geeignete und angemessene Maßnahmen bestehende Nachteile, etwa eine Unterrepräsentation bestimmter Common Market Law Review 2018, 1143 (1171). REL 2021, 62 (63 f.). 671  Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (168): „This is particularly relevant when, as in the credit scoring setting, an institution (the bank) receives scores from a third party (the scorer, e. g. FICO) without having access to the training data and the model. The institution can apply our algorithm to the outcome distribution regardless of how it was learned.“; vgl. auch Papp et al., Handbuch Data Sciene, S. 581. 672  Hacker, REL 2021, 62 (64). 673  Zum Fairnesskriterium der Belastungsgleichheit Hermstrüwer, AöR 145 (2020), 479 (512); Martini, Blackbox Algorithmus, S. 245. 674  Hacker, Common Market Law Review 2018, 1143 (1174); Zehlike/Hacker/ Wiedemann, Data Min. Knowl. Discov. 2020, 163 (187 f.). 675  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 5 AGG, Rn. 4. 676  Vgl. das anschauliche Beispiel bei Zehlike/Hacker/Wiedemann, Data Min. Knowl. Discov. 2020, 163 (179 ff.). 677  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 5 AGG, Rn. 8; Thüsing, in: MüKo BGB, § 5 AGG, Rn. 5. 678  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 5 AGG, Rn. 9. 669  Hacker, 670  Hacker,

284

4. Kap.: Diskriminierungsrisiken und AGG

Subpopulationen im eigenen Unternehmen679, wegen eines in § 1 AGG genannten Grundes verhindert oder ausgeglichen werden. Positive Maßnahmen sind nicht von vornherein unzulässig.680 (a) Vorliegen einer positiven Maßnahme Die Anwendung eines Post-Processing-Verfahrens durch den Arbeitgeber zur Sicherstellung statistischer Parität soll keine positive Maßnahme darstellen, wenn durch die Anwendung lediglich ungerechtfertigte Benachteiligungen korrigiert werden.681 Dann werde lediglich geltendes Recht befolgt.682 Das Vorliegen einer positiven Maßnahme setze voraus, dass ein Bewerber aus der einen Subpopulation trotz ursprünglich (nahezu) gleicher Ausgabe infolge der Nutzung eines Post-Processing-Verfahrens günstiger behandelt werde als ein Bewerber aus der anderen Subpopulation und damit die individuelle Fairness beeinträchtigt wird, die ursprüngliche Ausgabe nicht auf fehlerhaften Trainings- oder Eingabedaten beruhte und die auf der ursprünglichen Ausgabe beruhende Entscheidung gerechtfertigt gewesen wäre.683 Eine (gegebenenfalls unzulässige) positive Maßnahme komme also von vornherein nur bei der Anwendung technischer Verfahren im Bereich an sich gerechtfertigter Proxy-Diskriminierung in Betracht.684 (b) Vorfeldentscheidungen In einer EuGH-Entscheidung ist darauf hingewiesen worden, dass Maßnahmen, die nicht auf ein bestimmtes Resultat, sondern auf die Verbesserung von Chancen abzielen, zulässig sind.685 Dies gelte etwa für die Einladung zu Vorstellungsgesprächen.686 Dementsprechend können, sofern der Einsatz des KI-Systems im Bereich vorgelagerter Entscheidungen im Einstellungsver­ fahren (etwa bei der Entscheidung über die Einladung zum Vorstellungsge679  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 5 AGG, Rn. 4. 680  Thüsing, in: MüKo BGB, § 5 AGG, Rn. 6. 681  Hacker, REL 2021, 62 (64); in diese Richtung auch Hermstrüwer, AöR 145 (2020), 479 (512). 682  Hacker, REL 2021, 62 (64). 683  Hacker, Common Market Law Review 2018, 1143 (1174); Zehlike/Hacker/ Wiedemann, Data Min. Knowl. Discov. 2020, 163 (187). 684  Hacker, Common Market Law Review 2018, 1143 (1174); a. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 404, der bei korrigierenden Eingriffen stets das Vorliegen einer positiven Maßnahme annimmt. 685  EuGH, Urt. v. 28.03.2000 – C-158/97, juris Rn. 45 ff. und 56 ff. – Badeck. 686  EuGH, Urt. v. 28.03.2000 – C-158/97, juris Rn. 45 ff. und 56 ff. – Badeck.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 285

spräch) erfolgt, Post-Processing-Verfahren angewandt werden, ohne dass unzulässige positive Maßnahmen vorliegen.687 (c) Einzelfallprüfung (keine automatische und unbedingte ­Vorrangeinräumung) Abseits dieser Vorfeldentscheidungen ist eine automatische und unbedingte Vorrangeinräumung zugunsten einzelner geschützter Gruppen auch zur Herstellung faktischer Gleichheit nach Auffassung des EuGH unzulässig.688 Dies würde eine unangemessen starke Einschränkung des individuellen Gleichbehandlungsanspruchs der Mitglieder der anderen Gruppe bedeuten.689 Erfolgt der Einsatz des KI-Systems also im Entscheidungsprozess und würde es bei einer Anwendung von Post-Processing-Verfahren zu einer kompensierenden Entscheidungsbindung690 kommen, läge eine unzulässige, positive Maßnahme vor. Später hat der EuGH dann festgehalten, dass eine solche automatische und unbedingte Vorrangeinräumung nicht vorliegt, wenn eine Einzelfallprüfung erfolgt, also sämtliche, die Bewerber betreffenden Kriterien berücksichtigt und abgewogen werden.691 Dem lässt sich auch nicht entgegenhalten, dass diese Einzelfallprüfung nur die ursprüngliche, also ohne Anwendung eines Post-Processing-Verfahrens erreichte Verteilung zum Ergebnis haben könne.692 Denn im Rahmen der Einzelfallprüfung wären sämtliche Einzelfallumstände zu berücksichtigen, nicht nur die im KI-System enthaltenen Kriterien.693 Eine solche Einzelfallprüfung sollte durch einen Menschen vorgenommen werden, der die Entscheidung darüber treffen muss, ob das Re-Ranking übernommen wird.694 Eine solche Prüfung wird nur bei echten Anhaltspunkten erforderlich sein.695 Es kann also eine zulässige positive Maßnahme vorliegen.696

REL 2021, 62 (63). Urt. v. 17.10.1995 – C-450/93, juris Rn. 22 – Kalanke. 689  Baumgärtner, in: beck-online.GROSSKOMMENTAR, § 5 AGG, Rn. 38. 690  Thüsing, in: MüKo BGB, § 5 AGG, Rn. 11. 691  EuGH, Urt. v. 11.11.1997 – C-409/95, juris Rn. 33 ff. – Marschall. 692  So aber Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 408. 693  Vgl. EuGH, Urt. v. 11.11.1997 – C-409/95, juris Rn. 33 – Marschall: „alle die Person der Bewerber betreffenden Kriterien […]“. 694  Hacker, Common Market Law Review 2018, 1143 (1175); Zehlike/Hacker/ Wiedemann, Data Min. Knowl. Discov. 2020, 163 (188). 695  Hacker, REL 2021, 62 (64). 696  A. A. Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 408. 687  Hacker, 688  EuGH,

286

4. Kap.: Diskriminierungsrisiken und AGG

3. Zurechnung von schuldhaftem Fehlverhalten Soweit kein eigenes Verschulden des Arbeitgebers festgestellt werden kann, stellt sich die Frage einer Verschuldenszurechnung gemäß § 278 S. 1 BGB. Für das Vertretenmüssen sind die Ursachen der Benachteiligung entscheidend. Derjenige, der durch seine Handlung das benachteiligende Systemverhalten verursacht und damit für das benachteiligende Systemverhalten verantwortlich ist, kommt als Zurechnungsausgangssubjekt in Betracht. Dabei sollen zwei Fallgruppen voneinander zu unterscheiden sein. Die Benachteiligung könne entweder auf menschlichem oder auf programmtechnischem Versagen beruhen.697 Fraglich ist, in welchen Konstellationen ein mensch­ liches bzw. ein programmtechnisches Versagen vorliegt. Zur Beantwortung dieser Frage muss man sich erneut den Entwicklungsprozess derartiger Softwaresysteme vergegenwärtigen (siehe 2. Kapitel). a) Schuldhaftes Fehlverhalten des Entwicklers/Software-Anbieters Die Ursache der Benachteiligung wird zunehmend technisch bedingt sein, was zu einer gewissen Verlagerung von Sorgfaltspflichten auf den Entwickler/Software-Anbieter führt.698 Die Entwickler der Systeme müssen sich in erster Linie um die Bereitstellung von Daten und die Modellierung der Ziele des Systems kümmern.699 Das Modell wird in der Trainingsphase mit annotierten Daten trainiert. Die Benachteiligung kann auf verzerrten Trainingsdaten bzw. einer fehlerhaften Annotation beruhen. Sowohl die Auswahl des Trainingsdatensatzes als auch der Annotationsprozess erfolgen durch Menschen. Zudem kann es im Entwicklungsprozess Fehler bei der Auswahl des Fairnesskriteriums geben, sodass dem Grunde nach ein Fehlverhalten und eine Zurechnung von Verschulden gemäß § 278 S. 1 BGB vorstellbar sind.700 Gemäß § 278 S. 1 BGB hat der Schuldner ein Verschulden der Personen, derer er sich zur Erfüllung seiner Verbindlichkeit bedient, in gleichem Umfang zu vertreten wie eigenes Verschulden. Dies setzt voraus, dass es sich bei der Person, die für die Auswahl des Trainingsdatensatzes, die Annotation der Trainingsdaten oder die Auswahl des Fairnesskriteriums verantwortlich ist, 697  von

(288).

Lewinski/de Barros Fritz, NZA 2018, 620 (623); Freyler, NZA 2020, 284

CR 2016, 7 (9). in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 2. 700  Freyler, NZA 2020, 284 (288); Lorenz, in: BeckOK BGB, § 276 BGB, Rn. 5. 698  Horner/Kaulartz, 699  Pek,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 287

also dem Entwickler, um einen Erfüllungsgehilfen des Arbeitgebers handelt. Dabei wird fingiert, dass es sich um einen einzelnen Entwickler handelt, wenngleich dies unterkomplex ist, da die Entwicklung des KI-Systems in der Regel durch Teams mit zahlreichen Mitgliedern erfolgt.701 Erfüllungsgehilfe ist, wer mit dem Willen des Schuldners bei der Erfüllung einer diesem obliegenden Verbindlichkeit als seine Hilfsperson tätig wird.702 Es genügt nicht, dass die Tätigkeit des Entwicklers schädliche Auswirkungen auf den Gläubiger, den konkreten Bewerber, haben kann.703 Vielmehr bedarf es einer Eingebundenheit in den Pflichtenkreis des Arbeitgebers, wofür die Wahrnehmung personalbezogener Pflichten erforderlich ist.704 Es ist fraglich, ob der Entwickler im Pflichtenkreis des Arbeitgebers tätig wird, insbesondere personalbezogene Pflichten wahrnimmt. Der Entwickler nimmt mit der Entwicklung des KI-Systems jedenfalls nicht unmittelbar personalbezogene Pflichten wahr. Er leistet im vorvertraglichen Vertrauensverhältnis auch keinen objektiven Handlungsbeitrag.705 Zudem mag man gegen eine Zurechnung auf den ersten Blick anführen, dass zwischen Arbeitgeber und Software-Anbieter entweder ein Kaufvertrag über ein bereits entwickeltes KI-System oder ein Werkvertrag über die Entwicklung eines individuellen KI-Systems geschlossen worden ist706 und weder der Vorlieferant noch der Hersteller Erfüllungsgehilfe des Verkäufers sei.707 Der Arbeitgeber schuldet aber im vorvertraglichen Bereich gemäß §§ 311 Abs. 2, 241 Abs. 2 BGB die Rücksichtnahme auf die Rechte, Rechtsgüter und Interessen des Bewerbers.708 Konkret trifft den Arbeitgeber die Pflicht zu benachteiligungsfreier Behandlung der Bewerber.709 Der Arbeitgeber hat für eine faire und diskriminierungsfreie Ausgestaltung des Einstellungsverfahrens zu sorgen.710 Hierzu soll auch die Festlegung der Parameter gehöRW 2018, 477 (493 f.). Urt. v. 24.01.2019 – I ZR 160/17, NZM 2019, 547 (552). 703  Stoffels, RdA 2009, 204 (208). 704  Stoffels, RdA 2009, 204 (208). 705  Horcher, in: BeckOK BGB, § 15 AGG, Rn. 9; Plum, in: Schleusener/Suckow/ Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 65. 706  Freyler, NZA 2020, 284 (290). 707  BGH, Urt. v. 02.04.2014 – VIII ZR 46/13, NJW 2014, 2183 (2185); Höpfner/ Daum, ZfA 2021, 467 (497). 708  Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 7 AGG, Rn. 9; Benecke, in: beck-online.GROSSKOMMENTAR, § 7 AGG, Rn. 55. 709  Stoffels, RdA 2009, 204 (208). 710  BAG, Urt. v. 22. August 2013 – 8 AZR 563/12, juris Rn. 38. 701  Yuan,

702  BGH,

288

4. Kap.: Diskriminierungsrisiken und AGG

ren, nach denen die (Vor-)Auswahl erfolgt.711 Diese Festlegung erfolgt im Zuge der Entwicklung des KI-Systems. Auch mag man auf die Schutzpflicht des Arbeitgebers gemäß § 12 Abs. 1 AGG abstellen712. Deswegen komme eine Zurechnung des Fehlverhaltens des Entwicklers in Betracht, obwohl dessen Fehlverhalten bereits im Vorfeld des Einstellungsverfahrens stattfinde.713 Hierfür spricht auch, dass sich der Arbeitgeber Fehlverhalten von Personen zurechnen lassen muss, denen er Entscheidungsbefugnisse im Auswahlprozess überträgt.714 Gerade für den Fall, dass das System eine eigene (Vor-) Auswahl und damit Entscheidungen im Auswahlprozess trifft, spricht einiges dafür, von einer Übertragung von Entscheidungsbefugnissen durch den Arbeitgeber an den Entwickler auszugehen. b) Schuldhaftes Fehlverhalten des Personalers Ein Fehlverhalten des Personalers wäre über § 278 S. 1 BGB zurechenbar. Hier ist eine sachgerechte unternehmensinterne Abgrenzung von Verantwortungsbereichen vorzunehmen.715 Gibt der Arbeitgeber das KI-System für die Verwendung im Bereich von Einstellungsverfahren frei, kann der Personaler grundsätzlich darauf vertrauen, dass das System funktionsfähig ist.716 Dies entbindet ihn nicht von jeglicher Verantwortung. Bei entscheidungsunterstützenden Systemen kann, sofern die Benachteiligung erst in der menschlichen Letztentscheidung liegt, ein mögliches Verschulden des Personalers und damit ein haftungsrechtlicher Anknüpfungspunkt in der unkritischen Behandlung der Ausgabe liegen.717 Man kann von einem Personaler verlangen, dass er die generierte Ausgabe einer kritischen Überprüfung unterzieht und dabei etwa atypische Sachverhaltselemente beachtet.718 Solches Fehlverhalten eines Personalers muss sich der Arbeitgeber zurechnen lassen. ZfA 2021, 467 (498). Algorithmusbasierte Entscheidungsfindung, S. 412. 713  Höpfner/Daum, ZfA 2021, 467 (498); wohl auch Benecke, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 1, § 33, Rn. 168; Benecke, in: FS Preis, S. 73 (79); Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 412. 714  Stoffels, RdA 2009, 204 (208). 715  Für Verwaltungsentscheidungen Martini/Ruschemeier/Hain, VerwArch 2021, 1 (19). 716  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (20). 717  Für den Amtshaftungsanspruch gemäß § 839 BGB i. V. m. Art. 34 GG: RothIsigkeit, AöR 145 (2020), 321 (334). 718  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (20). 711  Höpfner/Daum, 712  Wimmer,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 289

Verletzt ein Beteiligter also die etablierten Sorgfaltspflichten, kommt, voraus­ gesetzt bei Erfüllung der Sorgfaltspflichten wäre das Fehlverhalten erkennbar und vermeidbar gewesen, eine Haftung in Betracht.719 c) Schuldhaftes Fehlverhalten des Systems Die Zurechnung gem. § 278 S. 1 BGB ist problematisch, wenn die Benachteiligung auf einem Fehler/Fehlverhalten des KI-Systems beruht, obwohl sämtliche Beteiligten ihre Sorgfaltspflichten eingehalten haben. Die Fehlverhaltensfolgen würden, wenn man eine Zurechnung ablehnt, in diesem Fall den Geschädigten, also den Bewerber, treffen und ihn übermäßig mit Risiken belasten, die der Arbeitgeber geschaffen hat.720 Fraglich ist, ob und wann bei KI-Systemen allein ein programmtechnisches Versagen vorliegen kann und, ob in diesem Fall eine Zurechnung sinnvoll und möglich ist. Dies ist umstritten; der Streitstand wird nachstehend dargestellt.721 aa) Programmtechnisches Versagen Teilweise wird nicht mehr zwischen Fehlern der Beteiligten, insbesondere des Entwicklers, und des Systems differenziert.722 Es sei keine Konstellation denkbar, in der Benachteiligungen nicht auf ein Fehlverhalten des Arbeitgebers oder des Entwicklers/Software-Anbieters zurückgeführt werden könnten.723 Es fehle daher an einer Regelungslücke und einem praktischen Bedürfnis für eine Analogie.724 Andere meinen, ein allein programmtechnisches Versagen komme sehr wohl in Frage.725 Dies hängt letztlich davon ab, welche Anforderungen man an die Beteiligten stellt.

CR 2016, 7 (8). Autonome und vernetzte Aktanten im Zivilrecht, S. 198 f. 721  Für eine analoge Anwendung: von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 15 AGG, Rn. 9; gegen eine analoge Anwendung: Thüsing, in: MüKo BGB, § 3 AGG, Rn. 34; Deinert, in: Däubler/Beck, AGG, § 15 AGG, Rn. 34; Benecke, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 1, § 33, Rn. 168. 722  Höpfner/Daum, ZfA 2021, 467 (498 f.). 723  Höpfner/Daum, ZfA 2021, 467 (498 f.); Wimmer, Algorithmusbasierte Entscheidungsfindung, S.  413 f. 724  Höpfner/Daum, ZfA 2021, 467 (498 f.); Wimmer, Algorithmusbasierte Entscheidungsfindung, S.  413 f. 725  von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Freyler, NZA 2020, 284 (288). 719  Horner/Kaulartz, 720  Linardatos,

290

4. Kap.: Diskriminierungsrisiken und AGG

Der Rückschluss von einem Fehlverhalten des KI-Systems auf eine Sorgfaltspflichtverletzung eines Beteiligten werde nicht oder nur schwer positiv begründbar sein.726 Allerdings gilt die Verschuldensvermutung des § 15 Abs. 1 S. 2 AGG. Es wird daher im Zusammenhang mit den Pflichten des Arbeitgebers gegen die Erforderlichkeit einer Analogie vorgebracht, betroffene Personen seien durch die Verschuldensvermutung des § 15 Abs. 1 S. 2 AGG geschützt.727 Als Argument für eine analoge Anwendung wird darauf hingewiesen, dass die Verschuldensvermutung auch im Falle des Einsatzes von Menschen gilt und sich hieraus demzufolge keine Rückschlüsse auf die Anwendbarkeit von § 278 BGB ziehen ließen.728 Einige meinen, die Verschuldensvermutung könne – gegebenenfalls mithilfe der Einholung eines Sachverständigengutachtens oder des Zeugnisses des Entwicklers zur Vorhersehbarkeit – „relativ einfach“ widerlegt werden.729 Voraussetzung der Fahrlässigkeit ist die Erkennbarkeit und Vermeidbarkeit der drohenden Tatbestandsverwirklichung.730 Derjenige handelt fahrlässig, der bei Anwendung der im Verkehr erforderlichen Sorgfalt die Tatbestandsverwirklichung hätte erkennen und vermeiden können. Die Rechenvorgänge eines KI-Systems seien so vielschichtig, dass nicht mehr jede Entscheidung des Systems vorhersehbar sei.731 Der Arbeitgeber werde das (schadensverursachende) Systemverhalten wegen der Unvorhersehbarkeit der KI-Systeme oft weder erkennen noch vermeiden können.732 Er werde darauf verweisen, dass das System in der Vergangenheit stets tadellos funktioniert hat und die Tatbestandsverwirklichung für ihn nicht erkennbar war.733 Die Intransparenz der internen Abläufe von KI-Systemen beeinträchtige die Vorhersehbarkeit und Beherrschbarkeit der durch das KI-System getroffenen Entscheidungen zusätzlich.734 Je undurchsichtiger und unvorhersehbarer das Systemverhalten sei, desto eher werde man eine Sorgfaltspflichtverletzung ablehnen müs726  Horner/Kaulartz, CR 2016, 7 (9); Wagner/Luyken, in: FS Windbichler, S. 155 (168); Spindler, JZ 2016, 805 (816); Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 120; Mühlböck/Taupitz, AcP 221 (2021), 179 (197). 727  Grundmann, in: MüKo BGB, § 278 BGB, Rn. 46; Stoffels, RdA 2009, 204 (210). 728  von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Freyler, NZA 2020, 284 (288). 729  Teubner, AcP 218 (2018), 155 (186). 730  Lorenz, in: BeckOK BGB, § 276 BGB, Rn. 17. 731  Heiderhoff/Gramsch, ZIP 2020, 1937 (1938). 732  Teubner, AcP 218 (2018), 155 (186); Heiderhoff/Gramsch, ZIP 2020, 1937 (1939). 733  Klingbeil, JZ 2019, 718 (719). 734  Mühlbock/Taupitz, AcP 221 (2021), 179 (197).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 291

sen.735 Trotz der Verschuldensvermutung des § 15 Abs. 1 S. 2 AGG, könne es zu Haftungslücken kommen.736 Der Verweis auf ein Auswahl- und Überwachungsverschulden sei unbefriedigend.737 Andere meinen, der Arbeitgeber werde sich in der Regel nicht entlasten können.738 Der Arbeitgeber werde die Verschuldensvermutung nicht mit dem bloßen Hinweis auf sein fehlendes technisches Verständnis bzw. die Undurchschaubarkeit oder Unvorhersehbarkeit des Systems widerlegen können.739 Zwar könnten konkrete Verläufe nicht vorhergesehen werden, aber (was ausreichend sei740) das abstrakte Risiko von Schädigungen sei durchaus erkennbar.741 Vor dem Hintergrund der ohnehin umstrittenen Unionsrechtskonformität des Verschuldenserfordernisses (vgl. Seite 259 ff.) seien die Verhaltensanforderungen, die sich auf den Umfang des Erkenn- und Vermeidbaren auswirken742, zudem hoch.743 Gerade vor dem Hintergrund, dass heute im Einsatz befindliche KI-Systeme der Lösung konkreter Anwendungsprobleme bzw. klar definierter Aufgaben dienen, sei beispielsweise ein ausführliches Testen möglich.744 Außerdem seien die zugrundeliegenden mathematischen Funktionen theoretisch berechenbar, wenngleich der Aufwand hierfür mitunter sehr hoch sein kann.745 Trotz allem kann es Fälle geben, in denen ein programmtechnisches Versagen vorliegt und kein Fehlverhalten der Beteiligten festgestellt werden kann. Bezogen auf KI-Systeme kann auch eine Proxy-Diskriminierung vorliegen. Dann sind weder Fehler bei der Auswahl der Trainingsdaten noch beim Trainingsprozess, etwa bei der Annotation, gemacht worden.746 Die Benachteiligung ist schlichte Folge der Tatsache, dass im Laufe des Trainingsprozesses bestimmten Stellvertretermerkmalen durch das KI-System eine hohe Relevanz beigemessen wurde und diese Stellvertretermerkmale, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 92 (96). AcP 221 (2021), 179 (198). 737  Hacker, RW 2018, 243 (258). 738  Grundmann, in: MüKo BGB, § 278 BGB, Rn. 46; Müller-Hengstenberg/Kirn, MMR 2014, 307 (311). 739  Freyler, NZA 2020, 284 (289). 740  Dauner-Lieb, in: Dauner-Lieb/Langen, BGB Schuldrecht, § 276 BGB, Rn. 15. 741  Zech, Gutachten A zum 73. Deutschen Juristentag, A 55. 742  Lorenz, in: BeckOK BGB, § 276 BGB, Rn. 29 u. 32. 743  Freyler, NZA 2020, 284 (289); Foerster, ZfPW 2019, 418 (431). 744  Grützmacher, CR 2021, 433 (434). 745  Grützmacher, CR 2021, 433 (435), der von einer „Turing“-Berechenbarkeit spricht; zum Begriff der „Turing“-Berechenbarkeit Reichwald/Pfisterer, CR 2016, 208 (209). 746  Tischbirek, in: Wischmeyer/Rademacher: Regulating Artificial Intelligence, S.  103 (108 f.). 735  Zeck,

736  Mühlböck/Taupitz,

292

4. Kap.: Diskriminierungsrisiken und AGG

etwa aus strukturellen Gründen, in der Gesellschaft ungleich verteilt sind.747 Ein Fehlverhalten des Entwicklers liegt dann nicht vor. Auf der Ebene der Entwicklung ist zwar eine Überprüfung der KI-Systeme auf deren benachteiligende Wirkung möglich. Gerade mittelbare Benachteiligungen lassen sich aber oft nicht erkennen.748 Dies dürfte umso mehr für Mehrfachbenachteiligungen (etwa intersektionelle) Benachteiligungen gelten.749 Dem Entwickler dann einen Hinweis abzuverlangen, dass mittelbare Diskriminierungen durch das System nicht ausgeschlossen seien (aus Gründen der Vorsicht wird dieser Hinweis stets erfolgen750) und bei gleichwohler Nutzung des Systems durch den Arbeitgeber dessen Verschulden anzunehmen751, dürfte die Sorgfaltspflichten überspannen. Wenn jeder Entwickler diesen Hinweis erteilt, würde man damit letztlich wieder den Einsatz von KI-Systemen an sich als sorgfaltswidrig deklarieren. Da also – trotz der Verschuldensvermutung und der bestehenden Sorgfaltspflichten – mitunter ein Fehlverhalten des KI-Systems, aber weder ein eigenes Verschulden des Arbeitgebers noch ein Verschulden des Entwicklers oder des Mitarbeiters der Personalabteilung vorliegt, stellt sich die Folgefrage, ob eine Anwendung von § 278 S. 1 BGB auf KI-Systeme in Betracht kommt.752 Der Zweck der Haftung gemäß § 278 S. 1 BGB besteht darin, eine Einstandspflicht des Schuldners, hier des Arbeitgebers, auch dann zu begründen, wenn ihn kein eigenes Verschulden trifft.753 bb) Adäquatheit der Garantiehaftung Gegen eine analoge Anwendung des § 278 S. 1 BGB kann man vorbringen, dass den Arbeitgeber, wie geschrieben, bestimmte Auswahl- und Überwachungspflichten treffen.754 Wenn der Arbeitgeber diesen Pflichten gerecht 747  Hacker, Common Market Law Review 2018, 1143 (1148); Tischbirek, in: Wischmeyer/Rademacher: Regulating Artificial Intelligence, S. 103 (108 f.); Hermstrüwer, AöR 145 (2020), 479 (495). 748  Hänold/Schlee/Antweiler/Beckh, MedR 2021, 516 (522). 749  Lindinger, in: Gesellschaft für Informatik, Arbeitspapier Diskriminierende KI?, S. 7 (8); vgl. auch Grünberger, Personale Gleichheit, S. 595 ff. 750  Peters, Emotionserkennung mittels künstlicher Intelligenz, S. 4 f.: So hat ein Systemanbieter zwar mit dem Slogan geworben „Maschinen sind grundsätzlich neutral“, auf Nachfrage dann aber darauf verwiesen, dass „Auswahlentscheidungen nie 100 %ig neutral sein“ könnten. 751  Höpfner/Daum, ZfA 2021, 467 (499). 752  von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Freyler, NZA 2020, 284 (288). 753  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 210. 754  Spindler, JZ 2016, 805 (816); Grundmann, in: MüKo BGB, 8. Aufl., § 278 BGB, Rn. 46; Deinert, in: Däubler/Beck, AGG, § 15 AGG, Rn. 34.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 293

werde, dürfe ihn keine Haftung treffen.755 Es gelte dasselbe wie bei dem Einsatz anderer gefährlicher Technologien.756 Zuweilen gelinge der Beweis fehlender Fahrlässigkeit. Die Rechtsordnung nehme die daraus resultierende Haftungsfreiheit in Kauf und reagiere nur bei besonders gefährlichen Geräten mit dem Instrument der Gefährdungshaftung.757 Dem lässt sich entgegenhalten, dass bei KI-Systemen die Besonderheit besteht, dass es häufiger als bei anderen Technologien trotz fehlenden fahrlässigen Verhaltens der Beteiligten zu einer Schadensverursachung komme.758 Daher sei eine Zurechnung und die Übernahme einer Garantie für das ordnungsgemäße Verhalten759 von diesen Systemen angezeigt.760 cc) Ökonomische Erwägungen Neben der Zielsetzung der Schadenskompensation besitzt das Haftungsrecht auch eine erhebliche Steuerungsfunktion.761 Aus ökonomischer Perspektive würde eine analoge Anwendung von § 278 S. 1 BGB zu einer Internalisierung der Kosten von Systemversagen führen. Das Wissen um diese Internalisierung führt ex-ante zu einer Abwägung der möglichen Kosten der Ersatzleistung mit den Kosten für etwaige Vorsorgemaßnahmen.762 Insgesamt könnte eine analoge Anwendung von § 278 S. 1 BGB im Sinne eines Steuerungsanreizes hinsichtlich des Sorgfaltsniveaus das Zurechnungsendsubjekt, hier den Arbeitgeber, zu einer Kosten-NutzenAbwägung mit Blick auf die Systemsicherheit sowie zu einer ressourcen­ optimierenden Kontrollausübung incentivieren.763 Im Gegensatz dazu würde die Tatsache, dass betroffene Personen mangels analoger Anwendung von § 278 S. 1 BGB die Schäden, die auf programmtechnischem Versagen beruhen, tragen würden, zu einem rechtspolitischen Druck zur Ausweitung der Herstellerhaftung auf die gesamten technischen Verhaltensfolgen führen.764 Das System sei aber der Herrschaftssphäre des Schuldners zuzurechnen und die hiervon ausgehenden Risiken könnten durch JZ 2016, 805 (816). JZ 2016, 805 (816). 757  Heiderhoff/Gramsch, ZIP 2020, 1937 (1939). 758  Teubner, AcP 218 (2018), 155 (187). 759  Caspers, in: Staudinger, BGB, § 278 BGB, Rn. 1. 760  Teubner, AcP 218 (2018), 155 (187 f.). 761  Heiderhoff/Gramsch, ZIP 2020, 1937 (1938). 762  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 215 f. 763  Grundmann, in: MüKo BGB, § 278 BGB, Rn. 46; Hacker, RW 2018, 243 (255); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 206. 764  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 189 u. 212. 755  Spindler, 756  Spindler,

294

4. Kap.: Diskriminierungsrisiken und AGG

den Schuldner mit vergleichsweise geringem Kostenaufwand kontrolliert oder jedenfalls versichert werden.765 Eine solche Ausweitung sei also angesichts besserer Einwirkungs- und Versicherungsmöglichkeiten766 des Schuldners nicht sachgerecht, zumal eine zu weitreichende Herstellerhaftung innovationshemmend wirken könne.767 So ist denkbar, dass bestimmte Produkte den Markt aus haftungsrechtlichen Gründen erst verzögert erreichen oder von diesem gänzlich ferngehalten werden.768 Dies würde sich darüber hinaus negativ auf Produktoptimierungen auswirken, die in der Entwicklungsumgebung schwerer zu verwirklichen sind.769 Gleichzeitig würde eine analoge Anwendung von § 278 S. 1 BGB, da die Vorschrift kein Verschulden des Schuldners voraussetzt, auch zu einer Internalisierung von sog. Residualschäden, also Schäden, die selbst bei Anwendung der im Verkehr erforderlichen Sorgfalt nicht vermeidbar gewesen wären, beitragen.770 Diese Schäden hat trotzdem der Schuldner zu tragen. Diese Internalisierung von Residualschäden führt unter verhaltensökonomischen Gesichtspunkten, also im Hinblick auf menschliches Verhalten in wirtschaftlichen Situationen, zu einer Aktivitätssteuerung und dadurch in Bereichen, in denen das Ausmaß der Schadensrisiken von dem Aktivitäts­ niveau des Benutzers abhängt, letztlich zu einer Reduzierung von Schadensrisiken.771 Diese Kostenbelastung sei auch zumutbar.772 Der Schuldner könne nicht die Vorteile der Arbeitsteilung unter Einschaltung von KI-Systemen für sich in Anspruch nehmen, aber die Risiken externalisieren, zumal er den Tätigkeitsumfang des KI-Systems steuere.773 Letztlich lagere der Arbeitgeber nur eigentlich von ihm auszuführende Personaltätigkeiten aus.774 Ein Bedarf nach derartigen Steuerungsanreizen besteht auch bei KI-Systemen, was für eine analoge Anwendung von § 278 S. 1 BGB spricht. Eine 765  Mühlböck/Taupitz, AcP 221 (2021), 179 (200); Klingbeil, JZ 2019, 718 (719); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 210, der insoweit vom „cheapest cost avoider“ und „cheapest insurer“ spricht. 766  Mit Blick auf den arbeitsrechtlichen Bereich bieten Versicherungen zunehmend sog. Employment Practices Liability Insurances/Arbeitgeberrisikoversicherungen an. 767  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 213 f. 768  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 220. 769  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 220. 770  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 223 ff. 771  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 227. 772  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 221. 773  Wagner/Luyken, in: FS Windbichler, S. 155 (173); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 207 f. 774  Thüsing, in: MüKo BGB, § 3 AGG, Rn. 34.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 295

analoge Anwendung des § 278 S. 1 BGB auf KI-Systeme ist grundsätzlich sinnvoll.775 dd) Personen, deren er sich zur Erfüllung seiner Verbindlichkeit bedient § 278 S. 1 BGB betrifft an sich nur die Haftung für vom Schuldner eingeschaltete natürliche und juristische Personen.776 Solange einem KI-System nicht der Status einer Rechtsperson zugeschrieben wird777, kommt von vornherein also nur eine analoge Anwendung von § 278 S. 1 BGB in Betracht.778 Eine planwidrige Regelungslücke besteht, da es sich bei den hier in Rede stehenden Systemen um ein technisches Phänomen handelt, das bei Erlass des § 278 S. 1 BGB nicht vorhersehbar war.779 Problematischer ist die Vergleichbarkeit der Interessenlage. Die Frage einer analogen Anwendung von § 278 S. 1 BGB auf KI-Systeme ist umstritten. (1) Gleichstellungsgedanke und funktionale Äquivalenz Für eine analoge Anwendung des § 278 S. 1 BGB bezogen auf KI-Systeme wird vorgebracht, Zurechnungsgrund des § 278 S. 1 BGB sei ein Gleichstellungsgedanke. Der Gläubiger, also der betroffene Bewerber, soll bei Einsatz eines Erfüllungsgehilfen haftungsrechtlich so gestellt werden, wie er stünde, wenn der Schuldner in persona geleistet hätte.780 Dabei mache es keinen Unterschied, ob der Arbeitgeber einen Menschen oder ein KI-System einsetze (sog. funktionale Äquivalenz).781 Mit Blick auf den Einsatz von KI-Systemen kollabiere die kategoriale Unterscheidung zwischen Personal und Maschine.782 Eine vergleichbare Interessenlage resultiere daraus, dass bisher dem Menschen vorbehaltene Tätigkeiten aufgrund eines voranschreitenden Substitu­ tionsprozesses zunehmend durch KI-Systeme übernommen würden.783 Öffne 775  Teubner, AcP 218 (2018), 155 (186 f.); Schirmer, JZ 2016, 660 (665); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 195 u. 262. 776  Caspers, in: Staudinger, BGB, § 278 BGB, Rn. 5. 777  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 187. 778  Benecke, in: FS Preis, S. 73 (79). 779  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 206. 780  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 210. 781  von Lewinski/de Barros Fritz, NZA 2018, 620 (623); Klingbeil, JZ 2019, 718. 782  Hacker, RW 2018, 243 (250); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 206 unter Verweis auf bestehende Produkt- und Gehilfenrisiken. 783  Mühlböck/Taupitz, AcP 221 (2021), 179 (198); Klingbeil, JZ 2019, 718; Zech, Gutachten A zum 73. Deutschen Juristentag, A 76.

296

4. Kap.: Diskriminierungsrisiken und AGG

die Gesellschaft neue Entscheidungsräume für KI-Systeme, müsse sie für wirksame Formen von Verantwortung sorgen.784 Auch insofern sei der Gleichbehandlungsgrundsatz zu berücksichtigen. Die Nutzung von KI-Systemen privilegiere andernfalls denjenigen, der ein KI-System statt eines Menschen „nutze“ zulasten der geschädigten Gläubiger.785 Es sei unerheblich, ob die Risiken der Arbeitsteilung durch einen Menschen oder durch eine Maschine verursacht werden.786 Eine Freizeichnung von Haftungsrisiken durch eine „Flucht in die Künstliche Intelligenz“ sei zu vermeiden (auch wenn fraglich ist, ob auf Seiten der Arbeitgeber solche Fluchtbestrebungen beste­ hen).787 (2) Eigenschaften des Erfüllungsgehilfen Als Argument gegen eine analoge Anwendung von § 278 S. 1 BGB wird vorgebracht, dass ein menschlicher Erfüllungsgehilfe grundsätzlich als Kehrseite seiner Freiheit und Eigenverantwortlichkeit auch selbst hafte, etwa einem Regressanspruch des Schuldners ausgesetzt sei, und dies bei dem Erfüllungsgehilfen verhaltenssteuernde Anreize zur Schadensvermeidung setze. Dies fehle bei einem KI-System.788 Dem wird entgegengehalten, dass Regressansprüche des Arbeitgebers gegen seinen Erfüllungsgehilfen in der Praxis, etwa aus rechtlichen Gründen wie dem Prinzip des innerbetrieblichen Schadensausgleichs oder aus tatsächlichen Gründen wie der Solvenz des Erfüllungsgehilfen, selten anzutreffen seien.789 Hinzu komme, dass die Zurechnung gemäß § 278 S. 1 BGB von Möglichkeit und Umfang eines Innenregresses unabhängig sei.790 Auch das Argument, dass KI-Systeme nicht vergleichbaren Anreizen zur Schadensvermeidung (z. B. Sorge um eigene Inanspruchnahme und den Erhalt des Arbeitsplatzes) ausgesetzt seien791, sei rein ontologischer Natur und verfehlt. Schließlich können die Systeme auf eine technische Weise zu einer Schadensvermeidung angehalten werden.792 784  Teubner, AcP 218 (2018), 155 (187 f.); für das Verwaltungsrecht: Roth-Isigkeit, AöR 145 (2020), 321 (341). 785  Teubner, AcP 218 (2018), 155 (188). 786  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 205. 787  Für Verwaltungsentscheidungen: Martini/Ruschemeier/Hain, VerwArch 2021, 1 (16); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 209. 788  Heiderhoff/Gramsch, ZIP 2020, 1937 (1939  f.); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 233. 789  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 233 f. 790  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 235. 791  Heiderhoff/Gramsch, ZIP 2020, 1937 (1940). 792  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 238 f.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 297

(3) Verkehrserwartung Zum Teil wird auch danach differenziert, ob auf Seiten des Gläubigers nach den getroffenen Vereinbarungen oder der Verkehrserwartung die berechtigte Erwartung des Einsatzes natürlicher Personen und einer entsprechenden haftungsrechtlichen Verantwortlichkeit besteht.793 In Anbetracht des technischen Fortschritts (gerade im Personalwesen) dürfte die Berechtigung solcher Erwartungen zukünftig abnehmen. (4) Autonomie Grund für die Zurechnung im Rahmen von § 278 S. 1 BGB ist das mit der Arbeitsteilung verbundene Personalrisiko.794 Sachlich soll es ab einem bestimmten Punkt nicht mehr um dem Hersteller zuzuordnende Produkt-, sondern um Personalrisiken gehen.795 Es bedürfe also einer Abgrenzung zwischen Produkt- sowie Personal- bzw. Gehilfenrisiken.796 Teilweise wird vertreten, entscheidend sei, ob bei funktionaler Betrachtung eine Substitution von Hilfspersonen erfolge.797 Dies könne auch bei herkömmlichen Systemen der Fall sein.798 Eine Orientierung an der Autonomie sei verfehlt. Eine Beschränkung auf autonome Systeme sei nicht angezeigt.799 Es gehe nicht um die Frage, ob die Grenze zur personenähnlichen Entität überschritten sei. Andere meinen, für die Abgrenzung sei vor allem entscheidend, ab wann in tatsächlich-technischer Hinsicht eine Vergleichbarkeit mit Hilfspersonen­ risiken besteht.800 Konkret sei für die Einordnung eines KI-Systems als Erfüllungsgehilfe die Frage nach der Autonomie entscheidend. Dabei wird der Begriff der Autonomie unterschiedlich definiert.801

in: Soergel, BGB, § 278 BGB, Rn. 25. in: MüKo BGB, § 278 BGB, Rn. 3. 795  Hacker, RW 2018, 243 (251). 796  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 222. 797  Klingbeil, JZ 2019, 718 (720). 798  Klingbeil, JZ 2019, 718 (720). 799  Klingbeil, JZ 2019, 718 (720). 800  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 222; Heiderhoff/Gramsch, ZIP 2020, 1937 (1939). 801  Für einen Überblick Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S.  78 ff. 793  Pfeiffer,

794  Grundmann,

298

4. Kap.: Diskriminierungsrisiken und AGG

(a) Grade von Autonomie Nach einer Auffassung sind mit Blick auf die Autonomie Abstufungen vorzunehmen. Autonomie sei keine binäre Eigenschaft; vielmehr sei der Grad der Autonomie entscheidend.802 Je höher der Grad der Autonomie, desto eher werde die Grenze vom Werkzeug zu einer personenähnlichen Entität überschritten.803 Dabei erfolgt eine grundsätzliche Orientierung an den im Bereich des automatisierten Fahrens definierten Automatisierungsstufen (sog. SAE-Level804).805 Es wird aber nicht zwischen fünf oder sechs, sondern drei Autonomiegraden (schwacher, mittelstarker und vollständiger Autonomie) unterschieden.806 Ebenso könnte man sich an dem von Bitkom entwickelten 5-Stufen-Modell für die Automation des Entscheidens orientieren, welches seinerseits eng an die SAE-Level angelehnt ist und ebenfalls den Grad der Interaktion zwischen Mensch und Maschine in den Vordergrund stellt.807 Teilweise wird auch zwischen zehn Autonomiegraden unterschieden, wobei auch hier die Interaktion von Mensch und System das entscheidende Kriterium ist.808 Für die Beurteilung des Autonomiegrades ist also entscheidend, ob und inwieweit Menschen in die Entscheidungsprozesse involviert sind bzw. korrektiv eingreifen müssen.809 Zudem kommt es darauf an, ob das System über Entscheidungen hinaus auch autonome Aktionen durchführt.810 In ähnlicher Form wurde dies bereits früher vertreten. So hielt man eine Zurechnung für Maschinen für möglich, bei denen keine ständige Bedienung erforderlich ist, sondern die bestimmte Tätigkeiten und logische Leistungen eigenständig erbringen können.811 Mit Blick auf die vielfältigen Erscheinungsformen der besagten KI-Systeme kann keine letztgültige Aussage getroffen werden. Soweit aber etwa lediglich Sprach- und Videodaten analysiert, Rückschlüsse auf PersönlichRW 2018, 243 (250 ff.); Reichwald/Pfisterer, CR 2016, 208 (210). RW 2018, 243 (251). 804  SAE International, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles; Niederée/Nejdl, in: Ebers/Heinze/ Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 116. 805  Hacker, RW 2018, 243 (251); Horner/Kaulartz, CR 2016, 7 (12). 806  Hacker, RW 2018, 243 (252 ff.). 807  Holtel/Hufenstuhl/Klug, Künstliche Intelligenz verstehen als Automation des Entscheidens. Leitfaden, S. 12 ff.; Blum, People Analytics, S. 72 ff. 808  Reichwald/Pfisterer, CR 2016, 208 (210). 809  Hacker, RW 2018, 243 (251). 810  Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 114. 811  Wolf, JuS 1989, 899 (902). 802  Hacker, 803  Hacker,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 299

keitsmerkmale gezogen und schließlich die Ergebnisse der Analyse visualisiert werden, dürfte es sich um schwache Autonomie handeln und eine analoge Anwendung von § 278 S. 1 BGB von vornherein ausscheiden.812 Wirft das System nach einem Abgleich mit dem Soll-Profil eine Rangfolge aus und unterbreitet es damit einen unterstützenden Entscheidungsvorschlag liegt ein höherer Autonomiegrad vor.813 Vor diesem Hintergrund wird man womöglich schon von einer mittelstarken Autonomie ausgehen können. Von einer mittelstarken Autonomie wird man ausgehen müssen, wenn das System, wie ein Mitarbeiter in der Personalabteilung, selbst eine (Vor-)Auswahl trifft, denn dem System wurden dann bereits signifikante Entscheidungskompetenzen übertragen814, die Aufgaben, die das Risiko einer Rechtsgutsverletzung in sich tragen, werden faktisch autonom erledigt und es realisieren sich Personal-, nicht Produktrisiken.815 Auch im Zusammenhang mit dem vorbezeichneten 5-Stufen-Model von Bitkom werden derartige Systeme, je nach Ausprägung, auf Stufe 3 bis 4 eingeordnet.816 In dem Spektrum derjenigen, die zwischen zehn Autonomiegraden unterscheiden, dürfte die zuletzt genannte Erscheinungsform auf Stufe 7–8 einzuordnen sein.817 An der hier versuchten Einordnung in die entsprechenden Kategorien wird deutlich, dass in der Praxis Abgrenzungsschwierigkeiten und Grenzfälle auftreten können.818 (b) „Sein oder Nichtsein“ Nach einer anderen Auffassung ist in tatsächlich-technischer Hinsicht anhand der Erfüllung von Autonomiekriterien zu beurteilen, ob es sich um ein autonomes System handelt oder nicht. Auf Abstufungen sei zu verzichten.819 Danach wird vorausgesetzt, dass das KI-System in unbekannten Situationen eine Auswahl aus Entscheidungsalternativen trifft, die auf angelernten Erfahrungswerten beruht, ex-ante nicht vorhersagbar ist und ex-post, also 812  Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 114; Hacker, RW 2018, 243 (253). 813  Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 114. 814  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 252. 815  Niederée/Nejdl, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 2, Rn. 114; Hacker, RW 2018, 243 (253 f.); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 90. 816  Blum, People Analytics, S. 74. 817  Reichwald/Pfisterer, CR 2016, 208 (210). 818  Klingbeil, JZ 2019, 718 (720 f.); Heiderhoff/Gramsch, ZIP 2020, 1937 (1939). 819  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 253.

300

4. Kap.: Diskriminierungsrisiken und AGG

nach der Entscheidung, Erklärbarkeitsprobleme bestehen.820 Diese tatsächlich-technischen Komponenten erfüllen die in Rede stehenden KI-Systeme. Vom allgemeinen Status des Erfüllungsgehilfen, der bei bestimmten Erscheinungsformen also zu bejahen ist821, sind die Fragen der Verschuldensfähigkeit und der Anforderungen an das Verschulden gedanklich zu trennen.822 ee) Verschuldensfähigkeit Es bedürfte einer weiteren Analogie, wenn § 278 S. 1 BGB das Verschulden des Erfüllungsgehilfen voraussetzen würde. Fraglich ist, ob dies der Fall ist. Nach derzeit wohl herrschender Meinung ist § 278 S. 1 BGB eine Zurechnungsnorm, deren Rechtsfolge in der Verschuldenszurechnung besteht und ein schuldhaftes Handeln des Erfüllungsgehilfen voraussetzt.823 Bei KISystemen fehle es jedenfalls an einem Zurechnungsgegenstand.824 Der Verschuldensvorwurf umfasse stets eine subjektive Komponente.825 KI-Systeme könnten mangels Verschuldensfähigkeit im Rechtssinne nichts verschulden, weshalb es an einem Zurechnungsgegenstand fehle.826 Verschuldensfähigkeit verlange eine willentliche Steuerung des eigenen Handelns.827 Das Systemverhalten sei aber stets auf die Programmierung und den Willen des Entwicklers zurückzuführen und sei nicht Ergebnis eines selbstbestimmten Entschlusses.828 Das dürfte sich zwar auf herkömmliche, explizite Programmierung beziehen. Aber auch abseits herkömmlicher ProgramAutonome und vernetzte Aktanten im Zivilrecht, S. 89 u. 255. in: Münchener Kommentar zum BGB, § 3 AGG, Rn. 34. 822  Hacker, RW 2018, 243 (256). 823  Lorenz, in BeckOK BGB, § 278 BGB, Rn. 48. 824  Thüsing, in: MüKo BGB, § 3 AGG, Rn. 34; Grundmann, in: MüKo BGB, § 278 BGB, Rn. 46; Lorenz, in: BeckOK BGB, § 278 BGB, Rn. 17; Caspers, in: Staudinger, BGB, § 278 BGB, Rn. 5; Freyler, NZA 2020, 284 (289); Horner/Kaulartz, CR 2016, 7; Müller-Hengstenberg/Kirn, MMR 2014, 307 (310 f.); Grützmacher, CR 2016, 695 (697); Günther/Böglmüller, BB 2017, 53 (55); Mühlböck/Taupitz, AcP 221 (2021), 179 (198); Klingbeil, JZ 2019, 718 (720); Foerster, ZfPW 2019, 418 (431 f.); für das Verwaltungsrecht: Roth-Isigkeit, AöR 145 (2020), 321 (344). 825  Schaub, JZ 2017, 342 (343). 826  Klingbeil, JZ 2019, 718 (720); Schaub, JZ 2017, 342 (343); Roth-Isigkeit, AöR 145 (2020), 321 (344). 827  Spindler, in: BeckOK BGB, § 827 BGB, Rn. 1; Günther/Böglmüller, BB 2017, 53 (55). 828  Thüsing, in: MüKo BGB, § 3 AGG, Rn. 34; Günther/Böglmüller, BB 2017, 53 (55), die sich wohl auf explizit programmierte Systeme beziehen. 820  Linardatos, 821  Thüsing,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 301

mierung, konkret im Falle maschinellen Lernens, handele es sich bei dem Softwaresystem, in welches das Modell implementiert wird, um ein deterministisches System.829 Der Determinismus führe jedenfalls dazu, dass dem System keine Handlungsalternativen zur Verfügung stehen.830 Es werde stets die bestmögliche Aktion durchgeführt.831 Erkennbarkeit und Vermeidbarkeit seien aber Voraussetzung fahrlässigen Handelns. Das System könne wegen des Determinismus die drohende Tatbestandsverwirklichung weder erkennen noch vermeiden. Vielmehr würde es das entsprechende Verhalten bei gleicher Ausgangslage stets wiederholen.832 Dem wird entgegnet, dass auch beim Menschen die neuronale Determination und das Bestehen alternativer Handlungsmöglichkeiten durchaus umstritten ist.833 Weder die Willensfreiheit noch die fehlende Willensfreiheit des Menschen könne bewiesen werden.834 Eine andere Auffassung bejaht die Anwendung von § 278 S. 1 BGB. Ein enges Verständnis von § 278 S. 1 BGB sei nicht angezeigt.835 Es bedürfe einer gewissen Loslösung von den einzelnen tatbestandlichen Merkmalen des § 278 S. 1 BGB. Eine Verschuldensfähigkeit sei nicht erforderlich.836 Dementsprechend komme es auf eine fehlende Verschuldensfähigkeit von KI-Systemen nicht an.837 Ein Ausschluss der freien Willensbestimmung liege nämlich auch bei Unzurechnungsfähigkeit (vgl. § 827 S. 1 BGB) vor.838 Dennoch werde nach wohl herrschender Meinung eine Zurechnung des Handelns eines unzurechnungsfähigen und damit verschuldensunfähigen Gehilfen für möglich gehalten.839 Dagegen wird argumentiert, dass auf die Verschuldensfähigkeit nicht 829  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 60 f. 830  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 118. 831  Hacker, RW 2018, 243 (256). 832  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 118. 833  Hacker, RW 2018, 243 (257); Eisele, in: Schönke/Schröder, StGB Kommentar, Vorbemerkungen zu den §§ 13 ff., Rn. 109 ff.; Merkel, Willensfreiheit und recht­liche Schuld, S.  79 ff. 834  Eisele, in: Schönke/Schröder, StGB Kommentar, Vorbemerkungen zu den §§  13 ff., Rn.  110a f. 835  Schirmer, JZ 2016, 660 (665). 836  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89; Schmidt, AcP 170 (1970), 502 (511); Schirmer, JZ 2016, 660 (665); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 197. 837  Foerster, ZfPW 2019, 418 (431). 838  Katzenmeier, in: Dauner-Lieb/Langen, BGB Schuldrecht, § 827 BGB, Rn. 2. 839  Grundmann, in: MüKo BGB, § 278 BGB, Rn. 50; Schmidt, AcP 170 (1970), 502 (511); Hacker, RW 2018, 243 (260) m. w. N.

302

4. Kap.: Diskriminierungsrisiken und AGG

verzichtet werden könne.840 Fehle es an einer Verschuldensfähigkeit, könne auch kein Verschulden vorliegen, das zugerechnet werden kann.841 Die Zurechnung des Handelns eines verschuldensunfähigen Gehilfen sei in Anbetracht des Verweises des § 276 Abs. 1 S. 2 BGB auf die §§ 827, 828 BGB verfehlt.842 Zudem könne selbst ein verschuldensunfähiger, menschlicher Erfüllungsgehilfe, anders als ein KI-System, zumindest nicht-deterministisches Verhalten zeigen.843 Dem wird wiederum entgegengehalten, dass sich der Schuldner, sofern man die Verschuldensfähigkeit als Voraussetzung betrachtet, durch die Einschaltung eines nicht verschuldensfähigen Erfüllungsgehilfen der Haftung entziehen könne.844 Der Gläubiger habe auf die Einschaltung des Erfüllungsgehilfen keinen Einfluss.845 Daher sei es interessengerecht, dem Tatbestandsmerkmal „wie eigenes Verschulden“ bei der Auslegung des § 278 BGB mehr Bedeutung beizumessen.846 Verschulden des Erfüllungsgehilfen sei dann zuzurechnen, wenn man das Verhalten des Erfüllungsgehilfen in die Person des Schuldners „hineinprojiziert“ und dem Schuldner bei einem solchen Verhalten ein Verschulden vorgeworfen werden würde.847 Insoweit könne man auf die Verschuldensfähigkeit des Schuldners abstellen.848 Es komme letztlich nicht darauf an, was von dem Erfüllungsgehilfen, sondern was vom Schuldner zu erwarten sei.849 In diese Richtung geht (mit Blick auf KI-Systeme) auch der Vorschlag einer Definition und Anknüpfung an „funktionale Verschuldensäquivalente“.850 Hier ist insbesondere die „anthropo-parallele“ Lösung anzusprechen. Man spricht auch von einem anthropozentrischen Sorgfaltsmaßstab. Dabei soll ein Verschulden angenommen werden, wenn das Systemverhalten im Sinne einer

840  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 127; Caspers, in: Staudinger, BGB, § 278 BGB, Rn. 68; Klingbeil, JZ 2019, 718 (720). 841  Klingbeil, JZ 2019, 718 (720). 842  Foerster, ZfPW 2019, 418 (431). 843  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 127. 844  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89. 845  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89; Hacker, RW 2018, 243 (260 f.). 846  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89. 847  Schmidt, AcP 170 (1970), 502 (511 f.); Schaub, in: beck-online.GROSSKOM MENTAR, § 278 BGB, Rn. 89. 848  Klingbeil, JZ 2019, 718 (720). 849  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 196. 850  Hacker, RW 2018, 243 (259).



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 303

hypothetischen Parallelbetrachtung851, als Handlung des menschlichen Geschäftsherrn gedacht, typischerweise schuldhaft wäre.852 Ergebnis dieser Betrachtung ist, dass subjektive Verschuldenselemente keine Berücksichtigung finden können, weil eine Vielzahl konkreter Einzelfallumstände Auswirkungen auf diese subjektive Vorwerfbarkeit haben kann, es aber eine konkrete Situation wegen der typisierenden Betrachtungsweise nicht gibt.853 Mit Blick auf die zunehmende Objektivierung des Verschuldensmaßstabs sei dies aber verschmerzbar.854 An dieser anthropo-parallelen Lösung wird kritisiert, dass sie bei der Entwicklung von KI-Systemen beschränkend wirken kann. Das Haftungsrecht müsse aber auf technischen Fortschritt abzielen.855 Die Systeme sollen im Vergleich zum menschlichen Erfüllungsgehilfen schließlich besser funktionieren.856 Obwohl KI-Systeme das Potenzial aufweisen, höheren Sorgfaltsanforderungen gerecht zu werden, bestünden wenig Anreize (in Form von Haftungsvorteilen), entsprechende KI-Systeme zu entwickeln.857 Jede Erhöhung des Sicherheitsniveaus des Systems würde lediglich Kosten verursachen.858 Dies sei mit einem Streben nach technischem Fortschritt unvereinbar.859 Hinzu kommt, dass KI-Systeme in der Regel andere Fehler begehen als der Mensch.860 Außerdem soll selbst nach der Auffassung, die bei unzurechnungsfähigen/ verschuldensunfähigen Erfüllungsgehilfen eine Zurechnung annimmt, die Einschaltung eines verschuldensunfähigen Erfüllungsgehilfen in der Regel zu einer Haftung des Schuldners gemäß § 276 BGB (wegen Auswahlverschuldens) führen.861 Eine Zurechnung soll nur dann erfolgen, wenn die Verschuldensunfähigkeit des Erfüllungsgehilfen für den Geschäftsherrn nicht erkennbar gewesen ist.862 Die Verschuldensunfähigkeit des KI-Systems ist für den Arbeitgeber aber erkennbar. 851  Klingbeil,

JZ 2019, 718 (724).

852  Hacker, RW 2018, 243 (259); Wagner/Luyken, in: FS Windbichler, S. 155 (171 f.).

RW 2018, 243 (262). RW 2018, 243 (262). 855  Heiderhoff/Gramsch, ZIP 2020, 1937 (1940). 856  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 240 f. 857  Hacker, RW 2018, 243 (263). 858  Zum Sorgfaltsmaßstab des Herstellers Eichelberger, in: Ebers/Heinze/Krügel/ Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 14. 859  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 241. 860  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 241. 861  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89; Stadler, in: Jauernig, BGB, § 278 BGB, Rn. 13. 862  Schaub, in: beck-online.GROSSKOMMENTAR, § 278 BGB, Rn. 89. 853  Hacker, 854  Hacker,

304

4. Kap.: Diskriminierungsrisiken und AGG

Ein ebenfalls in diesem Zusammenhang zu nennender Alternativvorschlag zur analogen Anwendung von § 278 S. 1 BGB ist die sog. Fiktionslösung.863 Danach soll zunächst das Verhalten von in den Erfüllungsvorgang eingeschalteten Systemen „qua Rechtsfiktion“ in Schuldnerverhalten transformiert werden.864 Hierzu sei eine gesetzliche Neuregelung nach dem Vorbild des § 1 Abs. 2 des Staatshaftungsgesetzes von 1981865 erforderlich, wonach „eine Maschinenoperation als Verhalten des Schuldners [gilt], wenn ihm ein entsprechendes Gehilfenverhalten zuzurechnen wäre“.866 Für das Verschulden sei eine hypothetische Parallelbetrachtung zu einem dem Maschinenversagen entsprechenden Fehlverhalten eines Menschen anzustellen. Es sei zu fragen, ob einem menschlichen Erfüllungsgehilfen mit Blick auf das jeweilige Fehlverhalten typischerweise ein Verschulden anzulasten wäre.867 Falls ja, sei dem Schuldner ebenfalls „qua Rechtsfiktion“ ein Verschulden zuzuschreiben (Verschuldensfiktion).868 Die gesetzliche Neuregelung sei dahingehend zu ergänzen, dass auch ein Verschulden des Schuldners als gegeben gelte, „wenn ein dem Maschinenversagen entsprechendes Fehlverhalten eines Erfüllungsgehilfen typischerweise als schuldhaft anzusehen wäre“.869 Auch hier ist die anthropo-parallele Vorgehensweise bei der Verschuldensfrage Kritik ausgesetzt, da sie langfristig dem technologischen Fortschritt nicht gerecht werde. Die an den Menschen anzusetzenden Maßstäbe seien zu gering.870 Zudem werde die Notwendigkeit einer (über eine Analogie nicht herstellbaren) Transformation des Quasi-Verhaltens der Maschine in echtes Verhalten des Geschäftsherrn nicht begründet.871 Auch der Verweis auf § 1 Abs. 2 des Staatshaftungsgesetzes von 1981 gehe ins Leere. Denn trotz dessen Abschaffung und ohne Neuschaffung einer gesetzlichen Fiktion habe die Rechtsprechung schließlich eine Einstandspflicht für technische Anlagen eta­ bliert.872 Eine gesetzliche Neuregelung müsse zudem aus rechtsdogmatischen und verfassungsrechtlichen Gründen ohnehin mit einer „Wertungsbasis“ unterlegt sein; diese Wertungsgesichtspunkte könnten aber auch schlicht und JZ 2019, 718. JZ 2019, 718 (723). 865  Klingbeil, JZ 2019, 718 (724). 866  Klingbeil, JZ 2019, 718 (723). 867  Klingbeil, JZ 2019, 718 (724). 868  Klingbeil, JZ 2019, 718 (724). 869  Klingbeil, JZ 2019, 718 (724). 870  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 202. 871  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 203. 872  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 203 f. 863  Klingbeil, 864  Klingbeil,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 305

ergreifend in eine Analogie zu § 278 S. 1 BGB einfließen.873 Insgesamt sei der Mehrwert der Fiktionslösung daher nicht erkennbar.874 ff) Konkretes Verschulden Geht man vom Erfordernis eines Verschuldens des Erfüllungsgehilfen aus und verneint wegen des Determinismus des KI-Systems dessen Verschuldensfähigkeit, bedarf es einer weiteren Analogie.875 Mit Blick auf die Feststellung eines konkreten Verschuldens wird insoweit vorgetragen, dass et­ waige „innere Fähigkeiten“ nicht relevant seien. Zivilrechtliche Fahrlässigkeit impliziere auch keinen moralischen Vorwurf.876 Es gebe im Bereich der Fahrlässigkeit Objektivierungstendenzen.877 Die Objektivierung des Verschuldens werde durch die Festlegung von Verhaltenspflichten etabliert.878 Letztlich gehe es bei der Frage der Fahrlässigkeit heute weniger um subjektive Komponenten im Sinne einer persönlichen Vorwerfbarkeit als um die Einhaltung konkreter Verhaltensanforderungen (Objektivierung des Verschul­ densmaßstabs).879 Auch bei der Rechtswidrigkeit geht es um die Normwidrigkeit des schädigenden Verhaltens.880 Eine Norm lässt sich im Sinne eines Verhaltensgebots oder -verbots verstehen.881 Man könne daher davon sprechen, dass Rechtswidrigkeit und Schuld sich in einer „objektiven Fahrlässigkeit“ annähern.882 Teilweise wird dieser Vorschlag vor dem Hintergrund der Annäherung von Rechtswidrigkeit und Schuld als Haftung für rechtswidrige Fehlentscheidungen des KI-Systems verstanden.883 Auch an KI-Systeme könnten entsprechende – gegebenenfalls aufgrund überlegener Informationsverarbeitungskapazität sogar höhere884 – und dem Stand der Technik angemessene Verhaltensanforderungen gestellt werden.885 Autonome und vernetzte Aktanten im Zivilrecht, S. 204. Autonome und vernetzte Aktanten im Zivilrecht, S. 205. 875  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 31; B ­ enecke, in: FS Preis, S. 73 (79). 876  Wagner/Luyken, in: FS Windbichler, S. 155 (172). 877  Teubner, AcP 218 (2018), 155 (188). 878  Für das Verwaltungsrecht: Roth-Isigkeit, AöR 145 (2020), 321 (342). 879  Teubner, AcP 218 (2018), 155 (188); Grundmann, in: MüKo BGB, § 276 BGB, Rn. 54; Hacker, RW 2018, 243 (262); Kniepert, JURA 2021, 358 (365 f.). 880  Katzenmeier, in: Dauner-Lieb/Langen, BGB Schuldrecht, § 823 BGB, Rn. 93. 881  Wagner, in: MüKo BGB, § 823 BGB, Rn. 35. 882  Teubner, AcP 218 (2018), 155 (188); Mühlböck/Taupitz, AcP 221 (2021), 179 (199). 883  Zech, Gutachten A zum 73. Deutschen Juristentag, A 77. 884  Teubner, AcP 218 (2018), 155 (189). 885  Teubner, AcP 218 (2018), 155 (188  f.); Roth-Isigkeit, AöR 145(2020), 321 (348). 873  Linardatos, 874  Linardatos,

306

4. Kap.: Diskriminierungsrisiken und AGG

KI-Systeme könnten ihr Verhalten an diesen Verhaltensanforderungen ausrichten oder diese Verhaltensanforderungen missachten. Als Quelle des missbilligten Verhaltens könne ihnen hierfür Verantwortung zugeschrieben werden.886 Das Verschulden von KI-Systemen könnte also ausschließlich mithilfe der Verletzung von Verhaltensanforderungen bestimmt werden.887 Die Befürworter einer analogen Anwendung von § 278 S. 1 BGB halten vor diesem Hintergrund eine Zurechnung dieser objektivierten Fahrlässigkeit für möglich.888 Vor diesem Hintergrund ist der technikspezifische Lösungsansatz zu sehen, der an das Zurückbleiben des KI-Systems hinter technischen Standards für die Entwicklung von KI-Systemen im Zeitpunkt des Inverkehrbringens anknüpft.889 Zum Teil wird auch von einem systembezogenen Sorgfaltsmaßstab gesprochen.890 Auch ein Vergleich mit anderen KI-Systemen und deren Fähigkeiten wäre denkbar.891 Daran ist zum einen problematisch, dass derartige technische Standards kaum vorhanden sind. Allerdings könnten Standards für KI-Systeme (u. a.) durch die Rechtsprechung herausgebildet werden.892 Gegen diesen Ansatz spricht zum anderen, dass zur Ausfüllung des Sorgfaltsmaßstabs in der Regel auf Rechtsvorschriften, Unfallverhütungsvorschriften, DIN-Normen, technische Vorschriften sowie sonstige Fach- und Standesregeln zurückgegriffen wird.893 KI-Systeme sind allerdings nicht rechtsfähig. Sie besitzen nicht die Fähigkeit, Träger von Rechten und Pflichten zu sein.894 Dementsprechend sind sie für die vorgenannten Vorschriften und Regeln kein tauglicher Normadressat.895 Rechtsnormen nehmen Bezug auf menschliches Verhalten.896 Die technischen Standards richten sich an den Entwickler. Gegebenenfalls kommt daher eine Zurechnung dessen Fehlverhaltens in Frage.897 Zudem befindet 886  Floridi/Sanders, Minds Mach. 2004, 349 (364 ff.); Katzenmeier, in: DaunerLieb/Langen, BGB Schuldrecht, § 823 BGB, Rn. 93. 887  Kniepert, JURA 2021, 358 (366). 888  Teubner, AcP 218 (2018), 155 (186 ff.). 889  Hacker, RW 2018, 243 (259). 890  Wagner/Luyken, in: FS Windbichler, S. 155 (172). 891  Heiderhoff/Gramsch, ZIP 2020, 1937 (1940). 892  Zech, Gutachten A zum 73. Deutschen Juristentag, A 79. 893  Lorenz, in: BeckOK BGB, § 276 BGB, Rn. 24. 894  Bamberger/Poseck, in. BeckOK BGB, § 1 BGB, Rn. 10; Behme, in: beck-online.GROSSKOMMENTAR, § 1 BGB, Rn. 2. 895  Mühlböck/Taupitz, AcP 221 (2021), 179 (200); Zech, Gutachten A zum 73. Deutschen Juristentag, A 78. 896  Mühlböck/Taupitz, AcP 221 (2021), 179 (186). 897  Hacker, RW 2018, 243 (265); Eichelberger, in: Ebers/Heinze/Krügel/Steinrötter, Künstliche Intelligenz und Robotik, § 5, Rn. 12 ff.; Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 242.



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 307

man sich bei der Frage nach der Erfüllung technischer Standards im Nahbereich der Frage, ob der Arbeitgeber bei der Auswahl des Systems Fehler begangen hat.898 gg) Kein Erfordernis funktionaler Verschuldensäquivalente/Risikohaftung Vor dem Hintergrund der grundsätzlich sinnvollen Zurechnung und der skizzierten Schwächen der bisherigen Lösungen wird teilweise dafür plädiert, § 278 S. 1 BGB auf KI-Systeme ohne adäquates Verschuldensäquivalent ­anzuwenden.899 Es gehe weniger um die unterschiedliche Ontologie von Mensch und Maschine oder metaphysische Erwägungen wie die Frage nach der Verschuldensfähigkeit, sondern eher um die normative Bestimmung der Verantwortungsbereiche der Vertragsparteien und eine Risikozuweisung für das „Versagen“ nicht-menschlicher Erfüllungsgehilfen.900 Einem Erfüllungsgehilfen könne mangels eigener vertraglicher Verpflichtung ohnehin kein auf eigene „vertragliche Pflichten bezogener subjektivistischer Verschuldensvorwurf“ gemacht werden und es liege, weil der Geschäftsherr nicht gehandelt habe, auch kein abgeleitetes Verschulden vor. Daher wird vorgeschlagen, nicht auf dem Vorliegen von Verschulden im engen Sinne zu beharren, sondern Verschulden im Kontext von § 278 S. 1 BGB vielmehr „abstrakt-hypothetisch“ aufzufassen und zu objektivieren.901 Zudem gehe es bei § 278 S. 1 BGB in erster Linie um Risikoerwägungen. Der Schuldner solle im Sinne des Gleichstellungsgedankens die Risiken des arbeitsteiligen Prozesses tragen. Es gehe letztlich um Risikoverteilung.902 Eine adäquate Allokation von Steuerungsanreizen und ein Mindestmaß an Verkehrsschutz im Falle von Arbeitsteilung könne auch durch eine (verschuldensunabhängige) Risikohaftung gewährleistet werden.903 So könnten unabhängig von funktionalen Verschuldensäquivalenten auch bei der Risikohaftung Aspekte wie etwa externe Schadensursachen Berücksichtigung finden.904 Daraus folge, dass im Anwendungsbereich des § 278 S. 1 BGB „von einer Gleichwertigkeit des Risikoprinzips mit dem dort geltenden, objektivierten ZIP 2020, 1937 (1940). Autonome und vernetzte Aktanten im Zivilrecht, S. 246. 900  Tröger, Arbeitsteilung und Vertrag, S. 384 f.; Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 205. 901  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 244. 902  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 214. 903  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 246. 904  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 246. 898  Heiderhoff/Gramsch, 899  Linardatos,

308

4. Kap.: Diskriminierungsrisiken und AGG

Verschuldensprinzip“ gesprochen werden könne.905 Mit Blick auf die Frage, welche Risiken zu tragen seien, müsse man Risikosphären abstecken und eine Einordnung in die Rubriken Produkt- bzw. Personalrisiko vornehmen.906 So sei zu beurteilen, ob der jeweilige Systemfehler einem typischen Gehilfenfehler wertungsmäßig gleichzustellen ist.907 Es sei in inhaltlicher Hinsicht darüber zu befinden, ob sich Personal- oder Produktrisiken realisieren. So liege es – selbst bei Bejahung der Autonomiekriterien – nahe, bei Fehlern im Bereich der Hardware, etwa der Sensoren, von der Realisierung eines Produktrisikos auszugehen, wohingegen bei Fehlern im Bereich der auf Erfahrungsdaten beruhenden prognostischen Fertigkeiten die Realisierung eines Personalrisikos naheliege.908 Und auch das konkrete Einsatzszenario soll in den Blick zu nehmen sein. Es sei die Hierarchie menschlicher Arbeitsvorgänge zu berücksichtigen und danach zu unterscheiden, ob dem System rein repetitive Vorgänge oder Vorgänge, die in den Händen von Menschen prognostische Entscheidungen basierend auf Erfahrungswerten verlangt hätten, übertragen worden sind.909 Eine Benachteiligung durch ein KI-System ist eher mit einem situationsbedingten, individuellen Fehler einer Hilfsperson vergleichbar als mit einem klassischen Produktfehler. Auch der menschliche Entscheidungsprozess läuft nach bestimmten Regeln ab und endet mitunter mit einem benachteiligenden Entscheidungsergebnis. Etwas Anderes wird man annehmen müssen, wenn etwa Gesichtsbewegungen von Menschen mit dunkler(er) Hautfarbe aus technischen Gründen nicht zuverlässig erkannt werden; hier realisiert sich ein Produktrisiko. hh) Alternativvorschlag zur Analogie Lehnt man, um das Zurechnungssystem des § 278 S. 1 BGB nicht überzustrapazieren, eine analoge Anwendung von § 278 S. 1 BGB auf das KI-System ab, kann de lege ferenda gegebenenfalls auf anderem Wege für eine haftungsrechtliche Verantwortlichkeit gesorgt werden. Insoweit bestehen Überlegungen, im vertraglichen Bereich eine (anwendungsspezifische) Gefährdungshaftung einzuführen.910

Autonome und vernetzte Aktanten im Zivilrecht, S. 246. Autonome und vernetzte Aktanten im Zivilrecht, S. 209 ff. 907  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 222. 908  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 89, 231 u. 259. 909  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 260. 910  Roth-Isigkeit, AöR 145 (2020), 321 (346 ff.); Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 191. 905  Linardatos, 906  Linardatos,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 309

Eine Gefährdungshaftung ist nur in Fällen spürbar erhöhten Risikos, also bei Überschreiten einer bestimmten Risikoschwelle, gerechtfertigt.911 Es bestehen daher Überlegungen, eine Gefährdungshaftung für starke KI einzuführen, die in Sektoren mit großem Schädigungspotenzial eingesetzt werden.912 Teilweise wird auch dafür plädiert, eine Gefährdungshaftung dort vorzusehen, wo erhebliche Schäden für Leib oder Leben zu befürchten sind, also insbesondere im Bereich von Robotern.913 Bei den hier in Rede stehenden KI-Systemen sind keine Schäden für Leib oder Leben zu befürchten. Ohnehin erfährt die Einführung eines im Vergleich zum Einsatz menschlicher Erfüllungsgehilfen erhöhten Haftungsstandards auch Kritik. Der Rückgriff auf eine Gefährdungshaftung sei nicht zwingend.914 Der vermehrte Einsatz von KI-Systemen sei grundsätzlich wünschenswert und die Einführung einer Gefährdungshaftung führe zu Nutzungshemmnissen.915 ii) Zwischenergebnis – Schuldhaftes Fehlverhalten des Systems Die Frage der Zurechnung schuldhaften Fehlverhaltens des KI-Systems wird sich von vornherein nur im Rahmen des Schadensersatzanspruchs gemäß § 15 Abs. 1 AGG stellen, da nur der Schadensersatzanspruch verschuldensabhängig ist. Hinzu kommt, dass die Geltendmachung des Schadensersatzanspruchs letztlich nur für den bestqualifzierten Bewerber wirklich lohnenswert ist und dieser zunächst darlegen und gegebenenfalls beweisen müsste, dass er die Stelle bei benachteiligungsfreier Auswahl erhalten hätte.916 Ferner wird sich aufgrund der beschriebenen Sorgfaltspflichten sowie der Verschuldensvermutung oft ein schuldhaftes Fehlverhalten der Beteiligten annehmen lassen. In den seltenen übrigen Fällen ist es vorstellbar, eine Haftungsfreiheit in Kauf zu nehmen. Aufgrund der unter verhaltensökonomischen Gesichtspunkten positiven Auswirkungen einer Zurechnung, ist aber auch eine Zurechnung dem Grunde nach durchaus erwägenswert. Da aber § 278 S. 1 BGB ein Verschulden des Erfüllungsgehilfen voraussetzt und sich technische Standards für die Entwicklung von KI-Systemen nicht an das KISystem als solches richten würden, ist weder der Konzeptualisierung als Risikohaftung noch dem anthropozentrischen Sorgfaltsmaßstab oder dem systembezogenen Sorgfaltsmaßstab zuzustimmen. Wenn sich in der Praxis die ZIP 2020, 1937 (1943). CR 2021, 433 (437). 913  Martini, Blackbox Algorithmus, S. 289. 914  Grützmacher, CR 2021, 433 (436). 915  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 200. 916  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 5. 911  Heiderhoff/Gramsch, 912  Grützmacher,

310

4. Kap.: Diskriminierungsrisiken und AGG

vorbeschriebenen Fälle wider Erwarten häufen sollten, wäre daher eine Neuregelung erforderlich. Diese Neuregelung wäre, weil sich diese Frage auch (oder sogar in erster Linie) in anderen Rechtsgebieten stellen wird, in einem § 278a BGB am besten aufgehoben oder könnte, wie im Zusammenhang mit der Fiktionslösung vorgeschlagen917, dem weggefallenen § 279 BGB neues Leben einhauchen.

VI. Schaden Gemäß § 15 Abs. 1 S. 1 AGG ist der Arbeitgeber zum Ersatz des durch die Benachteiligung entstandenen materiellen Schadens verpflichtet. Dabei richten sich Art und Umfang des ersatzfähigen Schadens nach den §§  249 ff. BGB.918 Der Grundsatz der Naturalrestitution wird allerdings durch § 15 Abs. 6 AGG eingeschränkt, der den Anspruch auf Begründung des ­Beschäftigungsverhältnisses bei einem Verstoß des Arbeitgebers gegen das Benachteiligungsverbot ausschließt.919 Der Anspruch ist auf Ersatz des positiven Interesses gerichtet.920 1. Bestqualifizierter Bewerber Dabei wird für denjenigen Bewerber, der bei benachteiligungsfreier Auswahl die Stelle wahrscheinlich erhalten hätte, von dem nicht realisierten vertraglichen Einkommensanspruch als entgangenem Gewinn gemäß § 252 BGB ausgegangen.921 Dies wird wegen des weiten Auswahlermessens des Arbeitgebers vor allem in Fällen mit geringer Bewerberzahl dargelegt und bewiesen werden können.922 Dabei ist umstritten, ob der Anspruch auf entgangenen Gewinn, sofern es sich bei dem avisierten Arbeitsverhältnis um ein unbefristetes Arbeitsverhältnis gehandelt hätte923, einer zeitlichen Begrenzung unterliegt.924 JZ 2019, 718 (723). RdA 2009, 204 (211). 919  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 36. 920  Stoffels, RdA 2009, 204 (211 f.); Wagner/Potsch, JZ 2006, 1085 (1095); Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 36. 921  Stoffels, RdA 2009, 204 (212); Wagner/Potsch, JZ 2006, 1085 (1095); Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 39 ff. 922  Benecke, in: FS Preis, S. 73 (74); Höpfner/Daum, ZfA 2021, 467 (496). 923  Im Falle eines befristeten Arbeitsverhältnisses beschränkt sich der Schadensersatzanspruch auf die Vergütung bis zum Ende der Befristung (vgl. Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 48; Wagner/Plotsch, JZ 2006, 1085 (1095)). 924  Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 40. 917  Klingbeil, 918  Stoffels,



C. Anspruch auf Schadensersatz gemäß § 15 Abs. 1 AGG 311

Es ist vor dem Hintergrund des Wortlauts der Vorschrift, die eine Begrenzung des Schadensersatzanspruchs nicht vorsieht, denkbar, den Einkommensanspruch bis zum Renteneintrittsalter hochzurechnen.925 In der Realität werden Arbeitsverhältnisse allerdings vor diesem Zeitpunkt beendet, weshalb teilweise – unter Hinweis auf ein am gewöhnlichen Lauf der Dinge (vgl. § 252 S. 2 BGB) orientiertes Wahrscheinlichkeitsurteil926 – eine zeitliche Begrenzung gefordert wird.927 Ausgangspunkt der Überlegung einer zeitlichen Begrenzung ist, dass das Bundesarbeitsgericht im Falle des § 628 Abs. 2 BGB (Schadensersatz bei durch vertragswidriges Verhalten des Arbeitgebers veranlasster außerordentlicher Kündigung des Arbeitnehmers) entschieden hat, dass der Schadensersatzanspruch auf den Zeitraum der Kündigungsfrist einer fiktiven ordentlichen Kündigung beschränkt ist und dem Arbeitnehmer darüber hinaus ein Entschädigungsanspruch zukommt.928 Im Hinblick auf die zeitliche Begrenzung kann der Übertragung dieser Rechtsprechung nicht entgegengehalten werden, dass die fiktive Kündigung ihrerseits unzulässig wäre; schließlich kann der Arbeitgeber das Arbeitsverhältnis gemäß § 1 Abs. 1 KSchG in den ersten sechs Monaten ungeachtet einer sozialen Rechtfertigung und ohne Angabe von Gründen kündigen.929 Allerdings ist es keinesfalls zwingend, den hypothetischen Kausalverlauf gerade in dieser Weise zu bestimmen.930 Zum Teil wird unter Verweis auf ein Urteil des Bundesgerichtshofs931 darauf verwiesen, dass anders als bei § 628 Abs. 2 BGB der Arbeitnehmer das Arbeitsverhältnis nicht auf eigenen Wunsch (wenn auch veranlasst durch das vertragswidrige Verhalten des Arbeitgebers) beende, sondern gegen seinen Willen den Arbeitsplatz nicht erhalte und daher eine zeitliche Begrenzung nicht angezeigt sei.932 Hiergegen soll sprechen, dass eine „Endloshaftung“ auf einen verfassungsrechtlich problematischen Strafschadensersatz hinauslaufe.933 Bestimmt man den nächstmöglichen Beendigungszeitpunkt unter Berücksichtigung der jeweiligen Vertragsgestaltung und der damit zusammenhängenden Kündigungsfrist einer fiktiven ordentlichen Kündigung (vgl. § 622 925  Stoffels, RdA 2009, 204 (212); Berg, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 15 AGG, Rn. 6. 926  Stoffels, RdA 2009, 204 (213). 927  Wagner/Plotsch, JZ 2006, 1085 (1096). 928  BAG, Urt. v. 22.04.2004 – 8 AZR 269/03, juris; Bauer/Krieger, NZA 2016, 1041 (1043). 929  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 42 f. 930  Wagner/Plotsch, JZ 2006, 1085 (1096). 931  BGH, Urt. v. 24.05.2007 – III ZR 176/06, NZA 2007, 753. 932  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 45. 933  Stoffels, RdA 2009, 204 (212).

312

4. Kap.: Diskriminierungsrisiken und AGG

Abs. 1 und Abs. 3 BGB), wäre der Schadensersatzanspruch des § 15 Abs. 1 AGG in der Regel auf ein halbes bzw. ein Bruttomonatsgehalt beschränkt.934 Vor dem Hintergrund, dass es einer wirksamen und abschreckenden Sanktion bedarf, erscheint es allerdings empfehlenswert, sich zumindest an der Grenze von drei Bruttomonatsgehältern des § 15 Abs. 2 S. 2 AGG zu orientieren.935 Aufgrund von Billigkeitserwägungen ist überlegenswert, den bei der Bemessung der Höhe des Schadensersatzanspruchs zu berücksichtigenden Zeitraum noch weiter nach hinten zu verschieben.936 Dabei könnten hypothetische Erwägungen zur voraussichtlichen Dauer des Verbleibs des Arbeitnehmers im Unternehmen aufgestellt werden.937 In eine ähnliche Richtung geht der Vorschlag, für die Bestimmung des positiven Interesses auf die Berechnungsformel für die Abfindung (Abfindungsfaktor x (hypothetischer) Monatsverdienst x Beschäftigungsjahre) abzustellen. Bei den Faktoren Abfindungsfaktor und Beschäftigungsjahre seien Branchen- und Durchschnittswerte heranzuziehen. Der ermittelte Wert sei dann mit der gemäß § 287 ZPO geschätzten Einstellungschance des Bewerbers zu multiplizieren. Die Praktikabilität dieser Vorgehensweise wird kritisch betrachtet.938 2. Restliche Bewerber Für die Mehrheit der Bewerber, die auch bei benachteiligungsfreier Auswahl nicht eingestellt worden wären, kommt (nach umstrittener Auffassung) vor allem der Ersatz der Bewerbungskosten in Betracht.939 Materielle Folgen (etwa benachteiligungsbedingte Erkrankung und damit einhergehende Arzt- oder Therapiekosten) werden eher selten sein.940

RdA 2009, 204 (212). RdA 2009, 204 (213); Benecke, in: beck-online.GROSSKOMMEN TAR, § 15 AGG, Rn. 41; Horcher, in: BeckOK BGB, § 15 AGG, Rn. 15. 936  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 29. 937  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 29; Wagner/Plotsch, JZ 2006, 1085 (1096). 938  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 46. 939  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 39; a. A. unter Hinweis auf „Sowieso-Kosten“ und die mangelnde Kausalität der Benachteiligung Stoffels, RdA 2009, 204 (212); Wisskirchen, DB 2006, 1491 (1499). 940  Vgl. Benecke, in: FS Preis, S. 73 (74 u. 78). 934  Stoffels, 935  Stoffels,



D. Anspruch auf Entschädigung gemäß § 15 Abs. 2 AGG313

D. Anspruch auf Entschädigung gemäß § 15 Abs. 2 AGG Gemäß § 15 Abs. 2 AGG kann die betroffene Person wegen eines Schadens, der nicht Vermögensschaden ist, also für einen immateriellen Schaden, eine angemessene Entschädigung in Geld verlangen. Gerade im Einstellungsverfahren hat der Entschädigungsanspruch eine besondere Bedeutung.941 Der Entschädigungsanspruch setzt eine Persönlichkeitsrechtsverletzung voraus.942 Bei einem Verstoß gegen das Benachteiligungsverbot ist in der Regel von einer Persönlichkeitsrechtsverletzung und einem damit einhergehenden immateriellen Schaden auszugehen.943

I. Anspruchsvoraussetzungen Letztlich handelt es sich bei § 15 Abs. 2 AGG um eine § 15 Abs. 1 AGG ergänzende Rechtsfolgenregelung.944 Aus diesem Grund ist mit Blick auf die Anspruchsvoraussetzungen auf § 15 Abs. 1 AGG zurückzugreifen945, sodass insoweit auf die obigen Ausführungen verwiesen werden kann. Nur ein Verschulden wird von § 15 Abs. 2 AGG nicht vorausgesetzt.946 Eine dem § 15 Abs. 1 S. 2 AGG vergleichbare Einschränkung fehlt.947 In der Gesetzesbegründung heißt es hierzu, dass damit die Forderung nach einer wirksamen und verschuldensunabhängig ausgestalteten Sanktion erfüllt werde.948 Gerade 941  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 16; Plum, in: Schleusener/Suckow/ Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 52. 942  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 9; Schlachter, in: Müller-Glöge/Preis/ Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 15 AGG, Rn. 8; a. A.: Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 56. 943  BAG, Urt. v. 19.12.2013 – 6 AZR 190/12, NZA 2014, 372 (376); Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 62. 944  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 46; Thüsing, in: MüKo BGB, § 15 AGG, Rn. 5; BAG, Urt. v. 16.02.2012 – 8 AZR 697/10, NZA 2012, 667 (669); a. A.: Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 48. 945  BAG, Urt. v. 16.02.2012 – 8 AZR 697/10, NZA 2012, 667 (669); BAG, Urt. v. 17.08.2010 – 9 AZR 839/08, NZA 2011, 153 (155); BAG, Urt. v. 22.01.2009 – 8 AZR 906/07, NZA 2009, 945 (947). 946  Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 6; von Steinau-Steinrück/Schneider, in: Boecken/Düwell/Diller/Hanau, Gesamtes Arbeitsrecht, § 15 AGG, Rn. 5; Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 70; Walker, NZA 2009, 5 (6); Berg, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 15 AGG, Rn. 7; Plum, in: Schleusener/Suckow/Plum, Kommentar zum Allgemeinen Gleichbehandlungsgesetz, § 15 AGG, Rn. 57. 947  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 49. 948  BT-Drs. 16/1780, S. 38.

314

4. Kap.: Diskriminierungsrisiken und AGG

mit Blick auf die Konzipierung des § 15 Abs. 2 AGG als Rechtsfolgenregelung ist dies nicht stimmig und führt überdies zu dem (ungewöhnlichen) Ergebnis, dass Nichtvermögensschäden leichter ersetzbar sind als Vermögensschäden (vgl. § 253 BGB).949 Für diese Arbeit soll in Anbetracht der eindeutigen Rechtsprechung des Bundesarbeitsgerichts950 von einer Verschuldensunabhängigkeit ausgegangen werden, zumal besonders in dieser Hinsicht ein etwaiges Verschuldenserfordernis europarechtswidrig wäre.951

II. Höhe der Entschädigung Auch im Rahmen des Entschädigungsanspruchs wird zwischen dem bestqualifizierten und sonstigen Bewerbern differenziert.952 Gemäß § 15 Abs. 2 S. 2 AGG darf die Entschädigung bei einer Nichteinstellung drei Monatsgehälter nicht übersteigen, wenn die betroffene Person auch bei benachteiligungsfreier Auswahl nicht eingestellt worden wäre. Dabei ist an das Bruttomonatsgehalt anzuknüpfen, das der erfolglose Bewerber im Falle einer Einstellung erhalten hätte.953 Dabei sollte in erster Linie auf das Gehalt des letztlich eingestellten Bewerbers abgestellt werden.954 Die Orientierung am Monatsgehalt des eingestellten Bewerbers hat vor dem Hintergrund, dass durch die Entschädigung ein immaterieller Schaden ausgeglichen werden soll, Kritik erfahren. Das Monatsgehalt sei kein geeigneter Indikator für die Intensität der Kränkung.955 Dies könne ungerechtfertigterweise dazu führen, dass trotz gleicher Intensität der Kränkung Bewerber um Stellen mit hohen Gehältern großzügiger entschädigt werden als Bewerber um Stellen mit durchschnittlichen oder niedrigeren Gehältern.957 in: MüKo BGB, § 15 AGG, Rn. 5. Urt. v. 28.05.2020 – 8 AZR 170/19, NZA 2020, 1392 (1394); BAG, Urt. v. 22.01.2009 – 8 AZR 906/07, NZA 2009, 945 (947); BAG, Urt. v. 18.03.2010 – 8 AZR 1044/08, NZA 2010, 1129 (1131 f.). 951  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 5; Benecke, in: beck-online.GROSS KOMMENTAR, § 15 AGG, Rn. 49. 952  Berg, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 15 AGG, Rn. 8; Ernst/Braunroth/Wascher, in: Ernst/Braunroth/Franke/Wascher/Lenz, AGG, § 15 AGG, Rn. 8. 953  BAG, Urt. v. 28.05.2020 – 8 AZR 170/19, NZA 2020, 1392 (1394); Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 773. 954  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 73. 955  Wagner/Potsch, JZ 2006, 1085 (1094); Schlachter, in: Müller-Glöge/Preis/ Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 15 AGG, Rn. 12; Kamanabrou, RdA 2006, 321 (337). 949  Thüsing, 950  BAG,



D. Anspruch auf Entschädigung gemäß § 15 Abs. 2 AGG315

Die Festlegung einer Höchstgrenze ist aber dem Grunde nach aus Gründen der Kalkulierbarkeit der Entschädigungshöhe und damit einhergehender Rechtssicherheit sinnvoll.957 Für die Höhe der Entschädigung sind sämtliche Einzelfallumstände zu berücksichtigen.958 Die Formulierung in § 15 Abs. 2 AGG ähnelt der Formulierung in § 253 Abs. 2 BGB.959 Die bei der Bemessung heranzuziehenden Kriterien ähneln ebenfalls denen, die für die Bemessung des Schmerzensgeldes relevant sind.960 Das Bundesarbeitsgericht hat festgehalten, dass „Schwere und Art der Benachteiligung, ihre Dauer und Folgen, der Anlass und der Beweggrund des Handelns, der Grad der Verantwortlichkeit des Arbeitgebers, etwa geleistete Wiedergutmachung oder erhaltene Genugtuung und das Vorliegen eines Wiederholungsfalles […]“961

zu berücksichtigen seien. Im Grundsatz lässt sich mit Blick auf die Schwere der Schäden konsta­ tieren, dass Diskriminierungen gravierende Auswirkungen auf das Leben der betroffenen Personen haben können.962 Wahrgenommene Diskriminierung wirkt sich negativ auf das psychische Wohlbefinden aus. So kann die Lebenszufriedenheit leiden. Ferner kann es zu depressiven Symptomen sowie Angst- oder Stressreaktionen kommen.963 In 12,9 % der Diskriminierungs­ erfahrungen wurde von einer Beeinträchtigung der psychischen Gesundheit berichtet.964 Auch unter Berücksichtigung der hier relevanten Diskrimi­ nierungsform, der materiellen Benachteiligung in Form des Verwehrens von Zugängen oder bestimmten Handlungsmöglichkeiten, gaben 8,5 % an, psychisch krank geworden zu sein.965 Insgesamt gaben in der Studie 47,0 % der Befragten an, dass infolge des zwangsläufigen Erinnerns an die Diskriminierungssituation eine Belastung eingetreten sei.966 40,2 % der Befragten gaben 956  Wagner/Potsch, JZ 2006, 1085 (1094); Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 55. 957  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 10; Schlachter, in: Müller-Glöge/ Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 15 AGG, Rn. 12; Walker, NZA 2009, 5 (7). 958  Thüsing, in: MüKo BGB, §  15 AGG, Rn. 10; Benecke, in: beck-online. GROSSKOMMENTAR, § 15 AGG, Rn. 56. 959  Benecke, in: beck-online.GROSSKOMMENTAR, § 15 AGG, Rn. 52. 960  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 12; von Steinau-Steinrück/Schneider, in: Boecken/Düwell/Diller/Hanau, Gesamtes Arbeitsrecht, § 15 AGG, Rn. 6. 961  BAG, Urt. v. 18.03.2010 – 8 AZR 1044/08, NZA 2010, 1129 (1132). 962  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 280. 963  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 280. 964  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 281. 965  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 284. 966  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 280.

316

4. Kap.: Diskriminierungsrisiken und AGG

an, misstrauischer geworden zu sein.967 Bezogen auf eine ausschließliche materielle Benachteiligung gaben 39,2 % an, durch die Erinnerung belastet zu sein und 29,8 % misstrauischer geworden zu sein.968 Neben Auswirkungen auf die Psyche sind auch Beeinträchtigungen der körperlichen Gesundheit möglich.969 Immerhin in 6,9 % der Fälle wurde von körperlichen Erkrankungen als Folge der Diskriminierungssituation berichtet.970 Bei ausschließlich materieller Benachteiligung berichteten 4,8 % von körperlichen Erkrankungen.971 Erschwerend kommt hinzu, dass Diskriminierungen nicht oder kaum reversibel sind.972 Ferner hat das Bundesarbeitsgericht die verhaltenssteuernde, präventive Komponente der Entschädigung hervorgehoben und klar gemacht, dass die Bemessung der Entschädigungshöhe auch davon abhänge, welcher Betrag zur Erzielung einer abschreckenden Wirkung erforderlich sei.973 Zudem soll die wirtschaftliche Lage des Arbeitgebers zu beachten sein.974 Zum Teil wird in der Literatur für eine Faustregel von zwei Bruttomonatsgehältern plädiert.975 Die in der Rechtsprechung festgesetzten Entschädigungssummen liegen zwischen einem halben und zwei Monatsgehältern.976

967  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 280. 968  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 283. 969  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 280. 970  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 281. 971  Beigang/Fetz/Kalkum/Otto, Diskriminierungserfahrungen in Deutschland, S. 284.

972  Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, Kurzpapier Nr. 18, S. 5. 973  BAG, Urt. v. 28.05.2020 – 8 AZR 170/19, NZA 2020, 1392 (1394); BAG, Urt. v. 18.03.2010 – 8 AZR 1044/08, NZA 2010, 1129 (1132); Roloff, in: Rolfs/Kreikebohm/Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 6; von Steinau-Steinrück/Schneider, in: Boecken/Düwell/Diller/Hanau, Gesamtes Arbeitsrecht, § 15 AGG, Rn. 6; Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 78; Walker, NZA 2009, 5 (8). 974  Thüsing, in: MüKo BGB, §  15 AGG, Rn. 12; Benecke, in: beck-online. GROSSKOMMENTAR, § 15 AGG, Rn. 61; Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 87. 975  Deinert, in: Däubler/Bertzbach, AGG, § 15 AGG, Rn. 93 ff.; Berg, in: Däubler/Hjort/Schubert/Wolmerath, Arbeitsrecht, § 15 AGG, Rn. 8. 976  von Steinau-Steinrück/Schneider, in: Boecken/Düwell/Diller/Hanau, Gesamtes Arbeitsrecht, § 15 AGG, Rn. 6; LAG Schleswig-Holstein, Urt. v. 29.10.2013 – 1 Sa 142/ 13, BeckRS 2013,75062 (½ Bruttomonatsgehalt); ArbG Berlin, Urt. v. 18.12.2013 – 54 Ca 6322/13, BeckRS 2014, 65182 (1 Bruttomonatsgehalt); BAG, Urt. v. 16.09.2008 – 9 AZR 791/07 (1 Bruttomonatsgehalt); ArbG Düsseldorf, Urt. v. 10.06.2008 – 11 Ca 754/08, NZA-RR 2008, 511 (513) (1 ½ Bruttomonatsgehälter); LAG Hamm, Urt. v. 07.08.2008 – 11 Sa 284/08, juris Rn. 71 ff. (2 Nettomonatsgehälter).



D. Anspruch auf Entschädigung gemäß § 15 Abs. 2 AGG317

In den hier in Rede stehenden Fällen kommt es in der Regel zu mittelbaren Benachteiligungen, bei denen die Entschädigung niedriger anzusetzen ist als bei unmittelbaren Benachteiligungen.977 Die mittelbare Benachteiligung richtet sich nicht gegen eine bestimmte Person. Zudem wird auch das Bemühen des Arbeitgebers mit Blick auf die getroffenen organisatorischen Vorkehrungen Berücksichtigung finden müssen.978 Sollte es zu Diskriminierungen gekommen sein, wäre der Arbeitgeber angehalten, (technische) Vorkehrungen zu treffen, um weitere Diskriminierungen zukünftig zu verhindern.979

977  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 12; Roloff, in: Rolfs/Kreikebohm/ Gieen/Udsching/Meßling, BeckOK Arbeitsrecht, § 15 AGG, Rn. 8; Schlachter, in: Müller-Glöge/Preis/Schmidt, Erfurter Kommentar zum Arbeitsrecht, § 15 AGG, Rn. 10; BAG, Urt. v. 18.03.2010 – 8 AZR 1044/08, NZA 2010, 1129 (1132). 978  Thüsing, in: MüKo BGB, § 15 AGG, Rn. 12. 979  Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 420 f.

5. Kapitel

Zusammenfassung der Ergebnisse und Ausblick Nachstehend werden die Ergebnisse dieser Arbeit zusammengefasst und ein kurzer Ausblick gegeben.

A. Rückschau Vor dem Hintergrund des War of Talents und dadurch bedingten, arbeitgeberseitigen Bestrebungen, das Einstellungsverfahren attraktiver, objektiver, diskriminierungsärmer und effizienter zu gestalten, werden von Arbeitgebern in zunehmendem Maße KI-Systeme im Einstellungsverfahren eingesetzt. Diese KI-Systeme werden zur Bewertung der Eignung von Bewerbern genutzt und werfen Fragen der rechtlichen Zulässigkeit ihres Einsatzes auf. In dieser Arbeit stand die Beantwortung datenschutz- und antidiskriminierungsrechtlicher Fragestellungen im Vordergrund. Nachstehend werden die im ersten Kapitel unter Gliederungspunkt G. aufgeworfenen Fragen nochmals aufgegriffen und die hierzu im Zuge dieser Arbeit gefundenen Ergebnisse zusammengefasst.

B. Datenschutzrecht Zunächst ist die Frage aufgeworfen worden, auf welcher gesetzlichen Grundlage und in welchem Umfang die Nutzung von KI-Systemen mit dem Ziel, Einblicke in die Persönlichkeit und die Emotionen von Bewerbern zu erhalten und diese letztlich hinsichtlich ihrer Eignung für die in Aussicht genommene Stelle zu beurteilen, möglich ist. Dies ist nur unter bestimmten Voraussetzungen und in bestimmtem Umfang datenschutzrechtlich zulässig.

I. Verarbeitung von Sprachdaten In der Regel erfolgt eine Verarbeitung „einfacher“ personenbezogener Daten. Als infrage kommende Erlaubnistatbestände für die Analyse von Sprachdaten konnte daher § 26 Abs. 1 BDSG identifiziert werden. Eine Einwilligung ist insoweit obsolet. Die Verarbeitung kann dem Grunde nach auf § 26 Abs. 1 BDSG gestützt werden, wenn diese verhältnismäßig ist.



B. Datenschutzrecht319

1. Geeignetheit Von entscheidender Bedeutung ist die Frage der Geeignetheit. Das KISystem muss die Hauptmerkmale so zuverlässig ermitteln, dass der Zweck, den bestgeeignetsten Bewerber zu finden, zumindest gefördert wird. Hier bedarf es zur Sicherstellung einer hohen prognostischen Sicherheit der Berücksichtigung wissenschaftlicher Erkenntnisse aus der Eignungsdiagnostik. Es ist für den Arbeitgeber empfehlenswert, auf wissenschaftlich anerkannte Systeme zu setzen.1 In tatsächlicher Hinsicht wird die Frage der Geeignetheit durch Sachverständige beantwortet werden müssen.2 Denkbar wäre im Hinblick auf die mathematisch-statistische Komponente eine anwendungsbereichsbezogene Festlegung von Fehlerraten (etwa in einer DIN). 2. Erforderlichkeit und Angemessenheit Des Weiteren ist festgestellt worden, dass in der Regel kein milderes Mittel gleicher Eignung zur Verfügung steht und der Einsatz von KI-Systemen nur außerhalb einer Persönlichkeitsdurchleuchtung und nur soweit in Betracht kommt, als Hauptmerkmale ermittelt werden, die einen unmittelbaren Bezug zu dem konkreten Arbeitsplatz und den damit einhergehenden Anforderungen haben. Insoweit ist stets eine Einzelfallabwägung vorzunehmen. § 26 Abs. 1 S. 1 BDSG bietet Raum für eine „große Grauzone“3. Eine „Dis­ kussion der Graustufen“ war daher geboten.4 In dieser Arbeit sind handlungsleitende Prinzipien für den Arbeitgeber erarbeitet worden. So wird eine Ermittlung von Persönlichkeitsmerkmalen umso eher in Betracht kommen, je höher der Bewerber (im Falle einer Einstellung) auf der Hierarchieebene anzusiedeln wäre. Ein flächendeckender Einsatz von KI-Systemen ist hingegen nicht denkbar.5 Auch die Auswirkungen vorübergehender Unterbesetzung sowie die Bedeutung des Betriebsklimas sind durch den Arbeitgeber vor dem Einsatz des KI-Systems zu taxieren.

in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 30. ZD 2014, 443 (444); Kuß, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, G., Rn. 30. 3  Zu § 32 Abs. 1 S. 1 BDSG Dzida, NZA 2017, 541 (543); Bomhard, Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation, S. 47. 4  Havliková, DSRITB 2020, 141 (158). 5  Havliková, DSRITB 2020, 141 (155). 1  Kuß,

2  Bausewein,

320

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

II. Verarbeitung von Videodaten Vor allem im Bereich des Einsatzes von KI-Systemen, die Videodaten analysieren, werden sensible Daten verarbeitet, weswegen erhöhte Recht­ mäßigkeitsanforderungen für die Datenverarbeitung gelten (§ 26 Abs. 3 S. 1 BDSG), die ihrem Einsatz in weiten Teilen entgegenstehen. Dies gilt im Besonderen für den Einsatz zur Erkennung von Emotionen. Mit Blick auf Letzteres ist in der Zukunft auch ein ausdrückliches gesetzliches Verbot – wie vom Europarat und dem AI Now Institute gefordert – vorstellbar. Eine Verarbeitung von sensiblen Daten zur Ermittlung von arbeitsplatzbezogenen Persönlichkeitsmerkmalen ist dem Grunde nach auf Grundlage einer Einwilligung denkbar, wird aber oft an der fehlenden Freiwilligkeit ihrer Erteilung scheitern. Unter Berücksichtigung aller Einzelfallumstände kann man in der Regel nicht von einer Freiwilligkeit ausgehen, da sich Bewerber im Wettbewerb mit anderen Arbeitssuchenden und infolgedessen in einer starken Drucksituation befinden. Auch gegenteilige Zusicherungen durch den Arbeitgeber sind kein Allheilmittel.

III. Weiterverarbeitung Soweit die Generierung von Daten zu Persönlichkeitsmerkmalen zulässig ist, ist auch eine Weiterverarbeitung dieser Daten mittels des Entscheidungsmodells zur Generierung von Punktwert oder Rangfolge zulässig. Im Entscheidungsmodell werden neben den Daten zu Persönlichkeitsmerkmalen oft auch weitere Daten der Bewerber, die beispielsweise mithilfe von CV Parsing ausgelesen wurden, mit dem Soll-Profil abgeglichen.

IV. Verwendung der Ausgabe Im Hinblick auf die Nutzbarkeit der potenziell erheblichen, technischen Möglichkeiten zur Effizienzsteigerung, konkret der Verwendung der generierten Ausgabe unter rechtlichen Gesichtspunkten war zwischen dem entscheidungsunterstützenden Einsatz und dem entscheidungsersetzenden Einsatz von KI-Systemen zu differenzieren. 1. Grundsätzliches Verbot Gerade letzteres kann für den Arbeitgeber erhebliche Effizienzgewinne erzeugen. Allerdings wird dann Art. 22 DS-GVO relevant, der Regelungen zu der an die Datenverarbeitung anknüpfenden automatisierten Entscheidung trifft. Grundsätzlich sind automatisierte Entscheidungen verboten.



B. Datenschutzrecht321

Auch wenn die KI-Systeme entscheidungsunterstützend, also zur Verbreiterung der Entscheidungsgrundlage, eingesetzt werden, kann Art. 22 Abs. 1 DS-GVO einschlägig sein. Ob bei dem entscheidungsunterstützenden Einsatz tatsächlich ein menschliches Dazwischentreten erfolgt, ist zwar kaum überprüfbar. Psychologische Bindungseffekte sprechen aber dagegen. Der Arbeitgeber wird (etwa in Form einer sekundären Darlegungslast) mitunter die Eigenständigkeit seiner Entscheidung darzulegen haben. Um die Einhaltung des geltenden Rechts nachvollziehen zu können, ist eine Dokumentationspflicht denkbar.6 Dies würde keinen unverhältnismäßigen Aufwand erfordern, da lediglich die Dokumentation der ohnehin gesetzlich geforderten Mitwirkung erzwungen würde.7 Eine inhaltliche Auseinandersetzung mit der generierten Ausgabe könnte durch post-hoc-Erklärungsmodelle gefördert werden. Insoweit ist überlegenswert, bei der Verwendung intransparenter KI-Systeme oder der Nichtnutzung von post-hoc-Erklärungsmodellen trotz formaler Involvierung einer menschlichen Person vom Vorliegen einer automatisierten Entscheidung auszugehen und damit die Fähigkeit des Entscheidungsträgers, die Ausgabe nachzuvollziehen, in den Rang eines (negativen) Tatbestandsmerkmals von Art. 22 Abs. 1 DS-GVO zu heben.8 Eine solche Auslegung ist nach hier vertretener Auffassung angezeigt. Die Verwendung von post-hocErklärungsmodellen zur Generierung von Erklärungen liegt also im Hinblick auf Art. 22 Abs. 1 DS-GVO im Interesse des Arbeitgebers. 2. Fälle erlaubter automatisierter Entscheidungen Eine automatisierte Entscheidung ist nach Art. 22 Abs. 2 lit. a) DSGVO nur bei besonders hohen Bewerberzahlen respektive einem besonders unausgewogenen Verhältnis der Anzahl von Bewerbungen und der Anzahl von für die Personalbeschaffung zuständigen Mitarbeitern in der Personalabteilung zulässig. Automatisierte Entscheidungen können dann zur Reduktion der Anzahl von Bewerbungen auf ein handhabbares Maß eingesetzt werden.

V. Sicherstellung von Transparenz Ferner ist zur Diskussion gestellt worden, inwiefern die opaken KI-Systeme transparent gemacht werden müssen und, ob der Bewerber ein Recht 6  Ernst, JZ 2017, 1026 (1031); Dzida/Groh, ArbRB 2018, 179 (180): „Der Umfang der menschlichen Beteiligung am Entscheidungsfindungsprozess sollte vom Arbeitgeber dokumentiert werden.“ 7  Ernst, JZ 2017, 1026 (1031). 8  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 122; in diese Richtung auch Hacker, REL 2021, 62 (65).

322

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

auf Erklärung hat. Für den Bewerber ist es wichtig, informiert zu werden, um Entscheidungen nachvollziehen zu können. Auch für den Arbeitgeber ist es (vor dem Hintergrund möglicher Bußgelder und Schadensersatzansprüche) essentiell, die Informations- und Auskunftspflichten zu erfüllen. 1. Systemische Transparenz Hier bestehen Unterschiede zu herkömmlichen Softwaresystemen. Die KISysteme sind zwar deterministisch, aber derart komplex, dass Entscheidungen nicht ohne Weiteres vorhersehbar und deren Zustandekommen nicht ohne Weiteres nachvollziehbar sind. Hinsichtlich der zu erfüllenden Informations- und Auskunftspflichten, ist eine Offenlegung des Anwendungsalgorithmus durch den Arbeitgeber aber weder erforderlich noch sinnvoll. Zur Sicherstellung von Transparenz muss er aber, auch im Falle von risikobehaftetem Profiling, also auch im Bereich des Einsatzes von KI-Systemen zur bloßen Entscheidungsunterstützung im Einstellungsverfahren, gemäß Art. 13 Abs. 2 lit. f) DS-GVO vorab Informationen über die allgemeine Systemfunktionalität (Informationen zu den Trainingsdaten, den eingesetzten Lernverfahren und dem Entscheidungsprozess) erteilen. 2. Recht auf Erklärung Ferner ist es sinnvoll, mit Blick auf KI-Systeme und zur Sicherstellung eines ausreichenden Maßes an Transparenz in Art. 15 Abs. 1 lit. h) DS-GVO ein Recht des Bewerbers auf Erklärung der ihn betreffenden Entscheidung hineinzulesen. Dies lässt sich trotz des übereinstimmenden Wortlauts von Art. 13 Abs. 2 lit. f) und Art. 15 Abs. 1 lit. h) DS-GVO durch eine entsprechende Auslegung erreichen. Eine gesetzgeberische Klarstellung ist aber sinnvoll.9 Es ist also ein gewisser gesetzlicher Anpassungsbedarf identifiziert worden; insoweit wird auf den in dieser Arbeit im 3.C.III. gemachten Formulierungsvorschlag hingewiesen. Die hier vorgeschlagene Lösung, dem Bewerber ein Recht auf Erklärung einzuräumen, führt dazu, dass der Bewerber Entscheidungen besser nachvollziehen kann und erhöht die soziale Akzeptanz und das Vertrauen von Bewerbern in die Ausgaben von KI-Systemen. Auch im Hinblick auf die Aufdeckung von Diskriminierungen ist ein solches Recht hilfreich. Dieses Ergebnis stimmt letztlich damit überein, dass das Datenschutzrecht privaten Verantwortlichen mitunter staatsanaloge Pflichten aufbürdet und im hoheitlichen Bereich zahlreiche Begründungspflichten bestehen.

9  Martini,

Blackbox Algorithmus, S. 185 f. u. 343.



C. Antidiskriminierungsrecht323

In inhaltlicher Hinsicht ist dem Bewerber die Entscheidung kontrafaktisch zu erklären oder ihm eine Liste mit den wichtigsten Parametern zur Verfügung zu stellen. Mit Blick auf die Benennung der wichtigsten Eingabevariablen muss die exakte Gewichtung nicht mitgeteilt werden. Hierdurch kann eine Balance zwischen Transparenzinteressen und Interessen an der Wahrung von Geschäftsgeheimnissen erreicht werden, weil das Wissen um die wesentlichen Elemente des Systems bewahrt wird.10 Beide Erklärungsformen können technisch mit Erklärungsmodellen der technischen Disziplin Explainable AI realisiert werden. Da die Informatik hier noch keinen Königsweg gefunden hat11, besteht auch in technischer Hinsicht weiterer Forschungs- und Entwicklungsbedarf. Hierdurch könnte ein wichtiger Beitrag zu einer besseren Rechtsdurchsetzung, gerade auch im Bereich des Antidiskriminierungsrechts12, geleistet werden.

C. Antidiskriminierungsrecht Auch durch KI-Systeme kann es zu Benachteiligungen kommen. Zuvorderst ist es essentiell, dass betroffene Bewerber im Falle des Schadenseintritts, also wenn sämtliche Schutzmaßnahmen gegen Diskriminierungen versagen, einen Ausgleich für materielle und immaterielle Schäden erlangen und ihre Rechte effektiv verfolgen können.13 Erwägenswert ist ferner, zusätzlich zu den bisherigen Sanktionen, also Schadensersatz- und Entschädigungsansprüchen, Verstöße gegen das AGG auch mit einem Bußgeld zu belegen.14 Hierdurch könnte der Gesetzgeber den Befolgungsdruck erhöhen.15 Mit Blick auf die Tatbestandsmerkmale der bereits existenten Haftungsnorm des Antidiskriminierungsrechts gilt Folgendes:

I. Verortung der Benachteiligung Zunächst war zu ermitteln, durch welche Vorgänge es bei dem Einsatz von KI-Systemen zu welcher Art von Benachteiligung kommen kann. Eine unmittelbare Benachteiligung kann nur vorliegen, wenn eine direkte Anknüpfung an ein Benachteiligungsmerkmal erfolgt. Dies setzt voraus, dass NJW 2020, 2142 (2144); Ernst, JZ 2017, 1026 (1033). Blackbox Algorithmus, S. 194. 12  Ernst, JZ 2017, 1026 (1032 f.). 13  Martini/Ruschemeier/Hain, VerwArch 2021, 1 (4). 14  Martini, Blackbox Algorithmus, S. 296. 15  Martini, Blackbox Algorithmus, S. 296. 10  Hacker,

11  Martini,

324

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

im Laufe des Trainingsprozesses Benachteiligungsmerkmale als Variablen identfiziert worden sind. In der Inbetriebnahme des KI-Systems kann eine unmittelbare Benachteiligung liegen, wenn dieses vom Arbeitgeber zielgerichtet eingesetzt wird (§ 3 Abs. 5 AGG). Im Übrigen kann eine unmittelbare Benachteiligung in dem Systemverhalten liegen, wenn das KI-System auf Benachteiligungsmerkmale als Variablen abstellt und die Ausgabe einen Nachteil darstellt. Eines menschlichen Tuns oder Unterlassens bedarf es nicht. Es sollte im Gesetztestext klargestellt werden, dass auch Systemverhalten eine Behandlung im Sinne von § 3 Abs. 1 AGG sein kann. Bei der Beurteilung, ob das Ergebnis der Datenverarbeitung ein Nachteil ist, muss die jeweilige Ausgestaltung des KI-Systems Berücksichtigung finden. Auch hier sind das mitunter übersteigerte Systemvertrauen und die daraus resultierenden Verhaltensfolgen zu beachten, weshalb ein niedriger Punktwert oder eine niedrige Rangfolgenplatzierung als Nachteile anzusehen sind. Die Phänomene übersteigerten Systemvertrauens und die daraus resultierenden Verhaltensfolgen können der angemessenen Nutzung dieser Systeme im Weg stehen; durch einen Kompetenzaufbau, der zu einer angemessen Nutzung der Systeme befähigt, können diese Phänomene womöglich kontrolliert werden.16 Denkbar wäre, dass Anbieter von KI-Systemen ihr Angebot um Trainingsmaßnahmen zur kompetenten Anwendung des System erweitern.17 Schon jetzt ist es üblich, dass im Rahmen vorgeschalteter Implementierungsprojekte durch die Anbieter Schulungen der Mitarbeiter erfolgen.18 Sofern in der Ausgabe des KI-Systems noch kein Nachteil liegt, liegt eine unmittelbare Benachteiligung durch eine an die Ausgabe anknüpfende menschliche Entscheidung nur bei Kenntnis der Tatsache vor, dass das KISystem auf Benachteiligungsmerkmale als Variablen abstellt. Eine mittelbare Benachteiligung liegt, vorbehaltlich der Tatsache, dass das KI-System infolge des Trainingsprozesses auf neutrale Stellvertretermerkmale als Variablen abstellt, in der Anwendung des KI-Systems als dem Anschein nach neutralem Verfahren im Sinne von § 3 Abs. 2 AGG. Das KISystem kann auch dann Träger sämtlicher Benachteiligungsmerkmale stärker betreffen, weil die neutralen Stellvertretermerkmale mitunter stark mit Benachteiligungsmerkmalen korrelieren.

Der maschinelle Weg zum passenden Personal, S. 23 f. PERSONALquarterly 2019, 6 (8). 18  Heydn, MMR 2020, 435 (437 f.). 16  Knobloch/Hustedt, 17  Biemann,



C. Antidiskriminierungsrecht325

II. Feststellung der Benachteiligung Mit Blick auf die skizzierten Durchsetzungsprobleme im Antidiskriminierungsrecht kann eine bessere Feststellung von Benachteiligungen durch eine Erweiterung von § 1119 oder § 1220 AGG um eine Prüf-/Testpflicht e­ rreicht werden; die Nichteinhaltung dieser Pflicht wäre als Indiz im Rahmen von § 22 AGG zu werten. Auch andere Vermutungstatsachen können bereits heute in der Gesamtschau die Kausalitätswahrscheinlichkeit begründen. Daneben konnte die These bestätigt werden, dass bei der Einhegung der Durchsetzungsprobleme, konkret in Bezug auf die Feststellung der Benachteiligung, insbesondere das Datenschutzrecht nützlich sein kann. 1. Art. 15 Abs. 1 lit. h) DS-GVO Das beschriebene Transparenzproblem führt im Kontext der Benachteiligungsverbote zu einem Nachweis- und Rechtsdurchsetzungsproblem.21 Das vorgenannte Recht auf Erklärung kann auch bei der Feststellung von Benachteiligungen einen Mehrwert bieten, da so Merkmale mit einer abstrakten Diskriminierungseignung identifiziert werden können. Die abstrakte Diskriminierungseignung einzelner Variablen kann eine Vermutungstatsache sein. Sofern der Erstellung einer Liste mit den im Einzelfall wichtigsten Eingabevariablen unüberwindbare technische Hürden entgegenstehen sollten oder die Liste mit Blick auf die Feststellung einer Benachteiligung keinen Mehrwert bietet, weil die Stellvertretermerkmale beispielsweise keine eindeutige menschliche Interpretation zulassen, bestehen weitere Möglichkeiten.22 Die Feststellung einer mittelbaren Benachteiligung wird erleichtert, wenn das datenschutzrechtliche Auskunftsrecht des Art. 15 Abs. 1 lit. h) DS-GVO in einer Art und Weise ausgelegt wird, dass es die statistische Verteilung der Ausgaben des KI-Systems über Subpopulationen hinweg umfasst. Nach hier vertretener Auffassung besteht ein Recht auf eine solche Auskunft. In Anbetracht des umstrittenen Umfangs und Anwendungsbereichs außerhalb von automatisierten Entscheidungen ist aber die explizite Normierung eines Auskunftsrechts auf europäischer Ebene wünschenswert.23 Um die Erfüllung 19  BT-Drs.

19/30750, S. 168. MMR 2022, 24 (26 u. 28). 21  BT-Drs. 19/30750, S. 167. 22  Ernst, JZ 2017, 1026 (1033). 23  Hacker, NJW 2020, 2142 (2144); Jaume-Palasi/Lindinger/Kloiber, AI Powered Recruiting?, S. 50. 20  Sesing/Tschech,

326

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

dieses Auskunftsrechts sicherzustellen, bedarf es einer stetigen Dokumentation von Eingabe und Ausgabe.24 Auf dieser Grundlage können mittelbare Benachteiligungen dann statistisch nachgewiesen werden. Hier sollte man sich der vom EuGH präferierten Vergleichsmethodik bedienen und auf statistische Disparitäten zwischen Untergruppen von Benachteiligungsmerkmalen abstellen. In Kombination mit der Beweislastregel des § 22 AGG als flankierendem Schutzinstrument führt dies zu einer Abmilderung der strukturellen Ungleichheit.25 2. Weitere datenschutzrechtliche Hilfsmechanismen Auch im Übrigen kann das Datenschutzrecht bei der Einhegung von Diskriminierungsrisiken Hilfestellung leisten.26 So können und sollten datenschutzrechtliche Instrumentarien (Art. 58 DS-GVO) wie die Datenschutzüberprüfung und die Datenschutzfolgenabschätzung vermehrt genutzt werden, um Diskriminierungsrisiken effektiv einzuhegen. Denkbar ist etwa die zielgerichtete Nutzung von Befugnissen der Datenschutzaufsichtsbehörde im Rahmen von Datenschutzüberprüfungen oder Konsultationsprozessen bei der Datenschutz-Folgenabschätzung.27

III. Verschulden Hinsichtlich der in der Einleitung thematisierten Frage, wann der Arbeit­ geber für Benachteiligungen einzustehen hat und damit hinsichtlich des Verschuldens sollte die Unionsrechtswidrigkeit des Verschuldenserfordernisses durch den Gesetzgeber anerkannt und § 15 Abs. 1 S. 2 AGG entsprechend gestrichen werden. Bis dahin wird für die Feststellung eines Verschuldens des Arbeitgebers das von ihm einzuhaltende Verhaltensprogramm durch die Instanzgerichte konkretisiert werden müssen. In dieser Arbeit sind erste diesbezügliche Vorschläge unterbreitet worden. Insbesondere wird man eine ordnungsgemäße Auswahl des Systems verlangen können, bei der die Auseinandersetzung mit den Diskriminierungsrisiken und den technischen Feinheiten, insbesondere die Erfüllung von Fairnesskriterien und die Erklärbarkeit, eine wesentliche Rolle spielen müssen. Derzeit sollte sich ein Arbeitgeber für KI-Systeme entscheiden, die jedenfalls verzerrungsumwandelnde Fairnesskriterien erfülNJW 2020, 2142 (2143); Martini, JZ 2017, 1017 (1022). Blackbox Algorithmus, S. 275. 26  Hartmann, EuZA 2019, 421 (422). 27  Hartmann, EuZA 2019, 421 (422). 24  Hacker,

25  Martini,



C. Antidiskriminierungsrecht327

len. Besonders geeignet sind – trotz nicht zu leugnender Präzisionseinbußen – nach hier vertretener Auffassung die Fairnesskriterien der statistischen Parität und der konditionalen statistischen Parität, zumal mittlerweile Verfahren existieren, die es erlauben, graduelle Abstufungen vorzunehmen. Zugegebenermaßen existiert eine Vielzahl von KI-Systemen, unter denen eine Auswahl mitunter schwerfallen kann. Hier muss sich zunächst ein Überblick über die Marktsituation verschafft werden.28 Dabei mag ein Erfahrungsaustausch unter den Mitarbeitern in den Personalabteilungen hilfreich sein.29 Auch Arbeitgeber- und Berufsverbände sollten sowohl bei der Verschaffung eines Marktüberblicks als auch mit Blick auf die Darstellung von Qualitätsunterschieden erhältlicher Systeme unterstützen.30 Mit Blick auf die Überwachung des KI-Systems kommt es auf die (vornehmlich vom jeweiligen Betriebsmodell abhängigen) Zugriffsmöglichkeiten des Arbeitgebers an. Man wird sich in gewissem Maße auch an bestehenden, zivilrechtlichen Vorschriften wie § 832 BGB orientieren können. Da eine Zurechnung des Fehlverhaltens von Entwicklern möglich ist, wird es selten zu Fällen kommen, in denen kein menschliches Fehlverhalten identifiziert werden kann. Was verbleibende (kleine) Haftungslücken im Bereich des programmtechnischen Versagens anbelangt, wäre eine Zurechnung gemäß § 278 S. 1 BGB unter verhaltensökonomischen Gesichtspunkten zwar sinnvoll, aber nach hier vertretener Auffassung nur mit einer gesetzlichen Neuregelung zu realisieren.

IV. Rechtfertigung Der Arbeitgeber kann durch seine Auswahlentscheidung für oder gegen ein bestimmtes KI-System Einfluss auf das Haftungsrisiko und den Rechtfertigungsbedarf nehmen. Er kann das Haftungsrisiko und den Rechtfertigungsbedarf „auf Null reduzieren“. Bei Bestehen eines Rechtfertigungsbedarfs wird die Prüfung der Rechtfertigung einer mittelbaren Benachteiligung vor allem bestehende Handlungs­ alternativen in den Blick nehmen müssen. Insoweit bestehen starke Überschneidungen mit den Anforderungen an die Auswahlentscheidung des Arbeitgebers, insbesondere im Hinblick auf die zu erfüllenden Fairnesskriterien. Der maschinelle Weg zum passenden Personal, S. 24. Der maschinelle Weg zum passenden Personal, S. 24. 30  Knobloch/Hustedt, Der maschinelle Weg zum passenden Personal, S. 24; Martini, Blackbox Algorithmus, S. 166 f., schlägt eine „Stiftung Datentest“ und eine Darstellung des Gefährdungsgrads anhand von „Vergleichsampeln“ vor. 28  Knobloch/Hustedt, 29  Knobloch/Hustedt,

328

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

Zudem kann es auch hier für den Arbeitgeber vorteilhaft sein, auf erklärbare Systeme zu setzen. Der Arbeitgeber wird von einer Transparenz für den Fall, dass er die Benachteiligung zu rechtfertigen hat, profitieren.31 In einem Rechtsstreit wird er den Vorwurf der Benachteiligung durch den Nachweis des benachteiligungsfreien Zustandekommens der Ausgabe effektiver entkräften können.32

V. Ursachen der Benachteiligung & Abhilfemechanismen Letztlich sollte das Ziel sein, Benachteiligungen weitestmöglich zu verhindern. Die Ursachen von Benachteiligungen liegen bei KI-Systemen vor allem im Bereich der Entwicklung. Es wird, wie im 2. Kapitel dargestellt, mithilfe überwachten Lernens auf der Grundlage von Trainingsdaten technisches Wissen generiert. Dies hat zur Folge, dass die Auswahl unverzerrter Trainingsdatensätze für die Qualität späterer Entscheidungen besondere Relevanz hat. Hier sollte eine bessere Schulung von Entwicklern mit Blick auf Verzerrungen in Daten und deren Ursachen erfolgen (etwa an Universitäten).33 Auch kann es sinnvoll sein, dass die öffentliche Hand standardisierte Trainingsdatensätze zur Verfügung stellt.34 Die Lernverfahren würden hierdurch in gewissem Maße erzogen.35 Neben einer Sensibilisierung und Bewusstseinsschaffung kann auch eine Erhöhung der Diversität bei den Entwicklern einen Mehrwert bieten.36 Zudem ist bereits zum Zeitpunkt der Entwicklung auf die Auswahl des richtigen Fairnesskriteriums zu achten. Die Erfüllung von Fairnesskriterien kann mithilfe technischer Verfahren sichergestellt werden. Mit Blick auf die Frage, welche Fairnesskriterien im hiesigen Anwendungsbereich genutzt werden sollen, ist in dieser Arbeit ein Vorschlag unterbreitet worden. Es bedarf aber eines fortlaufenden, gesellschaftlichen und politischen Aushandlungs- und Entscheidungsprozesses.37 Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 109. Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 109; Ernst, JZ 2017, 1026 (1033): „Der vom Verwender dann geforderte Beweis, dass es nicht zu einer Diskriminierung gekommen ist, wird grundsätzlich nur durch einen Einblick in den algorithmischen Entscheidungsprozess gelingen.“ 33  Pek, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, § 6, B., Rn. 14. 34  Martini, Blackbox Algorithmus, S. 228. 35  Martini, JZ 2017, 1017 (1021). 36  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 132. 37  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 101 f.; Datenethikkommission der Bundesregierung, Gutachten der Datenethikkommission, S. 74; Aichroth/Lukashevich, FKT 2020, 28 (33); Hacker, Common Market Law 31  Orwat, 32  Orwat,



D. Ausblick – Europäische KI-Verordnung329

Die Antidiskriminierungsstelle des Bundes könnte Entwickler im Sinne eines präventiven und kooperativen Vorgehens mit Blick auf passende Fairnesskriterien beraten.38 Die Antidiskriminierungsstelle des Bundes besitzt indes Expertise im Antidiskriminierungsrecht, nicht im Bereich von KI-Systemen.39 Hierzu bedarf es auf Seiten der Antidiskriminierungsstelle eines Aufbaus von technischem Sachverstand.40 Das Erfordernis des umfassenden Aufbaus eigenen technischen Sachverstands (in allen Fachbehörden) könnte wiederum dadurch vermieden werden, dass eine Bundesoberbehörde geschaffen wird, die den Fachbehörden in wissenschaftlich-technischer Hinsicht unterstützend zur Seite steht.41

D. Ausblick – Europäische KI-Verordnung Zu Beginn dieser Arbeit ist ferner in Aussicht gestellt worden, dass kurz auf den KI-VO-E und damit potenziell einhergehende Fortschritte eingegangen wird. Am 21. April 2021 hat die Europäische Kommission den KI-VO-E vorgelegt.42 Diese wird auch Auswirkungen auf die in dieser Arbeit besprochenen Systeme und für die Arbeitgeber, die diese Systeme einsetzen, haben, auch wenn die Europäische Union plant, Haftungsfragen im Zusammenhang mit KI-Systemen in einem gesonderten Rechtsakt zu adressieren.43

I. Risikobasierter Ansatz Der KI-VO-E verfolgt, um die Sicherheit und die Grundrechte der Bürger beim Einsatz von KI-Systemen zu wahren und gleichzeitig nicht die Wettbewerbsfähigkeit des europäischen Digitalsektors zu behindern44, einen risikobasierten Ansatz. Dementsprechend ist in dem KI-VO-E eine Klassifizierung von KI-Systemen vorgesehen. Nach Art. 6 Abs. 2 i. V. m. Ziffer 4 der Anlage III des KI-VO-E gelten unter anderem „KI-Systeme, die bestimmungs­ eview 2018, 1143 (1176); Wachter/Mittelstadt/Russell, W. Va. Law Rev. 2021, 735 R (783). 38  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 134. 39  Martini, Blackbox Algorithmus, S. 269, Fn. 391. 40  Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 136. 41  Martini, Blackbox Algorithmus, S. 271 f. 42  Europäische Kommission, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, 2021/0106(COD). 43  Ebers/Hoch/Rosenkranz/Ruschemeier/Steinrötter, RDi 2021, 528 (536). 44  Roos/Weitz, MMR 2021, 844.

330

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

gemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere für […] das Bewerten von Bewerbern in Vorstellungsgesprächen oder Tests […]“ als Hochrisiko-KI-Systeme. Das Herzstück des KI-VO-E betrifft die Regulierung dieser Hochrisiko-KI-Systeme.45

II. Anforderungen an Hochrisiko-KI-Systeme Ziel der Regulierung von Hochrisiko-KI-Systemen ist unter anderem die Gewährleistung von Diskriminierungsschutz.46 Schon jetzt wird deutlich, dass sich der KI-VO-E gerade im Hinblick auf die antidiskriminierungsrechtlichen Fragestellungen positiv auswirken wird. Hochrisiko-KI-Systeme müssen gemäß Art. 8 Abs. 1 KI-VO-E die Vorgaben in Titel III, Kapitel 2, also der Art. 8–15 des KI-VO-E, einhalten. 1. Konformitätsnachweis Die Erfüllung dieser Vorgaben muss gemäß Art. 19 Abs. 1 KI-VO-E vor dem Inverkehrbringen oder der Inbetriebnahme durch die Anbieter in einem Konformitätsbewertungsverfahren nachgewiesen werden. Gemäß Art. 43 Abs. 2 KI-VO-E würde für die hier in Rede stehenden Hochrisiko-KI-Systeme ein Konformitätsbewertungsverfahren auf der Grundlage einer internen Kontrolle nach der Anlage VI des KI-VO-E genügen. Der Anbieter würde also die Erfüllung der Vorgaben der Art. 8–15 KIVO-E prüfen und gemäß Art. 19 Abs. 2 KI-VO-E anschließend eine EUKonformitätserklärung erstellen (Art. 48 KI-VO-E) und eine CE-Konformitätskennzeichnung anbringen (Art. 49 KI-VO-E). Dadurch wäre eine präventive Prüfung in gewisser Weise sichergestellt. Für den Arbeitgeber hätte dies den Vorteil, dass die Auswahl von KI-Systemen mit CE-Konformitätskennzeichnung kaum ein Auswahlverschulden des Arbeitgebers wird begründen können und damit das Haftungsrisiko vermindert wird.47

45  Geminn, ZD 2021, 354 (357); Roos/Weitz, MMR 2021, 844; Ebert/Spiecker, NVwZ 2021, 1188 (1190). 46  Spindler, CR 2021, 361 (362). 47  Höpfner/Daum, ZfA 2021, 467 (501); weitergehend Wimmer, Algorithmusbasierte Entscheidungsfindung, S. 462 ff., der meint, der Arbeitgeber wäre gemäß § 12 Abs. 1 AGG sogar zum Einsatz eines zertifizierten KI-Systems verpflichtet.



D. Ausblick – Europäische KI-Verordnung331

2. Inhaltliche Vorgaben der Art. 8–15 KI-VO-E Mit Blick auf die inhaltlichen Vorgaben der Art. 8–15 KI-VO-E gilt Folgendes: Insbesondere bedarf es gemäß Art. 9 KI-VO-E eines Risikomanagementsystems. Gegenstand dieses Risikomanagementsystems ist die Ermittlung und Analyse der von dem KI-System ausgehenden Risiken und das Ergreifen geeigneter Risikomanagementmaßnahmen. Unter anderem sieht der KI-VOE in Art. 9 Abs. 5–7 vor, dass in jedem Fall vor dem Inverkehrbringen oder der Inbetriebnahme Tests durchzuführen sind. Damit können Genauigkeit und Diskriminierungsfreiheit der KI-Systeme zu einem gewissen Maß vorab überprüft werden, was für den Arbeitgeber zusätzliche Sicherheit bietet. Im Hinblick auf den Schutz vor Diskriminierungen würden sich zudem die Vorgaben zur Data Governance positiv auswirken.48 Nach Art. 10 Abs. 1 KI-VO-E müssen die Trainingsdatensätze bestimmte Qualitätskriterien erfüllen und nach Art. 10 Abs. 3 KI-VO-E relevant, repräsentativ, fehlerfrei und vollständig sein. Dadurch können Benachteiligungen, die auf einem statistical bias beruhen, vermieden werden. Auch im Hinblick auf die Prüfbarkeit auf Rechtsverstöße und die Nachvollziehbarkeit von Entscheidungen kann der KI-VO-E einen Vorteil bringen, da sie in ihrem Art. 12 eine automatische Aufzeichnung von Vorgängen und Ereignissen während des Betriebs verlangt.49 Eine solche Protokollpflicht in Bezug auf die Verarbeitungsschritte ergibt sich nicht aus der DS-GVO.50 Dies kann die retrospektive Lokalisierung der Ursache der Benachteiligung, die Voraussetzung für die rechtliche Bewertung ist, erleichtern.51 Benutzer müssen die von den Hochrisiko-KI-Systemen automatisch erzeugten Protokolle gemäß Art. 29 Abs. 5 KI-VO-E aufbewahren.52 Hinzu kommt, dass die Systeme gemäß Art. 13 Abs. 1 S. 1 KI-VO-E ein solches Maß an Transparenz aufweisen müssen, dass die Benutzer die Ausgabe angemessen interpretieren und verwenden können. Für den Arbeitgeber, der mitunter die Eigenständigkeit seiner Entscheidung darzulegen haben wird, bringt dies Vorteile mit sich. Für Betroffene von in dieser Arbeit besprochenen KI-Systeme wird sich dies allenfalls mittelbar positiv auswirken, da von dem KI-VO-E nur der Benutzer in den Blick genommen wird und CR 2021, 361 (364). CR 2021, 361 (367); zum Erfordernis einer Protokollierung von Programmabläufen schon Martini, JZ 2017, 1017 (1022). 50  Martini, Blackbox Algorithmus, S. 260 ff. 51  Grützmacher, CR 2021, 433 (443). 52  Roos/Weitz, MMR 2021, 844 (849). 48  Spindler, 49  Spindler,

332

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

Mehrpersonenverhältnisse, in denen KI-Systeme von Benutzern für (die Vorbereitung von) Entscheidungen über Dritte, hier Bewerber, eingesetzt werden, nicht adressiert werden. Art. 29 KI-VO-E sieht keine Pflichten des Benutzers gegenüber betroffenen Personen vor.53 Dass betroffene Personen gänzlich unerwähnt geblieben sind, ist bereits als „blinder Fleck“ des KIVO-E bezeichnet worden.54 Es solle zumindest angegeben werden, „welche Rechte und Rechtsbehelfe den Einzelnen zur Verfügung stehen, die von den KI-Systemen betroffen sind“.55 Positiv zu bewerten ist, dass gemäß Art. 14 Abs. 1 KI-VO-E eine wirksame menschliche Aufsicht sichergestellt werden soll. Insoweit wurde in Art. 14 Abs. 4 lit. b) KI-VO-E verdeutlicht, dass die Ausgestaltung so erfolgen muss, dass der menschliche Entscheidungsträger „sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in das von einem Hochrisiko-KI-System hervorgebrachte Ergebnis (‚Automatisierungsbias‘) bewusst“ bleibt.56 Die Benutzer sind daher über etwaige Schwächen des Systems zu informieren.57 Das wird sich sowohl im Bereich automatisierter Entscheidungen als auch mit Blick auf die Frage auswirken, ob in bestimmten Ausgaben des KI-System bereits ein Nachteil zu sehen ist. Ferner müssen Anbieter von Hochrisiko-KI-Systemen gemäß Art. 17 Abs. 1 KI-VO-E ein Qualitätsmanagementsystem einrichten, um die Compliance mit der Verordnung sicherzustellen, und dieses dokumentieren. Diese Dokumentation (z. B. Trainings-, Testdaten) kann die Beweisführung betroffener Personen erleichtern, da den in Anspruch genommenen Arbeitgeber in einem Rechtsstreit mit Blick auf die vorhandenen Informationen eine sekundäre Darlegungslast treffen dürfte.58 Insoweit ist denkbar, die vorgeschlagene Erweiterung des § 12 AGG um eine Test- und Dokumentationspflicht in Form einer Verweisung auf die im KI-VO-E enthaltenen Pflichten zu realisieren.59 53  Tschech, djbZ 2021, 165 (169); Sesing/Tschech, in: Gesellschaft für Informatik, Arbeitspapier Diskriminierende KI?, S. 10 (13). 54  EDSA-EDSB, Gemeinsame Stellungnahme 5/2021 zum Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, 18. Juni 2021, S. 10; Waas, RdA 2022, 125 (130). 55  EDSA-EDSB, Gemeinsame Stellungnahme 5/2021 zum Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, 18. Juni 2021, S. 10. 56  Höpfner/Daum, ZfA 2021, 467 (500). 57  Sesing/Tschech, MMR 2022, 24 (29). 58  Grützmacher, CR 2021, 433 (440 u. 443). 59  Sesing/Tschech, MMR 2022, 24 (30).



E. Zwischenzeitliche Handhabe & positive Perspektive333

Zwar adressiert der KI-VO-E zivilrechtliche Fragestellungen nicht60; allerdings würde sich die KI-Verordnung in der jetzigen Form auch auf die zivilrechtliche Haftung auswirken. Es ist wahrscheinlich, dass die in dem sicherheitsrechtlichen KI-VO-E vorgesehenen Pflichten bei der Konkretisierung der Generalklauseln des Zivilrechts, etwa zur Konkretisierung des Sorgfaltsmaßstabs des Benutzers, also des Arbeitgebers, herangezogen werden.61 Aus der KI-Verordnung ergeben sich diverse Pflichten für Benutzer von Hochrisiko-KI-Systemen.62 So treffen den Benutzer eines Hochrisiko-KI-Systems die Pflicht zur Nutzung nach Maßgabe der Anbieterinstruktionen (Art. 29 Abs. 1 KI-VO-E), die Pflicht zur Information des Anbieters bei Gefahren für Gesundheit, Sicherheit oder von Grundrechtsverletzungen sowie Überwachungspflichten (Art. 29 Abs. 4 KI-VO-E) und nach Art. 29 Abs. 4 S. 3 KIVO-E unter Umständen sogar die Pflicht, die Verwendung des KI-Systems einzustellen.63 Ein Novum ist Art. 52 Abs. 2 KI-VO-E, der Verwender von (in Art. 3 Nr. 34 KI-VO-E legaldefinierten) Emotionserkennungssystemen dazu verpflichtet, die betroffenen natürlichen Personen über den Betrieb des Systems zu informieren, wobei diese Informationspflicht neben die datenschutzrechtlichen Informationspflichten der Art. 13 und 14 DS-GVO treten wird.64

E. Zwischenzeitliche Handhabe & positive Perspektive Der KI-VO-E wird daher nach jetzigem Stand vor allem Verbesserungen mit Blick auf die Transparenz, einen möglichen Automatisierungsbias und die Diskriminierungsfreiheit mit sich bringen. Bis zum Inkrafttreten und der Geltung des KI-VO-E wird noch einige Zeit verstreichen. Mit Blick auf eine zwischenzeitliche Handhabe hat die vorliegende Arbeit einige Vorschläge unterbreitet. Zusammenfassend lässt sich festhalten, dass die besprochenen KI-Systeme großes Potenzial haben und für Arbeitgeber im War of Talents, trotz gewisser Einschränkungen mit Blick auf Effizienzgewinne durch Art. 22 Abs. 1 DS-GVO, einen Mehrwert bieten können, wenn sie stellenrelevante Merkmale bzw. die Eignung genau, transparent und objektiv quantifizieren. Die Einhaltung der datenschutzrechtlichen Vorgaben, die Auswahl unverzerrter Trainingsdatensätze und der technische und technologische Fortschritt werden zu einer genaueren Ermittlung beitraMMR 2021, 844. CR 2021, 433 (442), Roos/Weitz, MMR 2021, 844 (849). 62  Grützmacher, CR 2021, 433 (438 f.). 63  Roos/Weitz, MMR 2021, 844 (849); Grützmacher, CR 2021, 433 (442). 64  Ebert/Spiecker, NVwZ 2021, 1188 (1191). 60  Roos/Weitz,

61  Grützmacher,

334

5. Kap.: Zusammenfassung der Ergebnisse und Ausblick

gen, wobei der Accuracy-Fairness-Tradeoff Entwicklern und Arbeitgebern eine Grundsatzentscheidung für einen bestimmten Kurs abverlangt. Ein annehmbares Maß an Transparenz kann durch eine zielgerichtete Auslegung datenschutzrechtlicher Vorschriften sichergestellt werden. Im Hinblick auf Letzteres darf in Anbetracht der Tatsache, dass auf der einen Seite der analoge Bewerbungsprozess noch immer von menschlicher Diskriminierung bestimmt wird und ein Mensch auch durch Schulung und Sensibilisierung nicht zu vollständig diskriminierungsfreiem Verhalten angehalten werden kann65 und auf der anderen Seite zahlreiche Maßnahmen, etwa die Nutzung unverzerrter Trainingsdatensätze und die Erfüllung der richtigen Fairnesskriterien, gegen Benachteiligungen durch KI-Systeme zur Verfügung stehen, die berechtigte Hoffnung bestehen, dass KI-Systeme schneller als Menschen lernen, Einstellungsentscheidungen zukünftig ohne Diskriminierung zu treffen.66 Jedenfalls werden sie zu einer Reduzierung beitragen. Die arbeitgeberseitige Hoffnung auf effizientere, qualitätsvollere und diskriminerungsfreiere (Vor-)Auswahlentscheidungen ist also nicht unberechtigt. Bei einer in Zukunft möglichen Überlegenheit der KI-Systeme bei der Entscheidungsfindung wird man sich die Frage stellen müssen, ob nicht sogar ab einem gewissen Punkt eine Verpflichtung besteht, Entscheidungen von KISystemen fällen oder jedenfalls überprüfen zu lassen.67

65  Jares/Vogt, in: Knappertsbusch/Gondlach, Arbeitswelt und KI 2030, S. 75 (81); Zimmer/Stajcic, NZA 2017, 1040 (1042 ff.). 66  Hartmann, EuZA 2019, 421 (422). 67  Biemann, PERSONALquarterly 2019, 6 (8).

Literaturverzeichnis Abel, Ralf B.: Automatisierte Entscheidungen im Einzelfall gem. Art. 22 DS-GVO. Anwendungsbereich und enge Grenzen im nicht-öffentlichen Bereich, ZD 2018, S. 304–307. Adadi, Amina/Berrada, Mohammed: Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI), IEEE Access 2018, S. 52138–52160, abrufbar unter: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=84665 90. Aichroth, Patrick et al.: Anonymisierung und Pseudonymisierung von Daten für Projekte des maschinellen Lernens. Eine Handreichung für Unternehmen, 2020, abrufbar unter: https://www.bitkom.org/sites/default/files/2020-10/201002_lf_anony misierung-und-pseudonymisierung-von-daten.pdf. Aichroth, Patrick/Lukashevich, Hanna: Vertrauenswürdige KI im Medienkontext – Grundlegende Anforderungen und Herausforderungen, FKT 2020, S. 28–34. Albrecht, Jan Philipp/Jotzo, Albrecht: Das neue Datenschutzrecht der EU, BadenBaden 2017. Ammann, Thorsten: KI as a Service. Künstliche Intelligenz aus der Cloud und ihre rechtlichen Eigenheiten, CR 2020, S. 295–303. Annuß, Georg: Das Allgemeine Gleichbehandlungsgesetz im Arbeitsrecht, BB 2006, S. 1629–1636. Arnold, Christian/Günther, Jens (Hrsg.): Arbeitsrecht 4.0. Praxishandbuch zum Arbeits-, IP- und Datenschutzrecht in einer digitalisierten Arbeitswelt, München 2018. Arnold, Christian/Günther, Jens (Hrsg.): Arbeitsrecht 4.0. Praxishandbuch zum Arbeits-, IP- und Datenschutzrecht in einer digitalisierten Arbeitswelt, 2. Aufl., München 2022. Artikel-29-Datenschutzgruppe: Stellungnahme 4/2007 zum Begriff „personenbezogene Daten“, Brüssel 2007. Artikel-29-Datenschutzgruppe: Stellungnahme 1/2010 zu den Begriffen „für die Verarbeitung Verantwortlicher“ und „Auftragsverarbeiter“, Brüssel 2010. Artikel-29-Datenschutzgruppe: Stellungnahme 5/2014 zu Anonymisierungstechniken, Brüssel 2014. Artikel-29-Datenschutzgruppe: Leitlinien zu automatisierten Entscheidungen im Einzelfall einschließlich Profiling für die Zwecke der Verordnung 2016/679, Brüssel 2018. Ascheid, Reiner/Preis, Ulrich/Schmidt, Ingrid/Linck, Rüdiger (Hrsg.): Kündigungsrecht. Großkommentar zum gesamte Recht der Beendigung von Arbeitsverhältnissen, 6. Aufl., München 2021.

336 Literaturverzeichnis Assmus, Ubbo/Winzer, Florian: Mitarbeiterfotos im Intranet, auf Webseiten und in sozialen Netzwerken. Anforderungen an Einwilligung und Widerruf nach dem KUG und der DS-GVO, ZD 2018, S. 508–513. Auer-Reinsdorff, Astrid/Conrad, Isabell (Hrsg.): Handbuch IT- und Datenschutzrecht, 3. Aufl., München 2019. Bachmann, Gregor: Kein Anspruch auf geschlechtergerechte Sprache in AGB und Formularen, NJW 2018, S. 1648–1652. Bader, Johann/Ronellenfitsch, Michael: Beck’scher Online-Kommentar VwVfG mit VwVG und VwZG, 54. Edition, München 2022 [zitiert als: Bearbeiter, in: BeckOK VwVfG]. Bahner, Jennifer Elin: Übersteigertes Vertrauen in Automation: Der Einfluss von Fehlererfahrungen auf Complacency und Automation Bias, Berlin 2008. Baier, Melanie: Data Science im HR-Management. Umsetzung eines ganzheitlichen Ansatzes am Beispiel „Vorhersage der Kündigungswahrscheinlichkeit von Beschäftigten“, in: Christian Gärtner (Hrsg.), Smart Human Resource Management. Analytics, Automatisierung und Agilität in der Personalarbeit, Wiesbaden 2020, S. 115–132. Barocas, Solon/Selbst, Andrew D.: Big Data’s Disparate Impact, Calif. L. Rev. 2016, S. 671–732. Bauer, Jobst-Hubertus/Evers, Malte: Schadensersatz und Entschädigung bei Diskriminierung – Ein Fass ohne Boden?, NZA 2006, S. 893–898. Bauer, Jobst-Hubertus/Krieger, Steffen: 10 Jahre AGG – Tops und Flops, NZA 2016, S. 1041–1046. Bausewein, Christoph: Arbeitgeber-Persönlichkeitstests – datenschutzrechtlich zulässig? Bewerberauswahl und Personalentwicklung mittels psychischer Eignungstests, ZD 2014, S. 443–447. Bayerisches Landesamt für Datenschutzaufsicht: 8. Tätigkeitsbericht für die Jahre 2017/2018, abrufbar unter: https://www.lda.bayern.de/media/baylda_report_08.pdf. Beckermann, Ansgar: Einführung in die Logik, Berlin/New York 1997. Beckmann, Philipp: Diskriminierung durch autonome Systeme – Verkehrspflichten des Arbeitgebers im Bewerbungsverfahren, CTRL 2021, S. 132–139. Beigang, Steffen/Fetz, Karolina/Kalkum, Dorina/Otto, Magdalena: Diskriminierungserfahrungen in Deutschland. Ergebnisse einer Repräsentativ- und einer Betroffenenbefragung, Baden-Baden 2017, abrufbar unter: https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Expertisen/expertise_dis kriminierungserfahrungen_in_deutschland.html. Benkert, Daniel: Beschäftigtendatenschutz in der DS-GVO-Welt, NJW-Spezial 2018, S. 562–563. Berendt, Bettina: Algorithmic discrimination, 2020, abrufbar unter: https://people. cs.kuleuven.be/~bettina.berendt/Papers/Algorithmic%20Discrimination%20BB% 202020%2010 %2013.pdf.

Literaturverzeichnis337 Berliner Beauftragte für Datenschutz und Informationsfreiheit: Jahresbericht 2016, Berlin 2017, abrufbar unter: https://www.datenschutz-berlin.de/fileadmin/user_up load/pdf/publikationen/jahresbericht/BlnBDI-Jahresbericht-2016-Web.pdf. Betz, Christoph: Automatisierte Sprachanalyse zum Profiling von Stellenbewerbern. Überprüfung der datenschutzrechtlichen Zulässigkeit eines Praxistrends, ZD 2019, S. 148–152. Biemann, Torsten: Einsatzpotenziale und -grenzen von künstlicher Intelligenz in der Personalarbeit. Interview mit Prof. Dr. Stefan Strohmeier, PERSONALquarterly 2019, S. 6–9. Bilski, Nico/Schmid, Thomas: Verantwortungsfindung beim Einsatz maschinell lernender Systeme, NJOZ 2019, S. 657–661. Bitkom Research GmbH: Big Data im Personalmanagement. Ergebnisse Unternehmensbefragung, Berlin 2015, abrufbar unter: https://business.linkedin.com/con tent/dam/business/talent-solutions/regional/de-de/c/pdfs/BigDataimPersonalma nagement_LinkedIn_Bitkom.pdf. Bitkom Research GmbH: Woran scheitern Einstellungen? Eine Studie von Bitkom Research im Auftrag von Personio, 2018. Blum, Benjamin: People Analytics. Eine datenschutzrechtliche Betrachtung moderner Einsatzszenarien für automatisierte, datenbasierte Entscheidungen, Baden-Baden 2021 (zugl. Diss. Mannheim 2020). Blum, Benjamin/Kainer, Friedemann: Rechtliche Aspekte beim Einsatz von KI in HR: Wenn Algorithmen entscheiden, PERSONALquarterly 2019, S. 22–27. Bodie, Matthew T./Cherry, Miriam A./McCormick, Marcia L./Tang, Jintong: The Law and Policy of People Analytics, University of Colorado Law Review 2017, S. 961–1042. Boecken, Winfried/Düwell, Franz Josef/Diller, Martin/Hanau, Hans (Hrsg.): Gesamtes Arbeitsrecht, Baden-Baden 2016. Boeing, Niels: Algorithmen sind auch nur Menschen, 2021, abrufbar unter: https:// www.zeit.de/zeit-wissen/2021/02/kuenstliche-intelligenz-algorithmus-diskriminie rung-neuronale-netze. Böller, Kerstin/Wurlitzer, Jochen: Maschinelles Lernen im Software-as-a-Service (SaaS)-Umfeld. Datenschutzrechtliche Möglichkeiten des SaaS-Anbieters zur Nutzung von Kundendaten, ZD 2020, S. 572–577. Bomhard, David: Automatisierung und Entkollektivierung betrieblicher Arbeitsorganisation. Herausforderungen einer digitalen Arbeitswelt. Wiesbaden 2019. Bös, Nadine: Neuer Ethikbeirat. Wenn Computer Bewerber auswählen, 2019, ab­ rufbar unter: https://www.faz.net/aktuell/karriere-hochschule/buero-co/neuer-ethik beirat-wenn-computer-bewerber-auswaehlen-16257834.html?printPagedArticle= true#void. Brand, Oliver: Haftung und Versicherung beim Einsatz von Robotik in Medizin und Pflege, MedR 2019, S. 943–950.

338 Literaturverzeichnis Bräutigam, Peter/Schmidt-Wudy, Florian: Das geplante Auskunft- und Herausgaberecht des Betroffenen nach Art. 15 der EU-Datenschutzgrundverordnung. Ein Diskussionsbeitrag zum anstehenden Trilog der EU-Gesetzgebungsorgane, CR 2015, S. 56–63. Britz, Gabriele: Einzelfallgerechtigkeit versus Generalisierung. Verfassungsrechtliche Grenzen statistischer Diskriminierung, Tübingen 2008. Britz, Thomas/Indenhuck, Moritz/Langerhans, Tom: Die Verarbeitung „zufällig“ sensibler Daten. Einschränkende Auslegung von Art. 9 DS-GVO, ZD 2021, S. 559– 564. Brkan, Maja: Do algorithms rule the world? Algorithmic decision-making and data protection in the framework oft he GDPR and beyond, Int. J. Law Inf. Technol. 2019, S. 91–121, abrufbar unter: https://academic.oup.com/ijlit/article/27/2/91/52 88563. Bundesregierung: Eckpunkte der Bundesregierung für eine Strategie Künstliche Intelligenz, 2018, abrufbar unter: https://www.bmwi.de/Redaktion/DE/Downloads/E/ eckpunktepapier-ki.pdf?__blob=publicationFile. Bürger: Anmerkung zu BAG, Urteil vom 16. September 1982, 2 AZR 228/80, ARBlattei Einstellung Entsch. 12. Byers, Philipp: Zulässigkeit von Video-Interviews in Bewerbungsverfahren, SPA 2017, S. 89–90. Calders, Toon/Žliobaite, Indre: Why Unbiased Computational Processes Can Lead to Discriminative Decision Procedures, in: Bart Custers/Toon Calders/Bart Schermer/ Tal Zarsky (Hrsg.), Discrimination and Privacy in the Information Society. Data Mining and Profiling in Large Databases, Berlin/Heidelberg 2013, S. 43–57. Chibanguza, Kuuya/Kuß, Christian/Steege, Hans (Hrsg.): Künstliche Intelligenz. Recht und Praxis autonomer Systeme, 1. Aufl., Baden-Baden 2022. Citron, Danielle: (Un)Fairness Of Risk Scores In Criminal Sentencing, 2016, abrufbar unter: https://www.forbes.com/sites/daniellecitron/2016/07/13/unfairness-ofrisk-scores-in-criminal-sentencing/?sh=2549c99a4ad2. Conrad, Conrad Sebastian: Künstliche Intelligenz – Die Risiken für den Datenschutz, DuD 2017, S. 740–744. Corbett-Davies, Sam/Pierson, Emma/Feller, Avi/Goel, Sharad: A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear, 2016, abrufbar unter: https://www.washingtonpost.com/news/ monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cau tious-than-propublicas/. Crawford, Kate et al.: AI Now Report, New York 2019, abrufbar unter: https://ainow institute.org/AI_Now_2019_Report.pdf. Cremers, Armin B. et al.: Vertrauenswürdiger Einsatz von künstlicher Intelligenz. Handlungsfelder aus philosophischer, ethischer, rechtlicher und technologischer Sicht als Grundlage für eine Zertifizierung von Künstlicher Intelligenz, Sankt Augustin 2019, abrufbar unter: https://www.iais.fraunhofer.de/content/dam/iais/ ­ KINRW/Whitepaper_KI-Zertifizierung.pdf.

Literaturverzeichnis339 d’Alessandro, Brian/O’Neil, Cathy/LaGatta, Tom: Conscientious Classification: A Data Scientist’s Guide to Discrimination-Aware Classification, abrufbar unter: ­https://arxiv.org/ftp/arxiv/papers/1907/1907.09013.pdf. Dammann, Ulrich: Erfolge und Defizite der EU-Datenschutzgrundverordnung. Erwarteter Fortschritt, Schwächen und überraschende Innovationen, ZD 2016, S. 307– 314. Datatilsynet: The great data race. How commercial utilisation of personal data challenges pricacy, Oslo 2015, abrufbar unter: https://www.datatilsynet.no/globalas sets/global/english/engelsk-kommersialisering-endelig.pdf. Datenethikkommission der Bundesregierung: Gutachten der Datenethikkommission, Berlin 2019, abrufbar unter: https://www.bmi.bund.de/SharedDocs/downloads/DE/ publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission.pdf?__ blob=publicationFile&v=6. Däubler, Wolfgang (Hrsg.): Tarifvertragsgesetz mit Arbeitnehmer-Entsendegesetz, 4. Aufl., Baden-Baden 2016. Däubler, Wolfgang: Gläserne Belegschaften. Das Handbuch zum Beschäftigtendatenschutz, 8. Aufl., Frankfurt am Main 2019. Däubler, Wolfgang/Beck, Thorsten (Hrsg.): Allgemeines Gleichbehandlungsgesetz. Handkommentar, 5. Aufl., Baden-Baden 2022. Däubler, Wolfgang/Hjort, Peter/Schubert, Michael/Wolmerath, Martin (Hrsg.): Arbeitsrecht. Individualarbeitsrecht mit kollektivrechtlichen Bezügen. Handkommentar, 4. Aufl., Baden-Baden 2017. Dauner-Lieb, Barbara/Langen, Werner (Hrsg.): BGB Schuldrecht, 4. Aufl., BadenBaden 2021. Dederer, Hans-Georg: Perspektiven des ius in bello auf Letale Autonome Waffensysteme (LAWS), in: Hans-Georg Dederer/Yu-Cheol Shin, Künstliche Intelligenz und juristische Herausforderungen, Tübingen 2021, S. 131–150. Denga, Michael: Deliktische Haftung für künstliche Intelligenz. Warum die Verschuldenshaftung des BGB auch künftig die bessere Schadensausgleichsordnung bedeutet, CR 2018, S. 69–78. Deutsch, Erwin: Die Fahrlässigkeit im neuen Schuldrecht, AcP 202 (2002), S. 889– 911. Dewes, Andreas/Steinebach, Martin/Aichroth, Patrick/Winter, Christian/Kämpgen, Benedikt: Technische Werkzeuge für die Anonymisierung und Pseudonymisierung von Daten, in: Bitkom Bundesverband Informationswirtschaft, Telekommunika­ tion und neue Medien e. V. (Hrsg.), Anonymisierung und Pseudonymisierung von Daten für Projekte des maschinellen Lernens, 2020, S. 8–27, abrufbar unter: ­https://www.bitkom.org/sites/default/files/2020-10/201002_lf_anonymisierungund-pseudonymisierung-von-daten.pdf. Dickmann, Roman: Nach dem Datenabfluss: Schadensersatz nach Art. 82 der Datenschutz-Grundverordnung und die Rechte des Betroffenen an seinen personenbezogenen Daten, r+s 2018, S. 345–355.

340 Literaturverzeichnis Diercks, Jo: Studie „Diskriminierungsrisken durch Verwendung von Algorithmen“ mit speziellem Fokus auf die Arbeitswelt, 2019, abrufbar unter: https://blog.recru tainment.de/2019/12/11/studie-diskriminierungsrisiken-durch-verwendung-von-al gorithmen-mit-speziellem-fokus-auf-die-arbeitswelt/. Diercks, Joachim: KI im Personalwesen – Sind wir tatsächlich schon so weit?, ZdiW 2021, S. 62–65. Diercks, Nina: Video-Interviews in Personalauswahlverfahren. Erforderlichkeit nach § 32 BDSG (§ 26 BDSG-Neu), DuD 2017, S. 750–756. Diercks, Nina: People Analytics als Werkzeug im Personalwesen – Kann der Einsatz von KI gestützten Systemen insbesondere nach § 26 Abs. 1 Satz 1 BDSG rechtlich zulässig sein?, ZdiW 2021, S. 65–69. Dittmann, Jürgen: Sprachliche Veränderungen im Alter: Großmutters gut strukturierte Gute-Nacht-Geschichte, abrufbar unter: https://www.pr.uni-freiburg.de/publikatio nen/surprisingscience/facetten_des_alterns/sparchealter/sprachealter#person. Döbel, Inga et al.: Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, München 2018, abrufbar unter: https://www.bigdata-ai.fraunhofer. de/content/dam/bigdata/de/documents/Publikationen/BMBF_Fraunhofer_ML-Er gebnisbericht_Gesamt.pdf. Dräger, Christina/Helten, Anna-Lena/Kloep, Leonie/Michl, Anna: Personalrekrutierung im Kontext von People Analytics, in: Greta Ontrup (Hrsg.), Die Gegenwart und Zukunft von Personalarbeit. Gegenüberstellungen von klassischer Personal­ arbeit mit People Analytics Strategien und Technologiefolgenabschätzungen, Bochum 2019, S. 41–59. Dreyer, Stephan/Schulz, Wolfgang: Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme? Potenziale und Grenzen der Absicherung individueller, gruppenbezogener und gesellschaftlicher Interessen, Gütersloh 2018, abrufbar unter: https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publika tionen/GrauePublikationen/BSt_DSGVOundADM_dt.pdf. Dunkelau, Jannik/Leuschel, Michael: Fairness-Aware Machine Learning. An Extensive Overview, 2019, abrufbar unter: https://www.phil-fak.uni-duesseldorf.de/file admin/Redaktion/Institute/Sozialwissenschaften/Kommunikations-_und_Medien wissenschaft/KMW_I/Working_Paper/Dunkelau___Leuschel__2019__FairnessAware_Machine_Learning.pdf. Dürig, Günter/Herzog, Roman/Scholz, Rupert/Herdegen, Matthias/Klein, Hans H.: Grundgesetz-Kommentar. Band I: Art. 1–5, Loseblatt, Stand: 95. Ergänzungslieferung Juli 2021. Düwell, Franz Josef/Brink, Stefan: Beschäftigtendatenschutz nach der Umsetzung der Datenschutz-Grundverordnung: Viele Änderungen und wenig Neues, NZA 2017, S. 1081–1085. Dzida, Boris: Big Data und Arbeitsrecht, NZA 2017, S. 541–546. Dzida, Boris/Grau, Timon: Beschäftigtendatenschutz nach der Datenschutzgrundverordnung und dem neuen BDSG, DB 2018, S. 189–194.

Literaturverzeichnis341 Dzida, Boris/Groh, Naemi: Diskriminierung nach dem AGG beim Einsatz von Algorithmen im Bewerbungsverfahren, NJW 2018, S. 1917–1922. Dzida, Boris/Groh, Naemi: People Analytics im Personalbereich. Rechtliche Risiken beim Einsatz von Algorithmen im Betrieb, ArbRB 2018, S. 179–182. Ebers, Martin/Heinze, Christian/Krügel, Tina/Steinrötter, Björn (Hrsg.): Künstliche Intelligenz und Robotik. Rechtshandbuch, München 2020. Ebers, Martin/Hoch, Veronica R.S./Rosenkranz, Frank/Ruschemeier, Hannah/Steinrötter, Björn: Der Entwurf für eine EU-KI-Verordnung: Richtige Richtung mit Optimierungsbedarf. Eine kritische Bewertung durch Mitglieder der Robotics & AI Law Society (RAILS), RDi 2021, S. 528–537. Ebert, Andreas/Spiecker, Andrea: Der Kommissionsentwurf für eine KI-Verordnung der EU. Die EU als Trendsetter weltweiter KI-Regulierung, NVwZ 2021, S. 1188– 1193. Edwards, Lilian/Veale, Michael: Slave to the Algorithm? Why a ‚Right to an Explanation‘ Is Probably Not the Remedy You Are Looking For, Duke Law & Technology Review 2017, S. 18–84. Ehmann, Eugen/Selmayr, Martin: Datenschutz-Grundverordnung, 2. Aufl., München 2018. Els, Stefan: Maschinelles Lernen, Algorithmen, künstliche Intelligenz – Kontrollverlust mit Ansage? – Teil 1, DOeD 2021, S. 161–171. Els, Stefan: Maschinelles Lernen, Algorithmen, künstliche Intelligenz – Kontrollverlust mit Ansage? – Teil 2, DOeD 2021, S. 213–219. Erman, Walter: BGB. Handkommentar, herausgegeben von Grunewald, Barbara/ Maier-Reimer, Georg/Westermann, Harm Peter, 16. Aufl., Köln 2020 [zitiert als: Bearbeiter, in: Erman BGB]. Ernst, Christian: Algorithmische Entscheidungsfindung und personenbezogene Daten, JZ 2017, S. 1026–1036. Ernst, Hildegund/Braunroth, Anna/Franke, Bernhard/Wascher, Angelika/Lenz, Martin (Hrsg.): Allgemeines Gleichbehandlungsgesetz, 2. Aufl., Baden-Baden 2013. Ernst, Stefan: Die Einwilligung nach der Datenschutzgrundverordnung. Anmerkung zur Definition nach Art. 4 Nr. 11 DS-GVO, ZD 2017, S. 110–114. Ethikbeirat HR-Tech: Richtlinien für den verantwortungsvollen Einsatz von Künst­ licher Intelligenz und weiteren digitalen Technologien in der Personalarbeit, 2020, abrufbar unter: https://www.ethikbeirat-hrtech.de/wp-content/uploads/2020/03/ Richtlinien_Download_deutsch_final.pdf. Europäische Kommission: Weissbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen, Brüssel 2020, abrufbar unter: https://ec.eu ropa.eu/info/sites/default/files/commission-white-paper-artificial-intelligence-feb 2020_de.pdf. Europäischer Datenschutzausschuss-Europäischer Datenschutzbeauftragter: Gemeinsame Stellungnahme 5/2021 zum Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künst­

342 Literaturverzeichnis liche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, Brüssel 2021. Europäisches Parlament: Regelung der zivilrechtlichen Haftung beim Einsatz künst­ licher Intelligenz. Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission für eine Regelung der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz, Brüssel 2020, abrufbar unter: https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_DE.pdf. Europarat: Leitlinien zur Gesichtserkennung, 2021, abrufbar unter: https://rm.coe.int/ guidelines-on-facial-recognition/1680a134f3. European Data Protection Board (EDPB): Leitlinien 8/2020 über die gezielte Ansprache von Nutzer:innen sozialer Medien, 2021. Faber, Erasmus: Anreizbasierter Regulierung von Corporate Compliance. Ein rechtsvergleichender Beitrag zur Entwicklung der Rechtsgrundlagen von Compliance im deutschen Wirtschaftsrecht, Baden-Baden 2014 (zugl. Diss. Augsburg 2014). Fesefeldt, Johannes: Künstliche Intelligenz im Personalmanagement, dgp informationen 2018, S. 6–37. Fischer, Julian: Datenschutzrechtliche Stolperfallen im Arbeitsverhältnis und nach dessen Beendigung. Ein Leitfaden für Arbeitgeber nach der EU-Datenschutzgrundverordnung, NZA 2018, S. 8–13. Fischer, Martin/Hoßfeld, Uwe/Krause, Johannes/Richter, Stefan: Jenaer Erklärung. Das Konzept der Rasse ist das Ergebnis von Rassismus und nicht dessen Voraussetzung, 2019, abrufbar unter: https://www.uni-jena.de/unijenamedia/universitaet/ abteilung-hochschulkommunikation/presse/jenaer-erklaerung/jenaer-erklaerung. pdf. Floridi, Luciano/Sanders, J.W.: On the Morality of Artificial Agents, Minds Mach. 2004, S. 349–379. Foerster, Max: Automatisierung und Verantwortung im Zivilrecht, ZfPW 2019, S. 418–435. Forgó, Nikolaus/Helfrich, Marcus/Schneider, Jochen (Hrsg.): Betrieblicher Datenschutz. Rechtshandbuch, 3. Aufl., München 2019. Frank, Justus/Heine, Maurice: Künstliche Intelligenz im Betriebsverfassungsrecht, NZA 2021, S. 1448–1452. Franzen, Martin: Rechtliche Rahmenbedingungen psychologischer Eignungstests, NZA 2013, S. 1–5. Franzen, Martin: Datenschutz-Grundverordnung und Arbeitsrecht, EuZA 2017, S. 313–351. Franzen, Martin/Gallner, Inken/Oetker, Hartmut (Hrsg.): Kommentar zum europä­ ischen Arbeitsrecht, 3. Aufl., München 2020. Freyler, Carmen: Robot-Recruiting, Künstliche Intelligenz und das Antidiskriminierungsrecht, NZA 2020, S. 284–290. Friedler, Sorelle A./Scheidegger, Carlos/Venkatasubramanian, Suresh/Choudhary, Sonam/Hamilton, Evan P./Roth, Derek: A comparative study of fairness-enhancing

Literaturverzeichnis343 interventions in machine learning, in: Association for Computing Machinery (Hrsg.), FAT ’19: Proceedings of the Conference on Fairness, Accountability and Transparency, Atlanta 2019, S. 329–338, abrufbar unter: https://dl.acm.org/doi/ pdf/10.1145/3287560.3287589. Fuhlrott, Michael/Hiéramete, Mayeul: Beck’scher Online-Kommentar GeschGehG, 10. Edition, München 2022 [zitiert als: Bearbeiter, in: BeckOK GeschGehG]. Gausling, Tina: Künstliche Intelligenz im digitalen Marketing. Datenschutzrechtliche Bewertung KI-gestützter Kommunikations-Tools und Profiling-Maßnahmen, ZD 2019, S. 335–341. Gausling, Tina: Künstliche Intelligenz im Anwendungsbereich der DatenschutzGrundverordnung, PinG 2019, S. 61–70. Geminn, Christian: Die Regulierung Künstlicher Intelligenz. Anmerkungen zum Entwurf eines Artificial Intelligence Act, ZD 2021, S. 354–359. Gerberding, Johannes/Wagner, Gert G.: Qualitätssicherung für „Predicitive Analytics“ durch digitale Algorithmen, ZRP 2019, S. 116–119. Gesellschaft für Informatik: Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren. Studien und Gutachten im Auftrag des Sachverständigenrats für Verbraucherfragen, Berlin 2018, abrufbar unter: https://www.svr-verbrau cherfragen.de/wp-content/uploads/GI_Studie_Algorithmenregulierung.pdf. GETD: Welche Art von Fairness macht KI-Systeme gerecht?, abrufbar unter: https:// axa-rev-research.github.io/static/AXA_FairnessCompass-Deutsch.pdf. Gierschmann, Sibylle: Gemeinsame Verantwortlichkeit in der Praxis. Systematische Vorgehensweise zur Bewertung und Festlegung, ZD 2020, S. 69–73. Glatzner, Florian: Profilbildung und algorithmenbasierte Entscheidungen. Regulierungsbedarf aus Verbrauchersicht, DuD 2020, S. 312–315. Glöckner, Jochen: Vereinbarte Abwerbeverbote. „No poaching, please!“, JuS 2018, S. 1130–1138. Göbel-Zimmermann, Ralph/Marquardt, Liisa: Diskriminierung aus Gründen der „Rasse“ und wegen der ethnischen Herkunft im Spiegel der Rechtsprechung zum AGG, ZAR 2012, S. 369–379. Gola, Peter: Beschäftigtendatenschutz und EU-Datenschutz-Grundverordnung, EuZW 2012, S. 332–336. Gola, Peter: Der „neue“ Beschäftigtendatenschutz nach § 26 BDSG n. F., BB 2017, S. 1462–1472. Gola, Peter: Aus den aktuellen Berichten der Aufsichtsbehörden (33): Die Digitalisierung des Bewerbermanagements – Videointerviews bei der Bewerbung, RDV 2018, S. 24–28. Gola, Peter (Hrsg.): Datenschutz-Grundverordnung, 2. Aufl., München 2018. Gola, Peter/Heckmann, Dirk (Hrsg.): Bundesdatenschutzgesetz, 13. Aufl., München 2019. Gola, Peter/Schomerus, Rudolf (Hrsg.): Bundesdatenschutzgesetz, 11. Aufl., München 2012.

344 Literaturverzeichnis Goodman, Bryce/Flaxman, Seth: European Union Regulations on Algorithmic Decision-Making and a „Right to Explanation“, AI magazine 2017, S. 50–57, abrufbar unter: https://ojs.aaai.org/index.php/aimagazine/article/download/2741/2647. Göpfert, Burkard/Dußmann, Andreas: Recruiting und Headhunting in der digitalen Arbeitswelt – Herausforderungen für die arbeitsrechtliche Praxis, NZA-Beilage 2016, S. 41–46. Götz, Thomas: Big Data im Personalmanagement. Datenschutzrecht und betriebliche Mitbestimmung, Baden-Baden 2020 (zugl. Diss. Regensburg 2020). Greco, Luís: Roboter-Richter? – Eine Kritik, in: Hans-Georg Dederer/Yu-Cheol Shin (Hrsg.), Künstliche Intelligenz und juristische Herausforderungen, Tübingen 2021, S. 103–122. Grimm, Detlef/Göbel, Malte: Das Arbeitnehmerdatenschutzrecht in der DSGVO und dem BDSG neuer Fassung, jM 2018, S. 278–285. Grimmelmann, James/Westreich, Daniel: Incomprehensible Discrimination, California Law Review Online 2017, S. 164–177. Grobys, Marcel: Die Beweislast im Anti-Diskriminierungsprozess, NZA 2006, S. 898– 904. Grünberger, Michael: Personale Gleichheit. Der Grundsatz der Gleichbehandlung im Zivilrecht, Baden-Baden 2013. Grünberger, Michael/Müller, Jan-Laurin: Algorithmische Entscheidungssysteme im Nichtdiskriminierungsrecht. Vortrag bei den Verbraucherrechtstagen 2021, abrufbar unter: https://www.bmj.de/DE/Ministerium/Veranstaltungen/_documents/VRT. Grunewald, Benno: Der Einsatz von Personalauswahlverfahren und -methoden im Betrieb – ein faktisch rechtsfreier Raum?, NZA 1996, S. 15–17. Grützmacher, Malte: Die deliktische Haftung für autonome Systeme – Industrie 4.0 als Herausforderung für das bestehende Recht? Ein Plädoyer für die Nutzung von Beweislastregeln und wider den vorschnellen Ruf nach der Einführung einer Gefährdungshaftung, CR 2016, S. 695–698. Grützmacher, Malte: Die zivilrechtliche Haftung für KI nach dem Entwurf der geplanten KI-VO. Potentielle zivilrechtliche Auswirkungen des geplanten KI-Sicherheitsrechts: ein neues Schutzgesetz i. S. v. § 823 Abs. 2 BGB am Horizont, CR 2021, S. 433–444. Gsell, Beate/Krüger, Wolfgang/Lorenz, Stephan/Reymann, Christoph (Hrsg.): beckonline.GROSSKOMMENTAR, München, Stand: August 2021 [zitiert als: Bearbeiter, in: beck-online.GROSSKOMMENTAR]. Günther, Jens/Böglmüller, Matthias: Künstliche Intelligenz und Roboter in der Arbeitswelt, BB 2017, S. 53–58. Hacker, Philipp: Teaching Fairness to Artificial Intelligence: Existing and Novel Strategies against ALgorithmic Discrimination under EU Law, Common Mark. Law Rev. 2018, S. 1143–1186, abrufbar unter: https://papers.ssrn.com/sol3/papers. cfm?abstract_id=3164973.

Literaturverzeichnis345 Hacker, Philipp: Verhaltens- und Wissenszurechnung beim Einsatz von Künstlicher Intelligenz, RW 2018, S. 243–288. Hacker, Philipp: Europäische und nationale Regulierung von Künstlicher Intelligenz, NJW 2020, S. 2142–2147. Hacker, Philipp: Immaterialgüterrechtlicher Schutz von KI-Trainingsdaten, GRUR 2020, S. 1025–1033. Hacker, Philipp: Automatisierung der KI-Compliance, REL 2021, S. 62–66. Hagendorff, Thilo: Maschinelles Lernen und Diskriminierung: Probleme und Lösungsansätze, ÖZS 2019, S. 53–66. Hammersen, Jens/Eisenried, Ulrich: Ist „Redlining“ in Deutschland erlaubt? Plädoyer für eine weite Auslegung des Auskunftsanspruchs, ZD 2014, S. 342–345. Hänold, Stefanie/Schlee, Nelli/Antweiler, Dario/Beckh, Katharina: Die Nachvollziehbarkeit von KI-Anwendungen in der Medizin. Eine Betrachtung aus juristischer Perspektive mit Beispielszenarien, MedR 2021, S. 516–523. Härtel, Ines: Digitalisierung im Lichte des Verfassungsrechts. Algorithmen, Predictive Policing, autonomes Fahren, LKV 2019, S. 49–60. Härting, Niko: Profiling: Vorschläge für eine intelligente Regulierung. Was aus der Zweistufigkeit des Profiling für die Regelung des nicht-öffentlichen Datenschutzbereichs folgt, CR 2014, S. 528–536. Härting, Niko: Big Data und Profiling nach der DSGVO, ITRB 2016, S. 209–211. Härting, Niko: Kopplungsverbot nach der DSGVO. Eine erste Sichtung der Literatur, ITRB 2017, S. 42–44. Hartl, Korbinian: Suchmaschinen, Algorithmen und Meinungsmacht. Eine verfassungs- und einfachrechtliche Betrachtung, Wiesbaden 2017 (zugl. Diss. Passau 2016). Hartmann, Felix: Diskriminierung aus der Black Box – Neue Herausforderungen durch KI-gestützte Personalentscheidungen, EuZA 2019, S. 421–422. Hau, Wolfgang/Poseck, Roman (Hrsg.): Beck’scher Online-Kommentar BGB, 61. Edition, München 2022 [zitiert als: Bearbeiter, in: BeckOK BGB]. Haufe Online Redaktion: Was erfolgreiche Führungskräfte gemeinsam haben, 2017, abrufbar unter: https://www.haufe.de/personal/hr-management/fuehrungspersoen lichkeit-und-verhalten-erfolgreicher-fuehrungskraefte_80_411600.html. Haufe Online Redaktion: Künstliche Intelligenz im Personalwesen, 2021, abrufbar unter: https://www.haufe.de/personal/hr-management/kuenstliche-intelligenz-impersonalwesen_80_484842.html. Haußmann, Katrin/Dolde, Rieke: Datenverarbeitung im Konzern: Arbeitgeber-Verantwortung im Datenschutz und Betriebsrats-Zuständigkeit in der Mitbestimmung, NZA 2020, S. 1588–1592. Havlíková, Štěpánka: Automatisierte Sprachanalysen – Ihr Einsatz in Personalwesen, bei der Kundenbetreuung oder im Gesundheitswesen, DSRITB 2020, S. 141–159.

346 Literaturverzeichnis Heesen, Jessica/Müller-Quade, Jörn/Wrobel, Stefan: Zertifizierung von KI-Systemen – Kompass für die Entwicklung und Anwendung vertrauenswürdiger KISysteme. Whitepaper aus der Plattform Lernende Systeme, München 2020, abrufbar unter: https://www.plattform-lernende-systeme.de/files/Downloads/Publikatio nen/AG1_3_Whitepaper_Zertifizierung_KI_Systemen.pdf. Heiderhoff, Bettina/Gramsch, Kilian: Klassische Haftungsregimes und autonome Systeme – genügt „functional equivalence“ oder bedarf es eigenständiger Maßstäbe?, ZIP 2020, S. 1937–1943. Helfrich, Marcus: Scoring reloaded?, ZD 2013, S. 473–474. Henssler, Martin/Willemsen, Heinz Josef/Kalb, Heinz-Jürgen (Hrsg.): ArbeitsrechtKommentar, 9. Aufl., Köln 2020. Herdes, Daniela: KI im Bewerbungsprozess – datenschutzrechtliche Herausforderungen, DSRITB 2019, S. 77–90. Herdes, Daniela: Datenschutzrechtliche Herausforderungen beim Einsatz von KI im Bewerbungsverfahren, CB 2020, S. 95–99. Hermstrüwer, Yoan: Fairnessprinzipien der algorithmischen Verwaltung. Diskriminierungsprävention beim staatlichen Einsatz von Machine Learning, AöR 145 (2020), S. 479–521. Hess, Thomas/Schreiner, Michel: Ökonomie der Privatsphäre. Eine Annäherung aus drei Perspektiven, DuD 2012, S. 105–109. Heydn, Truiken: Software as a Service (SaaS): Probleme und Vertragsgestaltung. Software im digitalen Zeitalter – „Schubladen“ des BGB II, MMR 2020, S. 435– 440. Hildebrandt, Mireille: Profiling: From Data to Knowledge. The challenges of a crucial technology, DuD 2006, S. 548–552. Hoeren, Thomas/Niehoff, Maurice: KI und Datenschutz – Begründungserfordernisse automatisierter Entscheidungen, RW 2018, S. 47–66. Hoeren, Thomas/Sieber, Ulrich/Holznagel, Bernd (Hrsg.): Handbuch MultimediaRecht. Rechtsfragen des elektronischen Geschäftsverkehrs, Loseblatt, München, Stand: 57. Ergänzungslieferung September 2021. Hoffmann, Jochen: Die Feststellung mittelbarer Diskriminierungen, AcP 214 (2014), S. 822–852. Hoffmann, Michel: Möglichkeit und Zulässigkeit von künstlicher Intelligenz und Algorithmen im Recruiting. Personalsuche 4.0, NZA 2022, S. 19–24. Hoffmann, Simon: LIME ein vielseitiges Erklärermodell – auch für MAchine-Learn­ ing-Laien, abrufbar unter: https://cogsys.uni-bamberg.de/teaching/ws1718/sem_ m2/Simon_Hoffmann_LIME.pdf. Holtel, Stefan/Hufenstuhl, Andreas/Klug, Andreas: Künstliche Intelligenz verstehen als Automation des Entscheidens. Leitfaden, Berlin 2017, abrufbar unter: https:// www.bitkom.org/sites/main/files/file/import/Bitkom-Leitfaden-KI-verstehen-alsAutomation-des-Entscheidens-2-Mai-2017.pdf.

Literaturverzeichnis347 Holthausen, Joachim: Big Data, People Analytics, KI und Gestaltung von Betriebsvereinbarungen – Grund-, arbeits- und datenschutzrechtliche An- und Herausforderungen, RdA 2021, S. 19–32. Holzinger, Andreas: Explainable AI (ex-AI), Informatik Spektrum 2018, S. 138–143. Höpfner, Clemens/Daum, Jan Alexander: Der „Robo-Boss“ – Künstliche Intelligenz im Arbeitsverhältnis, ZfA 2021, S. 467–501. Hoppe, Florian: Technische Grundlagen, in: Matthias Hartmann, KI & Recht kompakt, Heidelberg 2020, S. 1–28. Horner, Susanne/Kaulartz, Markus: Haftung 4.0. Rechtliche Herausforderungen im Kontext der Industrie 4.0, InTeR 2016, S. 22–27. Horner, Susanne/Kaulartz, Markus: Verschiebung des Sorgfaltsmaßstabs bei Herstellung und Nutzung autonomer Systeme, CR 2016, S. 7–14. Huff, Julian/Götz, Thomas: Evidenz statt Bauchgefühl? – Möglichkeiten und recht­ liche Grenzen von Big Data im HR-Bereich, NZA-Beilage 2019, S. 73–78. Hunold, Wolf: Aktuelle Rechtsprobleme der Personalauswahl, DB 1993, S. 224–229. Huq, Aziz Z.: Racial Equity in Algorithmic Criminal Justice, Duke L.J. 2019, S. 1043–1134. Hyde, Janet Shibley: The Gender Similarities Hypothesis, American Psychologist 2005, S. 581–592. Jandt, Silke: Biometrische Videoüberwachung – was wäre wenn …, ZRP 2018, S. 16– 19. Jares, Patricia/Vogt, Tobias: Der Einsatz von KI-basierter Sprachanalyse im Bewerbungsverfahren, in: Inka Knappertsbusch/Kai Gondlach (Hrsg.), Arbeitswelt und KI 2030, Wiesbaden 2021, S. 75–82. Jauernig, Othmar: Bürgerliches Gesetzbuch. Kommentar, herausgegeben von Stürner, Rolf, 18. Aufl., München 2021 [zitiert als: Bearbeiter, in: Jauernig]. Jaume-Palasi, Lorena/Lindinger, Elisa/Kloiber, Julia: AI Powered Recruiting. Wie der Einsatz von algorithmischen Assistenzsystemen die Gleichstellung auf dem Arbeitsmarkt beeinflusst. Expertise für den dritten Gleichstellungsbericht der Bundesregierung, Berlin 2020, abrufbar unter: https://www.dritter-gleichstellungsbe richt.de/kontext/controllers/document.php/125.3/a/afe60d.pdf. Jedzig, Joachim: Einführung standardisierter Verfahren zur Leistungsbeurteilung von Arbeitnehmern. Mitbestimmung des Betriebsrats sowie rechtliche und tatsächliche Grenzen, DB 1991, S. 753–758. Jedzig, Joachim: Mitbestimmung bei Einführung von Verfahren zur Potentialanalyse von Arbeitnehmern, DB 1996, S. 1337–1342. Jipp, Meike/Steil, Jochen: Steuern wir oder werden wir gesteuert? Chancen und Risiken von Mensch-Technik-Interaktion, in: Reinhold Haux/Klaus Gahl/Meike Jipp/ Rudolf Kruse/Otto Richter (Hrsg.), Zusammenwirken von natürlicher und künst­ licher Intelligenz, Wiesbaden 2021, S. 17–34.

348 Literaturverzeichnis Joos, Daniel: Einsatz von künstlicher Intelligenz im Personalwesen unter Beachtung der DS-GVO und des BDSG, NZA 2020, S. 1216–1221. Joos, Daniel/Meding, Kristofer: Technisch Organisatorische Maßnahmen (TOMs) bei „intelligenten“ Arbeitgeberentscheidungen, CR 2020, S. 834–840. Jorthan, Isabella/Wallner, Benedikt: AMS goes ADM – Systematische Diskriminierung? Rechtliche Abhilfe?, abrufbar unter: https://wienrecht.at/tipps/433-amsgoes-adm-systematische-diskriminierung-rechtliche-abhilfe. Joussen, Jacob: Das erweiterte Führungszeugnis im Arbeitsverhältnis, NZA 2012, S. 776–780. Käde, Lisa/von Maltzan, Stephanie: Die Erklärbarkeit von Künstlicher Intelligenz (KI). Entmystifizierung der Black Box und Chancen für das Recht, CR 2020, S. 66–72. Kaibel, Chris/Mühlenbock, Max/Koch-Bayram, Irmela/Biemann, Torsten: Wahrnehmung von KI – Was denken Mitarbeiter über ihre Anwendung und Fairness?, PERSONALquarterly 2019, S. 16–21. Kainer, Friedemann/Weber, Christian: Datenschutzrechtliche Aspekte des „Talent­ managements“, BB 2017, S. 2740–2747. Kamanabrou, Sudabeh: Die arbeitsrechtlichen Vorschriften des Allgemeinen Gleichbehandlungsgesetzes, RdA 2006, S. 321–339. Kaminski, Margot E.: The Right to Explanation, Explained, BTLJ 2019, S. 189–218. Kasper, Gabriel: People Analytics in privatrechtlichen Arbeitsverhältnissen. Vorschläge zur wirksameren Durchsetzung des Datenschutzrechts, Zürich 2021 (zugl. Diss. St. Gallen 2020). Kaulartz, Markus/Braegelmann, Tom Hinrich (Hrsg.): Rechtshandbuch Artificial Intelligence und Machine Learning, München 2020. Kiel, Heinrich/Lunk, Stefan/Oetker, Hartmut (Hrsg.): Münchener Handbuch zum Arbeitsrecht. Band 1: Individualarbeitsrecht, 5. Aufl., München 2021 [zitiert als: Bearbeiter, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 1]. Kiel, Heinrich/Lunk, Stefan/Oetker, Hartmut (Hrsg.): Münchener Handbuch zum Arbeitsrecht. Band 4: Kollektives Arbeitsrecht II, Arbeitsgerichtsverfahren, 4. Aufl., München 2018 [zitiert als: Bearbeiter, in: Kiel/Lunk/Oetker, Münchener Handbuch zum Arbeitsrecht, Bd. 4]. Kindel, Contanze: Wie sich Frau und Mann unterscheiden: Verblüffende Erkenntnisse der neuen Forschung, in: GEO, abrufbar unter: https://www.geo.de/wissen/22301rtkl-geschlechterforschung-wie-sich-frau-und-mann-unterscheiden-verblueffende. Klann-Delius, Gisela: Sprache und Geschlecht. Eine Einführung, Stuttgart 2005. Klar, Manuel: Künstliche Intelligenz und Big Data – algorithmenbasierte Systeme und Datenschutz im Geschäft mit Kunden, BB 2019, S. 2243–2252. Klingbeil, Stefan: Schuldnerhaftung für Roboterversagen. Zum Problem der Substitution von Erfüllungsgehilfen durch Maschinen, JZ 2019, S. 718–725.

Literaturverzeichnis349 Klocke, Daniel: Tarifverträge und Datenschutz: neue Perspektiven durch § 26 Abs. 4 BDSG-neu?, ZTR 2018, S. 116–121. Kloos, Bernhard/Schmidt-Bens, Johanna: Datenschutz, in: Matthias Hartmann (Hrsg.), KI & Recht kompakt, Heidelberg 2020, S. 165–207. Kniepert, Cornelius: Die Rechtsfähigkeit autonomer Systeme, JURA 2021, S. 358– 368. Knobloch, Tobias/Hustedt, Carla: Der maschinelle Weg zum passenden Personal. Zur Rolle algorithmischer Systeme in der Personalauswahl, Gütersloh 2019, abrufbar unter: https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publikationen/ GrauePublikationen/SNV_Robo_Recruiting_final.pdf. Koch, Heiner: Intransparente Diskriminierung durch maschinelles Lernen, ZfPP 2020, S. 265–300. Köhler, Matthias: Keine Mitbestimmung bei der Durchführung von Assessmentcentern, GWR 2013, S. 132–133. Konertz, Roman/Schönhof, Raoul: Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht. Eine kritische Betrachtung im Lichte von Autonomie, Determinismus und Vorhersehbarkeit, Baden-Baden 2020. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Kurzpapier Nr. 17 – Besondere Kategorien personenbezogener Daten, abrufbar unter: https://www.datenschutzkonferenz-online.de/media/kp/dsk_kpnr_ 17.pdf. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Kurzpapier Nr. 18 – Risiko für die Rechte und Freiheiten natürlicher Personen, abrufbar unter: https://www.datenschutzkonferenz-online.de/media/kp/ dsk_kpnr_18.pdf. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Liste der Verarbeitungstätigkeiten, für die eine DSFA durchzuführen ist, 2018, abrufbar unter: https://www.bfdi.bund.de/SharedDocs/Downloads/DE/ Muster/Liste_VerarbeitungsvorgaengeDSK.pdf;jsessionid=B216EDDF1B6753634 AE433DAB8E4E59B.intranet222?__blob=publicationFile&v=5. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Positionspapier zur biometrischen Analyse, 2019, abrufbar unter: ­https://www.datenschutzkonferenz-online.de/media/oh/20190405_oh_positionspa pier_biometrie.pdf. Kontio, Carina: Wie Bewerber die Robo-Recruiter überlisten können, 2018, abrufbar unter: https://www.handelsblatt.com/karriere/the_shift/jobsuche-wie-bewerber-dierobo-recruiter-ueberlisten-koennen/22991974.html. Körner, Marita: Wirksamer Beschäftigtendatenschutz im Lichte der Europäischen Datenschutz-Grundverordnung (DS-GVO), Frankfurt am Main 2017. Kort, Michael: Eignungsdiagnose von Bewerbern unter der Datenschutz-Grundverordnung (DS-GVO), NZA-Beilage 2016, S. 62–71.

350 Literaturverzeichnis Kort, Michael: Was ändert sich für Datenschutzbeauftragte, Aufsichtsbehörden und Betriebsrat mit der DS-GVO? Die zukünftige Rolle der Institutionen rund um den Beschäftigtendatenschutz, ZD 2017, S. 3–7. Korte, Andrea: Facial-Recognition Technology Cannot Read Emotions, Scientists Say, 2020, abrufbar unter: https://www.aaas.org/news/facial-recognition-technolo gy-cannot-read-emotions-scientists-say. Kraft, Julia/Mense, Andreas/Wrede, Matthias: Diskriminierung von „Hartz IV-Empfängern“ auf dem Wohnungsmarkt. Empirische Befunde und (auch rechtsvergleichende) Überlegungen zum vertragsrechtlichen Diskriminierungsschutz von Leistungsempfängern der Grundsicherung für Arbeitssuchende, NZM 2020, S. 826– 831. Krajewski, Jarek: Stimmbasierte akustische Schläfrigkeitsdetektion (acoustic sleepiness analysis) – Eine signalverarbeitungsbasierte und mustererkennungsalgorithmengestützte Verfahrensentwicklung, Wuppertal 2008. Kramer, Stefan (Hrsg.): IT-Arbeitsrecht, 2. Aufl., München 2019. Krause, Rüdiger: Expertise – Digitalisierung und Beschäftigtendatenschutz, 2016, abrufbar unter: http://www.kmu-digital.eu/de/publikationen/tags/datenstroeme/359datenschutz-und-beschaeftigtendatenschutz/file. Krieger, Linda Hamilton: The Content of Our Categories: A Cognitive Bias Approach to Discrimination and Equal Employment Opportunity, SLR 1995, S. 1161–1248. Krohm, Niclas: Abschied vom Schriftformgebot der Einwilligung. Lösungsvorschläge und künftige Anforderungen, ZD 2016, S. 368–373. Krohne, Heinz Walter/Tausch, Anja P.: Persönlichkeit und Emotionen. Individuelle Unterschiede im emotionalen Erleben und Verhalten, Stuttgart 2014. Kugelmann, Dieter: Datenfinanzierte Internetangebote. Regelungs- und Schutzmechanismen der DSGVO, DuD 2016, S. 566–570. Kühling, Jürgen/Buchner, Benedikt (Hrsg.): Datenschutz-Grundverordnung/Bundesdatenschutzgesetz, 3. Aufl., München 2020. Kühling, Jürgen/Gauß, Nicolas: Expansionslust von Google als Herausforderung für das Kartellrecht, MMR 2007, S. 751–757. Kumkar, Lea Katharina/Roth-Isigkeit, David: Erklärungspflichten bei automatisierten Datenverarbeitungen nach der DSGVO, JZ 2020, S. 277–286. Kuner, Lisa: KI im Bewerbungsprozess. Und raus bist du!, 2021, abrufbar unter: ­https://www.faz.net/aktuell/karriere-hochschule/buero-co/ki-im-bewerbungspro zess-und-raus-bist-du-17471117.html. Künzel, Hermann J.: Die Erkennung von Personen anhand ihrer Stimme, NStZ 1989, S. 400–405. Künzl, Reinhard: Das Fragerecht des Arbeitgebers bei der Einstellung, ArbRAktuell 2012, S. 235–239. Kuppler, Matthias/Kern, Christoph/Bach, Ruben L./Kreuter, Frauke: Distributive Justice and Fairness Metrics in Automated Decision-making: How much Overlap Is There?, 2021, abrufbar unter: https://arxiv.org/pdf/2105.01441.pdf.

Literaturverzeichnis351 Landesbeauftragte für Datenschutz und Informationsfreiheit Nordrhein-Westfalen: 23. Datenschutz- und Informationsfreiheitsbericht, Düsseldorf 2017, abrufbar unter: https://www.ldi.nrw.de/mainmenu_Service/submenu_Berichte/Inhalt/23_DIB/ DIB-2017.pdf. Landesbeauftragter für Datenschutz und Informationsfreiheit Baden-Württemberg: Ratgeber Beschäftigtendatenschutz, 4. Aufl., Stuttgart 2020. Lang-von Wins, Thomas/Triebel, Claas/Buchner, Ursula Gisela/Sandor, Andrea: Potenzialbeurteilung: Diagnostische Kompentenzen entwickeln – die Personalauswahl optimieren, Heidelberg 2008. Lapuschkin, Sebastian: Opening the Machine Learning Black Box with Layer-wise Relevance Propagation, Berlin 2019 (zugl. Diss. Berlin 2018), abrufbar unter: ­https://depositonce.tu-berlin.de/bitstream/11303/8813/4/lapuschkin_sebastian.pdf. Laumer, Sven/Weitzel, Tim/Luzar, Katrin: Robo-Recruiting: Status quo und Herausforderungen für die KI in der Personalgewinnung, PERSONALquarterly 2019, S. 10–15. Lehmann, Neele: Erkennung mimischer Emotionsausdrücke bei Patientinnen mit Essstörung – Eine Blickbewegungsstudie, Kiel 2008, abrufbar unter: https://macau. uni-kiel.de/servlets/MCRFileNodeServlet/dissertation_derivate_00002533/disser tation_neele_lehmann.pdf. Leupold, Andreas/Wiebe, Andreas/Glossner, Silke (Hrsg.): IT-Recht. Recht, Wirtschaft und Technik der digitalen Transformation, 4. Aufl., München 2021. von Lewinski, Kai/de Barros Fritz, Raphael: Arbeitgeberhaftung nach dem AGG infolge des Einsatzes von Algorithmen bei Personalentscheidungen, NZA 2018, S. 620–625. von Lewinski, Kai/Hähnle, Johanna: Was informatisch richtig ist, kann auch juristisch recht sein. Datenvalidität und -qualität als juristische Kategorien, DuD 2021, S. 686–690. von Lewinski, Kai/Rützel, Felix: Art. 22 DSGVO: Symbolvorschrift oder Innovationsschreck?, DSB 2018, S. 253–255. von Lewinski, Kai/Pohl, Dirk: Auskunfteien nach der europäischen Datenschutz­ reform. Brüche und Kontinuitäten der Rechtslage, ZD 2018, S. 17–23. Linardatos, Dimitrios: Autonome und vernetzte Aktanten im Zivilrecht. Grundlinien zivilrechtlicher Zurechnung und Strukturmerkmale einer elektronischen Person, Tübingen 2021 (zugl. Habil. Mannheim 2020/2021). Lindinger, Elisa: Wenn die Maschine zum Bewerbungsgespräch bittet, in: Gesellschaft für Informatik e. V. (GI) (Hrsg.), Arbeitspapier Diskriminierende KI? Risiken algorithmischer Entscheidungen in der Personalauswahl, Berlin 2021, S. 7–9, abrufbar unter: https://testing-ai.gi.de/fileadmin/user_upload/ExamAI_Publikation _Arbeitspapier_final.pdf. Linke, Christian: Digitale Wissensorganisation. Wissenszurechnung beim Einsatz autonomer Systeme, Bade-Baden 2021 (zugl. Diss. Bayreuth 2021). Lischka, Konrad/Klingel, Anita: Wenn Maschinen Menschen bewerten. Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung, Gütersloh 2017,

352 Literaturverzeichnis abrufbar unter: https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publikatio nen/GrauePublikationen/ADM_Fallstudien.pdf. Lobinger, Thomas: Entwicklung, Stand und Perspektiven des europäischen Antidiskriminierungsrechts, Heidelberg 2015. Loi, Michele: People Analytics muss den Menschen zugutekommen. Eine ethische Analyse datengesteuerter algorithmischer Systeme im Personalmanagement, Düsseldorf 2020, abrufbar unter: https://www.boeckler.de/fpdf/HBS-007994/p_study_ hbs_450.pdf. Lorentz, Nora: Profiling – Persönlichkeitsschutz durch Datenschutz? Eine Standortbestimmung nach Inkrafttreten der DSGVO, Tübingen 2020 (zugl. Diss. Köln 2019). Lorenz, Bernd: Datenschutzrechtliche Informationspflichten, VuR 2019, S. 213–220. Löwisch, Manfred/Rieble, Volker: Tarifvertragsgesetz, 4. Aufl., München 2017. Lützeler, Martin/Kopp, Désirée: HR mit System: Bewerbermanagement–Tools, ArbR­ Aktuell 2015, S. 491–494. Malgieri, Gianclaudio/Comandé, Giovanni: Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation, IDPL 2017, S. 243–265, abrufbar unter: https://academic.oup.com/idpl/article/7/4/243/4626991. Malorny, Friederike: Datenschutz als Grenze KI-basierter Auswahlentscheidungen im Arbeitsrecht, RdA 2022, S. 170–178. Mangold, Anna Katharina: Von Homogenität zu Vielfalt. Die Entstehung von Antidiskriminierungsrecht als eigenständigem Rechtsgebiet in der Berliner Republik, in: Thomas Duve/Stefan Ruppert (Hrsg.), Rechtswissenschaft in der Berliner Repu­ blik, Berlin 2018, S. 461–503. von Mangoldt, Hermann/Klein, Friedrich/Starck, Christian: Grundgesetz. Kommentar, 7. Aufl., München 2018. Manhart, Klaus: Biometrische Authentifizierung: Methoden, Systeme und praktische Umsetzung, 2015, abrufbar unter: https://www.computerweekly.com/de/tipp/Bio metrische-Authentifizierung-Methoden-Systeme-und-praktische-Umsetzung. Martini, Mario: Das allgemeine Persönlichkeitsrecht im Spiegel der jüngeren Rechtsprechung des Bundesverfassungsgerichts, JA 2009, S. 839–845. Martini, Mario: Algorithmen als Herausforderung für die Rechtsordnung, JZ 2017, S. 1017–1025. Martini, Mario: Blackbox Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz, Berlin 2019. Martini, Mario: Grundlinien eines Kontrollsystems für algorithmenbasierte Entscheidungsprozesse. Gutachten im Auftrag des Verbraucherzentrale Bundesverbandes, Speyer 2019, abrufbar unter: https://www.vzbv.de/sites/default/files/downloads/ 2019/07/17/martini_-_adm-kontrollsystem_2.pdf. Martini, Mario/Ruschemeier, Hannah/Hain, Jonathan: Staatshaftung für automatisierte Verwaltungsentscheidungen – Künstliche Intelligenz als Herausforderung für das Recht der staatlichen Ersatzleistungen, VerwArch 2021, S. 1–37.

Literaturverzeichnis353 Matejek, Michael/Mäusezahl, Steffen: Gewöhnliche vs. sensible personenbezogene Daten. Abgrenzung und Verarbeitungsrahmen von Daten gem. Art. 9 DS-GVO, ZD 2019, S. 551–556. Mehrabi, Ninareh/Morstatter, Fred/Saxena, Nripsuta/Lerman, Kristina/Galstyan, Aram: A Survey on Bias and Fairness in Machine Learning, ACM Comput. Surv. 2022, S. 1–35, abrufbar unter: https://dl.acm.org/doi/pdf/10.1145/3457607. Mendoza, Isak/Bygrave, Lee A.: The Right Not to be Subject to Automated Decisions Based on Profiling, in: Tatiana-Eleni Synodinou/Philippe Jougleux/Christiana Markou/Thalia Prastitou (Hrsg.), EU Internet Law. Regulation and Enforcement, Basel 2017, S. 77–98. Merkel, Reinhard: Willensfreiheit und rechtliche Schuld. Eine strafrechtsphilosophische Untersuchung, 2. Aufl., Baden-Baden 2014. Michel, Lothar/Wiese, Günther: Zur rechtlichen und psychologischen Problematik graphologischer Gutachten, NZA 1986, S. 505–510. Mikl, Marcel: Wie trainiert man eigentlich neuronale Netze?, 2018, abrufbar unter: https://blog.codecentric.de/2018/08/wie-trainiert-man-eigentlich-neuronale-netze/. Moll, Wilhelm (Hrsg.): Münchener Anwaltshandbuch Arbeitsrecht, 5. Aufl., München 2021. Möllenkamp, Olaf: Das Betriebsrätemodernisierungsgesetz 2021. Regelungsinhalte und Praxisauswirkungen, DB 2021, S. 1198–1202. Moos, Flemming/Rothkegel, Tobias: Nutzung von Scoring-Diensten im Online-Versandhandel. Scoring-Verfahren im Spannungsfeld von BDSG, AGG und DS-GVO, ZD 2016, S. 561–568. Mosier, Kathleen L./Skitka, Linda J.: Human Decision Makers and Automated Decision Aids: Made for Each Other?, in: Raja Parasuraman/Mustapha Mouloua (Hrsg.), Automation and Human Performance: Theory and Applications, Boca Raton 1996, S. 201–220. Mosier, Kathleen L./Skitka, Linda J./Heers, Susan/Burdick, Mark: Automation Bias: Decision Making and Performance in High-Tech Cockpits, Int. J. Aviat. Psychol. 1998, S. 47–63. Mühlbock, Luisa/Taupitz, Jochen: Haftung für Schäden durch KI in der Medizin, AcP 221 (2021), S. 179–218. Müller, Eckhart/Schlothauer, Reinhold: Münchener Anwaltshandbuch Strafverteidigung, 2. Aufl., München 2014. Müller, Eckhart/Schlothauer, Reinhold/Knauer, Christoph: Münchener Anwaltshandbuch Strafverteidigung, 3. Aufl., München 2022. Müller-Glöge, Rudi/Preis, Ulrich/Schmidt, Ingrid (Hrsg.): Erfurter Kommentar zum Arbeitsrecht, 17. Aufl., München 2017. Müller-Glöge, Rudi/Preis, Ulrich/Schmidt, Ingrid (Hrsg.): Erfurter Kommentar zum Arbeitsrecht, 22. Aufl., München 2022. Müller-Hengstenberg, Claus/Kirn, Stefan: Intelligente (Software-)Agenten: Eine neue Herausforderung unseres Rechtssystems? Rechtliche Konsequenzen der „Verselbstständigung“ technischer Systeme, MMR 2014, S. 307–313.

354 Literaturverzeichnis Münchener Kommentar zum BGB: herausgegeben von Säcker, Franz Jürgen/Rix­ ecker, Roland/Oetker, Hartmut/Limpberg, Bettina, Band 1: §§ 1–240 BGB, AllgPersönlR, ProstG, AGG, 9. Aufl., München 2021 [zitiert als: Bearbeiter, in: MüKo BGB]. Münchener Kommentar zum BGB: herausgegeben von Säcker, Franz Jürgen/Rix­ ecker, Roland/Oetker, Hartmut/Limpberg, Bettina, Band 2: Schuldrecht – Allgemeiner Teil I, 8. Aufl., München 2019 [zitiert als: Bearbeiter, in: MüKo BGB]. Münchener Kommentar zum BGB: herausgegeben von Säcker, Franz Jürgen/Rix­ ecker, Roland/Oetker, Hartmut/Limpberg, Bettina, Band 7: Schuldrecht – Besonderer Teil IV, §§ 705–853, Partnerschaftsgesellschaftsgesetz, Produkthaftungsgesetz, 8. Aufl., München 2020 [zitiert als: Bearbeiter, in: MüKo BGB]. Münchener Kommentar zum StGB: herausgegeben von Erb, Volker/Schäfer, Jürgen, Band 4: §§ 185–262 StGB, 4. Aufl., München 2021 [zitiert als: Bearbeiter, in: MüKo StGB]. Münchener Kommentar zum Wettbewerbsrecht: herausgegeben von Säcker, Franz Jürgen/Meier-Beck, Peter, Band 2: GWB §§ 1–96, 185, 186. Verfahren vor den europäischen Gerichten, 3. Aufl., München 2020 [zitiert als: Bearbeiter, in: MüKo Wettbewerbsrecht]. Niklas, Thomas/Thurn, Lukas: Arbeitswelt 4.0 – Big Data im Betrieb, BB 2017, S. 1589–1596. Nink, David: Justiz und Algorithmen. Über die Schwächen menschlicher Entscheidungsfindung und die Möglichkeiten neuer Technologien in der Rechtsprechung, Berlin 2021 (zugl. Diss. Speyer 2020). O’Connor, Sarah: Algorithms at work signal a shift to management by numbers, 2018, abrufbar unter: https://www.ft.com/content/ec9924d4-0a73-11e8-8eb7-42f8 57ea9f09. Oostveen, Manon: Identifiability and the applicability of data protection to big data, IDPL 2016, S. 299–309. Orwat, Carsten: Diskriminierungsrisiken durch Verwendung von Algorithmen, Berlin 2019. Ory, Stephan/Weth, Stephan: juris PraxisKommentar Elektronischer Rechtsverkehr. Band 1 – Allgemeiner Teil, Saarbrücken 2020. Paal, Boris: Vielfaltsicherung im Suchmaschinensektor, ZRP 2015, S. 34–38. Paal, Boris/Pauly, Daniel A. (Hrsg.): Datenschutz-Grundverordnung. Bundesdatenschutzgesetz, 3. Aufl., München 2021. Papp, Stefan et al.: Handbuch Data Science und KI. Mit Machine Learning und Datenanalyse Wert aus Daten generieren, München 2022. Peck, Don: They’re Watching You at Work, 2013, abrufbar unter: https://www.the atlantic.com/magazine/archive/2013/12/theyre-watching-you-at-work/354681/. Peters, Robert: Robo-Recruiting – Einsatz künstlicher Intelligenz bei der Personalauswahl, Berlin 2020, abrufbar unter: https://publikationen.bibliothek.kit.edu/ 1000131777/120642534.

Literaturverzeichnis355 Peters, Robert: Emotionserkennung mittels künstlicher Intelligenz – Perspektiven und Grenzen von Technologien zur Analyse von Gesichtsbewegungen, Berlin 2021, abrufbar unter: https://publikationen.bibliothek.kit.edu/1000134317/122603954. Petry, Thorsten: Wenn der Roboter neue Kollegen sucht, 2019, abrufbar unter: https:// www.haufe.de/personal/hr-management/robot-recruiting-erwartungen-und-akzep tanz_80_484100.html. Pfeil, Werner: „Der Mensch steht höher als Technik und Maschine“ – Benötigen wir ein Grundrecht zum Schutz vor Künstlicher Intelligenz? Die Corona-Krise und die Entwicklung von Gesichts- und Emotionserkennung sowie einer Tracing-App, InTeR 2020, S. 82–89. Pfister, Beat/Kaufmann, Tobias: Sprachverarbeitung. Grundlagen und Methoden der Sprachsynthese und Spracherkennung, 2. Aufl., Berlin 2017. Plath, Kai-Uwe (Hrsg.): DSGVO/BDSG, 3. Aufl., Köln 2018. Plessner, Henning: Ankereffekt, in: Friedrich Dorsch (Begr.)/Markus Antonius Wirtz (Hrsg.), Lexikon der Psychologie, 20. Aufl., Bern 2021. Poretschkin, Maximilian et al.: Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz. KI-Prüfkatalog, Sankt Augustin 2021, abrufbar unter: https:// www.iais.fraunhofer.de/content/dam/iais/fb/Kuenstliche_intelligenz/ki-pruefkata log/202107_KI-Pruefkatalog.pdf. Preis, Bernd: Betriebsbedingte Kündigung zwischen Arbeitsplatzschutz und unternehmerischer Entscheidungsfreiheit, AuR 1997, S. 60–71. Queb – Bundesverband für Employer Branding, Personalmarketing und Recruiting e. V.: Video-Interviews im Recruiting: Interview mit Clemens Aichholzer (HireVue), 2019, abrufbar unter: https://www.queb.org/blog/video-interviews-im-recruit ing-interview-mit-clemens-aichholzer-hirevue/. Raif, Alexander/Swidersky, Manuel: Arbeit 4.0 – Typische Fehler in der digitalen Arbeitswelt, GWR 2017, S. 351–354. Redeker, Helmut: IT-Recht, 7. Aufl., München 2020. Reichwald, Julian/Pfisterer, Dennis: Autonomie und Intelligenz im Internet der Dinge. Möglichkeiten und Grenzen autonomer Handlungen, CR 2016, S. 208–212. Reindl, Cornelia/Krügl, Stefanie: People Analytics in der Praxis. Mit Datenanalyse zu besseren Entscheidungen im Personalmanagement, Freiburg 2017. Reuter, Wiebke: Umgang mit sensiblen Daten bei allgemeiner Videoüberwachung. Zulässigkeit der Verarbeitung besonderer Kategorien personenbezogener Daten, ZD 2018, S. 564–569. Richardi, Reinhard (Hrsg.): Betriebsverfassungsgesetz mit Wahlordnung. Kommentar, 16. Aufl., München 2018. Richter, Philipp: Big Data, Statistik und die Datenschutz-Grundverordnung, DuD 2016, S. 581–586. Riehm, Thomas: Von Drohnen, Google-Cars und Software-Agenten. Rechtliche He­ rausforderungen autonomer Systeme, ITRB 2014, S. 113–115.

356 Literaturverzeichnis Riehm, Thomas/Meier, Stanislaus: Künstliche Intelligenz im Zivilrecht, in: Veronika Fischer/Peter J. Hoppen/Jörg Wimmers (Hrsg.), DGRI Jahrbuch 2018, Köln 2019, S. 1–37. Robrahn, Rasmus/Bremert, Benjamin: Interessenskonflikte im Datenschutzrecht. Rechtfertigung der Verarbeitung personenbezogener Daten über eine Abwägung nach Art. 6 Abs. 1 lit. f DS-GVO, ZD 2018, S. 291–297. Rolfs, Christian/Kreikebohm, Ralf/Giesen, Richard/Udsching, Peter/Meßling, Miriam (Hrsg.): Beck’scher Online-Kommentar Arbeitsrecht, 62. Edition, München 2021 [zitiert als: Bearbeiter, in: BeckOK Arbeitsrecht]. Rolfs, Christian/Kreikebohm, Ralf/Giesen, Richard/Udsching, Peter/Meßling, Miriam (Hrsg.): Beck’scher Online-Kommentar Sozialrecht, 63. Edition, München 2021 [zitiert als: Bearbeiter, in: BeckOK Sozialrecht]. Roos, Philipp/Weitz, Caspar Alexander: Hochrisiko-KI-Systeme im Kommissionsentwurf für eine KI-Verordnung. IT- und produktsicherheitsrechtliche Pflichten von Anbietern, Einführern, Händlern und Nutzern, MMR 2021, S. 844–851. Roth-Isigkeit, David: Staatshaftungsrechtliche Aspekte des Einsatzes automatisierter Entscheidungssysteme in der öffentlichen Verwaltung, AöR 145 (2020), S. 321– 351. Roßnagel, Alexander: Kein „Verbotsprinzip“ und kein „Verbot mit Erlaubnisvorbehalt“ im Datenschutzrecht. Zur Dogmatik der Datenverarbeitung als Grundrechtseingriff, NJW 2019, S. 1–5. Roßnagel, Alexander/Geminn, Christian: Evaluation der Datenschutz-Grundverordnung aus Verbrauchersicht. Gutachten im Auftrag des Verbraucherzentrale Bundesverbands e. V. (vzbv), Kassel 2019, abrufbar unter: https://www.vzbv.de/sites/ default/files/downloads/2019/12/04/19-11-26_gutachten_evaluation_dsgvo.pdf. Roßnagel, Alexander/Richter, Philipp/Nebel, Maxi: Besserer Internetdatenschutz für Europa. Vorschläge zur Spezifizierung der DS-GVO, ZD 2013, S. 103–108. Rudkowski, Lena: „Predictive policing“ am Arbeitsplatz, NZA 2019, S. 72–77. Rudzio, Kolja: Künstliche Intelligenz. Wenn der Roboter die Fragen stellt, 2018, abrufbar unter: https://www.zeit.de/2018/35/kuenstliche-intelligenz-vorstellungsge spraech-interview-test. Rüfner, Thomas: Juristische Herausforderungen der Künstlichen Intelligenz aus der Perspektive des Privatrechts, in: Hans-Georg Dederer/Yu-Cheol Shin (Hrsg.), Künstliche Intelligenz und juristische Herausforderungen, Tübingen 2021, S. 15– 43. Rupp, Hans-Jürgen: Die unmittelbare Benachteiligung nach § 3 Abs. 1 AGG, RdA 2009, S. 307–311. Sachverständigenrat für Verbraucherfragen: Verbrauchergerechtes Scoring, Berlin 2018, abrufbar unter: https://www.svr-verbraucherfragen.de/wp-content/uploads/ SVRV_Verbrauchergerechtes_Scoring.pdf. SAE International: Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles, Warrendale 2014, abrufbar unter: ­https://saemobilus.sae.org/content/j3016_201609.

Literaturverzeichnis357 Satow, Lars: Big-Five-Persönlichkeits-Assessment für die gezielte Personalentwicklung, in: Stephan Laske/Astrid Orthey/Michael J. Schmid (Hrsg.), PersonalEntwickeln, Köln 2018, 8.114., S. 1–27. Schantz, Peter: Die Datenschutz-Grundverordnung – Beginn einer neuen Zeitrechnung im Datenschutzrecht, NJW 2016, S. 1841–1847. Schaub, Günter (Begr.): Arbeitsrechts-Handbuch. Systematische Darstellung und Nachschlagewerk für die Praxis, 19. Aufl., München 2021. Schaub, Günter/Koch, Ulrich: Arbeitsrecht von A–Z, 25. Aufl., München 2021. Schaub, Renate: Interaktion von Mensch und Maschine. Haftungs- und immaterial­ güterrechtliche Fragen bei eigenständigen Weiterentwicklungen autonomer Systeme, JZ 2017, S. 342–349. Scheja, Katharina: Schutz vor Algorithmen in Big Data Anwendungen. Wie Unternehmen aufgrund der Umsetzung der Geschäftsgeheimnis-Richtlinie ihre Algorithmen wie auch Datenbestände besser schützen können, CR 2018, S. 485–492. Schirmer, Jan-Erik: Rechtsfähige Roboter, JZ 2016, S. 660–666. Schleusener, Aino/Suckow, Jens/Plum, Martin (Hrsg.): Kommentar zum Allgemeinen Gleichbehandlungsgesetz, 5. Aufl., Köln 2019. Schmid, Alexander: Keine Geheimnisse vor der DSGVO? Transparenzpflichten beim Einsatz künstlicher Intelligenz (KI), jurisPR-ITR 17/2018 Anm. 2. Schmidt, Eike: Zur Dogmatik des § 278 BGB. Zugleiche einige kritische Bemerkungen zur geplanten Reform des § 831 BGB, AcP 170 (1970), S. 502–533. Schmidt-Atzert, Lothar/Künecke, Janina/Zimmermann, Johannes: TBS-DTK Rezen­ sion: „PRECIRE JobFit“, Report Psychologie 2019 (44), S. 19–21, abrufbar unter: https://www.bdp-verband.de/binaries/content/assets/beruf/testrezensionen/precire jobfit.pdf. Schnapp, Friedrich E.: Logik für Juristen, 7. Aufl., München 2016. Schneider, Jana/Schindler, Stephan: Videoüberwachung als Verarbeitung besonderer Kategorien personenbezogener Daten. Datenschutzrechtliche Anforderungen beim Erheben von Videodaten, ZD 2018, S. 463–469. Schneider, Jochen: Schließt Art. 9 DS-GVO die Zulässigkeit der Verarbeitung bei Big Data aus? Überlegungen, wie weit die Untersagung bei besonderen Datenkategorien reicht, ZD 2017, S. 303–308. Schönke, Adolf/Schröder, Horst (Begr.): Strafgesetzbuch. Kommentar, 30. Aufl., München 2019. Schuster, Fabian/Grützmacher, Malte (Hrsg.): IT-Recht, Köln 2020. Schwamberger, Sebastian: Reichweite des datenschutzrechtlichen Koppelungsverbots nach alter und neuer Rechtslage, GPR 2019, S. 57–60. Schwartmann, Rolf/Jaspers, Andreas/Thüsing, Georg/Kugelmann, Dieter (Hrsg.): DSGVO/BDSG: Datenschutz-Grundverordnung, Bundesdatenschutzgesetz, 2. Aufl., Heidelberg 2020.

358 Literaturverzeichnis Schwarz, Lea-Christina: Datenschutzrechtliche Zulässigkeit des Pre-Employment Screening. Rechtliche Grundlagen und Einschränkungen der Bewerberprüfung durch Arbeitgeber, ZD 2018, S. 353–356. Schwenke, Thomas: Zulässigkeit der Nutzung von Smartcams und biometrischen Daten nach der DS-GVO, NJW 2018, S. 823–827. Schwenkmezger, Peter: Eigenschaften, in: Uwe Tewes/Klaus Wildgrube (Hrsg.), Psychologie-Lexikon, 2. Aufl., Wien 1999, S. 84–87. Seibel, Mark: Abgrenzung der „allgemein anerkannten Regeln der Technik“ vom „Stand der Technik“, NJW 2013, S. 3000–3004. Selbst, Andrew D./Powles, Julia: Meaningful information and the right to explanation, IDPL 2017, S. 233–242. Selig, Ralf: Rechtliche Probleme des Allgemeinen Gleichbehandlungsgesetzes (AGG) unter besonderer Berücksichtigung der Personalgewinnung, Berlin 2010. Semmelmann, Kilian: Künstliche neuronale Netze und Deep Learning einfach erklärt, abrufbar unter: https://datadrivencompany.de/kuenstliche-neuronale-netze-unddeep-learning-einfach-erklaert/. Sesing, Andreas: Grenzen systemischer Transparenz bei automatisierter Datenverarbeitung. Umfang und Grenzen der Pflicht zur Bereitstellung aussagekräftiger Informationen über die involvierte Logik, MMR 2021, S. 288–292. Sesing, Andreas/Tschech, Angela: Vermeidung von Diskriminierung durch KI – Rechtliche Ankerpunkte und Ausblick auf die KI-Regulierung der EU, in: Gesellschaft für Informatik e. V. (Hrsg.), Arbeitspapier. Diskriminierende KI? Risiken algorithmischer Entscheidungen in der Personalauswahl, Berlin 2021, S. 10–14, abrufbar unter: https://testing-ai.gi.de/fileadmin/user_upload/ExamAI_Publikation _Arbeitspapier_final.pdf. Sesing, Andreas/Tschech, Angela: AGG und KI-VO-Entwurf beim Einsatz von Künstlicher Intelligenz. Einschätzung aus der Perspektive des (Anti-)Diskriminierungsrechts, MMR 2022, S. 24–30. Simitis, Spiros (Hrsg.): Bundesdatenschutzgesetz, 7. Aufl., Baden-Baden 2011. Simitis, Spiros/Hornung, Gerrit/Spiecker, Indra (Hrsg.): Datenschutzrecht. DSGVO mit BDSG, 1. Aufl., Baden-Baden 2019. Skistims, Hendrik/Voigtmann, Christian/David, Klaus/Roßnagel, Alexander: Datenschutzgerechte Gestaltung von kontextvorhersagenden Algorithmen, DuD 2021, S. 31–36. Slack, Dyland/Hilgard, Sophie/Jia, Emily/Singh, Sameer/Lakkaraju, Himabindu: Fooling LIME and SHAP: Adversial Attacks on Post hoc Explanation Methods, in: AIES ’20: Proceedings of the AAAI/ACM Conference on AI, Ethics and Society, New York 2020, S. 180–186, abrufbar unter: https://dl.acm.org/doi/pdf/ 10.1145/3375627.3375830. Söbbing, Thomas: Das Märchen vom bösen Algorithmus oder rechtliche Fragen zur Diskriminierung durch künstliche Intelligenz, REL 2020, S. 62–69.

Literaturverzeichnis359 Soergel, Hans-Theodor (Begr.): BGB, Band 3/2: Schuldrecht 1/2: §§ 243–304, 13. Aufl., Stuttgart 2014. Sommerer, Lucia M.: Personenbezogenes Predictive Policing. Kriminalwissenschaftliche Untersuchung über die Automatisierung der Kriminalprognose, Baden-Baden 2020 (zugl. Diss. Göttingen 2019). Specht, Louisa/Herold, Sophie: Roboter als Vertragspartner? Gedanken zu Vertragsabschlüssen unter Einbeziehung automatisiert und autonom agierender Systeme, MMR 2018, S. 40–44. Spiecker, Indra/Fröhlich, Wiebke: Können Algorithmen diskriminieren?, 2018, abrufbar unter: https://verfassungsblog.de/koennen-algorithmen-diskriminieren/. Spindler, Gerald: Digitale Wirtschaft – analoges Recht: Braucht das BGB ein Update?, JZ 2016, S. 805–816. Spindler, Gerald: Der Vorschlag der EU-Kommission für eine Verordnung zur Regulierung der Künstlichen Intelligenz (KI-VO-E). Ansatz, Instrumente, Qualität und Kontext, CR 2021, S. 361–374. Spindler, Gerald/Schuster, Fabian (Hrsg.): Recht der elektronischen Medien, 4. Aufl., München 2019. Stang, Michael: Debatte über Grundgesetz. Darum kann man nicht von Menschenrassen sprechen, 15. Juni 2020, abrufbar unter: https://www.quarks.de/gesellschaft/ darum-ist-die-rassentheorie-schwachsinn/. von Staudinger, Julius (Begr.): J. von Staudingers Kommentar zum Bürgerlichen Gesetzbuch mit Einführungsgesetz und Nebengesetzen. Buch 2. Recht der Schuldverhältnisse, Neubearbeitung Berlin 2020 [zitiert als: Bearbeiter, in: Staudinger BGB]. Steege, Hans: Algorithmenbasierte Diskriminierung durch Einsatz von Künstlicher Intelligenz. Rechtsvergleichende Überlegungen und relevante Einsatzgebiete, MMR 2019, S. 715–721. Stenner, Pia: Emotionale KI – Berechnete Gefühle, 2. Juli 2021, abrufbar unter: ­https://netzpolitik.org/2021/emotionale-ki-berechnete-gefuehle/. Stevens, Jeremy: Datenqualität bei algorithmischen Entscheidungen. Überlegungen aus Anlass des Gutachtens der Datenethikkommission, CR 2020, S. 73–79. Stoffels, Markus: Grundprobleme der Schadensersatzverpflichtung nach § 15 Abs. 1 AGG, RdA 2009, S. 204–215. Strassemeyer, Laurenz: Datenschutzrechtliche Transparenz von algorithmischen Entscheidungen und Verarbeitungen mittels Gamification, Ablaufdiagramme und Piktogramme, DSRITB 2019, S. 31–45. Straub, Reiner: KI-Anwendung in HR: „Der Debatte stellen wir uns“. Interview mit Thomas Belker, 2019, abrufbar unter: https://www.haufe.de/personal/hr-manage ment/ki-anwendung-in-hr-interview-mit-th-belker-von-precire_80_502088.html. Stück, Volker: Personalauswahl und -beurteilungsverfahren: Aktuelle arbeits- und datenschutzrechtliche Aspekte, ArbRAktuell 2020, S. 153–156.

360 Literaturverzeichnis Stulle, Klaus P.: Psychologische Diagnostik durch Sprachanalyse. Validierung der PRECIRE®-Technologie für die Personalarbeit, Wiesbaden 2018. Sydow, Gernot (Hrsg.): Bundesdatenschutzgesetz. Handkommentar, Baden-Baden 2020. Taeger, Jürgen/Gabel, Detlev (Hrsg.): Kommentar DSGVO – BDSG, 3. Aufl., Frankfurt am Main 2019. Taeger, Jürgen/Rose, Edgar: Zum Stand des deutschen und europäischen Beschäftigtendatenschutzes, BB 2016, S. 819–831. Tallgauer, Maximilian/Festing, Marion/Fleischmann, Florian: Big Data im Recruit­ ing, in: Tim Verhoeven (Hrsg.), Digitalisierung im Recruiting. Wie sich Recruiting durch künstliche Intelligenz, Algorithmen und Bots verändert, Wiesbaden 2020, S. 25–39. Teubner, Gunther: Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagrenten, AcP 218 (2018), S. 155–205. Tangens, Rena: Laudatio auf die PRECIRE Technologies GmbH, 2019, abrufbar unter: https://bigbrotherawards.de/2019/kommunikation-precire-technologies-gmbh# sdfootnote8sym. Thüsing, Gregor/Rombey, Sebastian: Die „schriftlich oder elektronisch“ erteilte Einwilligung des Beschäftigten nach dem neuen Formerfordernis in § 26 II 3 BDSG, NZA 2019, S. 1399–1403. Tinnefeld, Marie-Theres/Conrad, Isabell: Die selbstbestimmte Einwilligung im europäischen Recht. Voraussetzungen und Probleme, ZD 2018, S. 391–398. Tischbirek, Alexander: Artificial Intelligence and Discrimination: Discriminating Against Discriminatory Systems, in: Thomas Wischmeyer/Timo Rademacher (Hrsg.), Regulating Artificial Intelligence, Cham 2020, S. 103–121. Tischer, Simon: Retorio: Recruiting mit künstlicher Intelligenz, 2020, abrufbar unter: https://www.munich-startup.de/56188/7-fragen-retorio/. Tröger, Tobias: Arbeitsteilung und Vertrag. Verantwortlichkeit für das Fehlverhalten Dritter in Vertragsbeziehungen, Tübingen 2012. Tschech, Angela: Algorithmische Diskriminierung, djbZ 2021, S. 165–169. Türpe, Sven/Selzer, Annika/Poller, Andreas/Bedner, Mark: Denkverbote für StarTrek-Computer? Big Data, statistische Modelle und lernende Maschinen, DuD 2014, S. 31–35. Uecker, Philip: Die Einwilligung im Datenschutzrecht und ihre Alternativen. Mögliche Lösungen für Unternehmen und Vereine, ZD 2019, S. 248–251. Veil, Winfried: Die Datenschutz-Grundverordnung: des Kaisers neue Kleider. Der gefährliche Irrweg des alten wie des neuen Datenschutzrechts, NVwZ 2018, S. 686–696. Veil, Winfried: Einwilligung oder berechtigtes Interesse? – Datenverarbeitung zwischen Skylla und Charybdis, NJW 2018, S. 3337–3344.

Literaturverzeichnis361 Veil, Winfried: Datenschutz, das zügellose Recht – Teil III: Die totale Drittwirkung, 2019, abrufbar unter: https://www.cr-online.de/blog/2019/05/22/datenschutz-daszuegellose-recht-teil-iii-die-totale-drittwirkung/. Verhoeven, Tim: Digitale Candidate Experience, in: Tim Verhoeven (Hrsg.), Digitalisierung im Recruiting. Wie sich Recruiting durch künstliche Intelligenz, Algorithmen und Bots verändert, Wiesbaden 2020, S. 51–66. Verhoeven, Tim: Künstliche Intelligenz im Recruiting, in: Tim Verhoeven (Hrsg.), Digitalisierung im Recruiting. Wie sich Recruiting durch künstliche Intelligenz, Algorithmen und Bots verändert, Wiesbaden 2020, S. 113–128. Verma, Sahil/Rubin, Julia: Fairness Definitions Explained, in: ACM/IEEE, FairWare ’18: Proceedings of the International Workshop on Software Fairness, Göteborg 2018, S. 1–7. Waas, Bernd: KI und Arbeitsrecht, RdA 2022, S. 125–131. Wachter, Sandra/Mittelstadt, Brent/Floridi, Luciano: Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, IDPL 2017, S. 76–99. Wachter, Sandra/Mittelstadt, Brent/Russell, Chris: Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI, abrufbar unter: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3547922. Wachter, Sandra/Mittelstadt, Brent/Russell, Chris: Counterfactual Explanations with­ out Opening the Black Box: Automated Decisions and the GDPR, Harv. J.L. & Tech 2018, S. 842–887, abrufbar unter: https://jolt.law.harvard.edu/assets/article PDFs/v31/Counterfactual-Explanations-without-Opening-the-Black-Box-SandraWachter-et-al.pdf. Wachter, Sandra/Mittelstadt, Brent/Russell, Chris: Bias Preservation in Machine Learning: The Legality of Fairness Metrics Under EU Non-Discrimination Law, W. Va. Law Rev. 2021, S. 735–790, abrufbar unter: https://researchrepository.wvu. edu/cgi/viewcontent.cgi?article=6331&context=wvlr. Wagner, Gerhard/Luyken, Lina: Haftung für Robo Advice, in: Gregor Bachmann/ Stefan Grundmann/Anja Mengel/Kaspar Krolop (Hrsg.), Festschrift für Christine Windbichler zum 70. Geburtstag am 8. Dezember 2020, Berlin 2020, S. 155–178. Wagner, Gerhard/Potsch, Nicolas: Haftung für Diskriminierungsschäden nach dem Allgemeinen Gleichbehandlungsgesetz, JZ 2006, S. 1085–1100. Walker, Wolf-Dietrich: Der Entschädigungsanspruch nach § 15 II AGG, NZA 2009, S. 5–11. Walter-Güpner, Tania: Chancen und Risiken von Künstlicher Intelligenz im Human Resources (HR) Bereich, Essays der Wissenschaft XVI, S. 115–119. Wandtke, Arthur Axel: Persönlichkeitsschutz versus Internet. Politiker und Prominente im Fadenkreuz der Persönlichkeitsrechte, MMR 2019, S. 142–147. Weigert, Daniel-René: Die Kausalitätswahrscheinlichkeit – Das „vergessene“ Tatbestandsmerkmal des § 22 AGG, NZA 2018, S. 1166–1171.

362 Literaturverzeichnis Wenzelburger, Georg: Qualitätsmaße für ADM Systeme. Was ist eine gute Entscheidung?, abrufbar unter: https://fairandgoodadm.cs.uni-kl.de/glossar_5. Weth, Stephan/Herberger, Maximilian/Wächter, Michael/Sorge, Christoph: Datenund Persönlichkeitsschutz im Arbeitsverhältnis. Praxishandbuch zum Arbeitnehmerdatenschutz. 2. Aufl., München 2019. Weichert, Thilo: Datenschutz-Grundverordnung – arbeitsrechtlich spezifiziert, NZA 2020, S. 1597–1605. Weitzel, Tim et al.: Digitalisierung und Zukunft der Arbeit. Ausgewählte Ergebnisse der Recruiting Trend 2020, einer empirischen Unternehmens-Studie mit den Top-1.000-Unternehmen aus Deutschland sowie den Top-300-Unternehmen aus der Branche IT und der Bewerbungspraxis 2020, einer empirischen KandidatenStudie mit antworten von über 3.500 Kandidaten, 2020, abrufbar unter: https:// www.uni-bamberg.de/fileadmin/uni/fakultaeten/wiai_lehrstuehle/isdl/Recruiting_ Trends_2020/Studien_2020_04_Digitalisierung_Web.pdf. Wieder, Clemens: Datenschutzrechtliche Betroffenenrechte bei der Verarbeitung von personenbezogenen Daten mittels künstlicher Intelligenz, DSRITB 2018, S. 505– 519. Wildhaber, Isabelle: Die Roboter kommen – Konsequenzen für Arbeit und Arbeitsrecht, ZSR 2016, S. 315–351. Wildhaber, Isabelle/Lohmann, Melinda F./Kasper, Gabriel: Diskriminierung durch Algorithmen – Überlegungen zum schweizerischen Recht am Beispiel prädiktiver Analytik am Arbeitsplatz, ZSR 2019, S. 459–489. Wilke, Felicitas: Künstliche Intelligenz diskriminiert (noch), 2018, abrufbar unter: https://www.zeit.de/arbeit/2018-10/bewerbungsroboter-kuenstliche-intelligenzamazon-frauen-diskriminierung?utm_referrer=https%3A%2F%2Fwww.google. com%2F. Wimmer, Max: Algorithmusbasierte Entscheidungsfindung als Methode des diskriminierungsfreien Recruitings, Baden-Baden 2022 (zugl. Diss. Bayreuth 2021). Wischmeyer, Thomas: Regulierung intelligenter Systeme, AöR 143 (2018), S. 1–66. Wisskirchen, Gerlind: Der Umgang mit dem Allgemeinen Gleichbehandlungsgesetz – Ein „Kochrezept“ für Arbeitgeber, DB 2006, S. 1491–1499. Wißmann, Hellmut: Mittelbare Geschlechtsdiskriminierung: iudex calculat, in: Rudolf Anzinger (Hrsg.), Entwicklungen im Arbeitsrecht und Arbeitsschutzrecht. Festschrift für Otfried Wlotzke zum 70. Geburtstag, München 1996, S. 807–834. Wittig-Goetz, Ulla: Arbeitsmedizinische Untersuchungen im Unternehmen: „ein heißes Eisen“, 2007, abrufbar unter: https://www.boeckler.de/pdf/mbf_as_mediz_ 2007.pdf. Wohlgemuth, Hans H.: Anmerkung zu BAG, Urteil vom 16. September 1982, 2 AZR 228/80, EzA § 123 BGB Nr. 22. Wolf, Andreas/Tacke, Joerg: Authentifizierung durch Sprache. Potenziale und Grenzen biometrischer Systeme, in: Jan von Knop/Wilhelm Haverkamp/Eike Jessen (Hrsg.), Security, E-Learning, E-Services: 17. DNF-Arbeitstagung über Kommu-

Literaturverzeichnis363 nikationsnetze, Düsseldorf 2003, S. 303–319, abrufbar unter: https://subs.emis.de/ LNI/Proceedings/Proceedings44/GI-Proceedings.44.innen-17.pdf. Wolf, Christian: Künstliche Intelligenz kann Ethnien besser unterscheiden als der Mensch, in: Die Welt, 21. Oktober 2020, abrufbar unter: https://www.welt.de/wis senschaft/article189060207/Gesichtserkennung-Wie-Kuenstliche-Intelligenz-Men schen-unterscheidet.html. Wolf, Manfred: Schuldnerhaftung bei Automatenversagen, JuS 1989, S. 899–902. Wolff, Heinrich Amadeus/Brink, Stefan (Hrsg.): Beck’scher Online-Kommentar Datenschutzrecht, 39. Edition, München 2021 [zitiert als: Bearbeiter, in: BeckOK Datenschutzrecht]. Wybitul, Tim: Wie viel Arbeitnehmerdatenschutz ist „erforderlich“? Erfahrungen und Empfehlungen zum Umgang mit dem neuen § 32 BDSG, BB 2010, S. 1085–1089. Wybitul, Tim: Was ändert sich mit dem neuen EU-Datenschutzrecht für Arbeitgeber und Betriebsräte? Anpassungsbedarf bei Beschäftigtendatenschutz und Betriebsvereinbarungen, ZD 2016, S. 203–208. Wybitul, Tim: Der neue Beschäftigtendatenschutz nach § 26 BDSG und Art. 88 DSGVO, NZA 2017, S. 413–419. Wybitul, Tim: Verteidigung gegen Schadensersatzklagen wegen Datenschutzverstößen, NJW 2021, S. 1190–1194. Yuan, Tianyu: Lernende Roboter und Fahrlässigkeitsdelikt, RW 2018, S. 477–504. Zacher, Ulrich: Ein Mosaik von Arbeitnehmergrundrechten im Grundgesetz, BB 1998, S. 1310–1314. Zafar, Muhammad Bilal/Valera, Isabel/Rodriguez, Manuel Gomez/Gummadi, Krishna P.: Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment, in: WWW ’17: Proceedings of the 26th International Conference on World Wide Web, 2017, S. 1171–1180, abrufbar unter: https://dl.acm.org/doi/pdf/10.1145/3038912.3052660. Zech, Herbert: Künstliche Intelligenz und Haftungsfragen, ZfPW 2019, S. 198–218. Zech, Herbert: Entscheidungen digitaler autonomer Systeme: Empfehlen sich Regelungen zu Verantwortung und Haftung? Gutachten A zum 73. Deutschen Juristentag, München 2020. Zeck, Michael: KI im Unternehmen: Haftet der Arbeitgeber oder die KI als e-Person?, in: Inka Knappertsbusch/Kai Gondlach (Hrsg.), Arbeitswelt und KI 2030. Herausforderungen und Strategien für die Arbeit von morgen, Wiesbaden 2021, S. 93– 102. Zehlike, Meike/Hacker, Philipp/Wiedemann, Emil: Matching code and law: achieving algorithmic fairness with optimal transport, Data Min. Knowl. Discov. 2020, S. 163–200. Zhang, Baiwu: Algorithmische Fairness, abrufbar unter: https://ichi.pro/de/algorithmi sche-fairness-213652465786377. Ziehen, Theodor: Lehrbuch der Logik auf positivistischer Grundlage mit Berücksichtigung der Geschichte der Logik, Bonn 1920.

364 Literaturverzeichnis Zimmer, Mark/Stajcic, Sara: Unbewusste Denkmuster – Sollen Arbeitgeber dagegen mit Unconscious Bias Training vorgehen?, NZA 2017, S. 1040–1045. Zweig, Katharina A./Krafft, Tobias D.: Fairness und Qualität algorithmischer Entscheidungen, in: Resa Mohabbat Kar/Basanta Thapa/Peter Parycek (Hrsg.), (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, Berlin 2018, S. 204–227.

Sachwortverzeichnis Accuracy-Fairness-Tradeoff  252, 272, 334 Adverse Impact  237 AGG  114 f., 144, 157, 198 ff. Algorithmus  35, 164 ff., 185, 190, 199, 322 Angemessenheit  80 ff., 99, 108 f., 249 ff., 319 Ankereffekt  215 f. Annotation  34, 219 f., 274, 286, 291 Anonymisierung  56 f., 63 Anwendungsphase  37, 220, 248, 278 Äquivalenz, funktionale  295 f. Assimilation Bias  217 Auftragsverarbeitung  40, 193, 195 Ausgabedaten  36 f., 70 f., 87, 104, 111 ff., 128 ff., 134 ff. Ausgabe-Neuron  33 Auskunftsverweigerung  239 Auswahlrichtlinie  96 ff. Auswertungsabsicht  48 ff. Automatisierungsbias  162, 216, 332 Backpropagation  35 Behandlung  201 ff., 223 Benachteiligung  29, 114, 144, 192, 198 ff., 323 ff. Bestandsmitarbeiter  34 f., 55 ff., 100, 133 f., 172, 219 Betriebsvereinbarung  64 ff., 94 Beurteilungsgrundsatz  95 f. Bewerbermanagementsystem  23, 26, 205 Bias  199 –– Assimilation ~  217 –– Automatisierungs~  162, 216, 332 –– Confirmational ~  217

–– Discounting ~  217 –– Societal ~  218, 225, 269 f., 275, 279 –– Statistical ~  219, 251 f., 268 f., 279 f., 331 Chatbot  23 f. Confirmational Bias  217 CV-Parsing  26, 111, 320 Daten, biometrische  42 ff., 49, 51, 110 Daten, sensible  41, 45 ff., 84, 100 ff. Dazwischentreten  35, 141 ff., 204 f., 321 Determinismus  37 f., 301 f., 305, 322 Discounting Bias  217 Diversität  198, 272, 328 Eingabevariable  33 ff., 171, 182, 184 ff., 323, 325 Eingangs-Neuron  33 f. Einsatz, entscheidungsersetzender  26, 135, 204, 208 ff., 223, 320 f. Einsatz, entscheidungsunterstützender  26, 135, 155 ff., 190, 203 f., 211 ff., 288 Einwilligung  41, 62 ff., 81 f., 112 ff., 133 f., 154 f., 320 Emotionserkennung  44 ff., 100 ff., 134 Entscheidung, automatisierte  29, 136 ff., 190, 320 f. Entscheidungsmodell  34 ff., 55 f., 95 ff., 111 f., 130 ff., 172, 213 f. Erforderlichkeit  77 ff., 106 ff., 118 f., 147 ff., 248 f., 319 Erklärungen, kontrafaktische  186 f., 191, 323 Erklärungsmodell  96, 143, 184 ff., 321

366 Sachwortverzeichnis Ermittlungsmodell  34 ff., 95, 134, 172, 219, 245 Explainable AI  96, 184 ff., 191, 323 Fairness  238, 252 ff., 267 ff. –– ~kriterium  29, 241, 252 ff., 266 ff., 326 ff. Fairnesskriterium  29, 241, 252 ff., 266 ff., 278 f., 326 f. Fragerecht  92 ff., 101 ff., 110, 114 f., 118 Freiwilligkeit  62 f., 116 ff., 134, 320 Geeignetheit  70 ff., 105, 244 f., 319 Gesamtgruppe  233 ff., 267 Geschäftsgeheimnis  165 ff., 187, 323 Gutachten, graphologische  67, 81 f., 88, 93 f., 115 f., 122, 124 f. Hauptmerkmal  70, 78, 119, 220, 224 ff., 243 ff., 258 Hierarchieebene  88 f., 319 Hochrisiko-KI-System  28, 329 ff. Inbetriebnahme  205 ff., 220 f., 324, 330 f. Inferenz  37 In-Processing-Verfahren  281 f. Intransparenz  35, 38, 173, 239, 242, 290 f., 321 Kollektivvereinbarung  64 ff., 103 Konnektionismus  33 Koppelungsverbot  117 ff. Künstliche neuronale Netze  33 ff., 166 ff., 182 ff., 221 Label siehe Annotation Lernen, bestärkendes  31 f., 37 Lernen, maschinelles  31 ff., 97, 225, 247, 301 Lernen, überwachtes  32 ff., 172, 219, 328 Lernen, unüberwachtes  31 f. LIME  188

Logik  155 ff., 164 ff., 181 ff., 190 f. LRP  189 Masking  220 f. Meinungsfreiheit, negative  130 ff. Membership-Inference-Attack  63 Model-Inversion-Attack  63 Modelle –– dynamische ~  37 –– Entscheidungs~  34 ff., 55 f., 95 ff., 111 f., 130 ff., 172, 213 f. –– Erklärungs~  96, 143, 184 ff., 321 –– Ermittlungs~  34 ff., 95, 134, 172, 219, 245 –– statische ~  37, 278 Modelle, dynamische  37 Modelle, statische  37, 278 Nachvollziehbarkeit  38, 164 ff., 190, 322 f., 331 Parität, konditionale statistische  253, 267, 270 f., 274, 327 Parität, statistische  238, 252 ff., 267 f., 270 ff., 281, 283 f., 327 People Analytics  64 Persönlichkeitsdurchleuchtung  80 ff., 115 f., 127, 192, 319 Persönlichkeitsprofil  24 f., 34, 80, 99 f., 110, 196 f. Post-Processing-Verfahren  279, 282 ff. Pre-Processing-Verfahren  279 ff. Primärziel  243 ff., 248 Profiling  51 f., 70 ff., 128 f., 139 f., 153, 156 ff., 322 Prognosegenauigkeit  78, 99, 134, 191, 248 f., 251 f., 278 Proxy-Diskriminierung  218 f., 225, 252, 269, 280, 283 f., 291 Qualitätskriterium  72 f., 77, 99, 134, 331 Rangfolge  26, 134 f., 140, 202, 214 f., 217, 299 –– ~nplatzierung  132, 214, 223, 324

Sachwortverzeichnis367 Recht auf Erklärung  29, 172 ff., 190 f., 231, 322 f., 325 Recht zur Lüge  109 Relationsunterschied  235 Reliabilität  74 ff. Robot-Recruiting  22 f., 64 ff. Score-Formel  166 Scoring  52 ff., 152 ff., 165 f. Sekundärziel  245 SHAP  188 Societal Bias  218, 225, 269 f., 275, 279 Soll-Profil  24 ff., 34 f., 95, 130, 202, 213, 299 Sorgfaltsmaßstab, anthropozentrischer  302 ff., 309 Sorgfaltsmaßstab, systembezogener  306, 309 Statistical Bias  219, 251 f., 268 f., 279 f., 331 Stellvertretermerkmal  220, 224 ff., 245 ff., 258, 280, 291 f., 324 Synapse  33 ff., 167, 184, 282

Systemvertrauen  192, 215 ff., 223, 324 Teilgruppe, begünstigte  233 ff., 255 Teilgruppe, benachteiligte  233 ff. Testgütekriterium  73 ff. Testpflicht  231 f., 266, 325, 332 Validität  28, 70 ff., 105, 107, 110 Videoanalyse  44 ff., 100 ff., 112, 116, 124, 134, 228 f. Videobewerbung  106 ff. Vorhersehbarkeit  38, 264, 290 f., 322 War of Talents  21 f., 28, 87, 122, 318, 333 Werkzeug  204 ff., 223, 298 Werturteil  130 ff. XAI siehe Explainable AI Zurechnung  29, 223, 286 ff., 327 Zwischen-Neuron  33 f.