Künstliche Intelligenz im öffentlichen Sektor: Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien [1 ed.] 9783428588381, 9783428188383

Citation preview

Internetrecht und Digitale Gesellschaft Band 48

Künstliche Intelligenz im öffentlichen Sektor Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien

Von

Behrang Raji

Duncker & Humblot · Berlin

BEHRANG RAJI

Künstliche Intelligenz im öffentlichen Sektor

Internetrecht und Digitale Gesellschaft Herausgegeben von

Dirk Heckmann

Band 48

Künstliche Intelligenz im öffentlichen Sektor Verfassungs- und datenschutzrechtlicher Rahmen für den staatlichen Einsatz intelligenter Technologien

Von

Behrang Raji

Duncker & Humblot · Berlin

Die Fakultät Rechtswissenschaft der Universität Hamburg hat diese Arbeit im Jahr 2022 als Dissertation angenommen.

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Alle Rechte vorbehalten

© 2023 Duncker & Humblot GmbH, Berlin Satz: L101 Mediengestaltung, Fürstenwalde Druck: CPI books GmbH, Leck Printed in Germany ISSN 2363-5479 ISBN 978-3-428-18838-3 (Print) ISBN 978-3-428-58838-1 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706 Internet: http://www.duncker-humblot.de

Vorwort Diese Arbeit wurde im Wintersemester 2022 von der Fakultät für Rechtswissenschaften der Universität Hamburg als Dissertation angenommen. Sie ist auf dem Stand vom Januar 2022. Diese Monografie unternimmt den Versuch, einige unverrückbare rechtliche Linien aufzuzeigen, die beim staatlichen Einsatz von Künstlicher Intelligenz zu beachten sind. Die Arbeit befasst sich mit Fragestellungen im Schnittfeld zwischen Informatik und Recht und leistet damit einen Beitrag für zukünftige rechtswissenschaftliche Forschungen bezüglich des Einsatzes selbstlernender Maschinen in konkreten Anwendungsfeldern. Die Arbeit hat mein Interesse an wissenschaftlichen Arbeiten bestärkt. Dies verdanke ich vor allem meinem Doktorvater, Herrn Prof. Dr. Johannes Caspar. Er hat mir das Dissertationsthema nahegelegt und war während der gesamten Zeit der Promotion für Diskussionen bereit und für alle Fragen stets ansprechbar. Das umfassende Erstgutachten hat er sehr schnell angefertigt, wofür ich ihm sehr dankbar bin. Danken möchte ich zudem Frau Prof. Dr. Marion Albers für die zügige Erstellung des Zweitgutachtens. Danken möchte ich außerdem dem Herausgeber Herrn Prof. Dr. Dirk Heckmann für die Aufnahme der Arbeit in diese Schriftenreihe. Die Arbeit ist unter schwierigen Bedingungen entstanden. Die Zeit musste ich sehr effizient einteilen, da ich die überwiegende Zeit in Vollzeit beschäftigt war, sodass viele Wochenenden und viele Abende für die Abhandlung aufgewendet wurden, was mit zwei kleinen Kindern organisatorisch nicht immer einfach war. Erschwerend kam hinzu, dass coronabedingt die Bibliotheken geschlossen waren. Deshalb gebührt schließlich meiner Familie der größte Dank, insbesondere meinen Eltern, meinem Bruder sowie meiner Frau, der diese Arbeit gewidmet ist. Diese Menschen sind seit jeher meine Fürsprecher, ohne deren Rückhalt diese Arbeit nie begonnen hätte. Hamburg, Dezember 2022

Behrang Raji

Inhaltsverzeichnis Teil 1

Einführung 

19

A. Problemaufriss  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Risiken richtig einordnen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Algorithmenphobie überwinden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Gefahren identifizieren  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Chancen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Das Team Mensch-Maschine und seine Stärken . . . . . . . . . . . . . . . . . a) Fördernde Aufgabe des Menschen . . . . . . . . . . . . . . . . . . . . . . . . . aa) Trainieren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Erklären . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Überwachen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Fördernde Aufgaben der KI-Systeme . . . . . . . . . . . . . . . . . . . . . . . aa) Verstärken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Skalierbarkeit und Geschwindigkeit . . . . . . . . . . . . . . . . . . . . II. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23 23 24 26 27 28 28 29 29 29 30 30 31 31

B. Ziel der Untersuchung und Untersuchungsgegenstand . . . . . . . . . . . . . . . . . . . I. Aufzeigen rechtlicher Grenzen für KI-Systeme im öffentlichen Sektor . 1. Vollautomation und Assistenzsysteme . . . . . . . . . . . . . . . . . . . . . . . . . 2. Trainings- und Implementierungsphase . . . . . . . . . . . . . . . . . . . . . . . . II. Darlegung der technischen Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Gegenüberstellung von Mensch und Maschine . . . . . . . . . . . . . . . . . . . . . IV. Rechtliche Perspektive der Untersuchung . . . . . . . . . . . . . . . . . . . . . . . . . 1. Technik und Recht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Ethische Fragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Rechtliche Bewertung von KI-Systemen im öffentlichen Sektor . . 2. Warum finden KI-Systeme Einzug in den öffentlichen Sektor? . . . . .

32 32 33 34 35 35 36 36 36 37 39

C. Zusammenfassung und weitere Struktur der Arbeit . . . . . . . . . . . . . . . . . . . . . 40 Teil 2

Terminologie der KI und technische Grundlagen 

42

A. Definitorische Unschärfe der KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 I. Künstliche Intelligenz als Oberbegriff für maschinelles Lernen . . . . . . . 44

8 Inhaltsverzeichnis II. KI als Qualitätsstufe von algorithmischen Entscheidungen als auch von selbstlernenden Technologien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 III. Technische Entwicklungsstufen der KI . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 1. Die Superintelligenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2. Starke KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3. Schwache KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 IV. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 B. Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 C. Technische Grundlagen in Gegenüberstellung mit dem Menschen . . . . . . . . . I. Verzerrte menschliche Entscheidungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Das Zwei-Systeme-Modell menschlichen Denkens . . . . . . . . . . . . . . . 2. Der Mensch als Assoziationsmaschine . . . . . . . . . . . . . . . . . . . . . . . . . a) Assoziative Kohärenz  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Attributsubstitution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . c) Verarbeitungsflüssigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. KI-relevante menschliche kognitive Verzerrungen . . . . . . . . . . . . . . . . a) Der HALO-Effekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Der Anker-Effekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Bewusste Anpassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Unbewusster Priming-Effekt . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Risiken von Scorewerten bei assistierenden KI-Systemen . . . 4. Zwischenergebnis  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Funktionsweise der schwachen KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Deterministische Algorithmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Deterministische, konditionale Algorithmen . . . . . . . . . . . . . . . . . . b) Das Polanyi-Paradoxon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) KI ist ein Entscheidungssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Stile des Machine Learnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Überwachtes Lernen für Voraussagungen der Zukunft . . . . . . bb) Typische Lernziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (1) Klassifizierungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) Regression zum Mittelwert . . . . . . . . . . . . . . . . . . . . . . . . cc) Unüberwachtes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (1) Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) Abgrenzung Clustering und Klassifikation . . . . . . . . . . . . (3) Dimensionsreduktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . dd) Verstärkendes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . c) Modelle von Machine-Learning-Algorithmen . . . . . . . . . . . . . . . . . aa) Entscheidungsbäume  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Deep Learning und neuronale Netze . . . . . . . . . . . . . . . . . . . . (1) Tiefe neuronale Netze . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50 51 52 53 53 55 55 56 56 57 57 57 58 59 60 61 61 62 63 65 65 66 66 67 68 69 69 70 71 71 72 72 73 73

Inhaltsverzeichnis9 (2) Training und das Blackbox-Phänomen . . . . . . . . . . . . . . . d) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. KI erkennt selbst wechselseitige Beziehungen zwischen In- und Output . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Der Unterschied zwischen Regression und Korrelation . . . . . . . . . b) Der Mensch und das Regressionsphänomen . . . . . . . . . . . . . . . . . . c) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Vier Wesensmerkmale der Big-Data-Analyse . . . . . . . . . . . . . . . . . . . . 5. Der Mensch als Element in der KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Auswahl der Daten, Anleitung und Überwachung des Lernprozesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Bewertung der Konsequenzen von Entscheidungen . . . . . . . . . . . . III. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74 76

80 82 82

D. Automationsgrade bei der Implementierungvon KI-System-gestützten Entscheidungen im öffentlichen Sektor  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Das Fünf-Stufen-Modell der Entscheidungen . . . . . . . . . . . . . . . . . . . . . . 1. Assistiertes Entscheiden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Teilweises Entscheiden  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Geprüftes Entscheiden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Delegiertes Entscheiden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5. Vollautomatisiertes Entscheiden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

82 83 83 83 83 84 84 84

76 77 77 78 79 80

Teil 3

Paradigmatische Einsatzfelder 

A. Justiz  ......................................................... I. COMPAS: Rückfälligkeitsscore für Straftäter im Rahmen von Haftentscheidungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Informationsgrundlagen des Scorewerts . . . . . . . . . . . . . . . . . . . . . . . . 2. Prognosesystem mit rassistischen Tendenzen . . . . . . . . . . . . . . . . . . . . a) Das Korrelationsproblem bei Risikowerten . . . . . . . . . . . . . . . . . . b) Strafzumessung ist eine einzelfallbezogene Schuldfrage . . . . . . . . c) Untersuchungshaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Fairness als eingeschränkte Optimierung . . . . . . . . . . . . . . . . . . . . . . . 4. Überprüfbarkeit sicherstellen  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5. Rückkoppelungsverzerrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6. Nachteilige Ankereffekte durch algorithmische Risikowerte . . . . . . . . II. Verfassungsrechtlicher Rahmen für KI-Systeme in der Justiz . . . . . . . . . 1. Verbot vollautomatisierter Entscheidungen . . . . . . . . . . . . . . . . . . . . . . 2. Assistierende Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85 85 85 86 88 89 90 93 94 95 96 97 98 98 99 100

10 Inhaltsverzeichnis B. Eingriffsverwaltung  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Predictive Policing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Motivation für den Einsatz von Predictive Policing . . . . . . . . . . . . . . a) Wirtschaftlichkeitsaspekte durch augmentative maschinelle Unterstützung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Sicherheit, Überwachung und Herrschaft . . . . . . . . . . . . . . . . . . . . 2. Digitalisierung theoretischer Ansätze, Near-Repeat . . . . . . . . . . . . . . . 3. Funktionsweise der prädiktiven Analytik . . . . . . . . . . . . . . . . . . . . . . . 4. Erwartungen technisch nicht erfüllbar . . . . . . . . . . . . . . . . . . . . . . . . . 5. Dogmatische Einordnung des Predictive Policing . . . . . . . . . . . . . . . . a) Gefahrenvorsorge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Konkrete Gefahr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Kann das Predictive-Policing-System konkrete Gefahren erkennen? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Gefahrenverdacht und Gefahrerforschungseingriffe . . . . . . . . b) Personenbezogenes Predictive Policing als Profiling . . . . . . . . . . . 6. Einsatzfeld in den USA und Risiken . . . . . . . . . . . . . . . . . . . . . . . . . . a) Gefahr des Dirty Policing durch Personenbezug . . . . . . . . . . . . . . aa) Bias in, Bias out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Was ist „dirty data“? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Auswertung klassischer Polizeiarbeit fehleranfällig . . . . . . . . . . . . 7. Predictive Policing in Deutschland . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

102 102 103 104 104 106 107 108 110 110 111 111 112 113 114 115 115 116 116 117 119

Teil 4

Spannungsfelder und Grenzen beim Einsatz von KI im öffentlichen Bereich  121

A. Risiken und Gegenmaßnahmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 I. Risiken für individuelle und gesamtgesellschaftliche Interessen . . . . . . . 124 1. Risiken in der Konzeptionsphase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 a) Diskriminierung durch menschliche Vorgaben . . . . . . . . . . . . . . . . 125 b) Diskriminierung durch eine fehlende oder ungeeignete Vorverarbeitung von Trainingsdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 c) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 2. Risiken in der Implementierungsphase . . . . . . . . . . . . . . . . . . . . . . . . . 128 a) Objekt algorithmischer Verzerrung durch Intransparenz . . . . . . . . 128 b) Eingriff in justizielle Grundrechte . . . . . . . . . . . . . . . . . . . . . . . . . . 129 c) Zementierung von Diskriminierungen und horizontale Wirkmacht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 d) Diskriminierung durch Adaption maschineller Entscheidungen . . . 131 e) Kein Entkommen aus der Stereotypisierung mangels Transparenz  131

Inhaltsverzeichnis11 f) Social Cooling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . g) Demokratieprinzip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . h) Gefahr für den Rechtsstaat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i) Selbstbestimmungsrecht des Einzelnen . . . . . . . . . . . . . . . . . . . . . . 3. Zwischenergebnis  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Gegenmaßnahmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. „Trial and Error“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Blackbox- und Whitebox-Testing-Analysen . . . . . . . . . . . . . . . . . . . . . a) Dynamisches und statisches Testen . . . . . . . . . . . . . . . . . . . . . . . . . b) Ex-post-Analyse und Überwachung . . . . . . . . . . . . . . . . . . . . . . . . 3. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

132 132 133 134 134 135 135 136 137 137 138

B. Regulatorische Anknüpfungspunkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Verfassungsrechtliche Begrenzung der Einsatzmöglichkeiten  . . . . . . . . . 1. Demokratie- und Rechtsstaatsprinzip . . . . . . . . . . . . . . . . . . . . . . . . . . a) Demokratische Legitimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Rechtsstaatsprinzip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Grundrechte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Informationelle Selbstbestimmung als Begrenzung der Daten­ erhebung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Law by Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Begriffliche Einordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bb) Herkömmliche Möglichkeiten zur Sicherung der Rechtsbefolgung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cc) Effiziente Herrschaftsform über alle . . . . . . . . . . . . . . . . . . . . dd) Verhinderung von (il)legalem Verhalten . . . . . . . . . . . . . . . . . ee) Grenzen des Law by Design . . . . . . . . . . . . . . . . . . . . . . . . . . ff) Kein Recht auf Rechtsverstoß . . . . . . . . . . . . . . . . . . . . . . . . . gg) Recht auf Vollzugsdefizit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . hh) Eigenverantwortung des Menschen als Grenze des by-Design-Ansatzes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . jj) Vollzug ist kein Selbstzweck . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Zwischenergebnis  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Verfassungsrechtliche Transparenz  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Notwendigkeit der Öffnung der Blackbox? . . . . . . . . . . . . . . . . . . . . . 2. Begründungspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Zeitliche und inhaltliche Unterschiede zwischen Begründung und Informationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Detailgrad, Inhalt und Zwecke von Begründungen . . . . . . . . . . . . . . . a) Begründungen zur rechtsstaatlichen Kontrolle . . . . . . . . . . . . . . . . b) Unionsrechtlicher Gedanke einer Begründung . . . . . . . . . . . . . . . .

138 139 139 140 141 142 144 144 145 146 148 150 150 152 152 153 154 155 156 157 157 158 158 161 162 163 164

12 Inhaltsverzeichnis c) Legitimationsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 d) Rechtsschutzfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 5. Informationsfreiheit als Flankenschutz . . . . . . . . . . . . . . . . . . . . . . . . . 166 6. Diskriminierungsschutz und justizielle Grundrechte als Konkretisierungen verfassungsrechtlicher Transparenz . . . . . . . . . . . . . . . . . . . . . 168 7. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 III. Diskriminierungsschutz in Zeiten von KI . . . . . . . . . . . . . . . . . . . . . . . . . 169 1. KI-Systeme sind Diskriminierungsmaschinen per definitionem . . . . . 169 2. Notwendigkeit ineinandergreifender Regularien für einen effektiven Diskriminierungsschutz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 3. Verfassungsrechtlicher Gleichheitssatz . . . . . . . . . . . . . . . . . . . . . . . . . 172 a) Kontextualität als normativer Gehalt des Gleichheitssatzes . . . . . . 173 b) Verbot von ungerechtfertigten Ungleichbehandlungen . . . . . . . . . . 175 4. KI-Systeme und der verfassungsrechtliche Gleichheitssatz . . . . . . . . . 177 a) KI-Systeme erzeugen statistische Diskriminierungen . . . . . . . . . . . 177 aa) Generalisierungsunrecht  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 bb) Typen statistischer Diskriminierung . . . . . . . . . . . . . . . . . . . . . 181 b) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 c) Ist Machine-Learning-Fairness möglich? . . . . . . . . . . . . . . . . . . . . 182 aa) Fairness through Blindness . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 (1) Maschinelle Minderheitendiskriminierung . . . . . . . . . . . . 183 (2) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 bb) Statistische Parität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 cc) Human in the Loop? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 dd) Transparenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 ee) Validierungsverfahren  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 d) Zwischenergebnis: Rechtfertigungslast liegt beim Staat . . . . . . . . . 187 IV. KI und Datenschutzrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 1. Datenschutzrechtliche Zielwerte für einen soziotechnischen Rahmen . 189 2. Datenschutzrecht als Steuerungselement für KI-Systeme . . . . . . . . . . 190 a) Das Problem des Personenbezugs . . . . . . . . . . . . . . . . . . . . . . . . . . 190 aa) Binärer Anwendungsbereich der DSGVO . . . . . . . . . . . . . . . . 190 (1) Anonyme Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 (2) Re-Identifizierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 (3) Risikobasierter Maßstab . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 bb) Auf das Individuum fokussierter Anwendungsbereich . . . . . . 196 cc) Probabilistische Schlussfolgerungen als Verarbeitung (besonderer Kategorien) von personenbezogenen Daten . . . . . . . . . . 197 (1) Verlässlichkeit der Schlussfolgerung . . . . . . . . . . . . . . . . . 200 (2) Verarbeitungsabsicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 (3) Profiling und KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 dd) Betroffenenrechte in Bezug auf probabilistische Schlussfolgerungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

Inhaltsverzeichnis13 b) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 c) Anwendungsbereich des Art. 22 DSGVO und KI-Systeme . . . . . . 205 aa) Einer Entscheidung unterworfen . . . . . . . . . . . . . . . . . . . . . . . 205 bb) Ausschließlich automatisierte Verarbeitung einschließlich Profiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 cc) Wirkung der Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 d) Art. 22 DSGVO als spezielle Antidiskriminierungsnorm . . . . . . . . 210 aa) Intersektionalität  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 bb) Neue Formen der Diskriminierung . . . . . . . . . . . . . . . . . . . . . 212 e) Ausnahmen nach Art. 22 Abs. 2 lit. b) DSGVO und Mindest­ garantien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 aa) Nationale Vorschriften zu vollautomatisierten Entscheidungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 (1) Einzelfallgerechtigkeit und Generalisierung im Verwaltungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 (2) Regelung in der AO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 (3) Regelungen im allgemeinen Verwaltungsverfahrensrecht . 217 (a) Gesetzgeberische Absicherungsmaßnahmen . . . . . . . . 218 (b) Ermessensreduktion auf Null . . . . . . . . . . . . . . . . . . . 218 (4) Regelung im Sozialrecht . . . . . . . . . . . . . . . . . . . . . . . . . . 218 bb) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 f) Recht auf Hinzuziehen eines menschlichen Entscheiders . . . . . . . 220 aa) Restriktiver Anwendungsbereich des Hinzuziehungsrechts?  . 221 bb) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 3. KI und Grundprinzipien der DSGVO . . . . . . . . . . . . . . . . . . . . . . . . . . 222 a) Rechtmäßigkeit, Art. 5 Abs. 1 lit. a) DSGVO . . . . . . . . . . . . . . . . . 222 aa) Einwilligung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 bb) Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung  . 224 cc) Erforderlichkeit, Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO . . . . . 224 dd) Überwiegende berechtigte Interessen des Verantwortlichen  . 224 b) Transparenz, Treu und Glauben bzw..Fairness, Art. 5 Abs. 1 lit. a) DSGVO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 aa) Vertrauen in KI-Systeme als ethischer Zielwert . . . . . . . . . . . 225 bb) Fairness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 cc) Transparenz  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 (1) Allgemeine Informationspflichten . . . . . . . . . . . . . . . . . . . 230 (2) Besondere Informationspflichten . . . . . . . . . . . . . . . . . . . . 231 (a) Darlegung der involvierten Logik . . . . . . . . . . . . . . . 231 (b) Enger Anwendungsbereich der Vollautomation . . . . . 233 (c) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 (3) Geschäftsgeheimnisse und Grundrechte des Verantwortlichen als Begrenzungen der Informationspflichten . . . . . 233 dd) Zukünftige Lösungsansätze . . . . . . . . . . . . . . . . . . . . . . . . . . . 234

14 Inhaltsverzeichnis c) Zweckbindung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 aa) Privilegierende Vermutungsregel bei Verarbeitungen zu statistischen Zwecken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 bb) Mögliche Auswirkungen auf die Rechte und Freiheiten von Betroffenen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 (1) Verarbeitung personenbezogener Daten in der Trainingsphase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 (2) Anwendung des Modells in der Implementierungsphase . 239 d) Datenminimierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 e) Datenrichtigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 f) Speicherbegrenzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 4. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 5. Ergänzende Gegensteuerungselemente innerhalb der DSGVO . . . . . . 243 Teil 5

Ausblick und Fazit 

244

A. Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 B. Fazit: Zusammenfassung der Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

Abkürzungsverzeichnis a. A. anderer Ansicht a. a. O. am angegebenen Ort a. E. am Ende a. F. alte Fassung ABl. Amtsblatt Abs.  Absatz AEUV Vertrag über die Arbeitsweise der Europäischen Union Alt. Alternative ÄndG Änderungsgesetz Anh. Anhang Anm.  Anmerkung AO Abgabenordnung AöR Archiv des öffentlichen Rechts (Zeitschrift) Art.  Artikel Aufl. Auflage BAG Bundesarbeitsgericht Bd.  Band BDSG Bundesdatenschutzgesetz BfDI Bundesbeauftragter für Datenschutz und Informationsfreiheit BGB Bürgerliches Gesetzbuch BGBl. Bundesgesetzblatt BGH Bundesgerichtshof BKA Bundeskriminalamt BMI Bundesministerium des Inneren BR-Drs. Bundesratsdrucksache BRRG Beamtenrechtsrahmengesetz BSG Bundessozialgericht BT Bundestag BT-Drs. Bundestagsdrucksache BVerfG Bundesverfassungsgericht BVerwG Bundesverwaltungsgericht bzgl. bezüglich CR Computer und Recht (Zeitschrift)

16 Abkürzungsverzeichnis d. h. das heißt Diss. Dissertation DÖV Die öffentliche Verwaltung (Zeitschrift) DSB Datenschutz-Berater (Zeitschrift) DSGVO Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) DSRL Richtlinie 95/46/EG des Europäischen Parlaments und des Rates vom 24. Oktober 1995 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr (Datenschutz-Richtlinie) DuD Datenschutz und Datensicherheit (Zeitschrift) DVBl. Deutsches Verwaltungsblatt (Zeitschrift) Ed. Edition EG Erwägungsgrund/Erwägungsgründe EStG Einkommenssteuergesetz etc. et cetera EU Europäische Union EuGH Europäischer Gerichtshof evtl. eventuell EWR Europäischer Wirtschaftsraum Fn.  Fußnote GewO Gewerbeordnung GG Grundgesetz der Bundesrepublik Deutschland ggf. gegebenenfalls ggü. gegenüber GRCh Grundrechte-Charta h. M. herrschende Meinung Hs. Halbsatz i. d. F. in der Fassung i. d. R. in der Regel i. R.d. im Rahmen des/der i. S. d. im Sinne des/der i. S. v. im Sinne von i. V. m. in Verbindung mit JuS Juristische Schulung (Zeitschrift) JZ Juristenzeitung (Zeitschrift) Kap.  Kapitel

Abkürzungsverzeichnis17 m. w. N. mit weiteren Nachweisen n. F. neue Fassung NJW Neue Juristische Wochenschrift Nr.  Nummer NVwZ Neue Zeitschrift für Verwaltungsrecht o. g. oben genannt OLG Oberlandesgericht OVG Oberverwaltungsgericht PinG Privacy in Germany (Zeitschrift) RDV Recht der Datenverarbeitung (Zeitschrift) Rn. Randnummer Rspr. Rechtsprechung S.  Seite SGB Sozialgesetzbuch u. a. unter anderem usw und so weiter u. U. unter Umständen v. a. vor allem VerwArch Verwaltungsarchiv (Zeitschrift) VG Verwaltungsgericht vgl. Vergleiche z. B. zum Beispiel ZD Zeitschrift für Datenschutz

Teil 1

Einführung1 Künstliche Intelligenz (KI) ist nach wie vor ein Fokusthema des ScienceFiction-Genres. Es gibt zahlreiche Filme, die Maschinen mit menschengleichen Fähigkeiten darstellen oder die gar diese weit übertreffen und ihnen mühselige Arbeiten des Menschen im Alltag abnehmen. Dabei handeln diese Filme im Grunde von Sehnsüchten des Menschen: dem Einsatz von Maschinen zur Effizienzmaximierung, Prozessoptimierung und Arbeitserleichterung. Einige Aussichten dieser gezeichneten Utopien sind längst Wirklichkeit geworden. Mit den Entwicklungen auf dem Gebiet der Künstlichen Intelligenz gelingt der Gesellschaft ein „qualitativer Sprung in der Organisation der Arbeit.“2 Daher haben sich auch die Regierungen vieler Staaten im gegenseitigen Wettbewerb der Vormachtstellung in diesem Bereich – der Weiterentwicklung der KI – verpflichtet.3 Dies gilt auch für den Einsatz der KI im öffentlichen Bereich4 und damit auch in der deutschen Verwaltung.5 Die Verheißungen von KI-Systemen führen dazu, dass auch in grundrechtssensiblen Bereichen wie der Arbeit von Sicherheitsbehörden „KI im Sinne einer agilen, praxisnahen Entwicklung“ gefördert werden soll.6 Das Potenzial von 1  Ausschließlich zum Zweck der besseren Lesbarkeit wird nachfolgend auf die geschlechtsspezifische Schreibweise verzichtet. Alle personenbezogenen Bezeichnungen sind geschlechtsneutral zu verstehen. Die Monografie ist auf dem Stand vom Januar 2022. Auf diesen Zeitpunkt datiert – soweit nicht anders angegeben – ist auch der letzte Abruf der Internetquellen. 2  Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 7; vgl. auch Martini, Blackbox Algorithmus, 2019, Vorwort V, dort beschrieben als „Anbruch eines digitalen Maschinenzeitalters“. 3  Bryson/Malikova, Is There an AI Cold War? Global Perspectives (2021) 2 (1): 24803, S. 4. 4  Stellen, die bereits intelligente Systeme einsetzen, sind: Polizeibehörden, die Steuerverwaltung und auch an Asylverfahren beteiligte Behörden, sodass die Ausweitung des Einsatzes unweigerlich erfolgen wird. 5  Vgl. Ziffer 3.7 „KI für staatliche Aufgaben nutzen und Kompetenzen der Verwaltung anpassen“, Eckpunkte der Bundesregierung für eine Strategie Künstliche Intelligenz, S. 9. Dem Eckpunktepapier aus 07.2018 folgte dann im November das Strategiepapier der Bundesregierung zur künstlichen Intelligenz, abrufbar unter: https:// www.ki-strategie-deutschland.de/home.html?file=files/downloads/Nationale_KIStrategie.pdf&cid=728. 6  Strategie Künstliche Intelligenz der Bundesregierung, BT-Drs. 19/5880, S. 32.

20

Teil 1: Einführung

KI, beschrieben „als ‚Dampfmaschinen für das Denken‘, welche unsere Gesellschaft ähnlich radikal umbauen werden, wie es einst die Dampfmaschinen für die Muskelkraft taten, läutet eine neue Ära ein.“7 In der Geschichte hat der technologische Fortschritt die Gesellschaft stark beeinflusst. Neben der Dampfmaschine ist z. B. auch der Verbrennungsmotor oder die Elektrizität zu nennen. Durch den Verbrennungsmotor entstanden Autos und Flugzeuge und infolge dessen riesige Märkte. Auch KI gehört zu dieser Kategorie von weltverändernder Technologie. Der Einsatz von KI wird es ermöglichen, in diversen Bereichen durch eine Überwindung menschlicher kognitiver Grenzen Vorhersagen erheblich zu verbessern, aber auch Prozessabläufe und die Einteilung von Ressourcen auch im öffentlichen Sektor effizienter zu gestalten.8 Der Einsatz von KI-Technologien in allen Lebensbereichen wird aber auch Risiken zutage fördern, die sich negativ auf individuelle und gesamtgesellschaftliche Interessen auswirken können. Zentrales Element ist die Datafizierung9 aller Lebensbereiche durch die Allgegenwärtigkeit von datenverarbeitenden Sensoren. Daher ist bereits heute die Kommunikation mit Sprach­ assistenten, die Nutzung von Übersetzungsassistenten oder der Einsatz von intelligenten Systemen im Gesundheitsbereich eine alltägliche Situation und keine utopische Narration aus dem Bereich des Films. Auch im öffentlichen Sektor wird im Zuge der Digitalisierung der Verwaltung und der Justiz KI eine immer gewichtigere Rolle einnehmen. Die große Aufgabe unserer Zeit ist es, europäisch im Wettbewerb nicht abgehängt zu werden und gleichzeitig die Entwicklung von Innovation wertegeleitet zu ermöglichen. Eine kategorische Verneinung dieser Technologie wäre so, als wäre man seinerzeit gegen die Weiterentwicklung von Autos gewesen. Und auch diese von einer tiefliegenden Angst getragene Haltung gegenüber technologischem Fortschritt gab es.10 Die Politik steht in der Verantwortung, sich dieser menschlichen Urangst zu stellen und die bevorstehenden Aufgaben bereits heute anzugehen. Aufklärung auf der einen Seite und passende Regulierungsansätze auf der anderen Seite sind große und langfristige Aufgaben, die europäisch angepackt werden müssen. Alle weltverändernden Technologien wie z. B. das Auto mussten seinerzeit und auch weiterhin (Stichwort: autonomes Fahren) in ein regulatorisches Ordnungssystem eingebettet werden. Eine Kapitulation vor technologischer Entwicklung ist genauso unangebracht wie zwecklos. 7  Bitkom,

S. 9.

Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017,

So auch die Begründung zur KI-Verordnung, COM(2021) 206 final, S. 1. Zum Begriff „Datafication“ vgl. Cukier/Mayer-Schönberger, The Rise of Big Data 2013, in: Foreign Affairs, S. 29. 10  Seher, Die Angst vor neuer Technik ist so alt wie die Menschheit, 2017, abrufbar unter: https://www.nrz.de/wochenende/die-angst-vor-neuer-technik-ist-so-alt-wiedie-menschheit-id209190935.html. 8  9 



Teil 1: Einführung21

Insoweit können nur sachliche Diskurse über mögliche allgemeine und/oder sektorspezifische Regulierungsansätze die Diskussion über Chancen und ­Risiken von algorithmenbasierten Entscheidungssystemen voranbringen. Der Gesetzgeber steht vor allem unter dem Druck, weitsichtig einen Regulierungsrahmen zu bilden, der mit der technologischen Entwicklung Schritt halten kann, ohne sie behindern. Gleichzeitig kann eine KI insbesondere im öffentlichen Sektor nur dann gewollt sein, wenn sie die Grundrechte wahrt und den rechtsstaatlichen Grundsätzen Rechnung trägt. Neben diesen grundrechtlichen Maßstäben ist im Hinblick auf datengetriebene KI-Systeme der Datenschutz von herausragender Bedeutung. Diesbezüglich wird es im Hinblick auf sich verzahnende Regelungsbereiche (z. B. mit dem Produkthaftungsrecht) eine große praktische Herausforderung sein, zu erarbeiten, wie im Hinblick auf primärrechtliche Vorgaben (Art. 16 Abs. 2 S. 2 AEUV) eine effiziente Aufsicht aussehen kann. Zugleich zeigen warnend – um wieder zu den Filmen zurückzukehren – einige dystopische Narrative – quasi als Kehrseite derselben Medaille – die mit solchen technischen Errungenschaften einhergehenden Gefahren. Beispielhaft sei in diesem Zusammenhang der Kult-Science-Fiction-Film Terminator aus dem Jahr 1984 erwähnt. Darin entwickelt ein superintelligentes KI-System namens Skynet ein eigenes Bewusstsein und leitet einen nuklearen Genozid gegen seinen menschlichen Schöpfer ein. Die überlebenden Menschen leisten Widerstand gegen die neue Herrschaft der Maschinen. Um diesen Widerstand zu brechen, schickt Skynet einen humanoiden Killerroboter – den Terminator – zurück ins Jahr 1984, um den Revolutionsführer zu töten. Das zeigt, dass auch 1984 und schon davor die Angst vor der Herrschaft der Maschinen im technologischen Fortschritt nichts Neues, sondern Menschliches ist. 1984 war auch das Jahr, in dem George Orwell im gleichnamigen dystopischen Roman die Handlung einer totalitären Überwachung spielen lässt, Apple den Macintosh und IBM den Personal Computer/AT11 vorstellte. Diese Science-Fiction-Szenarien von gestern werden immer häufiger die Schlagzeilen von morgen. Dabei geht es richtigerweise beim Einsatz von KI-basierter Technik nicht um den Kampf Mensch gegen Maschine, sondern um Fragen gesellschaftspolitischer Machtstrukturen und daher konkret um die Beziehungen zwischen Menschen.12 Diese Arbeit befasst sich mit den rechtlichen Fragestellungen, die sich durch den Einsatz von KI-Systemen im öffentlichen Sektor ergeben. KI11  AT

für Advanced Technology. in: Ahner/Metzger et al., Von Menschen und Maschinen: Interdisziplinäre Perspektiven auf das Verhältnis von Gesellschaft und Technik in Vergangenheit, Gegenwart und Zukunft, 1. Auflage 2020, S. 107. 12  Hermann,

22

Teil 1: Einführung

Systeme ermöglichen ein smartes Regieren und Verwalten.13 Die möglichen Anwendungsszenarien für KI im öffentlichen Sektor sind vielfältig und reichen von der Informationsbeschaffung und systematisierung für hoheitliche Entscheidungen bis hin zur Interaktion mit dem Bürger mittels Chatbots, von Zuteilungsentscheidungen wie beispielsweise die Studienplatzvergabe oder Sozialleistungen (Grundsicherung).14 Darüber hinaus sind Anwendungsfälle denkbar im Bereich der öffentlichen Sicherheit15 oder gar der Justiz.16 Diese Arbeit soll nicht einzig die Chancen und Risiken von KI-Systemen in den Blick nehmen. Eine solche Betrachtung würde zu kurz greifen. Um einen rechtlich gangbaren Weg von KI-Systemen zu zeichnen bzw. hierfür einen Beitrag zu leisten, ist es erforderlich, zunächst einige Begrifflichkeiten einzuordnen sowie die technischen Grundlagen und ihre Grenzen zu durchdringen (Teil 2). Für eine sachliche Auseinandersetzung ist es erforderlich, das derzeit technisch Mögliche zu begreifen. Es wird sich zeigen, dass es in den gegenwärtigen Diskussionen um KI um einen Teilaspekt aus der Informatik geht, das maschinelle Lernen. Maschinelles Lernen dient dazu, Muster zu erkennen, Bilder zu bewerten, Sprache in Texte zu übersetzen u. Ä.17 Insofern geht es gewissermaßen um die maschinelle Generierung von Wissen anhand eines statistischen Modells. Ohne eine begriffliche Auseinandersetzung geht die Untersuchung an den eigentlichen Problemen vorbei und würde sich lediglich zwischen Verteufelung (Risiken) und Allheilmittel (Chancen) bewegen. Die Frage der Zulässigkeit des Einsatzes solcher Systeme durch den Staat ist vor allem vor dem Hintergrund der möglichen Risiken zu beurteilen (Teil 3). Die Frage, wie KI-Systeme im öffentlichen Sektor Einzug finden können, ist fundamental für das demokratische und rechtsstaatliche Grundgefüge. Zum einen ermöglichen KI-Systeme eine effizientere Wahrnehmung öffentlicher Aufgaben. Zum anderen nimmt der Staat oftmals in einer gewollten oder ungewollten Kollaboration mit Tech-Konzernen eine abhängige Rolle ein, welche private Konzerne ggf. zu stark bei der öffent­ lichen Aufgabenerfüllung einbindet. Die Polizei bedient sich bei ihrer Auf­ gabenwahrnehmung am Informationspool der sozialen Medien wie Facebook und stellt dort sogar auf der eigenen Facebook-Seite Fahndungsfotos ein. Durch die Nutzung vieler verschiedener Dienste werden die Tech-Konzerne

AöR 143, 2018, 40. in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 84. 15  Prädiktive Polizeiarbeit oder Verkehrsleitsysteme. 16  Vgl. Referenzbeispiel COMPAS, Teil 3, A. I. 17  Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 15. 13  Wischmeyer, 14  Martini,



A. Problemaufriss 23

bei der Wahrnehmung öffentlicher Aufgaben involviert.18 Polizeibehörden können z.  B. sog. Predictive-Policing-Systeme einsetzen, um zukünftige Straftaten zu prognostizieren. Die Bundesregierung führt das digitale Bürgerportal ein, mit dem es künftig möglich sein wird, Anträge für Kinder- und Elterngeld sowie An- und Abmeldung für Wohnsitze, Gewerbe und Kfz online zu erledigen, dessen Angebot kontinuierlich erweitert wird.19 Aber auch in der Geheimdienstbarkeit, bei der Finanzmarktregulierung und in der Steuerverwaltung findet intelligente Technik bereits Anwendung.20 Ferner können auch Chat- bzw. Auskunfts-Bots Einwohner bei Anfragen an die Verwaltung unterstützen und so zu erheblichen Effizienzsteigerungen in der Verwaltung beitragen.21 Smarte Verkehrsanlagen können durch automatisierte Geschwindigkeitsbegrenzungen den Verkehr regulieren. In Österreich soll KI im Arbeitsamt zur Klassifizierung von Arbeitsuchenden eingesetzt werden. Die Einsatzmöglichkeiten sind äußerst vielfältig. Der Einsatz von KI in der Verwaltung zielt in jedem Fall darauf ab, durch Automatisierungsleistung Verwaltungskosten zu senken und im Idealfall Flüchtigkeitsfehler und Fehleinschätzungen von Sachbearbeitern zu verhindern oder wenigstens zu reduzieren.22 Neutralität, Stringenz und Objektivität können dabei positive Nebeneffekte einer Entscheidung sein, die ohne jede menschliche Beeinflussung zustande kommt.23

A. Problemaufriss I. Risiken richtig einordnen Die utopischen und dystopischen Science-Fiction-Filme offenbaren einen in der Debatte über KI entscheidenden Punkt: Die Menschen müssen KI nachvollziehen können, um Vertrauen entwickeln zu können. Nur so kann KI als Risikotechnologie auch im sensiblen öffentlichen Bereich wie der Verwaltung oder der Justiz sicheren Einzug finden. Daher wird in der weiter anschwellenden KI-Debatte dem Transparenzgrundsatz eine herausragende Bedeutung zugesprochen. „Vor diesem Hintergrund stellt es ein großes Pro­ blem dar, dass Algorithmen und KI derzeit meist völlig intransparent funk­ tionieren“, erkennt die Konferenz der Informationsfreiheitsbeauftragten war18  Viele öffentliche Stellen lassen Bescheide u. v. m. von dem Dienstleister DeepL GmbH übersetzen. 19  Bär-Seckelmann, Digitalisierte Verwaltung, S. 5. 20  Wischmeyer, AöR 143, 2018, 3. 21  Vgl. „Amelia“ in London, Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 26. 22  Vgl. Martini/Nink, NVwZ – Extra, 10/2017, S. 1. 23  Schmitz/Prell, NVwZ, 2016, S. 1273, 1277.

24

Teil 1: Einführung

nend in ihrem Positionspapier.24 Dabei kann bei der Frage um die Granularität der Transparenz im öffentlichen Sektor gegebenenfalls an etablierte Begründungspflichten von Verwaltungsentscheidungen angeknüpft werden. Der Zweck der Maschinen ist es, das Leben der Menschen zu bereichern und nicht zu gefährden. Daher stärkt sich in der Herausforderung, KI im Spannungsverhältnis zwischen Datenschutzgebot und Diskriminierungsverbot, Verfassungsrecht und utilitaristischen Effizienzbestrebungen, zu versöhnen, der Wunsch nach einem digitalen Humanismus.25 Auch wenn es für KI-Systeme de lege lata kein eigens für solche Systeme konzipiertes normatives Ordnungssystem gibt,26 gibt es gerade für staatliche Stellen bereits unverrückbare verfassungsrechtliche Linien. Ein Aufzeigen dieser bereits vorhandenen Grenzen kann dazu beitragen, KI-Systeme rechtsstaatlich einzuhegen und zukünftige Grenzen weiter zu ziehen. Das Aufzeigen dieser unverrückbaren Linien dient zudem dazu, Risiken besser einordnen zu können. Wenn gewisse Einsatzmöglichkeiten aus verfassungsrechtlichen Gründen bereits unmöglich sind, erweisen sich einige Risiken als unbegründet. 1. Algorithmenphobie überwinden Im weiteren Entwicklungsprozess sollten die Bemühungen, einen Regulierungsrahmen für KI zu finden, nicht von einer Algorithmenphobie getragen werden. Gleichzeitig sollten die Risiken für den Einzelnen und für die Gesellschaft nicht unterschätzt werden. Die mediale Berichterstattung schwankt zu oft, einleitend mit nicht handfesten Schlagworten wie Big Data, Künst­ liche Intelligenz, Internet of Things oder Blockchain, zwischen utopischen und dystopischen Szenarien. Es liegt daher nicht fern, dass durch teilweise sehr einseitige mediale Berichterstattung die Kraft algorithmischer Entscheidungen den Menschen Unbehagen bereitet. Dabei wird weitgehend außer Acht gelassen, dass KI-Systeme bzw. Maschinenentscheidungen meist zutreffendere Ergebnisse erzielen können als Expertenprognosen. Soweit also das zu beurteilende „Problem“ einer Logik zugänglich ist, können Maschinen – vorausgesetzt, sie wurden 24  36. Konferenz der Informationsfreiheitsbeauftragten, Positionspapier 2018, Transparenz der Verwaltung beim Einsatz von Algorithmen für gelebten Grundrechtsschutz unabdingbar, S. 2. 25  Vgl. ethische Grundsätze der Expertengruppe der EU, der High Level Expert Group on AI, abrufbar unter: https://ec.europa.eu/digital-single-market/en/news/draftethics-guidelines-trustworthy-ai. Trotz der zahlreichen ethischen Fragen konzentriert sich die vorliegende Arbeit allein auf rechtliche Fragestellungen. 26  Am 21.04.2021 hat die Europäische Kommission einen Verordnungsentwurf für die Regulierung von KI-Systemen vorgestellt, dem sogenannten „Artificial Intelligence Act“ (AIA), COM/2021/206 final.



A. Problemaufriss 25

hinreichend „gut“ trainiert – recht präzise Vorhersagen machen. Im Grunde gilt es in der Kontroverse, die durch den Einsatz von intelligenten algorithmischen Systemen in vor allem sensiblen Bereichen verstärkt wurde, zu verstehen, dass es um keinen Machtkampf zwischen Menschen und Maschinen geht, sondern viel nüchterner betrachtet um die Urteilskraft von Menschen als Akteure im Vergleich zu statistisch berechneten Ausgaben durch Maschinen als Werkzeuge. Das Unbehagen gegenüber algorithmischen Entscheidungen steigt um ein Vielfaches, wenn es um maschinelle Beurteilungen von Konstellationen mit einem erhöhten Maß an Unvorhersagbarkeit geht. Dabei bleibt in der Diskussion weitgehend ausgeklammert, dass Menschen solche Konstellationen bereits beurteilen und tagtäglich Fehlurteile unseren Alltag begleiten. Es sind also gerade Menschen, die inkonsistente Entscheidungen treffen und dieselben Informationen unter unterschiedlichen äußeren Bedingungen zu verschiedenen Resultaten führen. So hat eine Studie etwa zutage gefördert, dass Esspausen von Richtern sich auf ihr Urteil auswirken.27 Ein Grund, warum Maschinen dennoch per se kein oder nur wenig Vertrauen entgegengebracht wird, kann darin liegen, dass weitestgehend konsentiert ist, dass nur Menschen komplexe Informationen in ihre Entscheidungen einfließen lassen können. Komplexität wird aber in der Regel die Prognosegenauigkeit von Menschen negativ beeinträchtigen. Und in vielfach gelagerten Fällen gilt es gerade im öffentlichen Sektor, diese in die Entscheidungen miteinfließenden Aspekte auszuklammern. Gerade weil nicht in den Kopf des Menschen geschaut werden kann und somit auch nicht in den Kopf des Entscheiders, gleichen auch dessen Entscheidungen weitestgehend sogenannten Blackboxes. In diesem Zusammenhang ist zu berücksichtigen, dass inkonsistente Entscheidungen von Menschen (auch) die prognostische Aus­ sagekraft konterkarieren, weil die Prädikatoren falsch gewichtet werden. Zumindest deterministische Algorithmen hingegen liefern bei gleichem Input immer den gleichen Output. Die Fehleranfälligkeit menschlicher Entscheidungen kann mit KI-Systemen ggf. überwunden werden. Es ist jedoch fraglich und bedarf nachfolgend genauerer Betrachtung, ob KI-Systeme nicht nur genauer sind, sondern ggf. auch objektivere und diskriminierungsfreie Ergebnisse liefern können. Durch hinreichend valide Trainingsdaten ist dem KISystem durch eine Auswertung einer riesigen Menge an Daten eine Regression zum Mittelwert möglich, um inkonsistente Entscheidungen in der Gewichtung besser auszutarieren. Gleichwohl ist zu berücksichtigen, dass Vorurteile bereits im Trainingssatz angelegt sein können und so ihren Weg in das algorithmische System finden.

27  Vgl. Danziger/Levav/Avnaim-Pesso, Extraneous factors in judical decisions, PNAS early Edition 2011.

26

Teil 1: Einführung

Eine gewisse Algorithmenphobie wird womöglich durch eine allgemeine Voreingenommenheit entstanden sein: Während maschinelle Entscheidungen künstlich, mechanisch, blind, halt unmenschlich sind, werden sie per se mit dem ausgelösten Unbehagen als eher schlecht eingestuft. Menschen sind hingegen gefühlvoll, sodass ihre Entscheidungen per se vorzuziehen sind. Die Aversion gegen maschinelle Entscheidungen, die sich auf Menschen auswirken, wurzelt damit in der starken Präferenz vieler Menschen für das Natür­liche im Gegensatz zum Künstlichen.28 Ganz nach dem Motto „Irren ist menschlich“ wird dieselbe Geschichte anders bewertet, wenn es bei einer Maschine zu einer Fehlfunktion kommt. Ein autonom fahrendes Fahrzeug, das infolge eines Fehlers ein Kind überfährt, wird anders aufgefasst, wenn die Tragödie auf einen menschlichen Fehler zurückzuführen ist.29 Von Maschinen wird erwartet, dass sie als Werkzeuge funktionieren; bei Fehlern wird somit die Angst genährt, dass es sich um einen serienmäßigen Fehler handelt. Beim Menschen hingegen wird schlicht ignoriert, dass Fehler eher die Regel als die Ausnahme sind; somit wird auch nur dieser Einzelfall betrachtet. Weiter ist zu berücksichtigen, dass sich durch die Entwicklung und den zunehmenden Einsatz von KI-Systemen das menschliche Selbstbild ändern wird, indem wir unsere Vormachtstellung und unsere Autonomie gegenüber Maschinen bedroht sehen.30 Der Einfluss geht dahin, dass sich das MenschMaschine-Verhältnis wandelt und ein Paradigmenwechsel stattfindet: Das typische Master-Slave-Modell wird sich zu einem partnerschaftlichen Verhältnis entwickeln können.31 Das gesellschaftliche Unbehagen und die Voreingenommenheit gegenüber Algorithmen und KI-Systemen werden wohl mit der weiteren Durchdringung aller Lebensbereiche abnehmen. Dennoch sollten Experten sich bemühen, bereits jetzt eine sachliche Debatte zu führen, die Risiken korrekt einordnet, rechtliche Grenzen erkennt und Potenziale fördert. a) Gefahren identifizieren Der Einsatz von KI-Systemen kann den Staat bei der Erfüllung seiner öffentlichen Aufgaben unterstützen, aber auch im Widerspruch zu rechtsstaatlichen Anforderungen an die Messbarkeit staatlichen Handelns und Verhältnismäßigkeit stehen.32 Schnelles Denken, Langsames Denken, 12. Auflage, 2011, S. 282. Schnelles Denken, Langsames Denken, 12. Auflage, 2011, S. 283. 30  Grimm et al., Digitale Ethik, 2019, S. 164. 31  Grimm et al., Digitale Ethik, 2019, S. 164. 28  Kahneman, 29  Kahneman,



A. Problemaufriss 27

Durch mögliche algorithmische Verzerrungen, etwa durch nicht repräsentative oder unzureichende Trainingsdaten im Lernprozess, kann es zu Ungleichbehandlungen und Diskriminierungen kommen. Dies führt wiederum zu Gefahren sowohl für individuelle Rechte und Freiheiten als auch für gesamtgesellschaftliche Interessen. Aufgrund der Skalierbarkeit und Geschwindigkeit solcher KI-Systeme entfalten solche Systeme wegen ihrer konsistenten Entscheidungen eine enorme gesellschaftliche Wirkmacht. KI-Systeme sind datenbasierte Systeme, die aus historischen Daten lernen. Historische Daten spiegeln die Vergangenheit wider. Sollten die Trainingsdaten nicht vor dem Training nochmal überprüft worden sein, sind schlechte und voreingenommene Daten Teil dieser Trainingsdaten, sodass KI-Systeme im schlimmsten Fall unsere Vorurteile konsistent replizieren, Stereotypen verstärken oder sogar durch das Aufdecken von zuvor unbekannten Korrelationsmustern neue Stereotypen geschaffen werden können. b) Chancen Den Risiken beim Einsatz von Technologien mit KI stehen die Verheißungen gegenüber. Die neuen technologischen Möglichkeiten im Bereich der Erhebung und Auswertung von Daten erleichtern dem Staat die Erfüllung seiner öffentlichen Aufgaben durch datenbasierte Entscheidungsunterstützung und Verwaltungsautomatisierung. Die Erleichterung kann sich insbesondere auf eine enorme Zeitersparnis auswirken, aber auch die Qualität insgesamt im Rahmen der Erfüllung öffentlicher Aufgaben verbessern. Betrachtet man die Zahl an Auskunftsanfragen bei den Bezirksämtern, so verspricht die KI mit dem Einsatz von Chat-Bots eine enorme Effizienzsteigerung dieser Prozesse und damit einhergehend eine erhebliche Kostenersparnis. Ferner können die eingesetzten menschlichen Ressourcen durch eine Entlastung von mechanischen Aufgaben in der Massenverwaltung deutlich effektiver arbeiten.33 Zudem garantieren maschinell erledigte Aufgaben einen hohen Grad an Zuverlässigkeit, Geschwindigkeit und permanenter Verfügbarkeit.34 Abhängig vom Sektor, Art und Weise der Nutzung können durch den Einsatz von KI-Systemen Leistungssteigerungen im Hinblick vor allem auf das Klassifizieren, Optimieren, das Entdecken von Anomalien und das Vorhersagen erzielt werden.35 Zudem funktionieren KI-Systeme unabhängig von persön­ 32  Vgl. Schwartz, Data Processing and Government Administration: The Failure of the American Legal Response to the Computer, 43 Hastings L.J. 1321 (1992), abrufbar unter: https://repository.uchastings.edu/hastings_law_journal/vol43/iss5/2. 33  Djeffal, NEGZ 2018, S. 10. 34  Djeffal, NEGZ 2018, S. 10. 35  Mehmel/Schulz, Algorithmen und künstliche Intelligenz in der Verwaltung, 9 Thesen zu Chancen und Risiken, demokratische Legitimation und rechtsstaatliche

28

Teil 1: Einführung

lichen Sympathien, wodurch ggf. mehr Gleichheit vor dem Gesetz und Rechtssicherheit erreicht werden könnte.36 KI kann unter Berücksichtigung des derzeitigen Entwicklungsstandes das größte Potenzial erst dann entfalten, wenn es die Fähigkeiten der Menschen nicht ersetzt, sondern verbessert und ergänzt, also augmentativ eingesetzt wird.37 Dies ist aber nur dann möglich, wenn die KI-Systeme als Werkzeug vom Menschen eingesetzt werden und nicht selbst Akteur im Entscheidungsprozess werden. Mensch und Maschine können das maximale Potenzial nur dann entfalten, wenn sie als Team gedacht werden. 2. Das Team Mensch-Maschine und seine Stärken Die Stärken dieses Teams entstehen dadurch, dass die jeweiligen Stärken des Menschen und der Maschine gefördert werden, namentlich die Kreativität und die sozialen Fähigkeiten des Menschen einerseits und die Schnelligkeit, Skalierbarkeit und quantitativen Möglichkeiten der Maschine andererseits.38 So kann der Mensch – anders als die Maschine – in der Kommunikation noch immer besser auf die tatsächlichen Belange einer Bürgeranfrage eingehen. Auch in der Verwaltung spielt die Empathie für die Erfüllung der öffentlichen Ausübung und eine verantwortungsvolle Machtausübung eine herausragende Bedeutung. Die Maschine wiederum kann innerhalb von Sekunden eine Masse an Daten analysieren, wozu der Mensch nicht in der Lage ist. a) Fördernde Aufgabe des Menschen Wenn das Ziel die Effizienzmaximierung des öffentlichen Sektors bei der Erfüllung der öffentlichen Aufgaben ist, stellt sich die Frage, welche fördernden Aufgaben dem Menschen, welche den Maschinen übertragen werden können.

Kontrolle, S. 2, abrufbar unter: https://www.zukunft-der-verwaltungsgerichtsbarkeit. de/media/pages/ki-und-verwaltung/04b8d11e95-1580462498/9-thesen-de.pdf. 36  Martini/Nink, in: Martini et al., Automatisch erlaubt? 2020, S. 44. 37  Vgl. Wilson/Daugherty, Mensch und Maschine als Team, in: Harvard Business Manager, 03/2019, S. 6. 38  Wilson/Daugherty, Mensch und Maschine als Team, in: Harvard Business Manager, 03/2019, S. 6.



A. Problemaufriss 29

aa) Trainieren Dem Menschen kommt im Besonderen die Rolle des Trainers zu. Hierfür bedarf es einer riesigen Menge an brauchbaren Daten sowie gut ausgebildeten Personals mit der erforderlichen Expertise. bb) Erklären Gerade für die Verwaltung ist bei der Frage, ob KI-Systeme in Entscheidungsprozesse implementiert werden, zentraler Ausgangspunkt, welche Funktion die Begründungspflicht im Rechtsstaat hat. Die Legitimationsfunktion, Rechtsschutzfunktion, Kontrollfunktion und Ergänzungsfunktion der Begründungspflicht von Verwaltungsentscheidungen verwirklicht an dieser Stelle Rechtsstaatlichkeit. Menschen in der Verwaltung müssen schwer durchschaubare Schlüsse von KI-Systemen dann erklären, wenn sie Teil der Verwaltungsentscheidung werden. Der Entscheider, der Mensch, muss somit ein gewisses Verständnis von der Funktionsweise solcher KISysteme haben. cc) Überwachen Kommen selbstlernende KI-Systeme zum Einsatz, verlagert sich eine zentrale Aufgabe des Menschen dahin, diese Systeme auch kontinuierlich zu überwachen. Dies liegt vor allem daran, dass die Entscheidungsfindung durch Lernerfahrungen des Systems mitkonditioniert wird und der Einsatz selbstlernender Systeme somit nicht nur unvorhergesehene, sondern auch strukturell unvorhersehbare Effekte nach sich zieht.39 Erforderlich sind also auch innerhalb der Verwaltung Experten, die durch regelmäßige Überwachung sicherstellen, dass diese Systeme unter Beachtung rechtsstaatlicher und grundrechtlicher Belange der Bürgerinnen und Bürger eingesetzt werden.40 Erforderlich ist insofern die Einrichtung eines Risikomanagementsystems, verstanden als ein kontinuierlicher iterativer Prozess während des gesamten Lebenszyklus eines KI-Systems. Im Rahmen dieses Prozesses müssen bekannte und vorhersehbare Risiken ermittelt und analysiert werden und zudem müssen mögliche Gegenmaßnahmen vorgesehen sein. De lege ferenda ist in Art. 9 AIA-E41 eben ein solches Risikomanagement normativ vorgeseAöR 143, 2018, 3. Untersuchung, wie solche Überwachungsmaßnahmen konzipiert werden müssen, ist nicht Teil dieser Arbeit. 41  COM(2021) 206 final. 39  Wischmeyer, 40  Eine

30

Teil 1: Einführung

hen.42 Die Etablierung solcher Risikomanagementsysteme zum Zwecke der Überwachung von KI-Systemen ist im Fall von diskriminierenden Entscheidungen erforderlich oder aber – in dem schwerwiegenden Fall eines töd­ lichen Unfalls – wenn z. B. ein autonom fahrendes Fahrzeug beteiligt war.43 b) Fördernde Aufgaben der KI-Systeme KI-Systeme können Menschen auf unterschiedliche Weise dienen. KISysteme können die kognitiven Fähigkeiten der Menschen augmentativ verstärken, durch Analyse riesiger Mengen an Daten den Menschen in der Verwaltung Zeit für wichtigere Aufgaben freischaffen und zudem Defizite des Menschen ausgleichen, z.  B. durch konsistentes Entscheiden oder durch ­Ersparnis physischer Ressourcen. aa) Verstärken KI-Systeme können die analytischen Fähigkeiten des Menschen verbessern, indem sie durch die Auswertung einer enormen Masse an Daten Korrelationen herstellen können, zu denen der Mensch nicht imstande wäre, und somit dem Menschen bessere Informationen für die Entscheidungsfindung zur Verfügung stellen.44 Intelligente Videosysteme könnten das Verhalten von Menschen in Massen auf öffentlichen Veranstaltungen analysieren bzw. vorhersagen, sodass Sicherheitskräfte gezielt im richtigen Zeitpunkt eingreifen können und so Gefahrenlagen für die öffentliche Sicherheit besser begegnet werden kann. Dort, wo der Mensch an seine kognitiven Grenzen stößt, namentlich bei der Auswertung einer riesigen Datenmenge, können KI-Systeme diese Aufgabe mit ihren enormen Rechenkapazitäten in kürzester Zeit übernehmen. Dabei sind die vielen Daten durch fehlende Verknüpfungen und Darstellungen für den Menschen völlig unbrauchbar. Erst durch die hergestellten Korrelationen können mit Hilfe stochastischer Methoden neue Erkenntnisse aus den Daten gewonnen werden.45 Mit diesen Informationen könnte der Mensch ggf. bessere Entscheidungen treffen.

42  Allerdings

lediglich für sog. Hochrisiko-KI-Systeme. und KI-Zertifizierungen sind bedeutsame Instrumentarien zur Absicherung von Rechtsstaatlichkeit und Schaffung von Vertrauen. Was für Kriterien dabei aus technischer und organisatorischer Hinsicht zu berücksichtigen wären, ist nicht Gegenstand dieser Untersuchung. 44  Wilson/Daugherty, Mensch und Maschine als Team, in: Harvard Business Manager, 03/2019, S. 8. 45  Martini, Blackbox Algorithmus, 2019, S. 13. 43  KI-Audits



A. Problemaufriss 31

bb) Skalierbarkeit und Geschwindigkeit KI-Systeme können im Besonderen in Massenverfahren wie z. B. Bürgeranfragen Menschen entlasten. Chatbots könnten so etwa gleichzeitig viele einfache sich wiederholende Bürgeranfragen beantworten. Eine Vorreiterrolle hat Estland eingenommen und bereits im Jahr 2020 mehr als 41 KI-Systeme im öffentlichen Sektor implementiert.46 Die Einsatzfelder sind unterschiedlich wie z. B. Bilderkennungen im Straßenverkehr, der Landwirtschaft oder der Einsatz von Chatbots.47 Somit kommt dem Menschen in diesen Bereichen die Skalierbarkeit solcher Systeme zugute. Die Bezirksverwaltung North London Borough setzt für Bürgeranfragen den Chatbot „Amelia“ des Unternehmens IPsoft ein, welcher monatlich 55.000 Anrufe und 100.000 Anfragen über das Internet bearbeitet.48 Amelia bearbeitet Anfragen zu KfzAnträgen und anderen Bescheinigungen. Für Anrufer sank so die Wartezeit von 55 auf zwei Sekunden und die Anfragen waren durchschnittlich in viereinhalb statt vorher 18 Minuten erledigt.49

II. Zwischenergebnis Durch den Einsatz von KI-Systemen kann der öffentliche Sektor besonders ressourcenverschlingende Massenverfahren verbessern, indem die Geschwindigkeit der Bearbeitung durch KI-Systeme gesteigert wird. Gleichzeitig können Entscheidungsprozesse durch komplizierte Analysen verbessert werden und der Mensch kann sich anderen Aufgaben widmen. Schließlich kann der Mensch durch den Einsatz von KI-Systemen zu neuen Erkenntnissen gelangen, die in den unstrukturierten Datensätzen liegen. Das Team Mensch und Maschine bzw. KI-System kann das erhoffte Potenzial nur dann entfalten, wenn Menschen neue Aufgabenfelder in dieser Partnerschaft übernehmen, wie die menschliche Supervision beim Einsatz von KI-Systemen oder das Trainieren von KI-Systemen. Insofern müssen diese neuen Bereiche bei regulativen Bestrebungen mitgedacht werden. Ein regulativer Rahmen für KISysteme müsste sowohl den Trainingsprozess als auch Risikomanagementsysteme in der Implementierungsphase solcher Systeme umfassen.

46  Vgl.

https://en.kratid.ee/. Report of Estonia’s AI Taskforce, 2019, S. 18. 48  Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 26. 49  Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 26. 47  Vgl.

32

Teil 1: Einführung

B. Ziel der Untersuchung und Untersuchungsgegenstand Es fragt sich, wie und in welchem Umfang das Potenzial der KI für den öffentlichen Sektor aus rechtlicher Sicht ausschöpfbar ist. Die Digitalisierung staatlichen Handelns ist indes kein Selbstzweck. Sie beurteilt sich nach dem Auftrag, den ihr der demokratisch legitimierte Gesetzgeber aufgegeben hat, und nicht nach der Strahlkraft des technisch Möglichen.50

I. Aufzeigen rechtlicher Grenzen für KI-Systeme im öffentlichen Sektor Der Schwerpunkt der Untersuchung bezieht sich auf das Aufzeigen – auch unverrückbarer – rechtlicher Grenzen für den Einsatz von KI-Systemen. KISysteme sind Werkzeuge, welche die Arbeitsweise des Staates verändern und gleichzeitig Auswirkungen auf den einzelnen Bürger haben können. Zur Zulässigkeit von intelligenten Werkzeugen hat der Gesetzgeber bislang kaum Aussagen getroffen.51 Beim Einsatz von KI-Systemen im öffentlichen Sektor gilt gemäß Art. 1 Abs. 3 GG die Bindung an die verfassungsmäßige Ordnung. Folglich muss der Staat beim Einsatz dieser Systeme die verfassungsrechtlich unverrückbaren Grenzen stets berücksichtigen. Zu diesen unverrückbaren Grenzen zählen im Besonderen die Grundrechte des Einzelnen sowie das Demokratie- und Rechtsstaatsprinzip. Sollten beispielsweise Entscheidungen von KI-Systemen gegenüber Einzelnen trotz fehlender bzw. nicht hinreichender Transparenz in der Verwaltung zum Einsatz kommen, erfahren die Betroffenen in den seltensten Fällen von ggf. bestehenden Diskriminierungen. In der Konsequenz könnten sich so bestehende Diskriminierungen in der Gesellschaft zementieren. Dies hätte nicht nur negative Folgen für den Einzelnen, sondern auch für gesamtgesellschaftliche Belange. Im Rahmen der Transparenz-Debatte stellt sich insoweit die Frage, ob es nicht eine Art verfassungsrechtliche Transparenz gibt, die der Staat bei Entscheidungen gewährleisten muss. Je nach Implementierungsgrad von KI-Systemen stellt sich zudem die Frage der demokratischen Legitimation algorithmischer Entscheidungssysteme. Es ist insgesamt der Frage nachzugehen, inwieweit das Verfassungsrecht selbst der Verwendung von KI-Systemen durch den Staat Grenzen setzt. Denn nicht alles, was technisch möglich ist, ist es auch rechtlich.

50  Martini,

in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 2. finden sich Aussagen wie z. B. im Rahmen von § 35a VwVfG.

51  Punktuell



B. Ziel der Untersuchung und Untersuchungsgegenstand 33

Neben den verfassungsrechtlichen Grenzen ist weiter zu untersuchen, ob nicht z. B. unionsrechtliche oder einfachgesetzliche Regelungen vorhanden sind, die KI-Systemen bereits einen regulatorischen Rahmen bieten. Die Untersuchung soll sichtbar machen, inwiefern bereits vorhandene regulatorische Anknüpfungspunkte angemessen sind bzw. Lücken aufweisen. Bei der Entwicklung und Implementierung von KI-Systemen in der Verwaltung ist die Überprüfbarkeit auch durch Verwaltungsgerichte mitzudenken, sodass auch aus diesem Blickwinkel der Transparenz eine enorme Bedeutung zukommt und der dringenden Frage nachgegangen werden muss, wie eine solche Transparenz in Bezug auf KI-Systeme in Verwaltungsentscheidungen ausgestaltet sein muss.52 Gemein ist allen KI-Systemen, dass sie von der Verarbeitung von (ggf. auch personenbezogenen) Daten abhängig sind. Somit ist neben dem Verfassungsrecht auch der Datenschutz ein näher zu betrachtender Anknüpfungspunkt, wenn es um den Regulierungsrahmen von KI-Systemen geht. Insofern sind bereits existierende Anknüpfungspunkte im Rahmen der DSGVO, insbesondere Art. 22 DSGVO sowie die in Art. 5 DSGVO gegossenen Grundsätze ebenfalls näher zu betrachten. Es wird sich zeigen, dass die DSGVO trotz einiger technischer Anknüpfungspunkte als rechtlicher Rahmen nicht die wesentlichen Fragen der fortschreitenden Entwicklungsphasen der KI zu beantworten vermag. Auch außerhalb der DSGVO gibt es bereits Vorschriften, die einen regulatorischen Anknüpfungspunkt darstellen. Im allgemeinen Verwaltungsverfahren hat der Gesetzgeber in § 35a VwVfG klargestellt, dass vollautomatisiert erlassene Verwaltungsakte bei Entscheidungen mit Beurteilungsspielraum oder bei Ermessensentscheidungen ausscheiden. Durch das Aufzeigen des verfassungsrechtlich unverrückbaren Rahmens sowie vereinzelt bestehender regulativer Anknüpfungspunkte soll die Frage erörtert werden, ob dieser Ordnungsrahmen genügt und wo konkret mögliche Schutzlücken bestehen. 1. Vollautomation und Assistenzsysteme KI-Systeme können mit einem unterschiedlichen Automationsgrad im öffentlichen Sektor implementiert werden. Abhängig vom Automationsgrad können sich unterschiedliche Risiken ergeben. Neben vollautomatisierten Verwaltungsverfahren sind es auch von KI-Systemen empfohlene Entschei52  Mehmel/Schulz, Algorithmen und künstliche Intelligenz in der Verwaltung, 9 Thesen zu Chancen und Risiken, demokratische Legitimation und rechtsstaatliche Kontrolle, S. 2, abrufbar unter: https://www.zukunft-der-verwaltungsgerichtsbarkeit. de/media/pages/ki-und-verwaltung/04b8d11e95-1580462498/9-thesen-de.pdf.

34

Teil 1: Einführung

dungen, die eine Gefahr für Teilhabe darstellen und sich sowohl auf Einzelne als auch auf soziale Gruppen oder die ganze Gesellschaft auswirken können.53 Die nachfolgenden Untersuchungen werden rechtlichen Fragen nachgehen, die sich im Zusammenhang mit vollautomatisierten Entscheidungen und mit der vollautomatisierten Rechtsdurchsetzung, aber auch im Zusammenhang mit Assistenzsystemen ergeben. 2. Trainings- und Implementierungsphase Im Rahmen der Erörterung der Risiken und der rechtlichen Bewertungen einzelner Regelungen sollen die Fragen aufgeteilt in solche, die sich in der Trainingsphase stellen, und in solche, die sich bei der Implementierung von KI-Systemen in Entscheidungsprozesse stellen. Technik ist nicht wertneutral. In jeder Technik kommen die Werte und Anschauungen ihrer Schöpfer zum Ausdruck. Für selbstlernende algorithmische Systeme gilt das in einem besonderen Maße, da der für die zu erwartenden Ergebnisse sehr entscheidende Schritt des Trainingsprozesses menschlich angeleitet wird. De lege lata gibt es kein rechtliches Rahmenwerk, das rechtliche Mindestanforderungen an Trainingsdaten stellt. Fraglich ist, ob dies erforderlich ist und ob sich bereits aus bestehenden Normen Vorgaben ableiten lassen. Beispielsweise erkennt der automatisierte Sprachtest nicht den irischen Akzent der Antragstellerin, sodass ihr in Australien die Einwanderungserlaubnis wegen mangelnder Englischkenntnisse verweigert wird.54 An diesem Beispiel zeigt sich, dass die Ursachen für diskriminierende Systeme bereits in der Konzeptionsphase und damit auch im Trainingsprozess liegen können. Oder es kann vorkommen, dass ein Bewerbungsauswahlassistent Mitarbeiter mit kurzem Arbeitsweg bevorzugte, die dem Unternehmen zwar eine längere Treue hielten, aber diejenigen Bevölkerungsgruppen benachteiligte, die sich die höheren Wohnkosten in der Nähe des Arbeitsplatzes nicht leisten konnten.55

53  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 7. 54  Dräger/Müller-Eiselt, Kein blindes Vertrauen – ein Plädoyer für mehr menschliche Kompetenz in der algorithmischen Gesellschaft, BvD-News, 02/2019, S. 9. 55  Dräger/Müller-Eiselt, Kein blindes Vertrauen – ein Plädoyer für mehr menschliche Kompetenz in der algorithmischen Gesellschaft, BvD-News, 02/2019, S. 10.



B. Ziel der Untersuchung und Untersuchungsgegenstand 35

II. Darlegung der technischen Grundlagen Die Einsatzfelder können sich nach der Art der Verwaltung, also Leistungs- oder Eingriffsverwaltung, aber auch nach der Entscheidungsart, gebundene oder Ermessensentscheidung, oder nach den technischen Möglichkeiten, Entscheidungen mit hohem oder geringem Sachverhaltsermittlungsanteil, oder schließlich danach richten, ob es sich um Entscheidungen mit einer hohen bzw. geringen Quantität personenbezogener Daten handelt.56 Ob und inwieweit der Einsatz solcher Systeme überhaupt möglich ist, beurteilt sich nach dem Stand der Technik. Folglich ist für solche Beurteilungen vor die Klammer gezogen ein Verständnis der technischen Grundlagen von zen­ traler Bedeutung. Erst ein hinreichendes Verständnis der komplexen technischen Grundlagen von KI-Systemen kann dazu beitragen, dass keine ungeeigneten Ansätze aus bestehenden Regulierungsansätzen angewandt werden bzw. rechtliche Anforderungen gestellt werden, die eventuell technisch gar nicht möglich sind.

III. Gegenüberstellung von Mensch und Maschine Das Rechtssystem ist in erster Linie konzipiert für analoge Menschen. Soweit es angezeigt ist, wird in den nachfolgenden Ausführungen der Mensch der Maschine gegenüberstellt. Dies betrifft zum einen den Vergleich zwischen menschlichen und maschinellen „Entscheidungsprozessen“. Zum anderen gibt es für menschliche Entscheidungen zahlreiche Ordnungsebenen und Gegenmaßnahmen, welche Diskriminierungen durch kognitive Verzerrungen verhindern bzw. korrigieren können. Beispielhaft seien in diesem Zusammenhang der grundsätzliche Devolutiv- und Suspensiveffekt von Rechtsmitteln, die Begründungspflicht sowie die gerichtliche Überprüfbarkeit von staatlichen Entscheidungen hervorzuheben. Es stellt sich insofern die genauer zu untersuchende Frage, ob algorithmische Entscheidungen in der Verwaltung in eine solche Begründungs- und Kontrollarchitektur eingebettet werden können oder spezielle Regelungen erforderlich sind. Diese Frage ist vor dem Hintergrund zu beantworten, dass intelligente Systeme bisweilen für einen bestimmten Zweck (spezifische Problemlösung) von Menschen eingesetzt werden und nicht eigenständig tätig werden. Sie sind daher per se in ein menschliches Handlungsumfeld eingebettet.57

56  Algorithmische Entscheidungen in der Verwaltung, Normative Grenzen und Leitlinien, 2018, abrufbar unter: https://www.ki-und-verwaltung.de/. 57  Wischmeyer, AöR 143, 2018, 38.

36

Teil 1: Einführung

IV. Rechtliche Perspektive der Untersuchung Das Forschungsgebiet rund um das Thema KI ist hochgradig interdisziplinär. Somit treffen auch bei der vorliegenden Untersuchung technische, ethische, gesellschaftliche und rechtliche Fragestellungen aufeinander. 1. Technik und Recht Bei KI-Systemen handelt es sich um eine komplexe Technologie, weil es eine Technik ist, die komplexe theoretische Annahmen über ihren Gegenstandsbereich und über die verwendeten Zweck-Mittel-Zusammenhänge voraussetzt.58 Der Einsatz von Technik zielt darauf ab, bestimmte Zwecke zu realisieren.59 Welche Zwecke dies konkret sind, obliegt der Entscheidung des Anwenders, sodass die Technik selbst frei von Vorgaben von Zwecken ist. Damit gehen Reflexions- und Verantwortungsdefizite einher, die anderen Disziplinen entgegenzuwirken versuchen.60 Eine besondere Bedeutung nimmt etwa die Technikfolgenabschätzung ein.61 Reguliert wird die technische Entwicklung durch die Disziplinen Moral und Recht.62 a) Ethische Fragen Die Implementierung von KI-Systemen in unserer Gesellschaft und ein zunehmendes Leben in der Digitalität laden ein, eine digitale Ethik zu etablieren, indem wir Menschen gesellschaftliche Entscheidungen treffen, was wir an technisch Möglichem auch wollen.63 Das betrifft etwa die Frage, wie neue Dilemmata, die mit einem modernen Leben in der Digitalität einhergehen, aufgelöst werden können, sodass eine digitale Ethik als Erweiterung der Ethik versucht, legitime Handlungsoptionen zu analysieren, die sich aus der Entwicklung, dem Einsatz und der Anwendung digitaler Technologien ergeben.64 So versprechen KI-Systeme eine gerechtere, sichere und effizientere Welt und gleichzeitig ergeben sich damit als Kehrseite derselben Medaille (neue) Risiken für die Rechte und Freiheiten des Einzelnen sowie für gein: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 346. in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 346. 60  Kaufmann, in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 346. 61  Vgl. grundlegend zur Technikfolgenabschätzung Decker/Grunwald/Knapp, Der Systematik auf Innovation. Technikfolgenabschätzung in der Technikgestaltung, 1. Auflage 2012. 62  Kaufmann, in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 348. 63  Grimm et al., Digitale Ethik, 2019, S. 13. 64  Grimm et al., Digitale Ethik, 2019, S. 13. 58  Kaufmann, 59  Kaufmann,



B. Ziel der Untersuchung und Untersuchungsgegenstand 37

samtgesellschaftliche Interessen.65 Im Zuge der Entwicklung eines Ordnungssystems für KI-Systeme muss vorher daher klar sein, ob z. B. letale autonome Waffensysteme oder biometrische Fernidentifikationssysteme ethisch gewollt sind. Sollte sich die Gesellschaft dagegen entscheiden, muss der Gesetzgeber diese Zwecke von KI-Systemen rechtlich wirksam verbieten. Folglich zeigt sich hieran, wie wichtig eine ethische Auseinandersetzung mit technologischem Fortschritt ist. Diese Auseinandersetzung muss als Reflexion zur Absicherung verstanden werden und begleitet daher auch die rechtliche weitere Entwicklung, indem sie Regeln und Vorschriften kritisch überprüft. Wenn KI-Systeme unausgereift sind, können sie konsistent mit höchster Präzision Menschen diskriminieren und genau das gefährden, was der Zweck ihres Einsatzes ist: die Schaffung einer effizienteren Welt. Die Verwaltung und der öffentliche Sektor insgesamt stehen in einer ungleich höheren Verantwortung, den Einsatz von KI-Systemen vorab auf Vereinbarkeit mit Recht zu prüfen. Der Staat ist verfassungsrechtlich nach Art. 1 Abs. 3 GG an Recht und Ordnung gebunden. Jegliche Zwecke, die KI im öffentlichen Sektor verfolgen, müssen verfassungsmäßig sein. Außerdem ist zu berücksichtigen, dass Bürger sich algorithmischen Entscheidungen des Staates nicht entziehen können. Öffentliche Stellen müssen insoweit über Personal verfügen, die ein ausgebildetes Grundverständnis von der Funktionsweise und der Bedeutung solcher algorithmischen Entscheidungssysteme haben. Denn sehr oft kommt solchen Systemen eher die Rolle eines Assistenten zu, der die Entscheidungen quasi vorbereitet, während am Ende ein Mensch entscheidet. Wegen der hohen Adaptionsgefahr muss der Mensch genau wissen, wie diese algorithmisch vorbereitete Entscheidung zustande gekommen ist. Zudem ist zu beachten, dass staatlichen Stellen (Aufsichtsbehörden und Gerichten) ein Verständnis von den Funktionsweisen weitgehend fehlt, sodass sie den Vorgaben der (privaten) Hersteller blind vertrauen werden. Jedenfalls besteht diese Gefahr. b) Rechtliche Bewertung von KI-Systemen im öffentlichen Sektor Das Verhältnis zwischen Ethik und Recht ist sehr komplex.66 Die verschiedenen Auffassungen beklagen je nach Ausgangsperspektive die „Ethisierung des Rechts“ oder die „Verrechtlichung der Ethik“.67 Unabhängig vom streitigen Grenzverlauf zwischen durchsetzbarem Recht und ethischen Verhaltens65  Dräger/Müller-Eiselt, Kein blindes Vertrauen – ein Plädoyer für mehr menschliche Kompetenz in der algorithmischen Gesellschaft, BvD-News, 02/2019, S. 9. 66  Vgl. Schliesky, NJW 2019, 3692, 3693. 67  Grimm et al., Digitale Ethik, 2019, S. 23.

38

Teil 1: Einführung

regeln besteht jedenfalls Einigkeit, dass Recht und Ethik nicht ohne Beziehung nebeneinander stehen (können).68 Es gibt jedoch sichtbare Schnittstellen, die nach Habermas für eine „ethische Imprägnierung“ der Verfassung sorgen.69 Gerade weil regulatorische Ansätze noch am Anfang stehen, ist die Begleitung einer ethischen Perspektive für ein Gelingen dieses Regulierungsprozesses unerlässlich. Derzeit gibt es keinen expliziten regulatorischen Rahmen für KI-Systeme. Diese Arbeit ist darauf ausgerichtet, KI-Systeme aus einer rechtlichen Perspektive zu beleuchten. Die Verfassung als objektive Werteordnung spielt nachfolgend eine besondere Bedeutung, weil sie Innovation selbst, aber auch vor den Gefahren durch Innovationen schützen will bzw. muss. Die von der EU eingesetzte hochrangige Expertengruppe für vertrauenswürdige KI-Systeme hat Ethikleitlinien formuliert.70 Die Expertengruppe arbeitete die nachfolgenden vier ethischen Grundsätze heraus, die auch in den Grundrechten verwurzelt sind: Achtung der menschlichen Autonomie, Schadensverhütung, Fairness und Erklärbarkeit.71 Auf europäischer Ebene werden im Rahmen der europäischen Datenstrategie die Grundrechte somit insbesondere im öffentlichen Sektor den Rahmen des Möglichen abstecken bei der Frage, ob und wie KI-Systeme durch den Staat eingesetzt werden können. Gleiches wird auch der deutsche Gesetzgeber im Rahmen seiner Datenstrategie zu beachten haben. Schwerpunktmäßig geht es vorliegend darum, einen Beitrag zu der Frage zu leisten, welche rechtlichen Leitplanken bei einem regulativen Rahmen für KI-Systeme zu berücksichtigen sind. Dabei soll die These untersucht werden, dass bestehende regulatorische Ansätze nicht imstande sind, die mit KI-Systemen einhergehenden Risiken zu erfassen. Diese Arbeit bemüht sich um eine Entflechtung rechtlicher Fragestellungen. Ziel der Arbeit ist es zu untersuchen, ob es im Recht bereits angemessene Anknüpfungspunkte gibt, d. h. rechtliche Regelungen, die imstande sind, Chancen und Risiken für den Einzelnen und die Gesellschaft in Einklang zu bringen. Die rechtlichen Fragen variieren stark in Abhängigkeit vom jeweiligen Einsatzfeld. Insofern muss eine rechtliche Bewertung des jeweiligen KISystems stets mit Blick auf das Einsatzfeld und den konkreten Zweck des KI-Systems erfolgen. Sollen z. B. Vorschriften für den Einsatz von KI-Systemen in der Polizeiarbeit untersucht werden, muss dies mit Blick auf die tatet al., Digitale Ethik, 2019, S. 23. Die Einbeziehung des Anderen, Studien zur politischen Theorie, 1996, S.  252 ff. 70  Ethische Grundsätze der Expertengruppe der EU, der High Level Expert Group on AI, abrufbar unter: https://ec.europa.eu/digital-single-market/en/news/draft-ethicsguidelines-trustworthy-ai. 71  HEG-KI 2019, S. 14. 68  Grimm

69  Habermas,



B. Ziel der Untersuchung und Untersuchungsgegenstand 39

sächlich in der Praxis gelebte Polizeiarbeit und die bestehenden Strukturen des Polizei- und Ordnungsrechts erfolgen und dabei der besonderen Sensibilität und der Kategorien dieses Sach- und Rechtsgebiets Rechnung getragen werden.72 Es müssen daher je nach Einsatzart und Umfang die Bereichsdogmatiken in den Blick genommen werden, wenn es um Regulierungsansätze von KI-Systemen geht. 2. Warum finden KI-Systeme Einzug in den öffentlichen Sektor? Bereits im Einsatz sind etwa im Steuerrecht Risikomanagementsysteme, die durch eine Auswertung der Daten vorschlagen, bei welchen Steuererklärungen eine eingehende Überprüfung notwendig ist (Stichwort: Anomalien erkennen).73 Es gibt auch schon intelligente Verkehrsbeeinflussungsanlagen, die durch eine Echtzeitauswertung einer Masse von Daten verkehrssichernde Verkehrsregulierungsmaßnahmen treffen können, wie z.  B. Geschwindigkeitsbegrenzungen und Überholverbote (Stichwort: Optimieren).74 In Österreich soll ein System im Arbeitsamt zum Einsatz kommen, das anhand von Klassifizierungen einschätzen können soll, welche Arbeitsuchenden wie oder besser unterstützt werden können (Stichwort: Klassifizieren). Auch das sog. Predictive Policing kann eine immer bedeutendere Rolle im Bereich der Gefahrenprävention einnehmen (Stichwort: Vorhersagen).75 Selbstlernende ­ Algorithmen können die Wahrscheinlichkeit von Einbruchsdiebstählen berechnen und auf speziellen Karten – den sog. Heat-Maps – vermerken.76 In den USA werden solche prädiktiven Gefahrenprognose-Systeme auch in der Justiz eingesetzt. Dabei hat insbesondere das System des Herstellers ­COMPAS77 für Schlagzeilen gesorgt: Den Straftätern ordnet das entscheidungsunterstützende System einen Risikowert von 1 bis 10 zu.78 Der Bereich der Gesichtserkennung wird ebenfalls immer besser, sodass Maschinen über ein sog. „Face decoding“ sogar relativ präzise den Gemütszustand von Personen einschätzen können. In Mannheim versucht man mit intelligenten Ka72  So

auch Wischmeyer, AöR 143, 2018, 7 f. Braun-Binder, in: Unger/Steinberg, Demokratie und künstliche Intelligenz, 2020, S. 161. 74  Vgl. Casey/Niblett, A Framework for the New Personalization of Law, in: University of Chicago Law Review, 2019, 333 ff. 75  Vgl. Rademacher, AöR 142, 2017, S. 366 ff. 76  Djeffal, NEGZ 2018, S. 5. 77  „Correctional Offender Management Profiling for Alternative Sanctions“. 78  Vgl. Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-biasrisk-assessments-in-criminal-sentencing (zuletzt abgerufen am 01.06.2019). 73  Vgl.

40

Teil 1: Einführung

meras Straßenkriminalität zu erkennen.79 Im Bereich der Leistungsverwaltung könnten in naher Zukunft selbstfahrende Busse flächendeckend eingesetzt werden. Sogenannte Chat-Bots könnten in verschiedenen Ämtern die Masse an Auskunftsanfragen komplett übernehmen.80 Es könnten aber auch schon in naher Zukunft Assistenten wie Amazons „Alexa“ Verwaltungsangelegenheiten wie das Stellen der erforderlichen Anträge selbstständig vorbereiten, indem z. B. der Bürger den Assistenten mit der eID seines elektronischen Personalausweises autorisiert.81 Schließlich ist im Hinblick auf die Frage, warum KI-Systeme auch im öffentlichen Sektor Einzug finden, zu berücksichtigen, dass mit einer zunehmenden Datafizierung und Digitalisierung sämtlicher Lebensbereiche eine Zunahme an Komplexität einhergeht. KI-Systeme können bei der Bewältigung der Komplexität unterstützen. Komplexe Datenverarbeitungsprozesse ermöglichen die Sichtbarmachung von Mustern. Diese Mustererkennung kann bei der Bewahrung und Schaffung von Ordnung durch Erkennung gesellschaftlicher Strukturen im öffentlichen Sektor eine Verbesserung der Machtausübung sein.

C. Zusammenfassung und weitere Struktur der Arbeit Die vorliegende Arbeit soll herausfiltern, was das nutzbare Potenzial der KI in der Verwaltung ist und wo nicht überschreitbare rote Linien verlaufen. Daher verfolgt diese Arbeit den Ansatz, das Thema KI-Systeme in der öffentlichen Verwaltung aus zwei Perspektiven zu betrachten: erstens durch eine differenzierte Betrachtung von der Entwicklungsphase (Training) bis zur Implementierung; zweitens durch eine Gegenüberstellung von Mensch und Maschine bzw. dem KI-System in verschiedenen Situationen, z. B. auch durch eine Gegenüberstellung von kognitiven (menschlichen) und algorithmischen (maschinellen) Verzerrungen oder von klassischer menschlicher Polizeiarbeit und vorausschauender algorithmischer Polizeiarbeitsunterstützung. Im nachfolgenden Teil 2 müssen zunächst einige Begrifflichkeiten und technische Grundlagen geklärt werden. Anschließend werden im Teil 3 zwei ausgewählte prominente Referenzbeispiele aus dem Bereich der Justiz (COMPAS) und der Eingriffsverwaltung (Predictive Policing) rechtlich untersucht. So versucht die Arbeit hervorzuheben, dass die theoretisch gefundenen Ergebnisse sich in den praktischen Anwendungsbeispielen widerspiegeln bzw. umgekehrt, dass aus den Referenzbeispielen generell bedenkenswerte Aspekte destilliert werden können. Die Beispiele stammen in erster Linie aus NEGZ 2018, S. 5. Beispiel Amelia von IPSoft, vgl. oben. 81  Marini, Blackbox Algorithmus, 2019, S. 17. 79  Djeffal, 80  Zum



C. Zusammenfassung und weitere Struktur der Arbeit 41

den USA. Dabei geht es nicht darum, Konstellationen aufzuzeigen, die mit dem geltenden Recht nicht vereinbar sind. Die Untersuchung konzentriert sich vielmehr darauf, durch das Aufzeigen bestehender regulatorischer Lücken auf bevorstehende regulatorische Herausforderungen hinzuweisen. Es bleibt weiteren wissenschaftlichen Untersuchungen vorbehalten, zu untersuchen, ob weitere regulatorische Ansätze sektorspezifisch oder allgemein ausgestaltet werden müssen und ob die jeweiligen Regulierungsregime dann geeignet sind, durch ein funktionierendes Ineinandergreifen ausreichend Schutz zu gewährleisten.82 Im anschließenden Teil 4 werden unter Bezugnahme auf die vorangegangenen Teile Spannungsfelder und Grenzen beim Einsatz von KI-Systemen im öffentlichen Sektor aufgezeigt.

82  De lege ferenda wird diesbezüglich die avisierte KI-Verordnung – der Artificial Intelligence Act der Europäischen Kommission (COM (2021) 206 final, 21.04.2021) – zu untersuchen sein.

Teil 2

Terminologie der KI und technische Grundlagen Um bestimmte Begrifflichkeiten besser einordnen zu können, sind auch die technischen Aspekte, für die sie stehen, näher zu erläutern. Aus diesem Grund werden Terminologien wie z. B. KI und die technischen Grundlagen solcher Systeme zusammen in diesem Abschnitt erläutert. Vor dem Hintergrund, dass es sich vorliegend um eine juristische Untersuchung handelt, werden in entsprechender Tiefe technische Grundlagen dargestellt, weil die begriffliche Einordnung dies erfordert (A.). Anschließend wird kurz auf Daten (B.) als systemrelevantes Merkmal hingewiesen, bis schließlich tiefer auf die technischen Grundlagen eingegangen wird (C.).

A. Definitorische Unschärfe der KI Der Begriff KI hat „Big Data“ als Modebegriff und Platzhalter für zukunftsorientierte Technologie weitestgehend abgelöst.1 Die Begriffe Big Data und KI werden oft synonym verwendet. Vielfach funktionieren KI-Systeme auf Grundlage einer Big-Data-Verarbeitung. Die fehlende Bestimmung und Konturierung des Begriffs Künstliche Intelligenz führt letztlich dazu, dass die Berichterstattung in den Medien schon länger im Besonderen die Ängste der Menschen bestärkt mit Titeln wie „Der Mensch schafft sich ab“ oder ähnlichen.2 Das Begriffspaar Künstliche Intelligenz ist eine Übersetzung des englischen „Artificial Intelligence“. Während der Begriff „Intelligenz“ nach unserem deutschen Verständnis jedenfalls sehr weit gehen muss, meint „intelligence“ in der Computersprache „Informationsverarbeitung“.3 Von KI spricht man heute überwiegend so, als könne damit begrifflich ein präziser Bezugspunkt anvisiert werden4, oder der Begriff wird zunehmend als politischer Datenschutz und künstliche Intelligenz, BvD-News, 02/2019, S. 5. Alexander, Der Mensch schafft sich ab, Süddeutsche Zeitung, Dezember 2016, abrufbar unter: https://www.sueddeutsche.de/wirtschaft/zukunft-derarbeit-der-mensch-schafft-sich-ab-1.3297804 (zuletzt abgerufen am 12.07.2019). 3  Grimm et al., Digitale Ethik, 2019, S. 156. 4  Herberger, NJW 2018, 2825, 2826. 1  Kugelmann, 2  Hagelüken,



A. Definitorische Unschärfe der KI43

Zielbegriff5 verwendet6. Da schon der Begriff der Intelligenz7 nicht scharf abgegrenzt werden kann, gelingt dies daher auch kaum mit dem Begriff der künstlichen Intelligenz.8 In der Wissenschaft fehlt es bis dato an einer übereinstimmenden Definition von künstlicher Intelligenz9 und auch in den Medien ist eine unspezifische Regelung eher die Regel, ganz nach dem Motto: „Artificial Intelligence is whatever machines haven’t done yet.“10

Dieses Theorem von Tesla beschreibt sehr zutreffend den sogenannten „AI-Effect“. Demnach wird, sobald ein technischer Fortschritt in diesem Bereich einen bestimmten Verbreitungsgrad erreicht hat, die KI nicht mehr als KI bezeichnet, sondern als normal empfunden.11 So, wäre KI tatsächlich nur ein Platzhalter für neu und außergewöhnlich. Das Begriffspaar Künstliche Intelligenz wird in dem Kontext zu interpretieren sein, was technisch auf dem Gebiet der eigenständigen Datenverarbeitung derzeit möglich ist. Für eine definitorische Festlegung wäre es zunächst erforderlich zu entscheiden, ob die Funktionsweise der Technik selbst oder das Ergebnis – der gelieferte Output – Bezugspunkt einer Interpretation sein muss. Eine klare Definition von Künstlicher Intelligenz ist auch deshalb von zentraler Bedeutung, weil sie entscheidet, ob zukünftige Regulierung die Technik oder die mit ihr erzielten Ergebnisse oder gar beides regulieren möchte. De lege ferenda wird die Europäische Kommission wohl dazu tendieren, Zwecke des Technikeinsatzes und die Funktionsweisen der zugrunde liegenden Technik wie das maschinelle Lernen zu regulieren. Der am 21.04.2021 vorgelegte Verordnungsentwurf zur Regulierung von KI – der sogenannte „Artificial Intelligence Act“ (AIA)12 – definiert in Art. 3 Abs. 1 AIA i. V. m. Anhang I KI-Systeme im Wesentlichen als Software, welche technische Ansätze wie z. B. das maschinelle Lernen implementiert hat.13 Obgleich KI-Systeme hochkomplexe Berechnungen durchführen können, 5  Eckpunkte der Bundesregierung für eine Strategie Künstliche Intelligenz, S. 1: „AI made in Germany soll zum weltweit anerkannten Gütesiegel werden“. 6  Für eine präzise begriffliche Handhabung: Herberger, NJW 2018, 2825 f. 7  Aus dem lateinischen „intellegere“ „erkennen“, „einsehen“, „verstehen“. 8  Reichwald/Pfisterer, CR 2016, 208, 211; Schefzig, DSRITB 2018, 491, 492. 9  Hoeren/Niehoff, RW 2018, 47, 49. 10  „Tesler’s Theorem“, von dem Informatiker Larry Tesler. 11  Haenlein/Kaplan, California Management Review, 2019, 1, 2. 12  COM(2021) 206 final. 13  „(…) software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with.“

44

Teil 2: Terminologie der KI und technische Grundlagen

haben diese selbstlernenden algorithmischen Systeme kein Verständnis oder gar „Bewusstsein“, was die Daten bedeuten, die sie verarbeiten, warum und in welchem Kontext sie das tun, auch wenn es für Menschen unter Umständen so aussehen könnte, als ob die Maschine tatsächlich „denken“ würde.14 Tatsächlich können KI-Systeme „lediglich“ Korrelationen zwischen Daten feststellen und keine Kausalitäten erkennen.15 Insofern stellen die prädiktiven Berechnungen von KI-Systemen mangels der Fähigkeit, Kausalität zu erkennen, lediglich extrapolierte Vergangenheit dar.16 Insofern ist Künstliche Intelligenz eher ein Zielbegriff, dessen technische Möglichkeiten heute noch mehr künstlich als intelligent sind. Daher ist eine begriffliche Auseinandersetzung und damit einhergehend eine Bestandsaufnahme, was KI heute schon leisten kann, unerlässlich. Mit dem Blick nach vorn soll im Zentrum der Untersuchung und rechtlichen Einhegung das stehen, was KI heute schon leisten kann.

I. Künstliche Intelligenz als Oberbegriff für maschinelles Lernen Konsens besteht jedenfalls darin, dass künstliche Intelligenz als ein Oberbegriff verstanden werden kann, der viele verschiedene Arten des maschinellen Lernens umfasst17 und damit selbst als Zeichen von angewandter, also bereichsspezifisch wirkender künstlicher Intelligenz gelten kann.18 Insofern verwundert es nicht, dass die Begriffspaare „KI“ und „Machine Learning“ weitestgehend synonym verwendet werden. Während die Autonomie den Grad der Eigenständigkeit einer Entscheidung in den Vordergrund setzt, bestimmt die Intelligenz eines Systems die Qualität der möglichen Lösungs­ alternativen und damit auch einer Entscheidung.19

II. KI als Qualitätsstufe von algorithmischen Entscheidungen als auch von selbstlernenden Technologien Die von den selbstlernenden Algorithmen gelieferten Entscheidungen bzw. Ergebnisse müssen auf eine gewisse Entwicklungsstufe rückführbar sein, um als KI-System qualifiziert werden zu können. Von einem selbstlernenden KI14  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 11. 15  Vgl. Varian, Beyond Big Data, Business Economics, 2014, 27–31. 16  Zuboff, Das Zeitalter des Überwachungskapitalismus, 2018, S. 340. 17  Vgl. Datatilsynet, Report January 2018, S. 6. 18  Wischmeyer, AöR 143, 2018, 3, dort Fn. 5. 19  Reichwald/Pfisterer, CR 2016, 208, 211.



A. Definitorische Unschärfe der KI45

System abzugrenzen sind herkömmliche konditional funktionierende Algorithmen.20 Der Informatiker John McCarthy prägte bereits 1955 im Rahmen eines Forschungsprojektes den Begriff der künstlichen Intelligenz in der wissenschaftlichen Debatte.21 Es sollte der Frage nachgegangen werden, ob eine „Maschine“ kognitive Fähigkeiten des Menschen simulieren kann:22 „Es wird versucht herauszufinden, wie man Maschinen dazu bringt, Sprache zu benutzen, Abstraktionen und Konzepte zu bilden, Probleme zu lösen, die heute dem Menschen vorbehalten sind, und sich zu verbessern.“23

McCarthy hat damit den Begriff der Künstlichen Intelligenz terminologisch als Oberbegriff maschinellen Lernens eingegrenzt, auch wenn dabei die Grenzen sehr weit gezogen wurden. Der Begriff war Ausdruck eines Anspruchs, nämlich menschliche Intelligenz durch Maschinen zu simulieren.24 Der Begriff der KI war und ist noch heute die Beschreibung für ein Bestreben – auf alle Technologien bezogen –, diese dahingehend zu entwickeln, dass sie in der Lage sind, selbstständig effiziente Lösungen für komplexe Probleme zu finden.25 Es geht bei der KI somit um keine eigenständige Intelligenz, sondern um die Simulation bzw. Imitierung menschlicher Intelligenz zur eigenständigen Lösung von zumindest nicht trivialen Problemen. KI kann somit unmöglich als fester Bezugspunkt, sondern vielmehr als Ziel beschrieben werden, namentlich komplexe, intelligente und autonome Entscheidungen mittels eines adäquaten Algorithmus maschinell umsetzen zu lassen;26 Aufgaben, die normalerweise menschliche Intelligenz erfordern,27 bzw. kurz: die Fähigkeit eines Algorithmus bzw. eines algorithmischen Systems, aus gegebenen Daten zu lernen und dieses Wissen für eine Problemlösung anzuwenden. 20  Zur

Begriffsbestimmung des Algorithmus vgl. unten, Teil 2, C. II. 1. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, abrufbar unter: https://web.archive.org/ web/20080930164306/; http://www-formal.stanford.edu/jmc/history/dartmouth/dart mouth.html. 22  McCarthy/Minsky/Rochester/Shannon, A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, abrufbar unter: https://web.archive.org/ web/20080930164306/http://www-formal.stanford.edu/jmc/history/dartmouth/dart mouth.html. 23  McCarthy/Minsky/Rochester/Shannon, A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, abrufbar unter: https://web.archive.org/ web/20080930164306/http://www-formal.stanford.edu/jmc/history/dartmouth/dart mouth.html. 24  Djeffal, NEGZ 2018, S. 6. 25  Djeffal, NEGZ 2018, S. 6. 26  Vgl. Reichwald/Pfisterer, CR 2016, 208, 211. 27  CIPL, First Report, S. 3. 21  McCarthy/Minsky/Rochester/Shannon,

46

Teil 2: Terminologie der KI und technische Grundlagen

Es gibt Aufgaben, welche herkömmlich konditional ausgerichtete Algorithmen nicht lösen können. Zwei prominente Beispiele sind die Vorhersage menschlichen Verhaltens oder die Unterscheidung zwischen Spam-E-Mails und legitimen E-Mails.28 Das Problem mit der Klassifikation von E-Mails als Spam ist, dass es sich mit der Zeit ändert. Das intelligente algorithmische System soll jedoch selbst herausfinden, welche E-Mail Spam ist. Das maschinelle Lernen bezweckt die Befähigung, die Daten in Entscheidungen bzw. in einen Output umzuwandeln, ohne dass der Entscheidungsprozess durch menschliche Programmierung im Detail vorgegeben ist.29 Der Überschuss an Leistung verdient seine Kategorisierung als intelligent dadurch, dass das System in einer sich verändernden Umwelt in der Lage ist, durch Anpassungen zu lernen.30 Ein solches Verständnis deckt sich mit der Begriffsdefinition von Künstlicher Intelligenz von der Expertengruppe der Europäischen Kommission (AI-HLEG): „Artificial intelligence (AI) systems are software (and possibly also hardware) systems designed by humans that, given a complex goal, act in the physical or digital dimension by perceiving their environment through data acquisition, interpreting the collected structured or unstructured data, reasoning on the knowledge, or processing the information, derived from this data and deciding the best action(s) to take to achieve the given goal. AI systems can either use symbolic rules or learn a numeric model, and they can also adapt their behaviour by analysing how the environment is affected by their previous actions.“31

III. Technische Entwicklungsstufen der KI Definitorisch kann auch eine Unterteilung anhand der Entwicklungsstufen vorgenommen werden. KI-Systeme können unterteilt werden in die sogenannte schwache KI, starke KI und die Superintelligenz.32 Für die Klassi­ fizierung in schwache und starke KI gab Alan Turing den Anstoß.33 Turing stellte im Rahmen der Untersuchung, ob Maschinen denken können, die Hypothese auf, dass Menschen ab einem gewissen Zeitpunkt nicht mehr

Maschinelles Lernen, 2. Auflage 2019, S. 60. Wischmeyer, AöR 143, 2018, 3. 30  Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 63. 31  AI-HLEG, A definition of AI: Main capabilities and scientific disciplines 2019, S. 6. 32  Im englischsprachigen Raum wird anders oft von „narrow AI“ oder „general intelligence“ gesprochen. 33  Mit dem Aufsatz „Computing Machinery and Intelligence“ aus dem Jahr 1950, abrufbar unter: https://www.jstor.org/stable/pdf/2251299.pdf?refreqid=excelsior%3A 68e49cd7586b70cf36242ad94d165b2f. 28  Alpaydin, 29  Vgl.



A. Definitorische Unschärfe der KI47

zwischen menschlicher und maschineller Intelligenz unterscheiden können.34 Diese Schwelle wurde bislang nie überschritten. Zur Überprüfung entwickelte Turing den berühmten Turing-Test. Es bildeten sich dadurch im Wesentlichen zwei Positionen: die Vertreter der sogenannten „starken KI-These“ und die der „schwachen KI-These“.35 Vorliegend soll lediglich festgehalten werden, dass begrifflich die KI eine mindestens zu erreichende Entwicklungsstufe voraussetzt, da andernfalls eine gänzliche Konturenlosigkeit des Begriffs befürchtet werden müsste. 1. Die Superintelligenz Die Superintelligenz36 bezeichnet eine um ein Vielfaches potenzierte menschliche Intelligenz außerhalb des menschlichen Vorstellungsvermögens mit einem gleichermaßen unvorstellbaren Einfluss auf die Gesellschaft und der Fähigkeit, eine Version ihrer nächsten Generation zu erschaffen.37 Ob diese Entwicklungsstufe der KI jemals erreicht werden kann, ist ungewiss. 2. Starke KI Starke KI38 bezeichnet KI-Systeme, die den intellektuellen Fähigkeiten des Menschen entsprechen, d. h. in der Lage sind, jede aktuelle Aufgabe zu erfüllen, die ein Mensch auf einem vergleichbaren Niveau an Fachwissen erfüllen kann.39 Auch diese Entwicklungsstufe ist bislang unerreicht. Es ist aber keineswegs ausgeschlossen, dass diese Entwicklungsstufe eines Tages40 erreicht werden kann, wenn man bedenkt, dass Algorithmen mittlerweile Kunst produzieren können.41 NEGZ 2018, S. 6. NEGZ 2018, S. 7. 36  Artificial Super-Intelligence, ASI. 37  Gandhi/Ehl, AI & U – Translating Artificial Intelligence into Business, S. 29. 38  Artificial General Intelligence, AGI. 39  Gausling, DSRITB 2018, 519, 521. 40  Eine zeitliche Prognose wäre – wie es alle bisherigen Prognosen gezeigt haben – unseriös. 1957 prognostizierte z. B. der spätere Wirtschaftsnobelpreisträger Herbert Simon, dass innerhalb von zehn Jahren ein Computer Schachweltmeister werden würde; tatsächlich dauerte es 40 Jahre, bis der IBM-Rechner „Deep Blue“ im Jahr 1997 den damaligen Schachweltmeister Garri Kasparov besiegte. 1967 kam die nächste falsche Prognose: Der Kognitionswissenschaftler Marvin Minsky behauptete, dass innerhalb einer einzigen Generation das Problem der Erschaffung künstlicher Intelligenz weitgehend gelöst sei. 41  Beispielsweise das Gemälde Portrait of Edmond Belamy, https://www.christies. com/features/A-collaboration-between-two-artists-one-human-one-a-machine-9332-1. aspx (zuletzt abgerufen am 18.07.2019). 34  Djeffal, 35  Djeffal,

48

Teil 2: Terminologie der KI und technische Grundlagen

3. Schwache KI Die sog. schwache KI42 unterstützt die Entscheidungsfindung in einem bestimmten Bereich und entspricht dem derzeitigen technischen Entwicklungsstand. Die größten Fortschritte konnten in den letzten Jahren in den Bereichen Wahrnehmen und Erkennen erzielt werden.43 Bekannte Beispiele sind Sprach- und Gesichtserkennungssysteme oder automatisierte Übersetzungshilfen. Dies führte zu erheblichen Verbesserungen für autonom fahrende Fahrzeuge (Real- und Leistungsverwaltung), intelligente Videosysteme (Eingriffsverwaltung), Chatbots (Leistungsverwaltung), aber auch andere Sprachassistenten, z. B. für Diktate (Realverwaltung). Zwei Gründe trugen in den letzten Jahren wesentlich zum rapiden Fortschritt bei: Big Data und ein Teilaspekt des Machine Learnings, das Deep Learning.44 Die Möglichkeiten der schwachen KI sind, wie die begriffliche Einordnung schon verrät, sehr beschränkt, namentlich auf ein spezielles Ziel. Insofern kann bei der schwachen KI auch von einer speziellen KI gesprochen werden. Menschen hingegen verfügen über eine Art allgemeine Intelligenz. Menschen, die Stärken in bestimmten Tätigkeitsfeldern haben, können in der Regel auch verwandte Aufgaben gut bewältigen, wogegen schwache KISysteme darauf trainiert sind, ganz bestimmte Funktionen bzw. Aufgaben zu erfüllen, sodass ihre „Kenntnisse“ sich nicht auf andere Aufgabenbereiche übertragen lassen.45 KI-Systeme verfügen nicht über ein solch symbolisches Verständnis wie Menschen, die über eine bereichsübergreifende allgemeine Intelligenz verfügen. Dieser in den Medien nicht hinreichend kommunizierte Fakt führt indes in die regelmäßige Medienberichterstattung und in der öffentlichen Wahrnehmung zu Übertreibungen, die an Science-Fiction-Dreh­ bücher erinnern. KI-Systeme können insoweit nur für ein spezielles Einsatzfeld konzipiert und eingesetzt werden. Denn die Trainingsdaten müssen zwingend mit den Lernzielen korrespondieren. Eine rechtliche Beleuchtung soll sich nachfolgend einzig auf die Aspekte der schwachen KI beziehen. KI kann ihren Zweck – verstanden als Effizienzmaximierung – auch in der Augmentation, d. h. in der Erweiterung mensch­ licher Fähigkeiten durch technische Systeme, z. B. durch vorbereitende bzw. assistierende algorithmische Entscheidungen, finden.46 42  Artificial

Narrow Intelligence, ANI. Von Managern und Maschinen, in: Harvard Business Manager, 03/2019, S. 17. 44  Dazu weiter unten im Zusammenhang mit den technischen Grundlagen. 45  Brynjolfsson/McAfee, Von Managern und Maschinen, in: Harvard Business Manager, 03/2019, S. 18. 46  Djeffal, NEGZ 2018, S. 7. 43  Brynjolfsson/McAfee,



A. Definitorische Unschärfe der KI49

Auch die Bundesregierung ist sich über die fehlende Begriffsdefinition im Klaren und orientiert sich in der von ihr bemühten Begriffsbestimmung ebenfalls an Entwicklungsstufen.47 Insofern richtet die Bundesregierung auch ihre Strategie nach den Möglichkeiten, die schwache KI zur Bewältigung von Anwendungsproblemen bieten kann, und grenzt die Definition quasi mit einer Umgrenzung der möglichen Einsatzfelder ein:48 „1. Deduktionssysteme, maschinelles Beweisen: Ableitung (Deduktion) formaler Aussagen aus logischen Ausdrücken, Systeme zum Beweis der Korrektheit von Hardware und Software; 2.  Wissensbasierte Systeme: Methoden zur Modellierung und Erhebung von Wissen; Software zur Simulation menschlichen Expertenwissens und Unterstützung von Experten (ehemals: ‚Expertensysteme‘); zum Teil auch verbunden mit Psychologie und Kognitionswissenschaften; 3. Musteranalyse und Mustererkennung: induktive Analyseverfahren allgemein, insbesondere auch maschinelles Lernen; 4.  Robotik: autonome Steuerung von Robotik-Systemen, d. h. autonome Systeme; 5. Intelligente multimodale Mensch-Maschine-Interaktion: Analyse und ‚Verstehen‘ von Sprache (in Verbindung mit Linguistik), Bildern, Gestik und andere Formen menschlicher Interaktion.“

IV. Zwischenergebnis Der Begriff der KI ist nicht definiert. Eine abschließende Definition ist aber auch nicht möglich. Bei KI handelt es sich vielmehr um eine Zielvorgabe, die sich auf unterschiedlichste Technologien beziehen kann. Insofern ist KI eine Entwicklungsstufe, deren Erreichung sich ein eigenständiges Forschungsgebiet der Informatik widmet. Dem selbstlernenden Prozess kommt eine entscheidende Bedeutung bei der Begriffsbestimmung zu. Maschinelles Lernen kann selbst als Schwelle begriffen werden, ab welcher von KI gesprochen werden kann. Künstliche Intelligenz ist die Fähigkeit, durch maschinelles Lernen eine algorithmische Automation von Entscheidungen zu erreichen, die eine Verarbeitung (großer) Datenmengen erfordert, aus objektiver menschlicher Sicht nicht trivial ist und ohne menschliche Programmierung im Detail vorgegeben ist. Das intelligente System ist in der Lage, eine Aufgabe durch eine Verarbeitung von Daten zu lösen, indem die Daten zu Informationen umgewandelt werden, also Wissen, das für die Erreichung des Ziels wichtig ist. Die Fähigkeit algorithmischer Systeme, in dieser Weise auf veränderte Umgebungen zu reagieren und so zu lernen, macht sie künstlich intelligent. 47  Vgl. 48  Vgl.

Strategie Künstliche Intelligenz der Bundesregierung, 2018, S. 4. Strategie Künstliche Intelligenz der Bundesregierung, 2018, S. 5.

50

Teil 2: Terminologie der KI und technische Grundlagen

B. Daten KI-Systeme bzw. maschinelles Lernen sind datengetriebene Systeme. Das System basiert auf Beispieldaten aus der Vergangenheit. Die Funktionsweise dieser Systeme betrifft vor allem die Verarbeitungsphase. Unabhängig davon kann jedoch die Erscheinungsform der Daten selbst juristische Auswirkungen haben. Soweit z. B. nicht personenbezogene Daten – also anonyme Daten – verarbeitet werden, ist der Anwendungsbereich der DSGVO erst gar nicht eröffnet.49 Gleichwohl muss beachtet werden, dass jegliche Regulierung von KI-Systemen als datengetriebene Systeme auch einen engen Bezug zum Datenschutzrecht haben wird. Daraus folgt, dass neue Regularien auf das Datenschutzrecht werden müssen.50 Da die Qualität der KI-Systeme maßgeblich von der Qualität der Trainingsdaten abhängt, muss sich ein regulatorischer Rahmen auch mit Qualitätskriterien von Trainingsdaten befassen. Dies ist schließlich auch für das Antidiskriminierungsrecht von herausragender Bedeutung. Es überrascht somit nicht, dass Art. 10 des AIA rechtliche Vorgaben für Trainingsdaten enthält. Es werden in Art. 10 Abs. 3 AIA ausfüllungsbedürftige Qualitätskriterien für Trainingsdaten normiert.

C. Technische Grundlagen in Gegenüberstellung mit dem Menschen Rechtliche Fragestellungen können sich vor allem in zwei Phasen stellen: zum einen bei der Entwicklung von KI-Systemen und zum anderen, wenn es um die Implementierung des KI-Systems im Entscheidungsprozess des Staates geht. Insofern ist im Besonderen im Rahmen der erstgenannten Phase eine Darlegung der Funktionsweise solcher (schwachen) KI-Systeme von Bedeutung (II.). Die Ergebnisse maschinell gelieferter Ergebnisse können in bestimmten Konstellationen die kognitiven Fähigkeiten des Menschen weit übertreffen. Insofern bietet es sich für die Sichtbarmachung regulatorischer Herausforderungen an, analytisch Mensch und Maschine gegenüberzustellen.51 Diese Arbeit bemüht sich daher an verschiedenen Stellen, durch eine Gegenüberstellung von Mensch und Maschine in verschiedenen Phasen die tatsächlichen Problemfelder herauszufiltern. Immer wieder ist in zahlreichen Publikationen die Kritik zu lesen, dass KI-Systeme fehleranfällig seien und es aufgrund von algorithmischen Verzerrungen im Rahmen der maschinellen 49  Vgl. zur begrifflichen Einordnung und Eigenschaften von Daten: Gutachten der DEK 2019, S. 52. 50  Zum Verhältnis des Verordnungsentwurfs der Kommission „Artificial Intelligence Act“ zur DSGVO unten im Ausblick, Teil 5. 51  Wischmeyer, AöR 143, 2018, 15.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 51

Entscheidungen zu Diskriminierungen komme. Die Risiken solcher Systeme werden stets besonders hervorgehoben. Bevor auf diese vertieft eingegangen wird, soll – dem analytischen Ansatz der Gegenüberstellung von Mensch und Maschine folgend – in gebotener Kürze dargestellt werden, inwieweit solche Diskriminierungsrisiken bei uns Menschen ebenfalls bestehen. Insofern ist vor die Klammer gezogen die Frage zu erörtern, inwiefern der Mensch gewissermaßen ein opakes Entscheidungssystem ist und ebenfalls zu kognitiv verzerrten Entscheidungen kommt (I.). In der Implementierungsphase von KI-Systemen sind die Entscheidungsstufen anhand ihres Automationsgrades zu berücksichtigen. Dies ist auch für die rechtliche Bewertung ausschlaggebend. Im Teil der rechtlichen Analyse (Teil 4) soll zunächst dargelegt werden, welche Gegenmaßnahmen im Recht (Begründungs- und Kontrollarchitektur) vorhanden sind, um u. a. auch kognitiven Verzerrungen und anderen Fehlentscheidungen von staatlichen Entscheidungsträgern zu begegnen.52 Es stellt sich sodann die Frage, ob algorithmische Entscheidungen probat in diese Kontrollebenen eingebettet werden können.

I. Verzerrte menschliche Entscheidungen Die Maschinen sind dem Menschen (noch) weit unterlegen und gleichzeitig weit überlegen.53 In dem Satz „Ich bin auch nur ein Mensch“ wird dem Gegenüber, meist nach einem begangenen Fehler, die dem Menschsein anhaftende Fehleranfälligkeit in Erinnerung gerufen. In der Sozialpsychologie sind verschiedene Ansätze bekannt, die uns Menschen als Maschinen mit massiven kognitiven Verzerrungen darstellen.54 Es ist also nichts Neues, dass die menschliche Urteilskraft fehleranfällig ist. 52  Es geht hier lediglich darum, den Grad der Ähnlichkeit zwischen Mensch und Maschine im Entscheidungsprozess darzustellen. Die in den Wissenschaften der Sozialpsychologie untersuchten kognitiven Verzerrungen des Menschen in Entscheidungsprozessen sollen hier nicht in der Tiefe dargestellt werden. Für eine Darstellung der Taxonomie des Denkens im Verhältnis zur KI vgl. BITKOM, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 12 ff. In dem Leitfaden wird Bezug genommen auf die sog. Bloomsche Taxonomie des kognitiven Lernprozesses, vgl. Bloom, Taxonomy of Education Objectives, The classification of educational Goals, 1956. 53  Die gegenseitigen Stärken nutzbar zu machen wird das eigentliche Potenzial von KI-Systemen erst entfalten können. 54  Vorliegend sollen nicht sämtliche kognitiven Verzerrungen aus der Sozialpsychologie dargestellt werden. Eine Darstellung einiger weniger solcher Phänomene reicht aus, um in der Gegenüberstellung Mensch – Maschine auch die Fehleranfälligkeit von menschlichen Entscheidungen durch kognitive Verzerrungen darzustellen.

52

Teil 2: Terminologie der KI und technische Grundlagen

1. Das Zwei-Systeme-Modell menschlichen Denkens Kognitive Verzerrungen sind nach dem Sozialpsychologen Kahneman den Funktionsmechanismen des menschlichen Denkens immanent. Das mensch­ liche Denken erklärt Kahneman mit einem sogenannten Zwei-SystemeModell:55 Während das eine System intuitiv funktioniert (schnelles Denken, System 1), funktioniert das andere System analytisch (langsames Denken, System 2). Das, was System 1 leistet, ist für Maschinen (derzeit) unmöglich. Ein KI-System benötigt für die Erkennung von Elefantenbildern mehrere tausend Bilder, sodass der Mensch im Transferlernen den Maschinen weit überlegen ist.56 Darüber hinaus kann die Maschine nur einen Spezialfall erlernen, wohingegen der Mensch sein Erlerntes bereichsübergreifend einsetzen kann. Betrachtet der Mensch auf einer Abbildung das Gesicht einer wütenden Frau, setzt, ohne dass der Mensch das willentlich steuern kann, intuitives Denken ein, dies wird durch System 1 bewerkstelligt.57 Allein durch die Mimik ist dem Menschen eine Einschätzung der Gemütslage möglich. Wird der Mensch hingegen mit einer Rechenaufgabe wie 17 x 24 konfrontiert, übernimmt diese Aufgabe das System 2. Bei einer solchen Aufgabe ist analytisches Denken erforderlich und es müssen eine Reihe von Rechenschritten vorgenommen werden und es erfordert zielgerichtete kognitive Anstrengung und Strukturierung.58 Während System 1 automatisch und schnell operiert, weitgehend mühelos und ohne willentliche Anstrengung, lenkt System 2 die Aufmerksamkeit auf die anstrengenden mentalen Aktivitäten, die auf sie angewiesen sind, wie etwa komplexe Berechnungen.59 Die Ursache von kognitiven Verzerrungen liegt in der Funktionsweise von System 1, da in System 1 spontan die Eindrücke und Gefühle entstehen, welche die Hauptquellen der expliziten Überzeugungen und bewussten Entscheidungen von System 2 sind.60 Schließlich zeigt sich hieran der Nutzen von KI-Systemen noch einmal deutlich: Das, was kognitiv System 2 für den Menschen leistet und mit viel Anstrengung und engen Grenzen verbunden ist, können KI-Systeme mit 55  Die Termini System 1 und System 2 entlehnt Kahneman von Keith E. Stano­ wich und Richard F. West aus der Arbeit Individual Differences in Reasoning: Implications for the Rationality Debate, in: Behavioral and Brain Sciences 23, 2000, 645–665. 56  Vgl. Martini, Blackbox Algorithmus, 2019, S. 13. 57  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 31; weitere Beispiele, ohne tiefer auf das Zwei-Systeme-Modell einzugehen, Martini, Blackbox Algorithmus, 2019, S. 12. 58  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 32. 59  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 33. 60  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 33.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 53

Leichtigkeit bewältigen, sodass gerade aufwendige Berechnungen und Klassifizierungen durch KI-Systeme unterstützend bzw. augmentativ eingesetzt werden können und so der Mensch in die Lage versetzt wird, seine kognitiven Grenzen teilweise zu überwinden. Denn das System 2 des Menschen ist der Rechenfähigkeit der Maschine wiederum weit unterlegen. 2. Der Mensch als Assoziationsmaschine Morewedge und Kahneman erklären in einem wissenschaftlichen Aufsatz, wie drei Merkmale des assoziativen Gedächtnisses – assoziative Kohärenz (a)), Attributsubstitution (b)) und Verarbeitungsflüssigkeit (c)) – zu großen Verzerrungen des intuitiven Urteils führen können.61 Wenn der Mensch ein Urteil, d. h. eine Entscheidung trifft, ist das eine gewichtete Kombination von Informationen, sodass Urteilsverzerrungen eine Übergewichtung einiger Aspekte der Informationen und Untergewichtung bzw. Vernachlässigung anderer Aspekte im Verhältnis zur logischen Konsistenz sind.62 Wie die Erörterung der technischen Grundlagen von KI-Systemen zeigen wird, bestehen, was die Bewertung von Gewichtungsparametern anbelangt, Parallelen zwischen kognitiven menschlichen und maschinellen Verzerrungen. Die Autoren gehen von der Hypothese aus, dass stark aktivierte Informationen wahrscheinlich mehr Gewicht erhalten, als sie verdienen, und relevantes Wissen, das nicht durch den assoziativen Kontext aktiviert wird, unterbewertet oder vernachlässigt wird.63 Die beiden Systeme stehen dabei in einer Wechselwirkung, wobei die automatischen Operationen eines Systems 1 fehlerhafte intuitive Urteile entstehen lassen, welche die kontrollierten Operationen eines Systems 2 nicht erkennen und korrigieren können. a) Assoziative Kohärenz Irgendein beliebiger Input ruft als Stimulus ein kohärentes und selbstverstärkendes Muster der gegenseitigen Aktivierung im assoziativen Gedächtnis hervor.64 So bewirkt beispielsweise das Lesen der Worte BANANEN und ERBRECHEN einen Gesichtsausdruck des Ekels und eine motorische Reaktion des Rückstoßes, kurzum, es erfolgt eine Reaktion auf das ekelerregende 61  Morewedge/Kahneman, TiCS 2010, 435–440 mit weiteren Erläuterungen zu in diesem Zusammenhang zentralen Begriffen im Glossar, S. 435. 62  Morewedge/Kahneman, TiCS 2010, 435. 63  Morewedge/Kahneman, TiCS 2010, 435. 64  Morewedge/Kahneman, TiCS 2010, 435.

54

Teil 2: Terminologie der KI und technische Grundlagen

Wort mit einer abgemilderten Version dessen, wie eine Reaktion auf das reale Ereignis erfolgen würde.65 Diese von System 1 erfolgte automatische Abfolge ist zurückzuführen auf ein assoziatives Gedächtnis, ein netzwerkartiges Langzeitgedächtnis für semantische Informationen und Emotionen.66 Diese Informationen sind dann leicht zugänglich, wenn eine bestimmte Informa­ tionseinheit, wie im Beispiel Ekel, aktiviert wird bzw. aus dem Speicher abgerufen werden kann. System 1 stellt im vorbenannten Beispiel automatisch einen kausalen Zusammenhang zwischen den Wörtern „Bananen“ und „Erbrechen“ her und erstellt ein Szenario, in dem Bananen die Ursache der Übelkeit waren.67 Die gegenseitige Aktivierung begünstigt ein Muster kompatibler Ideen, die sich gegenseitig verstärken, während zunächst aktivierte Ideen, die nicht verstärkt sind, bald ausfallen.68 Die Interpretation erfolgt im Rahmen eines Kontextes, was anhand des folgenden Beispiels deutlich wird: „Wie viele Tiere jeder Art hat Moses in die Arche aufgenommen?“

Der biblische Kontext, aber auch die semantische Ähnlichkeit der Namen Noah und Moses sowie die phonologische Ähnlichkeit (zwei Silben und der gleiche Vokal in der betonten Silbe) machen diese sogenannte „Moses-Illu­ sion“69 fast unauffindbar.70 Die Autoren stellen fest, dass das Muster der automatischen Aktivierung des Gedächtnisses tendenziell zu einer umfassenden und intern konsistenten Interpretation der gegenwärtigen Situation führt, die kausal in den Kontext der jüngsten Vergangenheit eingebettet ist und angemessene Emotionen und Vorbereitungen für wahrscheinliche zukünftige Ereignisse und zukünftige Aktionen beinhaltet.71 Untersuchungen haben gezeigt, dass die Kohärenz der assoziativen Aktivierung eine kognitive Bestätigungsverzerrung induziert, sodass Menschen, die aufgefordert werden, die Frage zu untersuchen ob Sam freundlich ist, bevorzugt Beweise für Sams Freundlichkeit suchen, während die gleiche Aufgabe mit der Frage, ob Sam unfreundlich ist, bevorzugt Beweise für Sams Unfreundlichkeit aktiviert.72

65  Morewedge/Kahneman, TiCS 2010, 435; vgl. tiefergehend Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 69. 66  Morewedge/Kahneman, TiCS 2010, 435. 67  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 69. 68  Morewedge/Kahneman, TiCS 2010, 435, 436. 69  Vgl. Song/Schwarz, Fluency and the detection of misleading questions: low processing fluency attenuates the Moses Illusion, in Social Cognition, 791–799. 70  Morewedge/Kahneman, TiCS 2010, 435, 436. 71  Morewedge/Kahneman, TiCS 2010, 435, 436. 72  Morewedge/Kahneman, TiCS 2010, 435, 436.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 55

b) Attributsubstitution Neben dem Merkmal der assoziativen Kohärenz führt nach Morewedge und Kahneman die Attributsubstitution zu kognitiven Verzerrungen. Die Dimensionen eines Urteils sind miteinander verbunden, sodass die Absicht, ein bestimmtes Attribut eines Reizes zu bewerten, automatisch die Bewertung anderer Dimensionen herbeiführt.73 Fragen wie z. B. „Wie glücklich warst du in letzter Zeit?“, „Wie quantifiziert man Strafen?“ oder „Was ist Glück?“ sind komplexe Fragen, deren Beantwortung vieler Zwischenschritte bedarf. Kahneman und Morewedge haben dabei die überraschende Beobachtung gemacht, dass Menschen schnell eine intuitive Antwort auf solche Fragen finden, ohne sich mit der jeweiligen Komplexität dieser Fragen eingehend zu beschäftigen.74 Das assoziative System liefert die Antwort durch einen Prozess der sog. Attributsubstitution: Das Urteil über ein Zielattribut ruft automatisch Bewertungen der zugehörigen Attribute hervor und soweit eines dieser Attribute sofort zugänglich ist, könnte es auf die Zielgröße abgebildet werden, was eine schnelle intuitive Antwort auf die Ausgangsfrage ergibt. Die Substitution erfolgt in der Weise, dass die Antwort auf eine einfache Frage durch eine schwierige ersetzt wird. In einer Umfrage unter Studenten wurde kurz vor der Frage „Wie viele Dates hatten Sie letzten Monat?“ eine Frage nach ihrem Glück gestellt.75 Die Korrelation zwischen den beiden Fragen war grundsätzlich vernachlässigbar, jedoch viel höher, als die DatingFrage zuerst auftauchte. Kahneman und Morewedge folgerten hieraus, dass Gedanken an romantischen Erfolg oder Misserfolg eine emotionale Reaktion hervorriefen, die zum Zeitpunkt des Auftretens der Glücksfrage noch gut zugänglich war und somit schlicht ersetzt wurde. c) Verarbeitungsflüssigkeit Schließlich identifizieren Kahneman und Morewedge die Verarbeitungsflüssigkeit als eine weitere wichtige Ursache für kognitive Verzerrungen bei Menschen. Die bewusste Anstrengung führt zu einem subjektiven Belastungserlebnis, und eine geringe Fluenz – unabhängig von der Quelle – führt zu einer aufwendigen Verarbeitung.76 Die interne Konsistenz der für ein Urteil verfügbaren Informationen ist eine wichtige Determinante im Rahmen 73  Morewedge/Kahneman, TiCS 2010, 435, 436; „Judgment intentions resemble a Shotgun more than a rifle“. 74  Morewedge/Kahneman, TiCS 2010, 435, 438. 75  Vgl. Strack et al., Priming and communication: the social determinants of information use in judgments of life-satisfaction., 1988, Eur. J. Soc. Psychol. 18, 429–442. 76  Morewedge/Kahneman, TiCS 2010, 435, 438.

56

Teil 2: Terminologie der KI und technische Grundlagen

der kognitiven Gewandtheit, die wiederum das subjektive Vertrauen in Urteilen bestimmt, dass der Effekt von Konsistenz und Flüssigkeit auf das Vertrauen eine Quelle der kognitiven Verzerrung ist.77 Redundante Informationen sind konsistent, soweit eine hohe Verarbeitungsflüssigkeit gegeben ist, sodass die Verarbeitungsflüssigkeit ein Risiko für die Genauigkeit von Entscheidungen ist. 3. KI-relevante menschliche kognitive Verzerrungen a) Der HALO-Effekt Eine kognitive Verzerrung, welche durch die vorgenannten Aspekte ent­ stehen kann, ist beispielsweise der erstmals 190778 erkannte und als solcher 192079 so benannte „HALO80-Effekt“.81 Es geht darum, von bekannten Eigenschaften einer Person auf unbekannte zu schließen. Die Verfügbarkeit eines diagnostischen Etiketts überstrahlt eigene unbekannte Eigenschaften, sodass verzerrte Entscheidungen getroffen werden.82 Ein Beispiel, um die Relevanz für die Verwaltung zu verdeutlichen: Wenn jemand mit adrett gekleideten Menschen Zuverlässigkeit assoziiert, erscheint der adrett gekleidete Antragsteller, der einen Antrag in der Behörde abgibt, tendenziell eher zuverlässig zu sein, obwohl es für diese Eigenschaft keinen einzigen Anhaltspunkt gibt. Diese Scheinwirkung kann auch ins Negative ausstrahlen – umgangssprachlich ist dann von „Vorurteilen“ die Rede – und wird ungewollt eine Auswirkung auf die Entscheidung haben. Von diesen Vorurteilen kann sich der Mensch nicht vollständig lösen. Insoweit werden solche Vorurteile im Trainingsprozess Einzug in das KI-System finden können. Folglich muss im Trainingsprozess – wenn es um wertende Fragen geht und nicht um die Erkennung von Katzenbildern – diese Problematik berücksichtigt und Experten hinzugezogen werden.

TiCS 2010, 435, 438. L. Wells, A Statistical Study of Literary Merit, Archives of Psychology

77  Morewedge/Kahneman, 78  Frederic

1907, 1–30. 79  Edward L. Throndike, A Constant Error in Psychological Ratings, Journal of Applied Psychology 1920, 25–29. 80  Aus dem englischen „Halo“, zu deutsch: Heiligenschein. 81  Schweizer, Kognitive Täuschungen vor Gericht, 2005, Rn. 694. 82  Vgl. Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 14.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 57

b) Der Anker-Effekt Eine im Zusammenhang mit KI-Systemen wichtige kognitive Verzerrung ist der sogenannte Anker-Effekt.83 Diese kognitive Verzerrung kann sich in der Kollaboration mit KI-Systemen dann nachteilig auswirken, wenn KISysteme Prognosewerte als Entscheidungsunterstützung ausgeben. Der Anker-Effekt tritt zutage, wenn Menschen einen bestimmten Wert für eine unbekannte Größe erwägen, bevor sie diese Größe abgeschätzt haben, und dabei die Schätzwerte nahe bei der Zahl bleiben, die den Personen im Vorfeld dargeboten wurde.84 Dieser im Vorfeld dargebotene Wert wirkt bei der Schätzung wie ein Anker, es handelt sich gewissermaßen um eine Ankerzahl. Tversky und Kahneman machen die bemerkenswerte Feststellung, dass die Zahl, welche die Urteile der Menschen beeinflusst, gar keinen Informa­ tionsgehalt aufweisen muss, sodass willkürlich festgesetzte Anker genauso wirksam sein können wie potenziell informative.85 Die Verankerung vollzieht sich dabei in zwei Weisen: einmal durch einen willentlichen Prozess (System 2) der Anpassung (aa)) und einmal automatisch (System 1) als Ausformung eines sogenannten Priming-Effekts (bb)).86 aa) Bewusste Anpassung Der Ankereffekt kann sich in Form einer Anpassung zur Abschätzung von ungewissen Größen ausdrücken, indem man von einer Ankerzahl ausgeht, diese einschätzt und abhängig von der Zahl diese nach oben oder nach unten anpasst, quasi ein „Wegbewegen“ vom Anker.87 Dabei endet meist die Anpassung zu früh, weil das Entfernen vom Anker – als unbestrittener sicherer Wert – zunehmende Unsicherheit beim Entscheider auslöst. bb) Unbewusster Priming-Effekt Der gelieferte Ankerwert kann darüber hinaus automatisch und unbewusst eine Assoziation auslösen,88 sodass die Frage „War Gandhi mehr oder weniger als 144 Jahre alt, als er starb?“ unweigerlich kompatible Suggestionen mit diesem Wert hervorruft und sich damit der Eindruck eines sehr alten 83  Vgl.

Tversky/Kahneman, Science 1974, 1124–1131. Schnelles Denken, Langsames Denken, 2011, 85  Kahneman, Schnelles Denken, Langsames Denken, 2011, 86  Kahneman, Schnelles Denken, Langsames Denken, 2011, 87  Kahneman, Schnelles Denken, Langsames Denken, 2011, 88  Kahneman, Schnelles Denken, Langsames Denken, 2011, 84  Kahneman,

S. 152. S. 159. S. 153. S. 153. S. 156.

58

Teil 2: Terminologie der KI und technische Grundlagen

Menschen assoziativ kohärent manifestiert, welcher wiederum einen verankernden Effekt auf die Beantwortung der Frage hat. Es ist beachtlich, dass der Ankereffekt auch Fachleute und Experten in ihren Urteilen beeinflusst: Gerichtsurteile von Richtern, die das Strafmaß betreffen, sind ebenfalls solchen Ankereffekten ausgesetzt. Eine Untersuchung im Rahmen einer Studie mit 52 deutschen Richtern hat zutage geführt, dass Richter dazu neigen, längere Haftstrafen zu verhängen, nachdem die Richter:innen zuvor eine höhere Zahl gewürfelt haben.89 Das ist insoweit bemerkenswert, da die Entscheidungen von Richtern durch eine langwierige Ausbildung vorgeprägt sind und zudem die Auswirkungen von Ankern wegen der gesetzlichen Vorstrukturierungen begrenzt sein dürften. Den Richtern wurde ein konstruierter Fall geschildert, in welchem eine Frau zum zwölften Mal wegen eines Ladendiebstahls verhaftet wurde. Anschließend mussten die Probanden zwei gezinkte Würfel werfen. Jeder Wurf führte entweder zu einer Drei oder einer Neun.90 Unmittelbar nach dem Würfeln wurden die Richter gefragt, ob sie die Frau zu einer Freiheitsstrafe verurteilen würden, die in Monaten größer oder kleiner als die auf dem Würfel angezeigte Zahl wäre. Als die Richter gebeten wurden, eine konkrete Zahl anzugeben, tendierten diejenigen, die eine Neun gewürfelt hatten, im Schnitt zu einer Freiheitsstrafe von acht Monaten, diejenigen, die eine Drei gewürfelt hatten, hingegen zu einem Urteil von fünf Monaten. cc) Risiken von Scorewerten bei assistierenden KI-Systemen Soweit Scorewerte in Entscheidungsprozessen eingesetzt werden, können auch von diesen Ankereffekte ausgehen. Diesem Umstand muss Rechnung getragen werden, wenn Scorewerte unterstützend in Entscheidungsprozesse integriert werden. Der gewollte Einsatz von Scorewerten kann zu einer Argumentationslastumkehr führen. Werden beispielhaft von KI-Systemen errechnete sog. Risk-Scores in Entscheidungsprozessen der Verwaltung oder der Justiz (z. B. COMPAS)91 eingesetzt, können Ankereffekte dazu führen, dass die menschlichen Entscheidungsträger ihre Urteile diesen Werten anpassen. Insofern bergen derartige maschinell errechnete Werte als Richtwerte im Rahmen von menschlichen Entscheidungsprozessen erhebliche Risiken. Zum einen können diese Scores Gesellschaftsgruppen diskriminieren. In dem Fall lassen sich die negativen Auswirkungen kaum noch ausmerzen. Des Weiteren soll der Risikowert die Ermessensausübung erleichtern, indem nicht in dem Einzelfall viele komplexe Informationen ausgewertet und in Zusammen89  Vgl.

Englich et al., PSPB 2006, 188–200. et al., PSPB 2006, 188, 194. 91  Vgl. Referenzbeispiel COMPAS, Teil 3, A. I. 90  Englich



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 59

hang gebracht werden müssen. Was dieser Ankerwert tatsächlich bewirkt, ist eine Begrenzung des Ermessens, weil dieser das Ermessen, bevor eine inhaltlich-argumentative Auseinandersetzung ansetzt, in eine ganz bestimmte Richtung vorgegeben hat. Insoweit bedarf es der Hinweise und Anleitungshilfen, wie solche Scorewerte in Entscheidungsprozessen Berücksichtigung finden dürfen. Eine Anleitungshilfe könnte etwa sein, dass der Score zunächst in der Weise Berücksichtigung finden darf, dass Argumente gegen den Ankerwert gefunden werden müssen. Gerade bei der Verwendung von Durchschnittswerten bzw. Scores in sensiblen Bereichen ist zu berücksichtigen, dass diese Werte Erkenntnisse aus „Erfahrungswerten“ der Vergangenheit sind und nicht mit den Handlungen und Verfehlungen des Betroffenen im Zusammenhang stehen. Das macht den Einsatz von Score-Systemen wie COMPAS – wenn es um die Schuldfrage geht – sehr problematisch. Zum anderen stellt sich die Frage, wie Geheimnisschutz (ggf. privater Hersteller) und rechtsstaatliche Begründungen in Einklang gebracht werden können, wenn solche Systeme in sensiblen Bereichen zum Einsatz kommen, dem Betroffenen jedoch mangels Einblicks in die Funktionsweise eine wichtige Verteidigungsmöglichkeit (Methodik der Score-Berechnung) genommen wird und dieser damit auch nicht in der Lage ist, der Entscheidung entsprechende mildernde Umstände entgegenzuhalten. Insofern muss es bereichsspezifisch für alle KI-Systeme – unabhängig davon, ob sie assistierend oder vollautomatisiert eingesetzt werden – ein menschliches Hinzuziehungsrecht des Betroffenen geben. 4. Zwischenergebnis Werden KI-Systeme bei der Erfüllung staatlicher Aufgaben assistierend in der Weise eingesetzt, dass Scorewerte berechnet werden, die wiederum Menschen bewerten und dem Amtswalter Ermessensentscheidungen erleichtern, bedarf es konkreter Anleitungshilfen. Eine solche könnte z. B. das sein, dass der menschliche Entscheider zunächst versucht, Argumente gegen den Scorewert zu sammeln. Des Weiteren werden einer zu weit gehenden Einbeziehung solcher Scores in staatliche Entscheidungen durch rechtsstaatliche Begründungspflichten Grenzen gesetzt.92 Zudem haben die unterschiedlichen menschlichen kognitiven Verzerrungen gezeigt, dass menschliche Entscheider nicht nur Blackboxes sind, sondern in Entscheidungsprozessen durch viele Priming-Effekte stark beeinflusst werden, was zu unterschiedlich star92  Zu den Begründungspflichten vgl. Teil 4, B. II. Verfassungsrechtliche Transparenz und das Recht auf Begründung.

60

Teil 2: Terminologie der KI und technische Grundlagen

ken kognitiven Verzerrungen führt. Werden KI-Systeme zur Entscheidungsunterstützung eingesetzt und stellen ihre Ergebnisse (Outputs) Scorewerte dar, so können entsprechende Ankereffekte den subjektiven Entscheidungsspielraum einschränken und eine im Modell angelegte Ungleichbehandlung kann sich perpetuieren.93

II. Funktionsweise der schwachen KI Was in Unmengen derzeit vorhanden ist und nicht an Verknappung leidet,94 sind strukturierte und unstrukturierte Daten.95 Das gesellschaft­liche Leben in der vernetzten Informationsgesellschaft ist nicht mehr denkbar, ohne bei Teilhabe am gesellschaftlichen Leben Daten zu generieren.96 Es ist schwierig, das zeitlich und räumlich variierende Verhalten von Bürger vorherzusagen. Mit dem Verhalten erzeugen Menschen jedoch in der heutigen Zeit viele Daten, in denen Muster zu erkennen sind.97 Für das Erkennen solcher Muster können KI-Systeme hilfreich sein. Ein Teilaspekt im Rahmen der KI ist das maschinelle Lernen von Algorithmen, das sog. Machine Learning (ML). Dabei geht es um die Entwicklung selbstlernender Algorithmen, die Erkenntnisse aus Daten durch Herstellung von Korrelationen abstrahieren, um Vorhersagen, Empfehlungen und Entscheidungen machen zu können.98 Insofern bezweckt das Machine Learning die Generierung von „Wissen“ aus „Erfahrung“.99 Machine Learning kann konzeptionell unterschiedlich ausgestaltet sein.100 Möglich ist etwa eine Mustererkennung durch eine Strukturierung von Datensätzen in hierarchische Strukturen (Entscheidungsbäume) oder es werden über Vektoren Ähnlichkeiten zwischen Datensätzen ermittelt. Welche Methode dabei ausgewählt wird, bestimmt sich nach der Zweckmäßigkeit zur Erreichung des Zieles, sodass AöR 145, 2020, S. 492. ist die oft zu lesende Behauptung, „Daten seien das neue Öl“, ebenso falsch wie irreführend, so auch Moorstedt, Daten sind nicht das neue Öl, Süddeutsche Zeitung (online), 2019, abrufbar unter: https://www.sueddeutsche.de/digital/facebookco-daten-sind-nicht-das-neue-oel-1.4352940. 95  Raschka/Mirjalili, Machine Learning, 2018, S. 25. 96  Bereits ein alltäglicher Restaurantbesuch setzt in Zeiten der Pandemie infek­ tionsrechtlich voraus, dass digital oder analog Kontaktdaten hinterlassen werden. 97  Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 60. 98  Raschka/Mirjalili, Machine Learning, 2018, S. 25. 99  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 9. 100  Aunkofer, Machine Learning vs Deep Learning – Wo liegt der Unterschied?, abrufbar unter: https://data-science-blog.com/blog/2018/05/14/machine-learning-vsdeep-learning-wo-liegt-der-unterschied/. 93  Hermstrüwer, 94  Insofern



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 61

dieses bereits vor dem Einsatz feststehen muss.101 Gemein ist allen KI-Systemen, dass sie mit Algorithmen funktionieren.102 Bei Machine Learning handelt es sich um einen Teilbereich der schwachen KI. 1. Deterministische Algorithmen Von KI-Systemen abzugrenzen sind rein deterministisch funktionierende Algorithmen.103 a) Deterministische, konditionale Algorithmen Deterministische Algorithmen funktionieren konditional, d. h. in Abgrenzung zu selbstlernenden Algorithmen mithilfe von stringent abfolgenden, eindeutigen und endgültigen Handlungsvorschriften.104 Algorithmen sind mit einer Programmiersprache verfasste Regeln, die bestimmte Aufgaben in definierten Einzelschritten lösen sollen, indem die jeweils gestellte Aufgabe nach einem Muster abgearbeitet wird.105 Der Algorithmus definiert eine Folge von Handlungen, die – basierend auf der Eingabe (Input bzw. die eingegebenen Informationen) – eine Ausgabe (Output) mit den gewünschten Eigenschaften berechnet.106 Der Algorithmus löst insofern ein mathematisch beschreibbares Problem. Auf die Eingabe eines bestimmten Wertes folgt stets die Ausgabe eines Ergebnisses, wobei aufgrund der deterministischen Funktionsweise bei gleichen Eingabewerten stets das gleiche Ergebnis erzielt wird.107 Solche Algorithmen sind nachvollziehbar, da die zur Entscheidung führenden Pro-

101  „In der Praxis eines Entwicklers für Machine Learning stellen sich jedoch häufig Probleme, wenn es entweder zu wenige Daten gibt oder wenn es zu viele Dimensionen der Daten gibt. Entropie-getriebene Lern-Algorithmen wie Entscheidungsbäume werden bei vielen Dimensionen zu komplex, und auf Vektorräumen basierende Algorithmen wie der k-nächste-Nachbarn-Algorithmus sind durch den ‚Fluch der Dimensionalität‘ in ihrer Leistung eingeschränkt“, Aunkofer, Machine Learning vs Deep Learning – Wo liegt der Unterschied?, abrufbar unter: https://data-science-blog. com/blog/2018/05/14/machine-learning-vs-deep-learning-wo-liegt-der-unterschied/. 102  Vgl. Hoeren/Niehoff, RW 2018, 47, 49. 103  Caspar, PinG 01/2019, 1. 104  Hoeren/Niehoff, RW 2018, 47, 49. 105  Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 14. 106  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S.  3; ­Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 60; Gutachten der DEK 2019, S. 54. 107  Hoeren/Niehoff, RW 2018, 47, 49.

62

Teil 2: Terminologie der KI und technische Grundlagen

zesse retrospektiv wiederholt werden können.108 Dazu muss der gleiche Algorithmus mit gleichen Eingabewerten (Input) wiederholt werden.109 Von solchen Konditional-Programmen sind KI-basierte Systeme abzugrenzen.110 Das liegt im Wesentlichen daran, dass hinter dieser Entscheidungsfindung zwar eine Rechenleistung steht, diese jedoch durch Menschen programmiert ist und der Algorithmus sich in der qualitativen Stufe der Entscheidungsfindung unterhalb der KI befindet. Soll der Algorithmus etwa bestimmte Tiere erkennen können, müssen visuelle Charakteristika der jeweiligen Tiere und Muster identifiziert und die dahinterstehende Logik für jedes Tier per Menschenhand programmiert werden, sodass Input und der mit diesem korrespondierende Output manuell durch Menschen vorab festgelegt werden müssen. Der Mensch musste daher die Logik und Gesetzmäßigkeiten hinter einem System erkennen und vollständig programmieren. Der vom Algorithmus ausgegebene Wert (Output) ist als intellektuelle Leistung hier einzig dem Menschen zuzurechnen. Ein weiteres Beispiel für deterministische ­Algorithmen ist die Berechnung des kürzesten Weges, basierend auf Kartenmaterial, dem Start- und Zielpunkt, u. U. um aktuelle Straßenverhältnisse ergänzt.111 Auf Grundlage der eingegebenen Informationen aus den Straßenkarten, des Start- und Zielpunktes sowie der aktuellen Verkehrslage kann der Algorithmus die gewünschte Anfrage nach dem Weg vom Start zum Ziel mit der frühesten erwarteten Ankunftszeit errechnen. In der öffentlichen Diskussion gerät diese Unterscheidung derweil oft durcheinander. Denn nicht jede Form der Digitalisierung ist mit KI gleichzusetzen. Wenn die Verwaltung Bürgerportale bereithält, womit Bürger online bestimmte Leistungen beantragen können, ist die algorithmische Auswertung keineswegs mit dem Einsatz von Technologien mit künstlicher Intelligenz gleichzusetzen. b) Das Polanyi-Paradoxon Systeme, die auf konditional gestalteten Algorithmen basieren, haben erhebliche Schwächen, wenn es um komplexe Leistungsziele wie z. B. die Vorhersage von menschlichem Verhalten geht. Die Programmierung solcher Algorithmen wäre außerordentlich aufwendig und zum anderen sind dem menschlichen Programmierer Grenzen gesetzt. Die Grenze lässt sich anschaulich mit dem sog. Polanyi-Paradoxon112 erklären.113 Das Polanyi-Para108  Vgl.

Reichwald/Pfisterer, CR 2016, 208, 210. CR 2016, 208, 210. 110  Vgl. Caspar, PinG 01/2019, 1. 111  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 3. 112  Der britisch-ungarische Philosoph Michael Polanyi formulierte die Problematik 1966 in seinem Buch The Tacit. Als „Polanyi’s Paradox“ wurde die Theorie hingegen 109  Reichwald/Pfisterer,



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 63

doxon geht davon aus, dass der Großteil des menschlichen Wissens über die Funktionsweise der Welt für den Menschen nur beschränkt zu verbalisieren ist. Polanyi fasst die Problematik mit dem Satz zusammen: „Wir können mehr wissen, als wir sagen können“.114

Es geht im Besonderen um das kognitive Phänomen, dass es viele alltäg­ liche Aufgaben gibt – z. B. Fahren eines Autos im Verkehr oder das Erkennen eines bekannten Gesichts –, die wir Menschen intuitiv verstehen und anwenden können, ohne die dahinterstehende Logik verbalisieren zu können.115 Um an die oben erwähnten Begrifflichkeiten von Kahneman anzuknüpfen: Wie genau System 1 zu den Ergebnissen gelangt, bleibt uns weitestgehend verborgen, es funktioniert automatisch und ohne willentliche Steuerung. Das Polanyi-Paradoxon beschränkt den Menschen in zweierlei Hinsicht: bei der Weitergabe von Wissen und, hier viel entscheidender, bei der Fähigkeit, Maschinen mit Intelligenz auszustatten,116 da der Mensch die hinter bestimmten Prozessen und alltäglichen Aufgaben steckenden Regeln und Logik nicht programmieren kann.117 Diese kognitive Beschränkung kann mit KI-Systemen bzw. selbstlernenden Algorithmen ggf. überwunden werden. 2. Machine Learning Machine Learning bezieht sich in Abgrenzung zu deterministischen Algorithmen auf die Lernfähigkeit eines Algorithmus. Aber wie funktioniert das alles genau?118 bezeichnet von dem Ökonomen David 2014, Polanyi’s Paradox and the Shape of Employment Growth, NBER Working Paper Series, Cambridge, MA: National Bureau of Economic Research, S. 1–48. 113  Vgl. Wikipedia, Polanyi’s Paradox, abrufbar unter: https://en.wikipedia.org/wiki/ Polanyi %E2 %80 %99s_paradox#cite_note-:5-3 (zuletzt abgerufen am 19.07.2019) m. w. V. 114  McAfee/Brynjolfsson, Where Computers Defeat Humans, and Where They Can’t, New York Times, online, 2016, abrufbar unter: https://www.nytimes.com/ 2016/03/16/opinion/where-computers-defeat-humans-and-where-they-cant.html. 115  Wikipedia, Polanyi’s Paradox, abrufbar unter: https://en.wikipedia.org/wiki/ Polanyi %E2 %80 %99s_paradox#cite_note-:5-3, m. w. V. 116  Brynjolfsson/McAfee, Von Managern und Maschinen, in: Harvard Business Manager, 03/2019, S. 18. 117  Vgl. Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 64. 118  Es gibt mittlerweile auch viele juristische Aufsätze, die sich mit den technischen Grundlagen beschäftigen. Einige wesentliche Aspekte bleiben oft unerwähnt oder es erfolgen unpräzise bzw. oberflächliche Abgrenzungen, vgl. etwa Hoeren/Niehoff, RW 2018, 47, 50; Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 15. Für eine präzise Darstellung vgl. Martini, Blackbox Algorithmus, 2019, S. 23 f.

64

Teil 2: Terminologie der KI und technische Grundlagen

Machine Learning ermöglicht dem algorithmischen System, auf der Grundlage akkumulierter Daten, eigenständig einen zum Input passenden Output auszuliefern bzw. Entscheidungen zu treffen. Insofern bezieht sich Machine Learning gewissermaßen auf die Automation von Entscheidungen.119 Im Unterschied zum deterministischen Ansatz ermittelt ein KI-System aus einer gegebenen Menge an Daten weitgehend selbstständig jene Regelmäßigkeiten, die die Ausgangsverteilung der Daten strukturiert haben könnten und die daher wahrscheinlich auch in Zukunft die korrekte Einordnung von neuem Input ermöglichen werden.120 Dazu sucht es Korrelationen zwischen den gegebenen Datenpunkten und entwickelt Annahmen darüber, welche Regeln die vorliegende Musterbildung am plausibelsten erklären.121 Im Fall der Bilderkennung werden dem selbstlernenden Algorithmus lediglich Bilder zur Verfügung gestellt, auf deren Basis visuelle Muster und signifikante Unterschiede zwischen den Tieren selbstständig erkannt werden sollen.122 Erforderlich ist dann, dass dem KI-System ausreichend Bildmaterial zur Verfügung gestellt wird. Das selbstlernende KI-System ist somit in der Lage, die Erkenntnisse aus Daten zu extrahieren, um bestimmte Entscheidungen treffen zu können. Selbstlernende algorithmische Systeme müssen insoweit als ontogenetisch, performativ und kontingent anerkannt werden, d. h., sie sind nie fixiert, sondern emergent123 und entfalten sich ständig, sodass KI-Systeme von Unternehmen wie Google und Facebook sich bereits innerhalb von fünf Sekunden, nachdem ein Benutzer mit diesen interagiert hat, verändert haben können.124 Mit einer Approximation wird algorithmisch ein Teil der Daten erklärungsfähig, indem gewisse Muster und Regelmäßigkeiten aufgespürt werden.125 Solche algorithmischen Systeme basieren auf der Annahme, dass sich zumindest die nahe Zukunft nicht wesentlich von dem vergangenen Zeitpunkt unterscheidet, an dem die Daten gesammelt wurden, sodass von den Prognosen erwartet werden kann, dass sie ebenfalls zutreffen.126 Nachfolgend werden die Arten des Machine Learnings erläutert und in diesem Zusammenhang das Vorgehen der selbstlernenden Algorithmen zum Erlernen jener Regeln. Zunächst wird erläutert, warum vorliegend zutreffen119  Vgl.

Datatilsynet, Report January 2018, S. 6. AöR 143, 2018, 12. 121  Wischmeyer, AöR 143, 2018, 12. 122  Gausling, DSRITB 2018, 519, 523. 123  Die für Menschen unmögliche Vorhersehbarkeit der Kategorisierung der InputDaten, wegen der fehlenden Determinierung solcher lernfähigen Algorithmen, wird auch als Emergenz bezeichnet. 124  Kitchin, Information, Communication & Society, 2017, 14, 21. 125  Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 62. 126  Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. 62. 120  Wischmeyer,



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 65

derweise von einem „KI-System“ gesprochen wird (a)). Machine-LearningAlgorithmen lassen sich nach verschiedenen Kriterien aufteilen: nach den Lernstilen, den damit einhergehenden typischen Lernaufgaben (b)) und nach den Arten des Modells (c)). Dabei hängt die Entscheidung für eines dieser Kriterien stark davon ab, für welches Einsatzgebiet und damit für welche Zwecke das KI-System eingesetzt werden soll. a) KI ist ein Entscheidungssystem Jedes KI-System enthält Algorithmen und stellt insoweit ein algorithmisches System dar. Ein Chatbot, der Anfragen in natürlicher Sprache beantwortet, funktioniert durch eine orchestrierte Kombination von Algorithmen, um Geräusche zu erkennen, syntaktische Strukturen zu erfassen, relevantes Wissen abzurufen, Inferenzen zu ziehen und Antworten zu generieren.127 Unabhängig von Chatbots beinhalten KI-Systeme Algorithmen jedenfalls an zwei Stellen: Der erste Algorithmus lernt auf Basis der Daten ein statistisches Modell.128 Das statistische Modell ist dann Grundlage für den zweiten Algorithmus, der die eigentliche Entscheidung für eine neue Eingabe berechnet.129 Insofern handelt es sich bei der KI um ein Gesamtsystem, bestehend aus Daten, dem ersten Algorithmus, der das Modell erlernt, und dem Modell, das dann die Grundlage für die Entscheidung bietet.130 Insoweit erschaffen im Rahmen eines KI-Systems Algorithmen ihrerseits Algorithmen. Wir sprechen folglich nicht über einen KI-Algorithmus o. Ä., sondern über ein KISystem. b) Stile des Machine Learnings Es lassen sich drei verschiedene Lernstile des Machine Learnings unterscheiden: das überwachte Lernen, das unüberwachte Lernen und das verstärkende Lernen.131 Welche Art des Machine Learnings zweckmäßigerweise zum Einsatz kommen sollte bzw. kann, beurteilt sich nach dem Bereich und der damit zusammenhängenden Aufgabenstellung.

127  Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 3. 128  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 4. 129  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 4. 130  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 5. 131  Vgl. Raschka/Mirjalili, Machine Learning, 2018, S. 25 ff.; Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 25.

66

Teil 2: Terminologie der KI und technische Grundlagen

aa) Überwachtes Lernen für Voraussagungen der Zukunft Das Hauptziel des überwachten132 Lernens ist es, ein Modell133 anhand gekennzeichneter Trainingsdaten zu erlernen, um so Voraussagen über unbekannte oder zukünftige, in Daten zum Ausdruck kommenden Informationen treffen zu können. Der Begriff „überwacht“ bezieht sich hier auf die Trainingsdaten, die bereits mit den bekannten erwünschten Ausgabewerten (Labels134) gekennzeichnet sind.135 So kann der Algorithmus durch ausreichend Übung und Wiederholung konfiguriert werden. Ein gut trainiertes KI-System soll so auch für ähnliche, verzerrte oder unvollständige Inputs den richtigen Soll-Output liefern. Das System kann dann erfolgreich arbeiten, wenn das System mit einem Trainingsset von Tausenden oder gar Millionen Beispielen trainiert wurde, denen jeweils eine korrekte Antwort zugeordnet ist.136 Erst nach einem solchen Training mit ausreichend vielen Datensätzen kann das System neue Fälle mit einer hohen Treffsicherheit korrekt einordnen. bb) Typische Lernziele Typische Ziele überwachter Lernverfahren sind die Kategorisierung von Beispieldaten wie z. B. das Entfernen von Spam-E-Mails oder die Bilderkennung. Der Lernprozess selbst setzt zwei für den Lernprozess wesentliche Teilschritte voraus: die Klassifizierung der Daten ((1)) und die Regressionsanalyse ((2)).137 Der überwachte Lernalgorithmus wird z. B. mit einer bestimmten Menge von Katzenbildern und Nicht-Katzenbildern trainiert, um dann vorherzusagen, zu welcher dieser Klassen ein neues Bild gehört. 132  Englisch:

supervised learning. Modell ist eine Abstraktion der Wirklichkeit. Beim maschinellen Lernen erzeugt der Lernalgorithmus ein Modell, das Beispieldaten generalisiert, so dass es anschließend auch auf neue Daten angewendet werden kann“, Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 13. 134  Unterschiedliche Komplexitätsstufen können auch die Qualität von Labeln beeinflussen, vgl. Gutachten der DEK 2019, S. 57. Ein Beispiel sind Label mit einem konstruierten Bezug zur realen Welt, wie Charaktertypen, aber auch Daten, die (vermeintlich) eine Theorie (z. B. Near-Repeat-Theorie im Zusammenhang mit PredictivePolicing-Systemen) belegen. 135  Raschka/Mirjalili, Machine Learning, 2018, S. 26. 136  Brynjolfsson/McAfee, Von Managern und Maschinen, in: Harvard Business Manager, 03/2019, S. 19. 137  Regressionsanalysen sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Sie werden insbesondere verwendet, wenn Zusammenhänge quantitativ zu beschreiben oder Werte der abhängigen Variablen zu prognostizieren sind. 133  „Ein



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 67

(1) Klassifizierungen Die Klassifizierung ist im Lernprozess des überwachten Lernens der erste wesentliche Schritt. Das Ziel ist, anhand vorausgehender „Erfahrungen“ die kategorialen Klassen neuer Inputs vorherzusagen. Die Bezeichnungen dieser Klassen sind eindeutige, aber ungeordnete Werte, welche die Gruppenzugehörigkeit zu einer Klasse bestimmen. Der Input als Schlüsselwert wäre in dem vorbenannten Beispiel das Katzenbild. Der entsprechende Wert ist die Markierung für den Input, also „Katze“. Die Abbildung 1 veranschaulicht die Klassifizierung in dem Beispiel: Der Algorithmus wird mit 30 Beispielbildern trainiert, bestehend aus 15 als negative Klassen (Minuszeichen) und weiteren 15 als positive Klassen (Pluszeichen) gekennzeichneten. Jedem Beispiel sind die beiden Werte X1 und X2 zugeordnet. Die durch eine gestrichelte Linie dargestellte Grenze trennt die beiden Klassen voneinander und ermöglicht es, neue Daten anhand der Werte X1 und X2 einer der beiden Klassen zuzuordnen. In dem Beispiel sind die Daten zweidimensional, indem jedem Datum zwei Werte zugeordnet werden, X1 und X2. Wenn nun ein neuer Input verarbeitet wird, überprüft der Algorithmus die ganzen Daten, die ihm bereits ausgeliefert worden sind, vergleicht die Klassen und stellt dabei Gemeinsamkeiten fest oder eben nicht. Das System versucht

Abbildung 1: Klassifikation. Quelle: Raschka/Mirjalili, Machine Learning, 2018, S. 28.

68

Teil 2: Terminologie der KI und technische Grundlagen

quasi zu entscheiden, ob der neue Input ein Katzenbild ist, und falls nicht, kommt es zur Minus-Klasse, den Nicht-Katzenbildern. (2) Regression zum Mittelwert Ein weiterer Schritt ist die Regressionsanalyse. Dieser ist insofern von Bedeutung, als in der Praxis die Klassen nicht wie in dem Beispiel aus 30 Bildern bestehen, sondern wesentlich mehr Trainingsdaten enthalten. Eine Herausforderung bei der Konzeption wird regelmäßig sein, zu entscheiden, wie groß die Ähnlichkeit eines neuen Bildes mit den anderen in der Klasse sein muss. Ein wichtiger Aspekt im Rahmen des maschinellen Lernens ist das Erlernen von sogenannten Ähnlichkeitsfunktionen. Die Regressionsanalyse dient dem Zweck, diese effizient umzusetzen. Wenn die Klassen aus extrem vielen Daten bestehen, würde bei weiter zunehmender Anzahl von Bildern ein Ähnlichkeitsabgleich mit einer extrem hohen Anzahl von Bildern erfolgen müssen. Aus diesem Grund erfolgt eine Regressionsanalyse, um sich den Bildern in einer sehr großen Klasse mithilfe einer Annäherungsfunktion zu nähern, anstatt jedes Bild einzeln zu vergleichen. Diese Funktion kann dann ungefähr schätzen, wie der entsprechende Wert sein sollte. Einer riesigen Klasse, bestehend aus einer Unmenge von Daten, kann sich der Lern­algorithmus mithilfe dieser Funktion annähern. Die Abbildung 2 stellt die Regression dar, indem bei vorgegebener Variable x und abhängiger Variable y die Gerade so an die Daten angepasst wird, dass ein minimaler Abstand der Geraden von den Beispieldaten entsteht. Nun können die an den Daten ermittelten Schnittpunkte mit der y-Achse sowie die Steigung der Geraden verwendet werden, um das jeweilige Ergebnis neuer Werte vorherzusagen, ohne dass sämtliche Daten bei jedem Input von Neuem ausgewertet werden müssen.138 Im Rahmen des überwachten Lernens lernen die Algorithmen diejenigen Parameter einer numerischen Funktion, welche die Trainingsdaten möglichst gut treffen soll. Die Qualität des Lernerfolgs hängt von der Qualität der zum Lernen verwendeten Trainingsdaten ab. Das KI-System kann daher insgesamt fehleranfällig werden, wenn entsprechende Labels falsch sind oder für das Erlernen der Signifikanz bestimmter Parameter die dafür erforderlichen Trainingsdaten fehlen. Im Rahmen einer Schrifterkennung wird das System, wenn im Training selten die Ziffer 4 vorkommt oder gelegentlich als 7 markiert ist, fälschlicherweise auch handschriftliche Vieren als 7 interpretieren. Insofern zeigt sich hier die Bedeutung des Menschen im Rahmen von KISystemen und damit wird auch eine Scheinautomation solcher Systeme deut138  Raschka/Mirjalili,

Machine Learning, 2018, S. 29.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 69

Abbildung 2: Regression. Quelle: Raschka/Mirjalili, Machine Learning, 2018, S. 29.

lich: Es erfordert einen erheblichen manuellen Aufwand, um geeignete Trainingssets zu entwickeln, in denen passende Daten mit den korrekten Labels markiert wurden.139 cc) Unüberwachtes Lernen Im Gegensatz zum überwachten Lernen sind beim unüberwachten Lernen140 keine passenden In- und Output-Trainingsdaten vorhanden. (1) Clustering Das liegt im Wesentlichen daran, dass es sich um sehr große Mengen an unstrukturierten Datensätzen handelt, von denen der Mensch selbst im Vor139  Insoweit gibt es auch kombinierte Lernstile, wie etwa das semi-überwachte Lernen. Hier werden überwachtes und unüberwachtes Lernen in Ermangelung hinreichend brauchbarer Trainingsdaten kombiniert. Auf dem Vormarsch sind in diesem Zusammenhang auch sogenannte synthetische Daten, die von neuronalen Netzen – sog. Generativ Adversarial Networks – generiert werden. Zur rechtlichen Einordnung vgl. Raji, DuD 2021, 303–309. 140  Englisch: unsupervised learning.

70

Teil 2: Terminologie der KI und technische Grundlagen

feld meist nicht weiß, nach welchen Kriterien diese Daten aufgeteilt werden können.141 Insofern dient das unüberwachte Lernen dem Zweck, Strukturen und Unterschiede in den Daten zu erkennen, indem Gruppen bzw. sogenannte Cluster gebildet werden. Geeignet ist Clustering z. B. für die Segmentierung von Kundendaten, um Zielgruppen zu identifizieren, die man auf ähnliche Weise ansprechen möchte.142 Innerhalb der Verwaltung kann Clustering zur Datenexploration eingesetzt werden, sodass darauf aufbauend weitere Analysen des Datenbestands erfolgen können. Ziel des unüberwachten Lernens ist es vor allem, unbekannte Zusammenhänge zwischen Daten zu erkennen und dadurch neues Wissen über die vorhandenen unstrukturierten Daten ableiten zu können. Sind erst einmal die wichtigsten Cluster bekannt, können neue Daten anhand ihrer Eigenschaften eben diesen Clustern zugeordnet werden, was dann eine Klassifikationsaufgabe ist.143 Daher wird das unüberwachte Lernen auch als Data Mining bezeichnet.144 Das BVerfG hat Data Mining als „Generierung neuer Erkenntnisse aus den Querverbindungen der gespeicherten Datensätze“ definitorisch konturiert.145 (2) Abgrenzung Clustering und Klassifikation Bei der Klassifikation stehen die kategorialen Gruppen bereits fest (Katze, nicht Katze). Es geht also im Wesentlichen darum, die Charakteristika der Objekte bzw. Inputs herauszubekommen.146 Ziel ist damit die korrekte Zuordnung der Eingaben in die vordefinierten Klassen. Beim Clustering hingegen stehen die Gruppen noch nicht fest. Es geht vielmehr gerade darum, solche Gruppen, die auf signifikanten Gemeinsamkeiten der Daten basieren, herauszufinden. Im Beispiel der Spamfilter könnten sich hier anhand von Gemeinsamkeiten zwei Cluster bilden, die ein Experte dann als „Spam“ und „nicht Spam“ erkennen kann.

141  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Anwendungen und Forschungsbedarf, 2018, S. 26. 142  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Anwendungen und Forschungsbedarf, 2018, S. 26. 143  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Anwendungen und Forschungsbedarf, 2018, S. 26. 144  Gutachten der DEK 2019, S. 58. 145  BVerfG 1 BvR 3214/15 – Antiterrordateigesetz II. 146  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Anwendungen und Forschungsbedarf, 2018, S. 27.

Lernen – Kompetenzen, Lernen – Kompetenzen, Lernen – Kompetenzen,

Lernen – Kompetenzen,



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 71

(3) Dimensionsreduktion Die Dimensionsreduktion ist ein weiterer Schritt im Rahmen des unüberwachten Lernens, um das System funktionsfähiger zu gestalten. Jedes einzelne Merkmal eines Inputs kann mathematisch als eine Dimension auf­ gefasst werden.147 Es kommt vor, dass die Abstände zwischen den Datenpunkten sehr groß werden, sodass ein Datenbestand hoher Dimensionalität entsteht. Dadurch werden enorme Ressourcen an Speicherplatz und Rechenkapazität beansprucht.148 Das passiert dadurch, dass vernachlässigbare Korrelationen zwischen den Daten dennoch festgestellt werden. Hier knüpft die Dimensionsreduktion an, indem Daten mit vielen, vermutlich korrelierten Merkmalen in eine Darstellung mit wenigen, nicht korrelierten Merkmalen überführt werden.149 Die Daten werden also in kleinere Gruppen geringer Dimensionalität aufgeteilt. So werden die Daten von einem sogenannten „Rauschen“, also von vernachlässigbaren Korrelationen befreit. In manchen Fällen kann die Dimensionsreduktion zu einer Abschwächung der Aussagekraft der Algorithmen führen,150 bei einem starken Rauschen, d. h. bei einer Datenmenge mit einer großen Anzahl irrelevanter Merkmale, die Aussagekraft aber auch verbessern. dd) Verstärkendes Lernen Ein weiterer Lernstil im Bereich des maschinellen Lernens ist das sogenannte verstärkende Lernen.151 Hier besteht die Zielsetzung darin, ein System zu entwickeln, das Leistung durch Interaktionen mit seiner Umgebung verbessert.152 Da auch hier Feedback ein zentraler Bestandteil des Lernprozesses ist, ist hier eine nahe Verwandtschaft mit dem überwachten Lernen zu sehen.153 Das Feedback besteht in Abgrenzung zum überwachten Lernen in einem Belohnungssignal. Das Signal ist also nicht richtig oder falsch, sondern vielmehr gut oder schlecht. Um das bestmögliche Belohnungssignal zu bekommen, probiert der Algorithmus nach dem Trial-and-Error-Prinzip verschiedene Möglichkeiten aus. Ein klassisches Beispiel für verstärkendes Lernen ist der Schachcomputer: Der Algorithmus bewertet nach einer Reihe 147  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 27. 148  Raschka/Mirjalili, Machine Learning, 2018, S. 32. 149  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 27. 150  Raschka/Mirjalili, Machine Learning, 2018, S. 32. 151  Englisch: reinforcement learning. 152  Raschka/Mirjalili, Machine Learning, 2018, S. 29. 153  Raschka/Mirjalili, Machine Learning, 2018, S. 29.

72

Teil 2: Terminologie der KI und technische Grundlagen

von Schachzügen die Stellung auf dem Schachbrett – der Umgebung – und das Belohnungssignal am Ende des Spiels kann dann „Sieg“ oder „Niederlage“ sein.154 Dem selbstlernenden Algorithmus geht es hierbei einzig um eine Maximierung des Belohnungssignals durch diverse Interaktionen mit der Umgebung. Im Schachspiel kann jedem Schachzug ein positiver oder negativer Wert zugeordnet werden und die Belohnung kann dadurch definiert werden, dass ein Gesamtziel erreicht wird, wie z. B. das Gewinnen des Schachspiels.155 c) Modelle von Machine-Learning-Algorithmen Unabhängig von den Lernstilen gibt es eine Vielzahl von Modellen, die sich unterscheiden. Die Wahl des Modells hängt ebenso wie die Wahl des Lernstils davon ab, welche Zwecke verfolgt werden. Die Entscheidung der Modell-Wahl kann aber auch dann eine Rolle spielen, wenn es um die Frage geht, welche rechtlichen Anforderungen – insbesondere Transparenz (Stichwort: Blackbox) – mit welchem Modell am ehesten erfüllt werden können. Nachfolgend soll mit Blick auf Transparenzanforderungen auf das Modell der Entscheidungsbäume (aa)) und wegen der technischen Möglichkeiten das Modell der neuronalen Netze (bb)) eingegangen werden. aa) Entscheidungsbäume Entscheidungsbäume156 (englisch: Decision Trees) sind hierarchische Klassifikationsmodelle, in denen in einer Baumstruktur Entscheidungskriterien und ihre Ausgänge dargestellt werden.157 An jedem Verzweigungsknoten wird ein Merkmalswert abgefragt, und in den Endknoten (Blatt) steht eine Klasse.158 Die Entscheidungskriterien an den jeweiligen Verzweigungsknoten werden iterativ oder rekursiv mit dem Ziel zerlegt, dass die neue Aufteilung maximalen Informationsgewinn hat, was bei einem möglichst kleinen Entropiewert der Fall ist. Der Entropiewert bestimmt das Maß der Unreinheit (englisch: Impurity) und bestimmt die Aussagekraft der maschinellen EntscheiMachine Learning, 2018, S. 29. Machine Learning, 2018, S. 29. 156  Vgl. für weitere Arten von Entscheidungsbaum-Modellen Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 31. 157  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 30. 158  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 30. 154  Raschka/Mirjalili, 155  Raschka/Mirjalili,



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 73

dungen mit, da sich die Reinheit auf die klare Unterscheidbarkeit der Klassen bezieht.159 Ein neues Beispiel wird dann klassifiziert, nachdem die Entscheidungskriterien von der Wurzel bis zu einem Blatt geprüft worden sind. Modelle mit Entscheidungsbäumen werden im Besonderen im Rahmen des überwachten Lernens eingesetzt und sind besonders geeignet für Klas­ sifikationsaufgaben. Entscheidungsbäume können sich zur Erfüllung von Transparenzanforderungen eignen. Die Darstellung ist hilfreich, um Betroffenen die Funktionsweise und etwaige Gewichtungsparameter in einfacher Sprache zu erklären. Gleichzeitig können so etwaige Gewichtungsparameter, die für die Ausgabewerte von besonderer Relevanz waren, identifiziert und im Rahmen etwaiger Begründungen von Entscheidungen auch benannt werden. bb) Deep Learning und neuronale Netze Ein weiteres Modell sind neuronale Netze, die beim sog. Deep Learning vorkommen können. Das Deep Learning ist insoweit ein Teilbereich des maschinellen Lernens.160 Typische Einsatzfelder von Deep Learning liegen in den Bereichen der Sprach- und Bilderkennung, also der Mustererkennung.161 (1) Tiefe neuronale Netze Künstliche neuronale Netze sind angelehnt an die Struktur des menschlichen Gehirns. Das menschliche Gehirn verfügt über ein biologisches Netz mit ca. 100.000.000.000 Neuronen, die teils mit nur wenigen, teils aber auch mit vielen Tausenden von anderen Neuronen hochgradig parallel verbunden sind.162 Neuronen sind Recheneinheiten. Ein vereinfachtes neuronales Netz („Perzeptron“) besteht in der Regel aus einer Eingabeschicht, dem „Input“, einer Zwischenschicht und der Ausgabeschicht, dem „Output“. Tiefe künst­ liche neuronale Netze hingegen bestehen neben der Eingabe- und Ausgabeschicht aus vielen Schichten und Milliarden von Knoten. Die Vernetzung der Neuronen zu einem Netz erfolgt durch eine Anordnung in Schichten, den sogenannten „Layer“. Jedes einzelne Neuron innerhalb einer Schicht berech159  Aunkofer, Machine Learning vs Deep Learning – Wo liegt der Unterschied?, abrufbar unter: https://data-science-blog.com/blog/2018/05/14/machine-learning-vsdeep-learning-wo-liegt-der-unterschied/. 160  Gausling, DSRITB 2018, 519, 521. 161  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 37. 162  Breitner, Neuronales Netz, Enzyklopädie der Wirtschaftsinformatik, OnlineLexikon, abrufbar unter: http://www.enzyklopaedie-der-wirtschaftsinformatik.de/ lexikon/technologien-methoden/KI-und-Softcomputing/Neuronales-Netz (zuletzt abgerufen am 17.01.2019).

74

Teil 2: Terminologie der KI und technische Grundlagen

net eine parametrisierte mathematische Funktion seiner Eingaben und übermittelt seine Ergebnisse an andere Neuronen, die damit weitere Berechnungen anstellen.163 Jedes Neuron innerhalb einer Schicht errechnet somit einen eigenständigen Ausgabewert. Erfolgt als Input ein Katzenbild, so wird es mathematisch in Zahlenvektoren transformiert und innerhalb des Netzwerkes werden viele Einzelentscheidungen getroffen, die dann zu einem Endergebnis führen, dem Output als Ausgabeentscheidung. Im Fall der Bilderkennung wird das künstliche neuronale Netzwerk mit einer großen Menge an „Trainingsbildern“ versorgt, auf deren Basis Gesetzmäßigkeiten und Wesensmerkmale selbst erkannt werden sollen. Das Netzwerk soll erlernen, was die typischen Merkmale der Physiognomie von Katzen sind, um neue Bilder als Katzen oder eben Nicht-Katzen klassifizieren zu können. (2) Training und das Blackbox-Phänomen Komplexe kognitive Aufgaben erfordern eine gewisse Tiefe des Netzwerks. Beim Deep Learning bestehen zwischen der Eingabe und der Ausgabe verschiedene Schichten. Was auf diesen Stufen genau passiert, ist nicht mehr nachvollziehbar. Welche Gewichtungsparameter auf der einzelnen Stufe festgelegt werden, ist für den Menschen nicht mehr einsehbar. Das künstliche neuronale Netz entwickelt sich eigenständig weiter. Das Training erfolgt hier lediglich durch eine ausreichende Versorgung mit Beispieldaten. Diese Methode war entscheidend dafür, dass das Computerprogramm AlphaGo164 einen der weltbesten Spieler des chinesischen Brettspiels Go besiegen konnte. Die Übersetzungsmaschine von Google basiert auf einem tiefen neuronalen Netzwerk mit acht Schichten und konnte eine Sprache in eine andere übersetzen, ohne zuvor hierfür trainiert worden zu sein.165 Der Output der letzten Schicht im neuronalen Netz stellt die Entscheidung des Netzes für einen bestimmten Input dar, wobei die Schichten zwischen Input- und Output-Schicht in diesem Zusammenhang auch als „versteckte“ Schichten (Hidden Layer) bezeichnet werden.166 Bei einem tief lernenden neuronalen Netz handelt es sich um eine riesige Sammlung vereinfachter künstlicher neuronaler Netze („Perzeptronen“), die in Schichten miteinander verbunden sind.167 Die Gewichte und Verzerrungen („Bias“) jedes Perzeptrons beeinflussen die Art der 163  Bauckhage, Christian, Was ist künstliche Intelligenz, 2018, abrufbar unter: https://www.ki-und-verwaltung.de/downloads/bauckhage-was-ist-ki.pdf. 164  https://de.wikipedia.org/wiki/AlphaGo. 165  Vgl. Martini, Blackbox Algorithmus, 2019, S. 43. 166  Gausling, DSRITB 2018, 519, 523. 167  Gausling, DSRITB 2018, 519, 523.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 75

Ausgangsentscheidung des gesamten Netzes.168 Eben hierauf bezieht sich das eigentliche Lernen, die Stärke der Verbindungen zwischen den Knoten benachbarter Schichten. Beim Trainieren eines künstlichen neuronalen Netzwerks geht es somit um eine optimale Kalibrierung der Verbindungsgewichte.169 In einem perfekt abgestimmten neuronalen Netz sind alle Gewichtsund Verzerrungswerte der Perzeptronen so gewählt, dass die Differenz zwischen Ausgangsentscheidung und Input gering ist.170 Eine entsprechende Konfiguration erfolgt durch ständiges Wiederholen während der Lernphase des Netzes, dem sogenannten Deep Learning.171 Das Training erfordert eine Vielzahl von Trainingsdaten und Fällen, in denen der gewünschte Output im Vorfeld bekannt ist.172 Nach der Trainingsphase sind alle Gewichte und Verzerrungen der Perzeptronen idealerweise auf ihre endgültigen Werte abgestimmt, die während des Lernprozesses auf Grundlage von Abweichungen bzw. Fehlaussagen ermittelt werden, und der Algorithmus ist in der Lage, für alle Fälle die richtige Entscheidung zu treffen.173 Die Verbindung zwischen den Schichten und der mathematischen Funktion jedes Perzeptrons bestimmt der Programmierer.174 Die Eingaben werden Schicht für Schicht transformiert und erzeugen schließlich einen Output, d. h. einen Wert zwischen 0 und 1, der als Wahrscheinlichkeit das sog. Konfidenzniveau der Entscheidung für den Input angibt.175 Eine große Anzahl von Perzeptronen im neuronalen Netz – diese bestehen in der Regel aus etwa 10–20 Schichten – führt zu einer höheren Auflösung im Entscheidungsfindungsprozess, was den Wert der darauf basierenden Entscheidung erhöht.176 Da die algorithmische Logik der Entscheidungsfindung in den Gewichten und Verzerrungen tausender Perzeptronen verteilt ist, ist es unmöglich, diese Logik im Detail nachzuvollziehen.177 Man spricht hier von einer „Black Box“.178 Es wird im Rahmen der DSRITB 2018, 519, 523. et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 39. 170  Gausling, DSRITB 2018, 519, 523. 171  Gausling, DSRITB 2018, 519, 523; für eine präzise Erläuterung, wie solche sogenannten „Back-Propagation“-Berechnungen stattfinden, Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 39. 172  Gausling, DSRITB 2018, 519, 523. 173  Gausling, DSRITB 2018, 519, 523. 174  Gausling, DSRITB 2018, 519, 523. 175  Gausling, DSRITB 2018, 519, 523. 176  Gausling, DSRITB 2018, 519, 524. 177  Gausling, DSRITB 2018, 519, 524. 178  Pasquale, The black box society, 2015, prägte den Begriff der „Black Box“ bzgl. der Verarbeitung von personenbezogenen Daten mittels algorithmenbasierter Entscheidungen. 168  Gausling, 169  Döbel

76

Teil 2: Terminologie der KI und technische Grundlagen

Informatik intensiv daran gearbeitet, technische Lösungen zu entwickeln, um die algorithmischen Entscheidungen nachvollziehbar zu machen.179 d) Zwischenergebnis Die Funktionsweise von KI-Systemen hängt davon ab, welcher Lernstil und welches „Modell“ bei der Erfüllung der öffentlichen Aufgabe zum Einsatz kommen. Hinsichtlich der Opazität gibt es graduelle Unterschiede, die Auswirkungen auf die rechtliche Bewertung haben, insbesondere im Zusammenhang mit Fragen der Transparenz. 3. KI erkennt selbst wechselseitige Beziehungen zwischen In- und Output Unabhängig vom Lernstil oder von dem jeweiligen Modell ist bedeutsam, dass KI-Systeme Korrelationen und keine Kausalitäten oder sonstige symbolischen Gesetze finden.180 Insofern kann das System die Achtung der Rechte und Freiheiten der betroffenen Personen nicht als Maßstab im Auswertungsprozess berücksichtigen, sodass diese Systeme schon aufgrund ihrer Funktionsweise fehleranfällig sind, wenn es um die Auslegung von normativen Tatbestandsmerkmalen geht. Dem System kann man ein Grundrechtsverständnis und ein Diskriminierungsverbot nur mittelbar durch das Training angedeihen lassen. Nur mathematisch abbildbare Fragen können Teil algorithmischer Entscheidungen sein. Auch Gesetzestatbestände, die eine gebundene Entscheidung vorsehen, stellen gewissermaßen Algorithmen dar. Aber nicht jede Norm, die eine gebundene Entscheidung vorsieht, kann geeignet sein, um von KI-Systemen geprüft zu werden. Denn auch Normen mit gebundenen Entscheidungen können unbestimmte Rechtsbegriffe enthalten, von denen KI-Systeme kein „Verständnis“ entwickeln können. Keinem algorithmischen System ist es möglich, mathematisch zu berechnen, wer in Zukunft wieder kriminell wird. Es darf jedoch davon ausgegangen werden, dass es Regeln gibt, nach denen Menschen sich entscheiden, wieder kriminell zu werden, oder dass in den Informationen über sie Hinweise auf Umstände enthalten sind, die ihr Verhalten bedingen.181 Diese Regeln können mithilfe 179  Vgl. Martini, Blackbox Algorithmus, 2019, m.  w. V. auf: Binder/Montavon et al., Layer-wise Relevance Propagation for Neural Networks with Local Renormalization Layers, in: Wilson/Kim/Kerlands (Hrsg.), Proceedings of NIPS 2016 Workshop on Interpretable Machine Learning for Complex Systems, 2016, S. 1 ff.; Visualisierungskonzepte; Yosinski/Clune et al., Understanding Neural Networks Through Deep Visualization, 2015. 180  Vgl. Varian, Beyond Big Data, Business Economics, 2014, 27–31. 181  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 4.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 77

selbstlernender Algorithmen aus den Informationen über die Person und ihr bisheriges Verhalten abgeleitet werden.182 Soweit soziale Phänomene mathematisch abbildbar sind, können sie auch Grundlage von Entscheidungen von KI-Systemen sein.183 Auch wenn der Wunsch nach neuem Wissen durch bislang unbekannte Korrelationen eine der großen Verheißungen intelligenter Systeme ist, muss berücksichtigt werden, dass es ausgesprochen schwierig sein kann, nachzuvollziehen, ob die im Datenbestand aufgespürten Korrela­ tionen tatsächlich prädiktive Kraft haben oder aber nur unproduktive statistische Artefakte identifizieren.184 a) Der Unterschied zwischen Regression und Korrelation Tatsächlich bestehende Korrelationen können falsch interpretiert werden, sodass eine Korrelation zwischen dem Intelligenzquotienten und der Schuhgröße bei Heranwachsenden für einen brauchbaren Aussagegehalt eine weitere Variable benötigt: nämlich das Alter, sodass die vorbenannte Korrelation vernachlässigbar ist. Die Regressionsanalyse und die vom KI-System festgestellten Korrelationen sind voneinander zu unterscheiden. Korrelationen beziehen sich auf festgestellte Zusammenhänge zwischen Variablen, wohingegen die R ­ egression darauf zielt, anhand der festgestellten Zusammenhänge den Wert der Variablen statistisch bestmöglich durch Annäherung zu schätzen. Erst die Regression ermöglicht es somit, neue Fälle einzuschätzen, wohingegen die Korrelationen sich auf existente Fälle beziehen. b) Der Mensch und das Regressionsphänomen Auch der Mensch ist dem Gesetz der Regression unterworfen, denn Regressionseffekte sind allgegenwärtig.185 Das Regressionsphänomen186 ist ein statistisches Ergebnis, das davon ausgeht, dass es zwangsläufig zu einer Regression kommt, wenn Korrelationen zwischen zwei Variablen nicht zu 100 % übereinstimmen. Die erfundene Schlagzeile

Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 4. Maschinelles Lernen, 2. Auflage 2019, S. 41. 184  Wischmeyer, AöR 143, 2018, S. 23; z. B. die Korrelation zwischen der Autofarbe Orange und der Unfallhäufigkeit. 185  Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 224 f. 186  Francis Galton, Regression Towards Mediocrity in Hereditary Stature, The Journal of the Anthropological Institute of Great Britain and Ireland, Vol. 15, 1886, 246–263. 182  Zweig,

183  Alpaydin,

78

Teil 2: Terminologie der KI und technische Grundlagen

„Bei depressiven Kindern, die mit einem Energiedrink behandelt werden, verbessert sich die Stimmungslage deutlich über einen dreimonatigen Zeitraum“187

hat einen gewissen Wahrheitsgehalt. Das liegt aber daran, dass sich wegen der Regression zum Mittelwert die Stimmungslage verbessert und die Ex­ tremgruppe – depressive Kinder – über einen Zeitraum von drei Monaten zu einem Mittelwert regrediert, sodass sich wegen eines nicht 100 % übereinstimmenden Depressionsscores die Stimmungslage der Kinder auch dann verbessert, wenn sie keinen Energiedrink trinken. Dadurch, dass die festgestellten Korrelationen in eine kausale Geschichte eingebettet werden, entsteht in dem Beispiel ein erheblicher Interpretationsfehler. c) Zwischenergebnis Aus den vorstehenden Ausführungen lassen sich drei Zwischenergebnisse schlussfolgern. Erstens: KI-Systeme liefern Ergebnisse, die Korrelationen und keine Kausalitäten feststellen. Es ist die Aufgabe von Statistikern, die gefundenen Ergebnisse von KI-Systemen korrekt zu interpretieren, da die Verwechslung bloßer Korrelationen mit Kausalitäten ein erhebliches Diskriminierungspotenzial birgt oder zumindest zu Fehlinterpretationen führen kann. Zudem lassen sich die maschinell gelieferten statistischen Ergebnisse durch Menschen umfangreicher ausschöpfen. In Umgebungen niedriger Validität, d. h. Tatbeständen mit einem erheblichen Maß an Ungewissheit und Unvorhersehbarkeit, wie z. B. der Beurteilung der Eignung von Pflegeeltern, dem Rückfallrisiko von Straftätern und der Wahrscheinlichkeit anderer Formen gewalttätigen Verhaltens können hinreichend belastbare Korrelationen präzise Prog­nosen unterstützen.188 Insofern zeigt sich hieran einmal mehr, dass das volle Potenzial der KI in einer Kollaboration aus Mensch und Maschine besteht. Zweitens zeigt sich anhand der technischen Grenzen solcher intelligenter Systeme, dass diese sich vorrangig auf Tatsachenebene eignen und nicht komplexe Rechtmäßigkeitsvoraussetzungen eigenständig überprüfen können.189 Gleichwohl hat der Gesetzgeber mit der Schaffung des § 35a VwVfG den Weg für vollautomatisierte Entscheidungen freigemacht. Demnach sind eine maschinelle Tatsachenermittlung sowie die Subsumtion in einfach gelagerten Fällen ohne Interpretationsspielraum möglich. Den technischen BeSchnelles Denken, Langsames Denken, 2011, S. 224 f. Schnelles Denken, Langsames Denken, 2011, S. 276; Wischmeyer, AöR 143, 2018, 14. 189  Wischmeyer, AöR 143, 2018, 40. 187  Kahneman, 188  Kahneman,



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 79

schränkungen hat der Gesetzgeber durch eine restriktive Ausgestaltung des Anwendungsbereichs dieser Norm Rechnung getragen.190 Drittens sind Trainingsdaten für jegliche KI-Systeme essenziell. Sollte keine ausreichende Masse an „guten“ und repräsentativen Daten vorhanden sein, wird das KI-System gleichwohl Zusammenhänge herstellen. Der notdürftige Bestand an Daten wird im Entscheidungsergebnis zu algorithmischen Verzerrungen („Bias“) führen, ähnlich wie Vorurteile aufgrund mangelnder Erfahrung, denen Menschen unterliegen. Hier gilt insoweit das Prinzip „Garbage in, Garbage out“. Dass auch im Bereich der Bilderkennung Menschen diskriminiert werden können, zeigt ein Bilderkennungssystem von Google – „Google Fotos“: Das System soll innerhalb einer Fotosammlung durch eine Vorkategorisierung nützlich sein. Wegen unzureichender Trainingsdaten wurden dunkelhäutige Menschen in einem Fotoalbum der Kategorie „Gorillas“ zugeordnet.191 4. Vier Wesensmerkmale der Big-Data-Analyse Insbesondere künstliche neuronale Netze und das Deep Learning sind derzeit in der Forschung sehr beliebt. Das liegt im Wesentlichen daran, dass Big Data, ein weiteres Aufsehen erregendes Begriffspaar, neue Potenziale in Aussicht gestellt hat. KI-Systeme sind datenbasiert und viele Modelle bedürfen einer Menge von Daten. In diesem Zusammenhang stellen sogenannte Big-Data-Analysen einen wichtigen Aspekt des Machine Learnings dar. Vier Merkmale sind von zentraler Bedeutung. Der Begriff Big Data verweist auf Möglichkeiten des Zugriffs auf gewaltige Mengen von Daten („High Volume“) unterschiedlicher Art, Qualität und Wege der Erhebung, Speicherung und des Zugriffs („High Variety“) und auf die hohe Geschwindigkeit ihrer Verarbeitung („High Velocity“).192 Möglich werden neue und höchst leistungsfähige Formen der Datenprozessierung, der Überprüfung ihrer Stimmigkeit und auch der Qualitätssicherung („Veracity“).193

190  Vgl.

Wischmeyer, AöR 143, 2018, 40. 2015, Google entschuldigt sich für fehlerhafte Gesichtserkennung, abrufbar unter: https://www.spiegel.de/netzwelt/web/google-fotos-bezeichnetschwarze-als-gorillas-a-1041693.html. 192  Hoffmann-Riem, AöR 142, 2017, 7; Hoffmann-Riem, Big Data – Regulative Herausforderungen, 2018, S. 19. 193  Hoffmann-Riem, AöR 142, 2017, 7; Hoffmann-Riem, Big Data – Regulative Herausforderungen, 2018, S. 19. 191  Spiegel-online,

80

Teil 2: Terminologie der KI und technische Grundlagen

5. Der Mensch als Element in der KI Der Mensch spielt insoweit eine zentrale Rolle bei der Entwicklung und dem Einsatz von KI-Systemen. Soweit das KI-System personenbezogene Daten verarbeitet, kann regulatorisch an die menschliche Supervision angeknüpft werden, indem zwingend technische und organisatorische Maßnahmen vom Menschen zu ergreifen sind, um das Risiko für die Rechte und Freiheiten natürlicher Personen zu minimieren.194 a) Auswahl der Daten, Anleitung und Überwachung des Lernprozesses Menschen können in die Aufbereitung, Auswahl und Gestaltung der relevanten Daten sowie der verwendeten Programme, Modelle und Algorithmen involviert sein.195 Durch die menschliche Programmgestaltung werden dabei äußere Parameter für das Verhalten des Systems festgelegt, die einen Kontrollzusammenhang zwischen Mensch und Maschine begründen.196 Das Training läuft nicht vollkommen autonom, sondern unterschiedlich intensiv menschlich angeleitet und überwacht ab. Eine wichtige Aufgabe des Menschen wird die Vorverarbeitung197 (bzw. Veredlung198) der Rohdaten sein, da eine wenig repräsentative Datenlage zu falsch gelernten Modellen führt. Noch ein Beispiel aus dem Bereich der Bilderkennung: Wenn das KISystem auf den Bildern Flugzeuge erkennen soll und die Trainingsdaten ausschließlich aus Bildern bestehen, die Flugzeuge in der Luft zeigen, besteht die Gefahr, dass der blaue Hintergrund als relevantes Merkmal klassifiziert wird, sodass Bilder von Flugzeugen im Hangar erst gar nicht erkannt werden.199 Insofern spielt der Mensch für die Performanz eines Modells bei der Vorauswahl und der Vorverarbeitung von geeignetem, diskriminierungsfreiem Trainingsmaterial eine zentrale Rolle, damit algorithmische Verzerrungen ausgeschlossen werden.200 Was passiert, wenn die menschliche Su194  DSK, Empfehlungen für eine datenschutzkonforme Gestaltung von KI-Systemen, 2019. 195  Wischmeyer, AöR 143, 2018, 14. 196  Wischmeyer, AöR 143, 2018, 14. 197  Vgl. Raschka/Mirjalili, Machine Learning, 2018, S. 35; vgl. Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 47, 48. 198  DSK, Empfehlungen für eine datenschutzkonforme Gestaltung von KI-Systemen, 2019, S. 9. 199  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 47. 200  Vgl. zur Gefahr rassistischer Chatbots, Maak, Niklas, Sind alle Bots Nazis?, Frankfurter Allgemeine Sonntagszeitung, 20. Oktober 2019, Nr. 42, S. 38.



C. Technische Grundlagen in Gegenüberstellung mit dem Menschen 81

pervision wegfällt und die Algorithmen ohne vorheriges Training und Sicherstellung von Robustheit zum Einsatz kommen, zeigt der von Microsoft entwickelte Chatbot Tay. Nach kürzester Zeit brachten Nutzer den Chatbot dazu, rassistische Tweets zu verbreiten, wie „bush did 9/11 and Hitler would have done a better job than the monkey we have now“, sodass Microsoft den Dienst einstellen musste.201 Für die Etablierung von KI-Systemen nimmt die Vorverarbeitung von Daten schätzungsweise einen Arbeitsaufwand von 50 bis 70 Prozent in Anspruch.202 Die unstrukturierten Rohdaten liegen nur selten in einer für die optimale Leistung des KI-Systems erforderlichen Form vor, sodass die Vorverarbeitung bzw. Veredlung der Daten ein zentraler Bestandteil ist.203 Dabei wird es – je nach Aufgabenbereich – wichtig und zugleich sehr arbeitsintensiv sein, die jeweiligen Merkmale einer Normierung zuzuführen, um ein optimales Ergebnis zu erzielen. Eine Herausforderung wird dabei sein, wie bedeutend die einzelnen Merkmale bei der Bestimmung der Ähnlichkeit sind, was auch das Flugzeug-Beispiel verdeutlicht hat.204 Eine Normierung der Merkmale kann dadurch erreicht werden, dass die ausgewählten Merkmale auf ein Intervall (0, 1) oder eine Standardnormalverteilung (Mittelwert 0 und Standardabweichung 1) abgebildet werden. Für die Feststellung, ob das System nicht nur die Trainingsdaten zufriedenstellend verarbeitet, sondern auch mit neuen Daten korrekte und verlässliche Ergebnisse liefert, ist es daher sinnvoll, den Datenbestand nach dem Zufallsprinzip in separate Trainingsund Testdatenmengen aufzuteilen: Zum Trainieren und Optimieren des Lernmodells kann eine Trainingsdatenmenge verwendet werden, während die Testdatenmenge bis zum Schluss zurückgehalten wird, um das endgültige Modell bewerten zu können. Das zeigt, dass bereits in dieser Phase menschlicher Supervision eine Menge an validen Trainings- bzw. Testdaten erforderlich ist, und zum anderen, dass solche Maßnahmen geeignete technische und organisatorische Maßnahmen sind, um Risiken für natürliche Personen einzudämmen.205 201  Metz, Rachel, Why Microsoft Accidentally Unleashed a Neo-Nazi Sexbot, MIT Technology Review, abrufbar unter: https://www.technologyreview.com/s/601111/ why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/. 202  Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 47. 203  Raschka/Mirjalili, Machine Learning, 2018, S. 35. 204  Vgl. zum Problem des Over- und Underfitting von Algorithmen Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. 48. 205  Vgl. für Empfehlungen für technische und organisatorische Maßnahmen DSK, 2019. Die DSK bemüht sich aus rechtlichen Gewährleistungszielen die technischen und organisatorischen Maßnahmen abzuleiten.

82

Teil 2: Terminologie der KI und technische Grundlagen

b) Bewertung der Konsequenzen von Entscheidungen Gesellschaftliche Zusammenhänge zu erkennen, die Kontextualität in eine Bewertung mit einfließen zu lassen, ist KI-Systemen nicht möglich, da sie nur Zusammenhänge zwischen einzelnen Daten feststellen. Der KI fehlt es insoweit an einem Wertesystem, an einem moralischen Kompass. Daher können KI-Systeme auch den Sinn der Daten nicht interpretieren, da das über die Feststellung einer Beziehung hinausgeht. Das KI-System ist daher auch nicht in der Lage, die gesellschaftlichen und individuellen Folgen von Entscheidungen einzuordnen oder selbstständig zu bewerten, sodass dies – die Bewertung der Konsequenzen von Entscheidungen – weiterhin die zentrale Aufgabe des Menschen bleiben wird.

III. Zwischenergebnis KI setzt stets drei Elemente voraus: große Datenmengen, maschinell lernende Algorithmen und schließlich den Menschen (für das Training und die Programmierung). Sämtliche regulatorischen Bestrebungen können daher an diesen Trägern der KI-Systeme anknüpfen.206 Gerade im Bereich des Trainings von KI-Systemen und des damit verbundenen Umgangs mit Daten ist ein geeigneter Regulierungsrahmen zwingend erforderlich.207 Insofern können Anforderungen wie Evidenz der Ergebnisse von KI-Systemen oder eine Pflicht zum Ergreifen von Validierungsmaßnahmen im Sinne von KI-Audits rechtlich-regulative Aspekte sein, die an diese drei Elemente anknüpfen.

D. Automationsgrade bei der Implementierung von KI-System-gestützten Entscheidungen im öffentlichen Sektor Werden KI-Systeme in Entscheidungsprozesse des Staates integriert, so haben diese Systeme per se eine große soziale Wirkmacht, womit ein hohes Risiko für die Rechte und Freiheiten der Bürgerinnen und Bürger einhergeht. Es stellt sich die Frage, welchen Grad an Automation KI-Systeme in Entscheidungsprozessen übernehmen dürfen bzw. was für ein Anteil an menschlicher Entscheidung übrigbleiben muss. Für den Fall, dass in bestimmten Bereichen eine vollautomatisierte maschinelle Entscheidung rechtlich nicht zulässig ist, stellt jedenfalls das Maß an zwingend erforderlicher 206  Vgl.

Wischmeyer, AöR 143, 2018, 10. NJW 2020, 2142, 2144; für eine Analyse bestehender regulativer Rahmen für Trainingsdaten vgl. Hacker, A Legal Framework for AI Training Data, 2020. 207  Hacker,



D. Automationsgrade bei der Implementierung83

mensch­licher Entscheidungshoheit eine rote Linie für die Implementierungsmöglichkeiten von KI-Systemen innerhalb von Verwaltungsentscheidungen dar.

I. Das Fünf-Stufen-Modell der Entscheidungen208 Je selbstständiger die Systeme werden, desto eher entziehen sich ihre Aktivitäten schließlich menschlicher Kontrolle, dadurch wandelt sich die Technik vom Hilfsmittel zum normativ relevanten Akteur.209 1. Assistiertes Entscheiden Auf dieser Stufe ermöglichen KI-Systeme assistierend Antworten auf komplexe Fragen und erleichtern die Entscheidungsfindung auf Grundlage der gelieferten Ergebnisse. Die Entscheidung über die zu treffende Frage trifft dann noch der Mensch. 2. Teilweises Entscheiden Das System übernimmt einerseits die Berechnung, z. B. die Abfolge von Transaktionen in einer Online-Bestellung.210 Gleichzeitig kann es aber in dedizierten Anwendungsfällen selbstständig Entscheidungen treffen. Die Entscheidungen hängen davon ab, ob der Mensch seine Präferenzen zuvor geäußert hat. Die Entscheidungen laufen entlang einer reglementierten Kette von Optionen. Die Verantwortung, diese Kette zu aktivieren, verbleibt beim Bediener. Die in Gang gesetzte Kausalkette ist für den Menschen nachvollziehbar und kontrollierbar. 3. Geprüftes Entscheiden Auf dieser Stufe entwickelt das System aus einer Situation heraus eigene Vorschläge.211 Auswahl und Priorisierung geschehen durch das algorithmische System, das nach eigenem Gutdünken auf alle verfügbaren Datenquellen zu208  Basierend auf Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 22; vgl. auch Autonomiegrade nach Ball/Callaghan, zusammenfassend Reichwald/Pfisterer, CR 2016, 208, 210. 209  Wischmeyer, AöR 143, 2018, 5. 210  Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 22. 211  Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. 22.

84

Teil 2: Terminologie der KI und technische Grundlagen

rückgreift (ggf. auch unqualifizierte, mehrdeutige oder irreführende). Dem Bediener bleibt es allerdings überlassen, Vorschläge anzunehmen, abzulehnen oder die Suche zu wiederholen und zusätzlich die Parameter zu ändern. 4. Delegiertes Entscheiden Ab hier überlässt ein Mensch dem System dauerhaft die Kontrolle über eine definierte Situation, z. B. die Steuerung der Kühlleistung eines Rechenzentrums.212 5. Vollautomatisiertes Entscheiden Das System übernimmt dauerhaft die Kontrolle über Entscheidungen für eine große und komplexe Anwendungsdomäne.213 In den festgelegten Situationen ist kein Bediener mehr nötig. Diese Stufe beschreibt ein autark arbeitendes System. Vollautomatisierte Verfahren sind nicht vollkommen neu, wie beispielsweise vollautomatisierte Verkehrseinrichtungen zeigen. Interessant sind im Zusammenhang mit den Entwicklungen auf dem Gebiet der KI Verfahren, die eine Sachverhaltsermittlung voraussetzen, ebenfalls vollautoma­ tisiert durchzuführen.214 Soweit auf dieser Ebene personenbezogene Daten verarbeitet werden, hat der Gesetzgeber mit dem grundsätzlichen Verbot vollautomatisierter Entscheidungen gemäß Art. 22 Abs. 1 DSGVO bereits eine rote Linie gezogen.215

II. Zwischenergebnis KI-Systeme können in einen Entscheidungsprozess integriert werden oder diesen vollständig ausfüllen. Je nach Automationsgrad (und Einsatzfeld) bestehen unterschiedliche rechtliche Grenzen für den Einsatz von KI-Systemen in staatlichen Entscheidungen.

212  Bitkom,

Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017,

213  Bitkom,

Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017,

S. 23. S. 23.

Digitalisierte Verwaltung, S. 311, Rn. 1. Art. 22 DSGVO und weitere Rechtsgrundlagen wird weiter unten gesondert eingegangen. 214  Binder-Seckelmann, 215  Auf

Teil 3

Paradigmatische Einsatzfelder Nachfolgend sollen Referenzbeispiele in den Blick genommen werden. Dabei soll sich die Auswahl der Beispiele auf den invasivsten Bereich – die Justiz und die Eingriffsverwaltung – beschränken. Hier sollen das sog. Predictive Policing und COMPAS, ein in der Justiz eingesetztes System, das mit sog. Rückfälligkeitsscores arbeitet, vorgestellt werden. Diese Beispiele beziehen sich auf Deutschland und die USA. Durch diese Beispiele sollen grundsätzliche Probleme und Risiken, die in Teil 4 etwas abstrakter bearbeitet werden, veranschaulicht werden. Unabhängig vom Einsatzfeld können sich diese Problemfelder gleichwohl auch anderenorts stellen, z. B. im Zusammenhang mit Chatbots in der Leistungsverwaltung.

A. Justiz Insbesondere assistierende Systeme, die bei der Bewertung von teilweise komplexen Sachverhalten einen Score als Hilfestellung liefern, können in der Verwaltung, aber auch in der Justiz eine immer größere Rolle einnehmen. Im privaten Bereich sind Auskunfteien, welche die Kreditwürdigkeit und Zahlungszuverlässigkeit von Verbrauchern bewerten, seit langem bekannt. Das nachfolgende Referenzbeispiel bezieht sich auf eine konkret in den USA eingesetzte Softwareanwendung und veranschaulicht gleichzeitig einen breiteren Trend.1 In diesem Zusammenhang wird daher auch die Frage erörtert, ob Risikobewertungssysteme in der Justiz, welche für die Strafzumessung relevant sind, bei der Beantwortung der einzelfallbezogenen Schuldfrage eingesetzt werden dürfen.

I. COMPAS: Rückfälligkeitsscore für Straftäter im Rahmen von Haftentscheidungen COMPAS ist das Akronym für Correctional Offender Management Profil­ ing for Alternative Sanctions und ein von dem Unternehmen Northpointe 1  Allgemein zu Risikobewertungssystemen Mayson, Yale Law Journal 2018, Bias In, Bias Out, 2218–2300.

86

Teil 3: Paradigmatische Einsatzfelder

(heute Equivant) entwickeltes Fallmanagement- und Entscheidungsunterstützungsinstrument, das von US-Gerichten verwendet wird, um die Wahrscheinlichkeit zu bewerten, dass ein Angeklagter rückfällig wird.2 In den USA haben solche Systeme somit schon Einzug in die Justiz gefunden.3 Der Einsatz beschränkt sich nicht nur auf die USA. In der Schweiz wird das System „ROS“ (Risikoorientierter Sanktionsvollzug) eingesetzt, welches das Rückfallrisiko verurteilter Straftäter errechnet und diese dabei auf der Grundlage von Daten zu begangener Tat, zu Vorstrafen sowie Persönlichkeitsmerkmalen in drei Risikoklassen einteilt.4 Das System dient der Unterstützung der Bewährungshilfe.5 Deutlich weiter geht das ältere amerikanische System COMPAS. Es unterstützt die Richter nicht nur im Zusammenhang mit der Bewährungshilfe, sondern auch im Rahmen von drei grundrechtssensiblen Haftentscheidungen: der Anordnung der Untersuchungshaft, der Festsetzung der Haftlänge und der vorzeitigen Haftentlassung (Strafaussetzung).6 Das Rückfälligkeitsvorhersagesystem bekommt z. B. neben den Straftaten einer Person auch die Information, ob Verwandte des Kriminellen ebenfalls in Haft waren.7 Der ausgegebene Scorewert hat für die betroffenen Personen schwerwiegende Folgen. Wird ein hoher Scorewert ausgegeben, entscheidet sich der Richter gegen eine Haftstrafe auf Bewährung, sodass der Score auch Auswirkungen auf das Strafmaß haben kann. 1. Informationsgrundlagen des Scorewerts Das System ermittelt aus den Informationen der Antworten auf 137 Fragen sowie den Angaben aus den Polizeiakten8 einen Scorewert (von 1 bis 10). Dieser Scorewert soll auf Grundlage diverser Informationen aus der Vergangenheit eine Aussage darüber treffen, was für ein Risiko der Betroffene für die Gesellschaft darstellt. Wie invasiv solche Systeme wirken, verdeutlichen 2  Vgl. https://en.wikipedia.org/wiki/COMPAS_(software); Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 9 ff.; Martini, Blackbox Algorithmus, 2019, S.  55 ff.; Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 46. 3  Mehr als 60 Prognosesysteme sind in den USA im Einsatz und unterstützen die Justiz bei ihren Entscheidungen, vgl. Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 9. 4  Die drei Risikoklassen sind definiert als „unbedenklich“, „begeht womöglich wieder leichte Straftaten“ und „begeht womöglich erneut schwere Delikte“. 5  Vgl. Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 46. 6  Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 46. 7  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 7. 8  Informationen aus Polizeiakten sind kein geeignetes Trainingsmaterial für KISysteme, dazu eingehend unter dem Fallbeispiel „Predictive Policing“.



A. Justiz 87

schon die Fragen9 wie z. B. „Hatten Ihre Eltern ein Drogen- und Alkoholproblem?“ oder „Fühlen Sie sich von Dingen, die Sie tun, gelangweilt?“, „Wie viele Ihrer Freunde waren schon mal verhaftet?“10 Im August 2013 verurteilte ein Richter einen Mann mit der Begründung zu achteinhalb Jahren Haft, die COMPAS-Bewertung habe ihn als ein hohes Risiko für die Gemeinschaft identifiziert.11 Von Schuldangemessenheit konnte hier nicht die Rede sein, denn der Verurteilte hat ein gestohlenes Fahrzeug gefahren und war vor der Polizei geflohen.12 Die blinde Adaption in algorithmisch vorgeschlagene Entscheidungen (Automation Bias), als wären die errechneten Ergebnisse quasi von Gott gegeben, zeigt auch dieses Beispiel: Ein Mann hatte sich wegen Diebstahls eines Schubrasenmähers und einiger Werkzeuge schuldig gemacht. Nachdem der Staatsanwalt noch eine verhältnismäßig niedrige Strafe gefordert hatte, hob der Richter das Strafmaß drastisch an, weil COMPAS für den Mann ein hohes Risiko für zukünftige Gewaltverbrechen prognostiziert hatte.13 Bei COMPAS offenbart sich nicht nur die Gefahr des Automation Bias, sondern auch die Diskriminierungsgefahr solcher Systeme. Um das allgemeine Rückfallrisiko oder das Rückfallrisiko für spezifische Gewalttaten zu prognostizieren, fließen auch Gewichtungsparameter wie Armut, Süchte oder kriminelle Verwandtschaft mit ein. Die genaue Gewichtung der einzelnen Parameter ist ein Geschäftsgeheimnis. Dennoch ist unbestritten, dass Gewichtungsparameter einfließen, auf welche der betroffene Angeklagte keinen Einfluss hat. Die Konsequenz liegt in Anbetracht 9  Vgl. Northpointe, Risk Assessment, abrufbar unter: https://www.documentcloud. org/documents/2702103-Sample-Risk-Assessment-COMPAS-CORE.html. 10  Vgl. Martini, Blackbox Algorithmus, 2019, S. 2; Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https:// www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing; zum Fragebogen: https://www.documentcloud.org/documents/2702103-Sample-RiskAssessment-COMPAS-CORE.htm. 11  Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-bias-riskassessments-in-criminal-sentencing; Martini, Blackbox Algorithmus, 2019, S. 3. Anhand dieses Beispiels wird sich nicht leugnen lassen, dass selbst erfahrende ausgebildete Entscheider wie Richter „Automation Bias“-Problemen verfallen können. 12  Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-bias-riskassessments-in-criminal-sentencing; Martini, Blackbox Algorithmus, 2019, S. 3. 13  Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-bias-riskassessments-in-criminal-sentencing.

88

Teil 3: Paradigmatische Einsatzfelder

vieler Beispiele14 auf der Hand: Je höher der von COMPAS ausgegebene Scorewert, desto wahrscheinlicher ist eine Haftstrafe.15 Dadurch zeigt sich das oben16 bereits angesprochene Problem: Entscheidungsunterstützende KISysteme haben – soweit sie dem menschlichen Entscheider lediglich einen Wert als Vorschlag liefern – einen starken Ankereffekt, den der menschliche Entscheider nur schwer übersteuern kann. Ein solches System wäre neben den verfassungsrechtlichen Grenzen (dazu sogleich) auch wegen der datenschutzrechtlich hohen Anforderungen nur schwer vorstellbar. Die vorbenannten Informationen stellen teilweise eine Verarbeitung besonderer Kategorien von personenbezogenen Daten dar, sodass die zusätzlichen hohen Anforderungen der Art. 9 und 10 DSGVO beachtet werden müssten. 2. Prognosesystem mit rassistischen Tendenzen Nachforschungen17 haben zutage gebracht, dass COMPAS zu rassistischen Entscheidungen tendiert. Die Prognosen des Systems variieren, abhängig von der Ethnie der Personen. Dabei kam es dem Unternehmen gerade darauf an, die Hautfarbe eben nicht als eigenes Inputkriterium zu erfassen.18 Im Ergebnis kam es zu erheblichen Fehlprognosen: Die Rückfallprognose für dunkelhäutige Personen, die tatsächlich nicht rückfällig wurden („false positives“), waren fast doppelt (45 %) so hoch wie bei Personen mit heller Hautfarbe (23 %). Umgekehrt privilegierte das System hellhäutige Straftäter in 48 % der Fälle, die jedoch tatsächlich wieder rückfällig wurden, mit einer geringeren Rückfallwahrscheinlichkeit („false negatives“), was auch zu geringeren Strafen geführt hat.19 Diese rassendiskriminierenden Tendenzen waren keine Zufallskorrelationen, sondern das Ergebnis einer relativ großen Vergleichsgruppe von 11.000 Fällen.20 Obwohl dunkelhäutige Angeklagte 14  Vgl. Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-biasrisk-assessments-in-criminal-sentencing. 15  Vgl. Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797. 16  Teil 2, C. I. 3. b) Der Anker-Effekt. 17  Angwin/Larson/Mattu/Kirchner, Machine Bias – There’s Software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-bias-riskassessments-in-criminal-sentencing. 18  Martini, Blackbox Algorithmus, 2019, S. 55. 19  Martini, Blackbox Algorithmus, 2019, S. 55. 20  Martini, Blackbox Algorithmus, 2019, S. 55 m. w. V. auf Kritik dieser Auswertung Dieterich/Mendoza et al., COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, 2016, S. 1, 20 ff.



A. Justiz 89

tatsächlich kein Verbrechen begingen, bedeutete die Einstufung als risikoreich, dass sie einer härteren Behandlung durch die Gerichte ausgesetzt waren.21 a) Das Korrelationsproblem bei Risikowerten Dieses Diskriminierungsrisiko offenbart technische Herausforderungen, die COMPAS nicht zu bewältigen vermag. Indem Ethnie kein inputrelevantes Kriterium sein sollte, versuchten die Entwickler dem System so Fairness und Diskriminierungsfreiheit angedeihen zu lassen.22 Der Ansatz, bei einer Entscheidung nicht an ein sensibles Datum anzuknüpfen, basierte auf Strukturen aus der analogen Welt, was die für Menschen zugeschnittene Gleichheitsdogmatik (Art. 3 GG) zeigt. Die Ergebnisse des Systems sollten den gleichen Aussagegehalt für alle Ethnien haben, hautfarbenunabhängig (absolute Ergebniszahlen für alle Ethnien). COMPAS versuchte einen Wert zu ermitteln, der es den Richtern ermöglicht, unabhängig von der Hautfarbe des Angeklagten jeweils die gleiche Aussage und ggf. auch dieselbe Entscheidung zu treffen.23 Der Ausschluss der Hautfarbe als Inputkriterium bewirkt bei KI-Systemen jedoch das, was es zu verhindern versuchte. Denn obwohl die Hautfarbe nicht explizit als Input-Kriterium bedacht werden sollte, korrelieren andere stellvertretende Kriterien mit der Hautfarbe und der Ethnie, wodurch im Grundsatz Kriminalität reduziert würde, aber zum Preis einer disparateren Rechtsprechung. Statistisch weisen in den USA dunkelhäutige Menschen eine insgesamt höhere Rückfallwahrscheinlichkeit auf.24 Insofern ist es für das System nicht möglich, das Ziel der gleichen absoluten Ergebniszahlen für alle Ethnien und gleichzeitig gleich hohe „false positive“-Zahlen für dunkelhäutige und hellhäutige Angeklagte zu erreichen.25 Die Zahl der „false positives“ bei Dunkelhäutigen im Hochrisikobereich ist notwendigerweise höher als bei Hellhäutigen, da die empirischen Rückfallraten nicht auf einzelne Risikokategorien, sondern auf die Gesamtgesellschaft abstellen.26 Hier offenbart sich das Korrelationsproblem, indem weggelassene Inputkriterien doch Einzug in die Entscheidung finden: Die Wahrscheinlichkeit, dass ein Mensch mit dunkler Haut zu Unrecht keine Strafaussetzung zur 21  Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797. 22  Martini, Blackbox Algorithmus, 2019, S. 55. 23  Martini, Blackbox Algorithmus, 2019, S. 55. 24  Martini, Blackbox Algorithmus, 2019, S. 56. 25  Martini, Blackbox Algorithmus, 2019, S. 56. 26  Martini, Blackbox Algorithmus, 2019, S. 56.

90

Teil 3: Paradigmatische Einsatzfelder

Bewährung erhält, steigt, weil das System ihn aufgrund der Hautfarbe in eine höhere Risikogruppe eingeteilt hat, sodass mittelbar in die Profilbildung für Risikogruppen Aspekte einfließen, die mit der Hautfarbe korrelieren.27 Das Problem ist, dass das KI-System von COMPAS vor allem mit historischen Daten – etwa mit Kriminalitätsstatistiken – trainiert wird. Diese Systeme können lediglich Korrelationen und nicht Kausalitäten erkennen, sodass sie das replizieren, was Teil des Datenbestandes der Akten ist. Daraus erwächst die Gefahr, dass Menschen, die Bevölkerungsgruppen (wie z. B. ethnischen Minderheiten oder Menschen mit schlechten finanziellen Möglichkeiten) zugeordnet werden, die in der Vergangenheit häufiger mit Strafverfolgungsbehörden zu tun hatten, schlechtere Prognosen erhalten.28 Wegen der nur schwachen Übersteuerung der Richter werden Menschen benachteiligt, allein weil sie algorithmisch dieser Gruppe zugeordnet wurden, wodurch vorhandene Verzerrungen nur bestärkt werden.29 Objektivität vermag das System daher nicht herzustellen. b) Strafzumessung ist eine einzelfallbezogene Schuldfrage KI-Systeme entscheidungsunterstützend im Rahmen von Haftentscheidungen einzusetzen, ist problematisch. Das hat im Wesentlichen zwei Gründe. Erstens: Bei der Strafzumessung ist es in der Praxis nicht möglich, jeder Schuld eine feste Strafhöhe als passgenaues Korrelat gegenüberzustellen, die als einzige als schuldangemessen bezeichnet werden kann.30 Nach der herrschenden sog. Spielraumtheorie31 liegt die im Einzelfall schuldangemessene Strafe innerhalb des gesetzlichen Strafrahmens, innerhalb dessen alle Strafhöhen noch schuldangemessen sind.32 Das ist darauf zurückzuführen, dass die Strafrechtslehre unterschiedliche Strafzwecke (Spezialprävention, Resozialisierung) verfolgt und im Einzelfall der entscheidende Richter unterschiedliche Strafzwecke als wichtiger einstuft und dementsprechend in ­Abhängigkeit von diesen Zwecken die einzelnen Tataspekte unterschiedlich gewichtet. Zu untersuchen, inwieweit das algorithmische System einen bestimmten Strafzweck als wichtiger bewertet und darauf die Auswertung basieren lässt, stellt eine nicht unerhebliche Herausforderung dar.33

Blackbox Algorithmus, 2019, S. 56. et al., Künstliche Intelligenz und Diskriminierung, 2019, S. 3. 29  Beck et al., Künstliche Intelligenz und Diskriminierung, 2019, S. 3. 30  Kinzig, in: Sch/Sch, StGB Kommentar, 30. Auflage 2019, Vor §§ 38 ff., Rn. 20. 31  Vgl. BGHSt 7, 28 (32). 32  Schäfer/Sander/van Gemmeren, Praxis der Strafzumessung, Rn. 828. 33  So auch Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 60. 27  Martini, 28  Beck



A. Justiz 91

Zweitens ist der Scorewert das Ergebnis statistischer Gruppendaten, die mit dem strafrechtlich relevanten Verhalten des Beschuldigten im konkreten Einzelfall nichts zu tun haben (dürfen).34 Es ist bedenklich, dass bei dem Scorewert an Gruppenmerkmale wie Geschlecht, Hautfarbe und Sexualität angeknüpft wird, die mit der Schuld nichts zu tun haben dürfen und auf die der Beschuldigte keinen Einfluss hat. Das BVerfG hat den Grundsatz, dass jede Strafe Schuld voraussetzt, aus der Menschenwürde (Art. 1 Abs. 1 GG) und dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) abgeleitet.35 Risikowerte, die auf Korrelationen von solchen Gruppenmerkmalen basieren und die Entscheidung eines Richters in einem Strafprozess lenken, schaden den Betroffenen. Zum einen droht mit hoher Wahrscheinlichkeit eine Diskriminierung nach Art. 21 Abs. 1 GRCh im Sinne einer Ungleichbehandlung von Gleichen. Zum anderen schaden solche Daten dem Angeklagten auf zwei Weisen: Erstens beeinflussen sie die Entscheidung des Richters, obgleich der Angeklagte auf diese Informationen niemals Einfluss gehabt hat. Zweitens basieren diese Daten auf Ereignissen der Vergangenheit, welche durch die unveränderlichen Merkmale verzerrt sind.36 Risikobewertungen sind nichts Neues, im Rahmen von Strafzumessung jedoch unter Berücksichtigung der allgemeinen Grundsätze im Strafprozess zu bewerten.37 § 56 Abs. 1 S. 1 StGB dient der Förderung der Resozialisierung des Verurteilten und regelt, unter welchen Voraussetzungen bei einer Verurteilung von einer Freiheitsstrafe von bis zu zwei Jahren die Strafe nicht vollstreckt wird, sondern zur Bewährung ausgesetzt werden kann bzw. muss. Maßgeblich ist eine „vorab zu prüfende, ausschließlich spezialpräventiv zu stellende günstige Legalprognose“38. Fest steht, dass die Grundlage der Strafzumessung nach § 46 Abs. 1 S. 1 StGB die Schuld des Täters ist, obgleich der Begriff der Schuld inhaltlich keine feste Kontur aufweist.39 Gegenstand der richterlichen Bewertung sind die Tat und der Täter, wobei Schuld als Tatschuld zu verstehen ist, d. h. als die in bestimmten Handlungen oder Unterlassungen aktualisierte Schuld, sodass die Tat einen wesentlichen Bewertungsgegenstand bei der Bemessung von Strafe bildet, obgleich daneben der Täter und seine Persönlichkeit Be-

34  Vgl.

Donohue, Harvard Journal of Law & Technology, 2019, 657, 662. 6, 439; 20, 331; 23, 132; 123, 413. 36  Barry-Jester et al., Should Prison Sentences Be Based On Crimes That Haven’t Been Committed Yet? 2015, abrufbar unter: https://fivethirtyeight.com/features/ prison-reform-risk-assessment/. 37  Auf diese soll nachfolgend nicht im Einzelnen eingegangen werden. 38  Heintschel-Heinegg, in: BeckOK StGB, 45. Ed. 1.2.2020, StGB § 56 vor Rn. 1. 39  Kinzig, in: Sch/Sch, StGB Kommentar, 30. Auflage, § 46 Rn. 4. 35  BVerfGE

92

Teil 3: Paradigmatische Einsatzfelder

rücksichtigung finden können.40 Daher sieht der BGH als Grundlagen der Strafzumessung „die Schwere der Tat in ihrer Bedeutung für die verletzte Rechtsordnung und der den Grad der persönlichen Schuld des Täters“.41 Dabei geht der Gesetzgeber auch davon aus, dass im Rahmen der Strafzumessung auch Umstände berücksichtigt werden können, die in keinem unmittelbaren Zusammenhang mit der Tat stehen, sondern ihr vorhergehen oder nachfolgen, was § 46 Abs. 2 S. 2 StGB verdeutlicht. Diese Anknüpfungsmöglichkeiten tragen dem Umstand Rechnung, dass die Tat als Bewertungsobjekt nicht eine isolierte Erscheinung im Leben des Täters sein kann, sondern in seine gesamte Lebensführung eingebettet ist, sofern diese Umstände jedoch für den Schuldumfang tatsächlich von Bedeutung sind.42 Welche umstandsrelevanten Gewichtungsparameter für die Schuld eine Rolle spielen können, muss der Richter im Einzelfall entscheiden. Das verdeutlichen die vielfach kritisierten43 Ehrenmord-Fälle44. Die Rechtsprechung trägt in diesen Fällen nunmehr dem Schuldprinzip Rechnung, indem sie den kulturellen Hintergrund des Täters zwar nicht objektiv bei der Entscheidung über die Niedrigkeit des Motivs, aber – mit unterschiedlichen Ansätzen – im subjektiven Bereich berücksichtiget.45 § 46 Abs. 2 S. 1 StGB fordert das Gericht auf, alle Umstände, die für und gegen den Täter sprechen, gegeneinander abzuwägen, sodass der Richter Milderungs- und Schärfungsgründe nach ihrer Bedeutung und ihrem Gewicht in Relation zueinander bringen muss.46 Der ausgelieferte Risikowert und der mit diesem einhergehende Ankereffekt sind im Zusammenspiel mit der opaken Funktionsweise des KI-Systems nicht geeignet, durch mildernde Faktoren ausgeglichen zu werden. Schlimmer noch, sie hindern den Richter an einer Entscheidungsfindung. In diesem Kontext scheinen KI-Systeme wegen ihrer beschränkten Fähigkeiten den Richter bei der komplexen Abwägung zu behindern. Insoweit kann ein KI-System – auch wenn es lernfähig ist – in solchen Konstellationen seine Gewichtungsparameter unmöglich derart granular an die spezielle Einzelsituation anpassen, sodass solche Systeme in der Justiz in: Sch/Sch, StGB Kommentar, 30. Auflage, § 46 Rn. 4. 20, 266, NJW 87, 3686. 42  Kinzig, in: Sch/Sch, StGB Kommentar, 30. Auflage, § 46 Rn. 8; BGH MDR 80, 240. 43  Rasche, Kultureller Rabatt für „Ehrenmord“, in: FAZ (Online), 2014, abrufbar unter: https://www.faz.net/aktuell/politik/staat-und-recht/empoerung-ueber-urteil-kul tureller-rabatt-fuer-ehrenmord-12863670.html. 44  Vgl. BGH NJW 1980, 537; BGH StV 1994, 182; BGH StV 1997, 565. 45  Neumann/Saliger, in: Kindhäuser/Neumann/Paeffgen, StGB Kommentar, 5. Auflage 2017, § 211 Rn. 30a. 46  Kinzig, in: Sch/Sch, StGB Kommentar, 30. Auflage, § 46 Rn. 6. 40  Kinzig, 41  BGH



A. Justiz 93

nicht mit Art. 1 Abs. 1 GG und Art. 20 Abs. 3 GG vereinbar sind. Denn die vergangenheitsgerichtete algorithmische Bewertung wird den Einzelfall, um den es eigentlich geht, in ihr System noch nicht aufgenommen haben, sodass nicht die Schuld des Täters mit solchen Systemen bewertet wird, sondern nur eine Prognose geliefert wird, wie diese aufgrund von Vergangenheitsdaten anderer Straftäter bewertet werden könnte. Unabhängig von der verfassungsrechtlichen Unvereinbarkeit solcher Systeme zeigt sich, dass selbstlernende Systeme dort versagen, wo neue Parameter, die in der Statistik bislang nicht oder nur kaum aufgetreten sind, aber große Auswirkungen auf die Entscheidung im Einzelfall haben, nicht abgebildet werden können. An der Einbeziehung des Bundeszentralregisters in den rechtlich zulässigen Grenzen in die Entscheidung bestehen hingegen keine Bedenken. Dort sind Informationen zum Vorleben des Täters enthalten, sodass ein bislang strafloses Vorleben ein Indiz für situative Umstände der Tat ist. Es ist unumgänglich, dass auch Richter sich unbewusst von Aspekten bis zu einem gewissen Grad leiten lassen, die grundsätzlich unzulässig wären. Da diese Beeinflussung in den Entscheidungsgründen oder sonst wo keine Erwähnung findet, bleibt unklar, welchen Einfluss etwa Vorurteile von Richtern tatsächlich auf die Entscheidung haben. Der Unterschied liegt aber darin, dass solche Systeme eine ungleich höhere Breitenwirkung haben. Zum anderen ist diese unbewusste Einflussnahme nur ein Teilaspekt, der bei den meisten Richtern eine nur untergeordnete Rolle spielt, weil die Entscheidung des Richters aus der Gesamtheit des Verfahrens erwächst, begleitet von unterschiedlichen Berufserfahrungen.47 c) Untersuchungshaft KI-Systeme kommen technisch auch dann an ihre Grenzen, wenn es nicht um die Frage der Schuld geht, sondern um eher vorläufige Maßnahmen, die einer Prognoseentscheidung bedürfen. Ein sehr grundrechtssensibler Bereich ist die Anordnung der Untersuchungshaft, die nur unter sehr strengen Voraussetzungen zulässig ist (Haftgrund, dringender Tatverdacht, Verhältnismäßigkeit). KI-Systemen, die vergangenheitsgerichtet ihre Auswertungen aufgrund von Klassifikationen und Regressionen liefern, ist eine Verhältnismäßigkeitsprüfung nicht möglich. Angemessenheit im juristischen Sinne algorithmisch zu beurteilen setzt ein weltliches symbolisches Verständnis voraus, welches es ermöglicht, alle Aspekte des konkreten Einzelfalls und die Belange der Gesellschaft zu bewerten. Das ist technisch derzeit nicht umsetzbar, da nur Korrelationen festgestellt werden können und zum anderen der im Einzelfall 47  Vgl.

Donohue, Harvard Journal of Law & Technology, 2019, 657, 663.

94

Teil 3: Paradigmatische Einsatzfelder

im System noch nicht enthaltene Sachverhaltsrest der einzig entscheidende ist. Ausgerechnet diesen Teil wertet das System gerade nicht aus. 3. Fairness als eingeschränkte Optimierung Das statistische Dilemma zeigt, dass Fairness im Kontext algorithmischer Entscheidungen als eine eingeschränkte Optimierung verstanden werden kann, da beide Ziele – Optimierung der öffentlichen Sicherheit einerseits und Diskriminierungsfreiheit andererseits – immer nur mit Einbußen eines der Ziele erreicht werden kann.48 Die Herausforderung besteht somit darin, die öffentliche Sicherheit zu maximinieren und gleichzeitig die gesetzlichen Anforderungen für Diskriminierungsverbote einzuhalten. Es besteht somit ein Spannungsverhältnis zwischen den Zielen maximale Sicherheit und Fairness. Als Auflösung werden derzeit lediglich zwei Möglichkeiten vorgeschlagen:49 Erstens könnte per Design ein rassenspezifischer Schwellenwert vorgesehen werden, indem z. B. ein hoher Risikoscore von 7 für einen dunkelhäutigen Angeklagten anders verstanden werden muss als für einen hellhäutigen Angeklagten.50 Die Folgen für die Risikopunkte würden abhängig von der Ethnie variieren. Dunkelhäutige würden den gleichen Folgen ausgesetzt, wenn sie im Vergleich zu hellhäutigen Angeklagten mehr Score-Punkte erreichen. Dadurch könnten statistisch tatsächlich bestehende Unterschiede abgebildet und unterschiedliche Maßstäbe für hell- und dunkelhäutige Menschen angelegt werden. Diskriminierung in Gestalt des Racial Profilings würde so genutzt werden, um Diskriminierungen zu minimieren. Wegen der Unvereinbarkeit mit dem verfassungsrechtlichen Gleichbehandlungsgrundsatz ist dieser Weg per se ausgeschlossen. Auch wenn im Ergebnis damit Fairness erreicht werden soll, werden Menschen per Design von einem System unterschiedlich behandelt, was verfassungsrechtlich nicht tragbar ist. Zweitens: Die Zahl der „false positives“ wird schlichtweg zugunsten der öffentlichen Sicherheit hingenommen. Dadurch würde formal auch Fairness erreicht, indem ein einheitlicher Schwellenwert unabhängig von der Ethnie festgelegt wird. Auch dieser Weg ist verfassungsrechtlich nicht tragbar, da im Ergebnis Effizienzbestrebungen der Verwaltung und der Justiz nicht zu ­Lasten der Grundrechte Einzelner gehen dürfen, was aber der Fall wäre. Effi­ zienz schlägt nicht Grundrechtsschutz. Wertvorstellungen wie Fairness sind derzeit algorithmisch kaum abbildbar, sodass in der Konsequenz KI in 48  Vgl. Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797. 49  Vgl. Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797; Martini, Blackbox Algorithmus, 2019, S. 56. 50  Mayson, Yale Law Journal 2018, Bias In, Bias Out, 2218, 2240.



A. Justiz 95

grundrechtssensiblen Bereichen wie in der Rechtsprechung de lege lata nicht umsetzbar ist, wo Gerechtigkeitserwägungen wesentliche Säulen richterrechtlicher Erkennung des Rechts sind. Zusammenfassend lässt sich somit festhalten, dass sich tatsächlich vorhandene statistische höhere Rückfallquoten von Dunkelhäutigen (in den USA) mit dem Ziel des ethnienunabhängigen algorithmischen Risk-Scores nicht vertragen.51 Eine Gleichbehandlung würde ein Sich-Hinwegsetzen über tatsächliche Unterschiede bedeuten, die beide Gruppen trennen. Folglich ist COMPAS nicht in der Lage, ein mathematisch logisches Maß an Fairness abzubilden.52 4. Überprüfbarkeit sicherstellen Daher ist es eine Herausforderung, Begriffe wie Fairness und Diskriminierung so handhabbar zu machen, dass Entwickler schon bei der Entwicklung anhand von Gewährleistungszielen diese Werte berücksichtigen können. Fraglich ist jedoch, ob ein wandelbarer Begriff wie Fairness überhaupt algorithmisch überführbar ist. Tiefe neuronale Netze wären ggf. in der Lage, sich an neue Gegebenheiten anzupassen. Da aber Richter die Verantwortung ihrer Entscheidungen tragen müssen, können KI-Systeme, die auf opaken neuronalen Netzen beruhen, (derzeit) nicht in grundrechtssensiblen Bereichen eingesetzt werden. Denn Verantwortung kann nur dann möglich sein, wenn die wesentlichen Gewichtungsparameter für den Entscheider nachvollziehbar sind und aus rechtsstaatlicher Sicht dem Betroffenen daher auch mitgeteilt werden können. Außerdem müssen entsprechende Leitlinien auch separat für den Trainingsprozess entwickelt werden. Durch solche Ex-ante-Regeln kann eine Operationalisierung solcher opaken Systeme gegebenenfalls robuste diskriminierungsarme Systeme möglich machen.53 Wie oben dargestellt, sind auch wir Menschen gewissermaßen Diskriminierungsmaschinen. Durch eine hinreichende Operationalisierung algorithmischer Entscheidungen kann der Nachweis von Diskriminierungen bei Algorithmen ggf. sogar einfacher sein.54 Somit bedarf es der Anforderungen für die Datenerfassung (Training), welche transparenzfördernd sein können und den Entwicklern darüber hinaus helfen könnten, Entscheidungen über relevante Inputwerte zu treffen. Überprüfbarkeit kann dadurch erreicht werden, indem durch Ausführungen des KI-Systems Diskrepanzen aufgedeckt werden, die möglicherweise auf algorithmische Diskriminierungen zurückzuführen sind. Dafür ist kein Einblick Blackbox Algorithmus, 2019, S. 57. Blackbox Algorithmus, 2019, S. 57. 53  Vgl. Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 10. 54  Kleinberg et al., Discrimination in the Age of Algorithms, 2019, S. 2. 51  Martini, 52  Martini,

96

Teil 3: Paradigmatische Einsatzfelder

in den Code und Offenlegung von Geschäftsgeheimnissen erforderlich, sondern ausgearbeitete Validierungsverfahren in einer Testphase solcher Systeme, bevor sie zum Einsatz kommen (dürfen). Eine solche Ex-ante-Prüfung (vor der Implementierung) bzw. Ex-post-Prüfung (nach der Entwicklung) ist möglich. Das ist im Übrigen ein Prüfstadium, das Robustheit in den Bereich des Möglichen verrückt und das gleichzeitig bei menschlichen Entscheidern unmöglich ist. Insofern ist ein Weg, Fairness zu erreichen, festgeschriebene gesetzlich normierte Zielwerte zu bestimmen. Diese müssen für KI-Systeme im Einsatz, aber auch vorher bezüglich der Trainingsdaten formuliert werden. Anschließend bedarf es konkretisierender Leitlinien, wie solche Audits konkret ausgestaltet werden müssen. Die Blackbox-Natur disparater Richter kann im Gegensatz zu Maschinen nicht auf systemweiter Ebene behoben werden.55 Richter müssen ihre Entscheidungen auf eine „freie Überzeugung“ stützen, vgl. § 286 Abs. 1 ZPO, § 261 StPO. Richter müssen bei ihrer Überzeugungsbildung und der sich anschließenden Begründungspflicht nicht jedes Detail der Entscheidung darlegen. Im Urteil müssen lediglich die wesent­ lichen Gründe, die das Gericht bei der Beweiswürdigung geleitet haben, in nachvollziehbarer Weise56 dargelegt werden.57 Das Gericht muss insofern nur begründen, dass die für die Entscheidung relevanten Faktoren berücksichtigt wurden. Für die richterliche Überzeugung wird eine „mathematische Gewissheit“ nicht verlangt.58 Welche „Inputs“ darüber hinaus z. B. für das Strafmaß mitentscheidend waren (etwa Hautfarbe oder Migrationshintergrund), in der Begründung aber keine Erwähnung finden – weil sie keine Beweismittel sind –, bleibt in der Blackbox aus Fleisch und Blut. Wenn eine Überprüfbarkeit der algorithmischen Risikowerte jedoch gar nicht gewährleistet wird, werden die Betroffenen in ihren justiziellen Grundrechten aus Art. 19 Abs. 4 GG, Art. 47, 48, 49 und 50 GRCh beschränkt. 5. Rückkoppelungsverzerrung COMPAS verdeutlicht ein grundsätzliches Problem, das bei vielen Risikoprognosen auftreten kann: Sie können in einer Feedbackschleife die eigene Entscheidungsgrundlage verzerren.59 Wenn Richter wegen der maschinellen Risikoprognose dazu tendieren, eher Haft als Bewährung anzuordnen, kann die Wahrscheinlichkeit einer tatsächlichen Rückfälligkeit durch einen längeHarvard Journal of Law & Technology, 2019, 657, 662. WoM 94, 187; BGH VersR, 94, 163. 57  BGH NJW 82, 1155. 58  Meyer-Goßner, in: Meyer-Goßner/Schmitt, stopp Kommentar, 62.  Auflage, § 261 Rn. 2; BGH 1 StR 201/13. 59  Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 10. 55  Donohue, 56  BVerfG



A. Justiz 97

ren Gefängnisaufenthalt steigen, weil Menschen in neue kriminelle Kontexte integriert werden und die stabilisierenden Wirkungen eines „normalen“ sozialen Umfeldes wegbrechen.60 Das KI-System lernt aufgrund empirischer statistischer Daten, ohne den gesellschaftlichen Kontext algorithmisch erfassen zu können, sodass das System seine eigenen anfänglich diskriminierenden Prognosen bestätigt.61 Folglich kommt es zu einer Rückkoppelungsverzerrung; wenn diskriminierte Personen nicht gegen die Entscheidung vorgehen, erhält das System keine negative Rückkoppelung zur fehlerhaften Entscheidung, sodass die fehlerbehaftete Lernerfahrung das diskriminierende Entscheidungsmuster bestärkt und sich die diskriminierenden Entscheidungskriterien zementieren können.62 Dabei ist zu berücksichtigen, dass betroffene Personen – die nur wegen des kriminellen Kontextes rückfällig geworden sind – gar nicht die Möglichkeit haben, gegen die Entscheidung vorzugehen, da fälschlicherweise als zu riskant eingeschätzte Menschen nicht mehr beweisen können, dass sie auf Bewährung nicht rückfällig geworden wären.63 Diese Rückkoppelungsverzerrung wiegt deshalb so schwer, weil ungeeignete Parameter wie Fragen „Wann hatten Sie zuerst Kontakt mit der Polizei?“ das System per se zu verzerrten Entscheidungen verleitet haben, weil Menschen aus Vierteln mit hoher Armut, Kriminalität und verstärkter Polizeipräsenz somit von vornherein benachteiligt werden.64 6. Nachteilige Ankereffekte durch algorithmische Risikowerte Werden beispielhaft von KI-Systemen errechnete Risk-Scores in Entscheidungsprozessen der Justiz eingesetzt, können Ankereffekte dazu führen, dass die menschlichen Entscheidungsträger ihre Urteile diesen Werten anpassen. Ein Risikowert zwischen 1 und 10, der von einem KI-System errechnet wurde, setzt die Anforderungen an eine richterliche Überzeugung hoch, um diese Punktezahl „zu übersteuern“.65 Ein KI-System, welches dem Richter entscheidungsunterstützend einen Risikowert unterbreitet, darf lediglich eine Empfehlung darstellen. Andernfalls wäre die in Art. 97 Abs. 1 GG verbürgte richterliche Unabhängigkeit verletzt. Richter sind demnach nur an das Gesetz und bei dessen Auslegung und Anwendung an keine Weisungen gebunden 60  Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 10; Martini, Blackbox Algorithmus, 2019, S. 57. 61  O’Neil, Weapons of Math Destruction, 2016, S. 7. 62  O’Neil, Weapons of Math Destruction, 2016, S. 133; Martini, Blackbox Algorithmus, 2019, S. 57; Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 10. 63  Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 10. 64  O’Neil, Weapons of Math Destruction, 2016, S. 27. 65  Christin et al., Courts an Predictive Algorithms, 2015, S. 8.

98

Teil 3: Paradigmatische Einsatzfelder

und zu eigenverantwortlicher Entscheidung im Rahmen des Rechts berufen.66 Neben dieser verfassungsrechtlichen Leitplanke ist jedoch Folgendes zu berücksichtigen: Selbst wenn rein formal der Richter die Möglichkeit hat, sich über den algorithmisch vorgeschlagenen Score hinwegzusetzen, wird er wegen des psychologischen Ankereffekts, dem er unterliegt, diesen Score nicht oder nur selten übersteuern können.

II. Verfassungsrechtlicher Rahmen für KI-Systeme in der Justiz COMPAS wird in den USA eingesetzt. Das amerikanische Rechtssystem basiert mit dem dort vorherrschenden sog. Common Law im Gegensatz zum deutschen Rechtssystem nicht ausschließlich auf abstrakt-generellen Rechtssätzen, sondern auf richterlichen Präzedenzurteilen aus der Vergangenheit. Dieser korrelative Rechtsfindungsprozess ähnelt stark der Funktionsweise der Mustererkennung von KI-Systemen.67 Das deutsche Verfassungsrecht setzt dem Einsatz von KI-Systemen in der Strafjustiz enge rechtliche Grenzen, auf die nachfolgend ergänzend zu den oben bereits angesprochen verfassungsrechtlichen Überlegungen eingegangen wird. Dabei werden gesondert Grenzen in Bezug auf vollautomatisierte Systeme (1.) und assistierende Systeme (2.) aufgezeigt. 1. Verbot vollautomatisierter Entscheidungen Gemäß Art. 92 GG ist die rechtsprechende Gewalt den Richtern anvertraut. Art. 97 präzisiert diesen Grundsatz und stellt klar, dass Richter unabhängig und nur dem Gesetz unterworfen sind (Art. 97 Abs. 1 GG). Art. 97 Abs. 2 GG stellt klar, dass Richter gegen ihren „Willen“ nur unter engen Voraussetzungen vor Ablauf ihrer „Amtszeit“ entlassen werden können. Nach Art. 97 Abs. 2 S. 2 GG können „Altersgrenzen“ festgesetzt werden, bei deren Erreichung auf „Lebenszeit“ angestellte Richter in den „Ruhestand“ treten. Die grundgesetzlichen Vorgaben gehen damit de lege lata davon aus, dass die Letztentscheidung in der Rechtsprechung einem menschlichen Entscheider vorbehalten sein muss.68 Freiheitsentziehungen dürfen nach Art. 104 Abs. 2 GG nur auf einer richterlichen „Entscheidung“ fußen. Dem liegt die verfassungsrechtliche Wertung zugrunde, dass die Überzeugungsfindung – wie 66  BVerfGE 3, 213, 224; Morgenthaler, in: BeckOK GG, 42. Ed. 1.12.2019, GG Art. 97 Rn. 4. 67  Martini et al., Automatisch erlaubt?, 2020, S. 47. 68  Martini et al., Automatisch erlaubt?, 2020, S. 48.



A. Justiz 99

oben bereits ausgeführt – in einem Verfahren eine Würdigung der komplexen Umstände des Einzelfalls voraussetzt. Diese Wertung liegt auch dem Anspruch auf rechtliches Gehör nach Art. 103 GG zugrunde. Rechtliches Gehör ist für ein rechtsstaatliches Verfahren konstitutiv.69 Seine rechtsstaatliche Bedeutung ist auch in dem Anspruch auf ein faires Verfahren gemäß Art. 6 Abs. 1 der EMRK sowie in Art. 47 Abs. 2 GRCh anerkannt. Der Einzelne soll nicht nur Objekt der richterlichen Entscheidung sein, sondern vor einer Entscheidung, die seine Rechte betrifft, zu Wort kommen, um als Subjekt Einfluss auf das Verfahren und sein Ergebnis nehmen zu können.70 Der Einzelne hat somit ein Recht auf umfassende Prüfung seines Vorbringens durch einen Richter aus Fleisch und Blut. 2. Assistierende Systeme Gleichwohl sind assistierende Systeme in der Justiz denkbar, so wie das COMPAS-System. Das KI-System bzw. dessen Ergebnisse – beispielsweise der Risk-Score –, die in eine richterliche Entscheidung einbezogen werden, müssen wie die Entscheidung insgesamt dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) genügen.71 Insoweit muss sichergestellt werden, dass betroffene Personen nicht in ihrem Recht auf ein faires Verfahren gemäß Art. 2 Abs. 1 i. V. m. Art. 20 Abs. 3 GG und Art. 6 Abs. 1 EMRK verletzt werden. Der Anspruch auf ein faires Verfahren ist durch ein Verlangen nach verfahrensrechtlicher „Waffengleichheit“ gekennzeichnet und dient damit in besonderem Maße dem Schutz des Beschuldigten, für den bis zur Verurteilung die Vermutung seiner Unschuld streitet.72 Es besteht ein zu wahrendes Recht auf prozessuale Waffengleichheit. Dieses ist im Referenzbeispiel COMPAS dadurch verletzt, dass Betroffene wegen der Opazität des Systems keine eigenen Argumente gegen den Scorewert und dessen Aussagekraft vorbringen können. Daraus lässt sich für assistierende Systeme die allgemeine aus dem Rechtsstaatsprinzip abzuleitende Pflicht herleiten, dass der Staat eine Struktur der Verantwortung sicherstellen muss. In einer solchen müssen Validierungsprüfungen möglich sein, um die Ergebnisse des Systems in Bezug auf die Evidenz der Ergebnisse sowie in Bezug auf mögliche Diskriminierungen überprüfen zu können. Dadurch werden Betroffene in die Lage versetzt, diese sodann gesetzlich vorgeschriebenen Validierungsverfahren anzufechten und überprüfen zu lassen. Daraus folgen auch entsprechende Auskunftsrechte der 69  BVerfG,

Beschluss vom 30.04.2003, 1 PBvU 1/02, Rn. 38. Beschluss vom 30.04.2003, 1 PBvU 1/02, Rn. 38. 71  Dazu vertiefend unten, Teil 4, B. I. 1. b). 72  BVerfG, Beschluss vom 12.11.2020 – 2 BvR 1616/18 –, Rn. 32. 70  BVerfG,

100

Teil 3: Paradigmatische Einsatzfelder

Betroffenen. Der Umstand, dass KI-Systeme fehleranfällig sind, vermittelt den Betroffenen einen Zugang zu Messdaten, um von ihren Verteidigungsrechten angemessen Gebrauch zu machen, wie z. B. einen Beweisantrag, für den konkrete Anhaltspunkte für technische Fehlfunktionen vorgetragen werden müssen.73 Dies impliziert, dass die Justiz nur solche Systeme einsetzen darf, die einen bestimmten Grad an Transparenz sicherstellen können. Aber auch die richterliche Unabhängigkeit (Art. 97 Abs. 1 GG) setzt dem Einsatz von assistierenden KI-Systemen in der Justiz gewisse Grenzen. Damit sichergestellt ist, dass auch unter Zuhilfenahme von assistierenden KISystemen die Letztentscheidung dem Richter zugeordnet werden kann, muss immer eine Übersteuerungsmöglichkeit des Richters gewährleistet sein. Die Unabhängigkeit des Richters impliziert aber auch, auf den Einsatz komplett verzichten zu können. Insofern wäre ein Gesetz, das den Einsatz assistierender KI-Systeme verpflichtet, mit der richterlichen Unabhängigkeit unvereinbar und daher verfassungswidrig.74 Möglich wäre ein Angebot an Richter, auf assistierende KI-Systeme entscheidungsunterstützend zurückzugreifen. Gleichwohl sind dann jedoch faktische Gefahren gegeben,75 denen mit angemessenen Gegenmaßnahmen bei einer Implementierung solcher Systeme begegnet werden muss.76

III. Zwischenfazit Vollautomatisierte KI-Systeme können in der Justiz im Rahmen von Entscheidungen gegenüber den Betroffenen wegen unionsrechtlicher Vorgaben (Art. 22 Abs. 1 DSGVO), aber auch wegen verfassungsrechtlicher Grenzen (Art. 92, 97 GG) nicht eingesetzt werden. Der Einsatz von assistierenden Systemen wie COMPAS ist grundsätzlich möglich. Der Einsatz ist aber mit konkret einzuhaltenden, bereits bestehenden verfassungsrechtlichen Bedingungen verbunden. Dazu zählen die Wahrung der richterlichen Unabhängigkeit sowie das Recht auf ein faires Verfahren (Art. 2 Abs. 1 i. V. m. Art. 20 Abs. 3 GG und Art. 6 Abs. 1 EMRK). Rechtliche Vorgaben, wie eine Governance-Struktur ausgestaltet sein müsste, fehlen derzeit. Eine Struktur zu schaffen, in der regelmäßig die Ergebnisse des Systems überprüft und nachvollzogen werden können, leitet sich aus dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) ab. 73  Vgl.

BVerfG, Beschluss vom 12.11.2020 – 2 BvR 1616/18 –, Rn. 45, 46. et al., Automatisch erlaubt?, 2020, S. 50. 75  Vgl. Martini et al., Automatisch erlaubt?, 2020, S. 50. 76  Zu erwähnen sind insbesondere der oben bereits erörterte Ankereffekt sowie die Problematik eines Automation Bias. 74  Martini



A. Justiz 101

Das Referenzbeispiel verdeutlicht zudem sehr anschaulich, welche Risiken grundsätzlich mit KI-Systemen einhergehen, wenn sie in sensiblen Bereichen wie z. B. in der Justiz eingesetzt werden, insbesondere Diskriminierungsrisiken. In Bezug auf algorithmische Ankerzahlen als Richtwert ist äußerte Vorsicht geboten: Zum einen können diese Scores Gesellschaftsgruppen diskriminieren. In dem Fall lassen sich die negativen Auswirkungen kaum noch ausmerzen. Des Weiteren soll der Risikowert die Ermessensausübung erleichtern, indem nicht in dem Einzelfall viele komplexe Informationen ausgewertet und in Zusammenhang gebracht werden müssen. Was dieser Ankerwert tatsächlich bewirkt, ist eine Begrenzung des Ermessens, weil dieser das Ermessen, bevor eine inhaltliche und komplexe Abwägung einschließlich einer Auseinandersetzung mit Details ansetzen kann, schon in eine ganz bestimmte Richtung gelenkt hat. Selbst wenn der Richter im Einzelfall versucht, sich vom Anker zu entfernen, bleibt der maschinell errechnete Risikowert der Ausgangspunkt für jede Verurteilung.77 Des Weiteren ist zu berücksichtigen, dass KI-Systeme im Rahmen der Strafzumessung womöglich die Effizienz von richterlichen Entscheidungen verbessern könnten, aber die Strafzwecke an sich – „Schuldausgleich, Prävention, Resozialisierung des Täters, Sühne und Vergeltung für begangenes Unrecht als Aspekte einer angemessenen Strafsanktion“78 – nicht fördern können. Insoweit bedarf es der Hinweise und Anleitungshilfen, wie solche Scores Berücksichtigung finden dürfen. COMPAS verdeutlicht, dass viele Risiken und zukünftige regulative Ansätze gerade an der Konzeptionsphase anknüpfen müssen. Das betrifft die Modellauswahl und gestaltung des KI-Systems sowie die Trainingsphase mit repräsentativen Daten. Daneben müssen aber auch Statistiker und andere Experten einbezogen werden, die Aussagen darüber treffen können, welche Entscheidungen aufgrund der vom KI-System gelieferten Ergebnisse überhaupt getroffen werden können. Wenn KI-Systeme zum Einsatz kommen sollen, müssen bereits im Rahmen der Konzeptionsphase daher die möglichen Konsequenzen der späteren Entscheidungen, die auf Grundlage der gelieferten Erkenntnisse getroffen werden können, mitgedacht werden. Außerdem verdeutlicht COMPAS, dass es derzeit nicht möglich ist, KI-Systeme dort einzusetzen, wo algorithmisch Gerechtigkeitserwägungen und Wertvorstellungen wie Fairness oder Angemessenheit rechtlich geforderte Tatbestandsvoraussetzungen sind. Schließlich engt die technische Unmöglichkeit, gesellschaftliche Kontexte mit zu berücksichtigen, den Anwendungsbereich weiter ein. Soweit Fairness-Definitionen algorithmisch nicht abbildbar sind, können KI-Systeme, welche Fairness berücksichtigen müssen, nur dann zum 77  Bennett,

Journal of Criminal Law Criminology, Vol. 104, 2014, 489, 520. 45, 187, Rn. 210.

78  BVerfGE,

102

Teil 3: Paradigmatische Einsatzfelder

Einsatz kommen, wenn durch eine menschliche Supervision Diskrepanzen aufgedeckt und Vorkehrungen getroffen werden können, dass solche Entscheidungen schon im Trainingsprozess nicht mehr getroffen werden. Das zeigt, dass eine Transparenz solcher Systeme zwingend erforderlich ist, damit Richter als Entscheidungsträger ihrer verfassungsrechtlichen Verantwortung – die nicht an Maschinen delegierbar ist – gerecht werden können. Soweit das nicht möglich ist, verbietet sich ein Einsatz von KI-Systemen in solchen Bereichen kategorisch.

B. Eingriffsverwaltung I. Predictive Policing „Wer die Vergangenheit beherrscht, beherrscht die Zukunft.“79

Diesen orwellschen Grundsatz möchte das sog. Predictive Policing, die vorausschauende Polizeiarbeit, für die Polizei in die Tat umsetzen. „Prädiktive Polizeiarbeit“ bezieht sich auf das Bestreben, durch Auswertung von Daten klassische Polizeiarbeit, namentlich Gefahrenabwehr, zeitlich vorher anzusetzen. Durch eine Auswertung von riesigen Mengen an Daten (BigData-Analysen) über vergangenes menschliches Verhalten soll künftiges Verhalten vorhergesagt werden, um es verhindern zu können.80 Das System korreliert hierzu Daten zur sozioökonomischen Situation einer Gegend mit kriminalistischen Erkenntnissen und entwickelt daraus ein Modell, das es ermöglichen soll, den Einfluss von Veränderungen der sozioökonomischen Situation auf die Entwicklung von Straftaten zu prognostizieren – auch wenn die entsprechenden Zusammenhänge für Menschen bislang im Verborgenen lagen.81 Dabei kann die Kriminalanalyse dem Zweck dienen, vorherzusagen, wo eine Straftat in einem bestimmten Zeitfenster auftreten kann (ortsbezogen) oder wer als Opfer oder Täter an einer bestimmten Straftat beteiligt ist (personenbezogen).82 Das System markiert auf einer Karte die Bereiche, in denen die Wahrscheinlichkeit für Folgetaten erhöht ist.83

Orwell, 1984, S. 54. AöR 142, 2017, 368. 81  Wischmeyer, AöR 143, 2018, 13. 82  Richardson/Schultz/Crawford, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, 2019, New York University Law Review Online, abrufbar unter: https://www.nyulawreview.org/ wp-content/uploads/2019/04/NYULawReview-94-Richardson-Schultz-Crawford.pdf, zuletzt abgerufen am 09.06.2019, S. 193. 83  Martini et al., Automatisch erlaubt?, 2020, S. 32. 79  George

80  Rademacher,



B. Eingriffsverwaltung 103

Klassische Polizeiarbeit zu digitalisieren, um sie effizienter zu machen, ist ein staatlicher Zielwert, weil so öffentliche Sicherheit gestärkt wird. Es stellt sich jedoch die Frage, welche Kriterien im Bereich der grundrechtssensiblen Eingriffsverwaltung beachtet werden müssen. Problematisch ist, dass Sicherheitsaspekte in einem Spannungsverhältnis mit dem Datenschutzrecht stehen, denn die Reichweite der durch algorithmische Auswertungen gewonnenen Erkenntnisse der Polizei ist abhängig von einer möglichst weiten Auswertung von Daten, was zu einem Spannungsverhältnis mit dem Datenschutzrecht führen kann. Es soll nachfolgend geklärt werden, ob für Predictive Policing durch eine dogmatische Einbettung in das klassische Polizeirecht rechtlich nicht schon ein regulatorischer Rahmen existiert.84 Durch eine kurze Gegenüberstellung mit der eingesetzten Art des Predictive Policing in den USA (personenbezogen) werden die möglichen Risiken klarer herausgestellt. Anschließend erfolgt eine rechtliche Bewertung des personenbezogenen Predictive Policing nach geltendem Recht. Die nachfolgende Darstellung wird schließlich verdeutlichen, dass die oben dargelegten rechtlichen Anknüpfungspunkte für KI-Systeme nicht hinreichend geeignet sind. Es wird deutlich, dass neben allgemeinen Regeln auch sektorspezifische Regeln für KI-Systeme erforderlich sind. Predictive Policing wird assis­ tierend in die Entscheidungsprozesse der Polizei eingesetzt, für welche allenfalls allgemeine datenschutzrechtliche und verfassungsrechtliche Regeln gelten. Ein Verzicht auf eine parzellenscharfe Analyse könnte zudem den Anwendungsbereich des Datenschutzrechtes mangels Personenbezugs erst gar nicht greifen lassen (nicht personenbezogenes Predictive Policing). Dennoch sind die möglichen Auswirkungen für die Individuen, aber auch für gesamtgesellschaftliche Interessen je nach Umfang des Einsatzes erheblich. Dies zeigt sich zudem daran, dass der datenschutzfreundliche Verzicht auf personenbezogene Prognosen die Situation der Betroffenen tendenziell verschlechtert. Während es im Datenschutz rechtliche Steuerungsansätze gibt wie etwa Art. 22 DSGVO, fehlen solche Ansätze im allgemeinen Polizeiund Ordnungsrecht der Länder vollends. Dadurch offenbart sich auch in diesem Bereich eine regulatorische Lücke. 1. Motivation für den Einsatz von Predictive Policing Es stellt sich die Frage, warum eigentlich immer mehr Polizeistellen – auch in Deutschland – solche technischen Lösungen einkaufen bzw. selbst 84  So

auch der analytische Ansatz von Rademacher, AöR 142, 2017.

104

Teil 3: Paradigmatische Einsatzfelder

entwickeln, wobei es noch keine wirklich aussagekräftigen positiven Evaluationen gibt.85 a) Wirtschaftlichkeitsaspekte durch augmentative maschinelle Unterstützung Unabhängig von den Kriminalitätsraten kämpft die Strafverfolgung seit jeher mit der Herausforderung, die begrenzten Ressourcen kostengünstig und sinnvoll zu verteilen. Daher kann oder soll Predictive Policing die Polizeiarbeit unterstützen und massiv die Effizienz der Polizeiarbeit steigern. Im Bereich des Predictive Policing wirken die algorithmischen Systeme augmentativ, indem „die Strafverfolgungsbehörden versuchen, ihre visuellen Fähigkeiten, ihr Hörvermögen, ihren Geruchssinn und ihr Gedächtnis mit Hilfe von KI und Big-Data-Technologien zu verbessern.“86 Bislang unbekannte Zusammenhänge sollen besser für eine effizientere Polizeiarbeit aufgedeckt werden wie eine Erkenntnis für die Situation in den USA (Boston), dass Spirituosengeschäfte die Zahl von Gewaltdelikten in der Nachbarschaft steigern, dass aber Lokale, die Wein und Bier verkaufen, die Zahl solcher Delikte senken.87 Die Bestrebungen im Bereich der Einbruchskriminalität hängen mit der hohen Fallzahl und der niedrigen Aufklärungsquote zusammen. Auf der Grundlage dieser Auswertungen soll die Polizei in die Lage versetzt werden, bessere Entscheidungen über den Einsatz von Ressourcen zu treffen. b) Sicherheit, Überwachung und Herrschaft Für eine rechtsstaatlich ausgerichtete Demokratie ist eine effektive Verfolgung und Prävention von Straftaten von großer Bedeutung, da repressive und präventive Gefahrenabwehr die Summanden der öffentlichen Sicherheit bilden. Um dieser Aufgabe gerecht zu werden, ist Überwachung eine effektive Methode: Denn sie zielt insbesondere auf das Ansammeln und Auswerten 85  Erst im Januar 2020 wurde das umstrittene Risk-Score-System der Polizei von Chicago nach einem Einsatz von acht Jahren eingestellt und es wurde ein Bericht veröffentlicht, das auf die Diskriminierungen des Systems hinweist, ohne Gewalt­ kriminalität zu verringern, vgl. Bericht Advisory Concerning the Chicago Police Department’s Predictive Risk Models 2020, abrufbar unter: https://igchicago.org/wpcontent/uploads/2020/01/OIG-Advisory-Concerning-CPDs-Predictive-Risk-Models-. pdf. 86  Vgl. Rademacher, in: Wischmeyer/Rademacher, Regulation Artificial Intelligence, 2020, S. 226. 87  R. Lipton et al., The Geography of violence, Alcohol Outlets, and Drug Arrests in Boston, American Journal of public Health, 2013, 657, 661; Rademacher, AöR 142, 2017, 373.



B. Eingriffsverwaltung 105

von Daten, um durch Erkennung entsprechender Muster weiterführende Informationen zu erhalten.88 Diese Informationen können Regierungen zur Sicherung ihrer Herrschaftsposition dienen. Machiavelli sieht in der Auswertung der Vergangenheit ein Mittel zur Machterhaltung, weil durch die gewonnenen Erkenntnisse die „Störungen“ beseitigt werden können: „Untersucht man daher sorgfältig die Vergangenheit, so ist es ein leichtes, die zukünftigen Ereignisse vorherzusagen und dieselben Hilfsmittel anzuwenden, die von den Alten angewendet worden sind, oder (…) neue, der Ähnlichkeit der Vorfälle angemessene“ zu finden.89 Auch Foucault90 sieht ähnlich die Erkenntnisse aus statistischen Wahrscheinlichkeiten als Instrument der Kontrolle und Herrschaft, indem er die Stadt als serielles Phänomen begreift und die Kontrolle nur „durch eine Verwaltung der offenen Serien“ versteht, nämlich durch eine Schätzung von Wahrscheinlichkeiten.91 KI-Systeme erlauben es, das Prinzip „gouverner, cést prévoir“92 (Regieren bedeutet planen) gewissermaßen zu perfektionieren, indem sie eine granulare Vorhersagbarkeit der Handlungen der Bürger erlauben.93 Öffentliche Sicherheit soll mit prädiktiver Analyse sichergestellt werden. Auf die Spitze wird diese Planungsmacht getrieben, indem an Quellen angeknüpft wird, die freiwillig im Privatleben eingesetzt werden und ständig Daten sammeln (z. B. Amazons Alexa).94 Die mögliche neue Macht, die mit dem Einsatz solcher KI-Systeme einhergeht, zeigt sich an ihrer Unsichtbarkeit: Während staatliche Entscheidungen zugerechnet werden können und es unterschiedliche Interventionsmöglichkeiten gibt, entscheiden Algorithmen im Verborgenen mit Scores u. Ä. über das Leben von Einzelnen. Ihre Klassifikationslogik ist dem Einzelnen nicht bekannt (Stichwort Transparenz). An dieser Stelle zeigt sich darüber hinaus die starke Verwobenheit rechtlicher und ethischer Fragen. Menschliche bzw. staatliche Verantwortung muss bei der Implementierung Bedingung sein. Diese kann nur sichergestellt werden, wenn ein hinreichendes Transparenz­ niveau algorithmischer Ergebnisse gewährleistet werden kann. Zum anderen findet durch eine Verlagerung von Entscheidungen auf KI-Systeme eine Machtverschiebung statt, die nur in den Grenzen des Demokratieprinzips zulässig sein kann. Insoweit versprechen sich die Befürworter der Ausweitung von Überwachungsmöglichkeiten mehr Sicherheit und gleichzeitig besteht auf der anderen Seite die Sorge, dass ein nur wahrscheinliches Mehr an 88  Vgl.

Kuhnert, in: Grimm et al., Digitale Ethik, S. 60. Mensch und Staat, 2011, S. 17. 90  Foucault, Der Wille zum Wissen, 2017, S. 31. 91  Lobe, Speichern und Strafen, 2019, S. 18. 92  Emile de Jardin, 1852. 93  Vgl. Lobe, Speichern und Strafen, 2019, S. 22. 94  Lobe, Speichern und Strafen, 2019, S. 22 f.; Kuhnert/Wagner, in: Grimm et al., Digitale Ethik, 2019, S. 61. 89  Machiavelli,

106

Teil 3: Paradigmatische Einsatzfelder

Sicherheit auf Kosten des Datenschutzes und der informationellen Selbstbestimmung aller Menschen gehe. Eine Gesellschaft totaler Überwachung gefährdet mehr die Freiheit, als sie zu sichern. Insoweit stellt sich in ethischer Sicht die Frage, deren Beantwortung anderen Untersuchungen vorbehalten ist, inwieweit wir gesellschaftlich die neuen technischen Möglichkeiten (zur Überwachung) nutzen wollen. Kann es gewollt sein, biometrische Gesichtserkennung auf öffentlichen Plätzen zu erlauben, weil Straftäter so sehr leicht identifiziert werden können? Je mehr Informationen vorliegen, desto zuverlässiger und damit besser werden die Prognosen über Risiken, sodass dann auch passgenaue Folgeentscheidungen für präventive Gegenmaßnahmen getroffen werden können.95 Eine Gefahrenvorsorge, welche die Gefahr erst sichtbar machen will, lässt jedoch nur schwer eingrenzen, welche Informationen unnötig sein werden. Daher könnte – gerade weil die Auswertung in Sekundenschnelle kostengünstig maschinell übernommen wird – in der Konsequenz eine Sammlung von immer mehr Daten erfolgen. Dabei gilt es zu berücksichtigen, dass diese Informationsmacht in den Händen des Staates weitergehende Begehrlichkeiten wecken könnte. 2. Digitalisierung theoretischer Ansätze, Near-Repeat Predictive Policing ist die Bemühung, kriminologisch theoretische Ansätze96 mathematisch zu übersetzen und mit KI-Systemen für die Polizeiarbeit umzusetzen. Im Rahmen des ortsgebundenen Predictive Policing basieren solche Systeme im Wesentlichen auf dem kriminologischen Near-RepeatAnsatz. Die Near-Repeat-Hypothese beschreibt einen Teilaspekt der Repeat-Victimisation-Theorie.97 Sie geht zurück auf die 70er Jahre und entwickelte sich aus den Bedenken des Krankenhauspersonals über die Häufigkeit, mit der bestimmte Personen mit schweren Schuss- und Stichwunden in ein Texashospital zurückkehrten.98 Das Potenzial für die Polizeiarbeit und die Verhinderung von wiederholter Viktimisierung wurde jedoch zunächst explizit im in: Grimm et al., Digitale Ethik, 2019, S. 68. Überblick der für Predictive Policing relevanten theoretischen Ansätze m. w. V.: Gluba, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, 2014, abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA_NRW_Predictive_ Policing.pdf; Suckow, Grundlagen des Predictive Policing. Near-Repeat-Victimisation im inländischen Raum, Kriminalistik, 2018, 347–356. 97  Gluba, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, 2014, abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA_NRW_Predictive_ Policing.pdf. 98  Farrell/Sousa, Repeat Victimization and Hotspots: The overlap and its Implications for Crime Control and Problem-oriented Policing, S. 225. 95  Kuhnert/Wagner, 96  Ein



B. Eingriffsverwaltung 107

Rahmen des 1985 in Großbritannien gestarteten Projekts zur Einbruchsverhütung formuliert. Untersuchungen haben gezeigt, dass die Gesamtkriminalitätsrate kein guter Indikator für die Leistung der Polizei an sich ist, da sie von Faktoren beeinflusst wird, die außerhalb der Kontrolle der Polizei liegen, einschließlich sozioökonomischer und politischer Faktoren, routinemäßiger Aktivitäten und krimineller Möglichkeiten.99 Des Weiteren stellt die Reaktion auf Viktimisierung typische Polizeiarbeit dar, um sich wiederholende Viktimisierung zu verhindern und gleichzeitig Ressourcen möglichst effizient einzusetzen.100 Die Near-Repeat-Hypothese geht davon aus, dass bei einer Straftat in einem Gebiet die Wahrscheinlichkeit in diesem Gebiet für Folgetaten in diesem Gebiet steigt.101 Getestet wurde die Hypothese hauptsächlich am Delikt des Wohnungseinbruchs.102 Dabei ist jedoch zu berücksichtigen, dass das Risiko einer Viktimisierung lediglich für einen Monat erhöht und nur 48 Stunden nach der ersten Tat am höchsten ist.103 3. Funktionsweise der prädiktiven Analytik Bei Predictive Policing handelt es sich genau genommen um eine BigData-Analyse. Die Zweckbestimmung ist maßgebend für die Vorgehensweise der Analyse der Daten: Die prädiktive Analytik ist darauf gerichtet, aus den über die Daten erfassbaren vorangegangenen Erfahrungen über Verhalten anderer zu lernen und Verhaltensmuster zu erkennen, um zukünftiges Verhalten vorherzusagen.104 Mit Hilfe von Big-Data-Analysen werden statistische Methoden auf möglichst umfassende Datenbestände über vergangenes menschliches Verhalten angewandt, um auf diese Weise möglichst alle Variablen herauszufiltern und zu Mustern zusammenzuführen, die diesem Verhalten vorausgingen.105 So erlernt das KI-System ein statistisches Modell, welches in der Implementierungsphase, also im Einsatz, auf neue Fallkonstella99  Farrell/Sousa, Repeat Victimization and Hotspots: The overlap and its Implications for Crime Control and Problem-oriented Policing, S. 226. 100  Farrell/Sousa, Repeat Victimization and Hotspots: The overlap and its Implications for Crime Control and Problem-oriented Policing, S. 226. 101  Gluba, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, 2014, S.  3, abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA_NRW_ Predictive_Policing.pdf. 102  Gluba, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, 2014, S. 3, abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA_NRW_Pre dictive_Policing.pdf. 103  Vgl. Gluba, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, 2014, S. 3 m. w. V., abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA _NRW_Predictive_Policing.pdf. 104  Hoffmann-Riem, AöR 142, 2017, 7. 105  Rademacher, AöR 142, 2017, 368.

108

Teil 3: Paradigmatische Einsatzfelder

tionen angewandt werden kann. Die hergestellten Korrelationen können sehr aufschlussreich sein, wie etwa dass die vorzeitige Pensionierung die Lebenserwartung verringert, Vegetarier weniger Flüge verpassen oder aber, dass die lokale Kriminalität nach öffentlichen Sportveranstaltungen zunimmt.106 Die prädiktiven Ergebnisse kommen mittels der Anwendung eines heuristischen Trial-and-Error-Verfahrens zustande. Während die prädiktive Analytik (zumeist Predictive Analytics) eine Vorgehensweise ist, die sich auf vielfältige Voraussagungen beziehen kann, wie Trends aufgrund der Analyse von Konsumverhalten, ist der Anwendungsbereich des Predictive Policing auf die Voraussagung bestimmter Deliktsarten zwecks vorzeitiger Abwehr beschränkt. Das KI-System ist darauf angewiesen, eine möglichst große Menge an Daten – bestehend aus tatsächlich gefährlichen und ungefährlichen Kon­ stellationen – zu verarbeiten, um überhaupt ein Muster aus gefahrindizierenden Merkmalen bilden zu können.107 Das algorithmische System geht dabei davon aus, dass die Mehrzahl der Trainingsdaten unbedenkliches Verhalten abbildet.108 Kann das algorithmische System die in den Testdaten angelegten Gefahren mit hinreichender Genauigkeit erkennen, d. h. mit einer niedrigen Zahl an „false positives“, ist der Test damit erfolgreich abgeschlossen.109 4. Erwartungen technisch nicht erfüllbar Die zugrundeliegende kriminologische Theorie fordert Predictive-PolicingSysteme heraus: Die Daten müssen am besten in Echtzeit verarbeitet werden, damit das System brauchbare Ergebnisse liefert. Da faktisch eine saubere Aktenführung und Eingabe in das System – mit allen relevanten Daten – eine Herausforderung ist, sind Zweifel angebracht, ob mit der derzeitigen Polizeistruktur diese Systeme mit den erforderlichen Daten überhaupt zum richtigen Zeitpunkt versorgt werden können. Wenn es de lege ferenda einen regulativen Rahmen für die Trainingsphase geben wird, müssen die Daten in den Akten für das Training aufwendig aufbereitet werden. Die Forschungsstelle des Landeskriminalamtes Hamburg hat in einem Forschungsbericht festgehalten, dass wegen des eher geringen Prädiktionspotenzials solcher Predictive-Policing-Systeme kein Einsatz in Betracht kommt.110 Der Forschungsbericht stützt seine Ergebnisse im Wesentlichen auf drei Punkte. Erstens bilden Predictive Analytics, S. 5. AöR 142, 2017, S. 373. 108  Rademacher, AöR 142, 2017, S. 373. 109  Rademacher, AöR 142, 2017, S. 373. 110  LKA Hamburg, Kriminologische Forschungsstelle, Prädiktionspotenzial schwere Einbruchskriminalität, S. 2, abrufbar unter: https://www.polizei.hamburg/con tentblob/12118190/83d3f24635ef41f35664c57059045fa5/data/ergebniszusammenfas sung-praediktionspotenzial-schwere-einbruchskriminalitaet-stand-januar-2019)-do.pdf. 106  Siegel,

107  Rademacher,



B. Eingriffsverwaltung 109

die Systeme im Rahmen ihrer Auswertung die für Einbruchsdiebstähle „phänomengerechte Grundgesamtheit“ nicht ab. Das Prädiktionspotenzial hänge jedoch von der vollständigen Fallbasis ab.111 Zudem hat sich die zugrundeliegende kriminologische Near-Repeat-Theorie für die Stadt Hamburg als nicht zuverlässig erwiesen, da die räumlich-zeitliche Nähe von Einbruchs­ taten zwar nachweisbar ist, jedoch zeitlich begrenzt auf einen Tag und nicht – wie von den Anbieter angepriesen – von vier Tagen, sodass sich auf dieser Basis keine verlässlichen Prognosen über Einbruchswahrscheinlichkeiten in den Folgetaten ableiten lassen.112 Zweitens hat die Untersuchung gezeigt, dass ein Akzeptanzproblem digitaler Informationsverarbeitung bei den zuständigen Bearbeitern der einschlägigen Delikte vorherrscht. Folglich wird die für das Prädiktionspotenzial solcher Systeme erforderliche zügige Einspeisung der Daten nach erfolgtem Einbruch nicht erreicht, was zu Lasten der Leistungsfähigkeit des PredictivePolicing-Systems geht. Drittens zeigen verschiedene Evaluationen, dass die mit solchen Systemen einhergehenden Erwartungen (Effizienz- und Effektivitätssteigerung) nicht erfüllt werden können. Denn die kriminologischen Theorien, auf die Hersteller verweisen, werden nicht konsequent in das algorithmische System überführt. Dies zieht nachteilige Konsequenzen nach sich: Zum einen erweckt der ausgegebene Wert nur den Anschein der Objektivität. Zum anderen fehlt es derzeit wohl der Polizei an entsprechenden Statistikern, welche die Ergebnisse kontextgerecht und reflektiert hinterfragen können. Das führt dazu, dass eben wegen des objektiven Anscheins eine Adaptionsgefahr dieser Ergebnisse besteht und polizeiliche Entscheidungen zu stark von opaken algorithmischen Systemen beeinflusst werden. Schließlich ist auf einen weiteren, bislang kaum angesprochenen Aspekt hinzuweisen: Die Systeme müssen derart ausgestaltet sein, dass ihre kriminologischen Grundannahmen (Near-Repeat) einer zukünftigen Überprüfung und Anpassung zugänglich sind. Denn durch den verstärkten Einsatz solcher Systeme passen sich diese nicht nur dem Täterverhalten an, sondern die Täter auch an die Polizeipraktiken. Die Täter sind ebenfalls „lernende Systeme“, die ihren Modus Operandi dahingehend anpassen könnten, die Serie eben 111  LKA Hamburg, Kriminologische Forschungsstelle, Prädiktionspotenzial schwere Einbruchskriminalität, S. 3, abrufbar unter: https://www.polizei.hamburg/con tentblob/12118190/83d3f24635ef41f35664c57059045fa5/data/ergebniszusammenfas sung-praediktionspotenzial-schwere-einbruchskriminalitaet-stand-januar-2019)-do.pdf. 112  LKA Hamburg, Kriminologische Forschungsstelle, Prädiktionspotenzial schwere Einbruchskriminalität, S. 4, abrufbar unter: https://www.polizei.hamburg/con tentblob/12118190/83d3f24635ef41f35664c57059045fa5/data/ergebniszusammenfas sung-praediktionspotenzial-schwere-einbruchskriminalitaet-stand-januar-2019)-do.pdf.

110

Teil 3: Paradigmatische Einsatzfelder

nicht mehr im gleichen Wohnbezirk in die Tat umzusetzen.113 Somit müssen diese KI-Systeme anpassungsfähig ausgestaltet sein. 5. Dogmatische Einordnung des Predictive Policing Begrifflich kann der Begriff des Predictive Policing in die polizeirecht­ liche Dogmatik eingeordnet werden. Das Polizeirecht im materiellen Sinn – abzugrenzen von der repressiven Verfolgung von Straftaten – umfasst sämtliche staatlichen Tätigkeiten, die getragen sind von der Zielsetzung der Abwehr von Gefahren für die öffentliche Sicherheit und Ordnung.114 Rechtlich ist Predictive Policing der Eingriffsverwaltung zuzuordnen. a) Gefahrenvorsorge Zur Aufgabe der Gefahrenabwehr gehört auch die Gefahrenvorsorge, bei der bereits im Vorfeld konkreter Gefahren staatliche Aktivitäten entfaltet werden, um die Entstehung von Gefahren zu verhindern bzw. eine wirksame Bekämpfung sich später realisierender, momentan aber noch nicht konkret drohender Gefahren zu ermöglichen.115 Die Gefahrenvorsorge umfasst auch die Verhütung von noch nicht konkret drohenden Straftaten.116 Der Zweck, Straftaten zu verhüten oder – wenn sie drohen – ihre Abwehr vorzubereiten, ist dem Bereich der Gefahrenabwehr zuzuordnen, also auch dann, wenn sie vorbeugend für den Zeitraum vor einer konkreten Straftat vorgesehen wird.117 Eben hier setzt das Predictive Policing an. Es können jedoch daraus keine Eingriffsrechte der Polizei- bzw. Ordnungsbehörden abgeleitet werden, da ein Eingriff aufgrund der polizeilichen und ordnungsrechtlichen Ermächtigungsnormen das Vorliegen einer konkreten Gefahr erfordert.118 Die Polizei kann auch unterhalb der konkreten Gefahr alle Maßnahmen ergreifen, die nicht zu einem Eingriff in die Rechte der Bürger führen. Für Realhandlungen ohne Eingriffscharakter bedarf es keiner Eingriffsermächtigung, wenngleich der Vorrang des Gesetzes zur Beachtung vorhandener rechtlicher Begrenzungen verpflichtet.119 Insofern können eingriffsfreie Vorfeldbeobachtungen wie 113  So

auch Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 35. für eine systematische Darstellung des Polizeibegriffs Schenke/Schenke, in: Steiner/Brinktrine, Besonderes Verwaltungsrecht, S. 150 ff. 115  BVerwG, NVwZ 2012, 757, 759. 116  BVerwG, NVwZ 2012, 757, 759, mit Verweis auf Schenke, Polizei- und Ordnungsrecht, § 1 Rn. 10. 117  BVerwG, NVwZ 2012, 757, 759. 118  Schenke, Polizei- und Ordnungsrecht, § 1 Rn. 10. 119  Hoffmann-Riem/Eifert, in: Hoffmann-Riem/Koch, Hamburgisches Staats- und Verwaltungsrecht, 3. Auflage 2006, S. 171. 114  Vgl.



B. Eingriffsverwaltung 111

der Streifengang auf die polizeiliche Aufgabenzuweisung gestützt werden, ohne dass eine konkrete Gefahr erforderlich ist.120 aa) Konkrete Gefahr Nach den polizeilichen Generalklauseln der Länder ist ein polizeiliches Handeln – mit dem ein Eingriff einhergeht – erst dann zulässig, wenn eine konkrete Gefahr für die öffentliche Sicherheit oder Ordnung besteht. Eine konkrete Gefahr ist eine Sachlage, die im Einzelfall tatsächlich oder jedenfalls aus dem (Ex-ante-)Urteil des für die Polizei handelnden fähigen, besonnenen und sachkundigen Amtswalters121 bei verständiger Würdigung in absehbarer Zeit die hinreichende Wahrscheinlichkeit eines Schadenseintritts in sich birgt.122 Das Erfordernis einer konkreten Gefahr beschränkt das polizeiliche Handeln und ist Ausfluss des Rechtsstaatsprinzips,123 sodass Regelungen, die für polizeiliches Handeln auf eine konkrete Gefahr verzichten,124 einer strengen Verhältnismäßigkeitsprüfung unterzogen werden müssen oder aber verfahrensrechtliche Kompensationen erfordern.125 Kompensationsmaßnahmen können z. B. verfahrensmäßige Absicherungen durch Letztentscheidungsbefugnis durch einen für die Entscheidung speziell geschulten Beamten, die Einräumung von informatorischen Anschlussrechten und eine möglichst präzise und strenge Zweckbindung sein.126 bb) Kann das Predictive-Policing-System konkrete Gefahren erkennen? Rademacher127 stellt – dem auch hier vertretenen analytischen Ansatz folgend – die typischen Arbeitsschritte des Polizisten dar und vergleicht diese mit den maschinell ausgelieferten Ergebnissen. Er arbeitet vier Arbeitsschritte heraus: das Erfordernis, dass „Erfahrungswissen“ vorhanden sein muss (Maschine: Training), die Sachverhaltsanalyse, die hier relevante Gefahrenprognose sowie die menschlich verantwortbare Entscheidung über Folgemaßnahmen. Ein Vergleich der Systeme Mensch und KI-System zeigt, dass die Gefahrenprognose (Arbeitsschritt 3) von Predictive-Policing-Systemen nicht 120  Hoffmann-Riem/Eifert, in: Hoffmann-Riem/Koch, Hamburgisches Staats- und Verwaltungsrecht, 3. Auflage 2006, S. 171. 121  VG München Beschl. v. 18.7.2018 – 7 E 18.3382. 122  Schenke, Polizei- und Ordnungsrecht, § 3 Rn. 69. 123  Schenke, Polizei- und Ordnungsrecht, § 3 Rn. 69. 124  So etwa die Schleierfahndung oder die Videoüberwachung. 125  Schenke, Polizei- und Ordnungsrecht, § 3 Rn. 70. 126  Kugelmann, DÖV 2003, 781, 787. 127  Rademacher, AöR 142, 2017, S. 372 ff.

112

Teil 3: Paradigmatische Einsatzfelder

mit der menschlichen mithalten kann, da „die Umstände des Einzelfalls, die digital (noch) nicht auswertbar sind, nicht in die Prognose, eventuell schon nicht in das Muster eingeflossen sind.“128 Das algorithmische System kann daher schon im Rahmen der Gefahrenprognose kein Ex-ante-Urteil auf die Sachlage im Einzelfall treffen. Der Mensch dagegen trifft seine Entscheidung aus einer Verbindung, namentlich einer Beurteilung des Einzelfalls und der Anknüpfung an Erfahrungswissen. Schließlich weist Rademacher zutreffend darauf hin, dass die Überschreitung der Gefahrenschwelle nicht allein mit statistischen Zahlen festgestellt werden kann, sondern das Ergebnis einer Einzelfallabwägung im Sinne der Je-desto-Formel ist.129 Demnach wirken sich die Bedeutung des gefährdeten Rechtsguts und das Ausmaß des drohenden Schadens auf die Eintrittswahrscheinlichkeit des Schadens aus. cc) Gefahrenverdacht und Gefahrerforschungseingriffe Daraus folgt, dass die algorithmische Analyse allenfalls als Ergebnis einen Gefahrenverdacht begründen kann.130 Die Beurteilung, ob eine konkrete Gefahr vorliegt, bleibt damit der menschlichen Entscheidung vorbehalten. Ein Gefahrenverdacht liegt dann vor, wenn die Polizei- oder Ordnungsbehörde Anhaltspunkte hat, die auf eine Gefahr hindeuten, die Anhaltspunkte aber bei verständiger Würdigung der Sachlage noch keine hinreichend sichere Prognose dahingehend zulassen, dass ein Schaden tatsächlich eintreten wird oder jedenfalls mit hinreichender Wahrscheinlichkeit zu erwarten ist.131 Die Predictive-Policing-Analyse kann somit wegen des verbleibenden „Sachverhaltsrests“ keine polizeirechtlich relevante Gefahr erkennen, sondern allenfalls einen Gefahrenverdacht.132 Die polizeilichen Befugnisse, die mit Vorliegen einer konkreten Gefahr legitimiert wären, sind somit gesperrt. Möglich sind bei einem Gefahrenverdacht nur sog. Gefahrerforschungseingriffe. Verlässt sich die Polizei auf die Auswertung des Systems, können auf dieser Grundlage nur vorläufige Maßnahmen getroffen werden, „die mit der Belastung von Personen verbunden sind und die nicht unmittelbar der Gefahrbeseitigung dienen, sondern der weiteren Erforschung des Sachverhalts und der Vorbereitung endgültiger Abwehrmaßnahmen“.133 AöR 142, 2017, 383. AöR 142, 2017, 384. 130  So auch Rademacher, AöR 142, 2017, 383. 131  Schenke, Polizei- und Ordnungsrecht, § 3 Rn. 83. 132  Rademacher, AöR 142, 2017, 383; Martini et al., Automatisch erlaubt?, 2020, S. 34. 133  Schenke, Polizei- und Ordnungsrecht, § 3 Rn. 86. 128  Rademacher, 129  Rademacher,



B. Eingriffsverwaltung 113

b) Personenbezogenes Predictive Policing als Profiling Personenbezogenes Predictive Policing ist eine Form des Scorings und dieses ist ein Unterfall des Profilings.134 Anknüpfungspunkt für eine recht­ liche Bewertung ist Art. 3 Nr. 4 JI-RL.135 Demnach bedeutet Profiling „jede Art der automatisierten Verarbeitung personenbezogener Daten, die darin besteht, dass diese personenbezogenen Daten verwendet werden, um bestimmte persönliche Aspekte, die sich auf eine natürliche Person beziehen, zu bewerten, insbesondere um Aspekte bezüglich Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel dieser natürlichen Personen zu analysieren oder vorherzusagen“. Ähnlich wie Art. 22 DSGVO untersagt die Schwestervorschrift des Art. 11 JI-RL i. V. m. § 54 BDSG ein vollautomatisiertes Profiling. Für assistierende Systeme, wie sie ausschließlich in Deutschland Anwendung finden, gibt es hingegen nur wenige rechtliche Vorgaben.136 Die anwendbaren Vorschriften ergeben sich aus einem Flickenteppich verschiedener Normenquellen. Grundsätzlich ist unionsrechtlich die JI-RL anwendbar, weil es beim personenbezogenen Predictive Policing im Sinne des Art. 1 der Richtlinie um die Verarbeitung personenbezogener Daten durch die zuständige Behörde (hier: Polizei) zum Zwecke des Schutzes „vor und der Abwehr von Gefahren für die öffentliche Sicherheit“ geht. Für den Bereich des Predictive Policing gelten daneben die Vorschriften zur Datenerhebung und verarbeitung der Landespolizeigesetze, der Landesdatenschutzgesetze sowie einige Vorschriften des BDSG.137 Die neuen Polizeigesetze der Länder beinhalten erste Regelungen, die den Einsatz von KI-Systemen ermöglichen.138 Das betrifft beispielsweise Art. 33 Abs. 5 BayPAG sowie § 21 Abs. 4 PolG BW, die eine automatisierte Auswertung von Videoaufzeichnungen ermöglichen, oder § 25a HSOG oder § 49 HmbPolDVG, welche automatisierte Datenabgleiche zulassen. Trotz der Schaffung dieser Regelungen sind noch einige klärungsbedürftige Fragen offen, wie z. B. die Frage, auf welche Verhaltensmuster sich § 21 Abs. 4 PolG BW konkret beziehen.139

in: Martini et al., Automatisch erlaubt?, 2020, S. 36. (EU) 2016/680. 136  Art. 24 Abs. 1 S. 2 lit. e JI-RL: Aufnahme ins Verzeichnis der Verarbeitungstätigkeiten; Art. 27 Abs. 1 JI-RL: Durchführung einer Datenschutz-Folgenabschätzung; Art. 4 JI-RL: Beachtung der Verarbeitungsgrundsätze (der Transparenzgrundsatz hat in der JI-RL im Gegensatz zur DSGVO keinen Niederschlag gefunden). 137  Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 37. 138  Golla, in: Festschrift für Jürgen Taeger, 2020, S. 176. 139  Golla, in: Festschrift für Jürgen Taeger, 2020, S. 176. 134  Martini/Nink, 135  Richtline

114

Teil 3: Paradigmatische Einsatzfelder

Gleichwohl muss berücksichtigt werden, dass auch für den Bereich der Datenverarbeitung durch die Polizei der Zweckbindungsgrundsatz nach Art. 4 Abs. 1 lit. b) JI-RL gilt. Die Verarbeitung ist insoweit nur dann zulässig, wenn sie für einen festgelegten, eindeutigen und legitimen Zweck erfolgt. Der Umfang der Datenverarbeitung muss gemäß Art. 4 Abs. 1 lit. c) JI-RL auf das Maß beschränkt sein, das notwendig ist, um den Zweck zu erfüllen.140 Insofern muss als Konsequenz die Datenverarbeitung an sich überhaupt geeignet sein, den Zweck auch zu erreichen. Wenn dies ungewiss oder gar unmöglich ist, verbietet sich der Einsatz. Insofern müssten die Ergebnisse bei einem personenbezogenen Predictive-Policing-System kontinuierlich im Hinblick auf ihre Evidenz überprüft werden. 6. Einsatzfeld in den USA und Risiken Das Ausmaß, das Predictive Policing in den USA angenommen hat, reicht wesentlich weiter als die ersten Umsetzungen in Deutschland. Die Art der Umsetzung in den USA gibt aber Anlass, die Reichweite und das Konzept von Predictive Policing bereits jetzt hier in Deutschland kritisch zu hinterfragen. So führt etwa das Chicago Data Portal141 wie folgt aus: „The information displayed represents a de-identified listing of arrest data from August 1, 2012 to July 31, 2016, that is used by the Chicago Police Department’s Strategic Subject Algorithm (…) to create a risk assessment score known as the Strategic Subject List or ‚SSL.‘ These scores reflect an individual’s probability of being involved in a shooting incident either as a victim or an offender. Scores are calculated and placed on a scale ranging from 0 (extremely low risk) to 500 (extremely high risk). Based on this time frame’s version of the Strategic Subject Algorithm, individuals with criminal records are ranked using eight attributes, not including race or sex. These attributes are: number of times being the victim of a shooting incident, age during the latest arrest, number of times being the victim of aggravated battery or assault, number of prior arrests for violent offenses, gang affiliation, number of prior narcotic arrests, trend in recent criminal activity and number of prior unlawful use of weapon arrests. Please note that this data set includes fields that are not used to calculate SSL, for example, neither race nor sex are used in the Strategic Subject Algorithm. Portions of the arrest data are de-identified on the basis of privacy concerns. The attributes used in the Strategic Subject Algorithm are updated as the model is revised on an ongoing basis. The data set below will be updated periodically to reflect these revisions.“

140  Martini/Nink,

in: Martini et al., Automatisch erlaubt?, 2020, S. 37.

141  https://data.cityofchicago.org/Public-Safety/Strategic-Subject-List/4aki-r3np.



B. Eingriffsverwaltung 115

a) Gefahr des Dirty Policing durch Personenbezug Die Auswertung in den USA erfolgte jedenfalls in Chicago personenbezogen, sodass die staatliche algorithmisch unterstützte Analyse auch einer datenschutzrechtlichen Überprüfung unterzogen werden müsste. Zudem bringt die Verwendung von sogenannten personenbezogenen Risk-Scores einmal mehr zutage, dass weitreichende Einsetzungen von KI-Systemen auch gesamtgesellschaftliche Interessen erheblich negativ beeinflussen können. Durch eine Kriminalisierung können in bestimmten Wohnquartieren ChillingEffekte entstehen. Ein vielfach untergegangener Punkt – auch hierzulande – ist, dass Predictive-Policing-Systeme, die auf Daten basieren, die in fehlerhaften, rassistisch verzerrten und gegebenenfalls rechtswidrigen Polizeipraktiken produziert werden, die Methodik insgesamt prägen und sich somit voreingenommene Polizeiarbeit zementieren kann, sodass der Zuwachs durch algorithmische Systeme die Polizeiarbeit zu einem „dirty Policing“ pervertieren könnte.142 So haben etwa in New York mehr als hundert pensionierte höherrangige Offiziere der New Yorker Polizei ausgesagt, dass der intensive Druck, jährliche Verbrechensreduzierungen zu produzieren, einige Aufsichtsbehörden und Polizeibeamte dazu veranlasste, Kriminalitätsstatistiken zu manipulieren.143 Die Logik und die Ziele dieser Praktiken waren, die gemeldeten Zahlen für „schwere Verbrechen“ niedrig zu halten, da diese Daten dem FBI gemeldet werden mussten, während die Zahl der Straßenverhaftungen und Vorladungen hoch gehalten wurde, um den Anschein einer gemeinschaftlichen Kontrolle über die lokale Kriminalität zu erwecken.144 aa) Bias in, Bias out Unabhängig von der Frage, inwiefern solche Praktiken auch in Deutschland denkbar wären, ist klar, dass solche Predictive-Policing-Systeme jedenfalls Prozesse benötigen, die Garantien für die Qualität von Trainingsdaten 142  Richardson/Schultz/Crawford, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, New York University Law Review Online, S. 193, abrufbar unter: https://www.nyulawreview. org/wp-content/uploads/2019/04/NYULawReview-94-Richardson-Schultz-Crawford. pdf. 143  Rashbaum, William K., Feb. 2010, Retired officers Raise Questions on Crime Data, abrufbar unter https://www.nytimes.com/2010/02/07/nyregion/07crime.html (zuletzt abgerufen am 09.06.2019). 144  Richardson/Schultz/Crawford, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, New York University Law Review Online, abrufbar unter: https://www.nyulawreview.org/wpcontent/uploads/2019/04/NYULawReview-94-Richardson-Schultz-Crawford.pdf, zuletzt abgerufen am 09.06.2019, S. 194.

116

Teil 3: Paradigmatische Einsatzfelder

sicherstellen. Insbesondere wird klar, dass solche Systeme einer kontinuier­ lichen (externen) Überprüfung bedürfen, um den Schaden verzerrter Systeme einzudämmen bzw. im besten Fall erst gar nicht entstehen zu lassen. Diese Prozesse müssen transparent klarstellen, was genau unternommen wird, wenn das KI-System rassistische Verhaftungen, gefälschte Polizeidaten o. Ä. beinhaltet, es sich somit bei den zugrundeliegenden Daten um „dirty data“145 handelt. bb) Was ist „dirty data“? Es handelt sich um „dirty data“, wenn es sich um fehlende Daten, falsche Daten und nicht standardisierte Darstellungen derselben Daten handelt.146 „Dirty Data“ sind im Besonderen mit Blick auf Gefahren bei der Polizeiarbeit aber auch Daten, die von korrupten, voreingenommenen und rechtswidrigen Praktiken abgeleitet oder beeinflusst werden, einschließlich Daten, die absichtlich manipuliert wurden, sowie Daten, die durch individuelle oder gesellschaftliche Vorurteile verzerrt sind.147 b) Auswertung klassischer Polizeiarbeit fehleranfällig Da Predictive Policing auf vorherigen Mustern basiert, verstärken sich etwaige Vorurteile und Verzerrungen, indem die Polizeibeamten maschinengesteuert dorthin geschickt werden, wo sie bereits ihre Zeit verbracht haben und bestimmte Wohnquartiere somit durch eine Polizeiüberpräsenz kriminalisiert werden. Somit müssen sich prädiktive Systeme bei fehlenden Ausgleichsmechanismen durch die Polizei selbst den Vorwurf „Bias in, Bias out“148 gefallen lassen. Eine zentrale Problematik, die sich in diesem Zusammenhang bei Predictive-Policing-Systemen stellt, ist, dass es keine standardisierten Verfahren bei der Verarbeitung von Daten im Rahmen der Polizeiarbeit gibt. Dieser Mangel an Transparenz lässt vollkommen offen, was Polizeibeamte über ihre Aktivitäten aufzeichnen. Dies hat zur Folge, dass die Kim et al., 2003, 81. Kim et al., 2003, 81. 147  Richardson/Schultz/Crawford, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, New York University Law Review Online, abrufbar unter: https://www.nyulawreview.org/wpcontent/uploads/2019/04/NYULawReview-94-Richardson-Schultz-Crawford.pdf, zuletzt abgerufen am 09.06.2019, S. 195. 148  Vgl. Mayson, Yale Law Journal 2018, Bias In, Bias Out, 2218, 2224 mit dem Hinweis, dass in diesem Zusammenhang auch von „Garbage in, Garbage out“ die Rede ist. Ausgangspunkt ist, dass, wie oben bereits dargelegt, der algorithmische Output nur so gut wie die Daten ist, auf denen der Algorithmus trainiert wird. 145  146 



B. Eingriffsverwaltung 117

nachträgliche Überprüfbarkeit – Fehleinschätzungen oder Verzerrungen betreffend – sehr eingeschränkt ist. 7. Predictive Policing in Deutschland In Deutschland testen bereits einige149 Bundesländer Systeme, die anhand bestimmter Kenndaten eines Wohnungseinbruchdiebstahls (Tatort, Beute, Begehungsweise usw.) bestimmen sollen, mit welcher Wahrscheinlichkeit es sich um den Beginn einer Kleinserie handelt, mit statistisch relativ präzise bestimmbaren zeit- und ortsnahen Folgetaten (sogenannte „near repeats“).150 Dabei handelt es sich quasi um das Grundmodell. Welche Daten tatsächlich ausgewertet werden, muss anhand der von den Landesbehörden unterschiedlich eingesetzten Software-Lösungen entschieden werden. In dem Evalua­ tionsbericht der Software SKALA (Nordrhein-Westfalen) heißt es etwa: „In diese Berechnungen fließen neben polizeilichen Vorgangsdaten u. a. sozio-demografische und gebäudespezifische Daten ein (z. B. Einwohnerstruktur, Kaufkraft, Verkehrsanbindung), die durch Operationalisierung von Hypothesen sozialwissenschaftlicher und kriminologischer Theorien bestimmt wurden. Dieses Verfahren gewährleistet, dass Modell- und Prognoseerstellung auf belastbaren wissenschaftlichen Theorien und Befunden basieren. Dadurch grenzt sich diese Vorgehensweise von anderen Umsetzungen ab, die häufig nur auf dem Near-Repeat-Ansatz beruhen.“151

Es stellt sich die Frage, inwieweit Predictive Policing zum Zwecke der Operationalisierung weitreichende personenbezogene Daten einbeziehen darf, da die Rechte und Grundfreiheiten der Betroffenen dadurch gefährdet werden und zudem das Diskriminierungspotenzial solcher Auswertungen bzw. deren Ergebnisse steigt, wenn es zu einem „false positive“ kommt. Berücksichtigt man den Evaluationsbericht zu SKALA, wird deutlich, dass Predictive Policing nur funktioniert, wenn die Auswertung auf eng begrenzte Wohnquartiere bezogen ist, da andernfalls keine brauchbaren Ergebnisse erzielt werden können. Insofern kann auch ein zunächst ortsbezogenes, nicht personenbezogenes Predictive Policing zu einem personenbezogenen werden, wenn durch eine Verarbeitung kleinräumiger Parzellen die Herstellung eines Personenbezugs eben doch möglich ist. 149  Die Software „IfmPt“ nutzend: Bayern (seit 2014); Baden-Württemberg (seit 2015) und Sachsen (seit Dez. 2018); eigene Entwicklungen nutzend: Hessen (seit 2015); Berlin (seit 2016), Nordrhein-Westfalen (seit 2015) sowie Niedersachsen. 150  Rademacher, AöR 142, 2017, 369. 151  Kooperative Evaluation des Projekts „SKALA“, Kurzfassung des Endberichts v. 31.01.2018, abrufbar unter: https://polizei.nrw/sites/default/files/2018-06/160131_ Evaluationsbericht_SKALA_Kurzfassung.pdf (zuletzt abgerufen am 06.06.2019), S. 3.

118

Teil 3: Paradigmatische Einsatzfelder

Entscheidet das algorithmische System, dass die Wahrscheinlichkeit für bestimmte zukünftige Tatorte und Tatzeiten hoch ist, wird dahingehend entsprechend reagiert, dass mehr Beamte zu der prognostizierten Zeit an dem prognostizierten Ort Streife fahren.152 Eingesetzt wird Predictive Policing in Deutschland hauptsächlich für Serieneinbrüche, weil diese Täter nach der Near-Repeat-These erfahrungsgemäß einem gewissen Modus Operandi folgend bevorzugt in der Nähe des Ortes wieder straffällig werden, an dem sie schon einmal Erfolg hatten.153 Die Bundesregierung antwortete im Jahr 2015 auf eine kleine Anfrage der Fraktion Die Linke, dass es keine allgemeinverbindliche Definition der Bundesbehörden für „Predictive Policing“ gibt. Allgemein lasse sich sagen, dass es sich um einen mathematisch-statistischen Ansatz handelt, der unter Nutzung von anonymen Falldaten und unter Annahme kriminologischer Theorien „Wahrscheinlichkeiten für eine weitere (gleichgelagerte) Straftat in einem abgegrenzten geografischen Raum in unmittelbarer zeitlicher Nähe (maximal sieben Tage) berechnet“. Der Fokus liege auf dem Deliktsbereich Wohnungseinbruchdiebstahl.154 Die Entscheidung, sich (zunächst) auf dieses Delikt festzulegen, liegt zum einen darin begründet, dass es sich um ein Massendelikt handelt und somit eine große Menge an Trainingsdaten vorhanden sein wird. Zum anderen wird vertreten, dass die Aufklärungsquote und Fallzahlentwicklung in diesem Deliktsbereich zu einem Maßstab für erfolgreiche Polizeiarbeit geworden ist.155 Predictive-Policing-Systeme in Deutschland werten im Wesentlichen nicht wie in den USA personenbezogene Daten aus, sondern Tatortberichte der Polizei, Geodaten und Verkehrsinformationen sowie ggf. Fluggastdaten (§ 4 FlugDaG).

152  Heitmüller, Missing Link: Predictive Policing – die Kunst, Verbrechen vorherzusagen, abrufbar unter: https://www.heise.de/newsticker/meldung/Missing-LinkPredictive-Policing-die-Kunst-Verbrechen-vorherzusagen-4425204.html, zuletzt aufgerufen am 01.06.2019.­ 153  Heitmüller, Missing Link: Predictive Policing – die Kunst, Verbrechen vor­ herzusagen, abrufbar unter: https://www.heise.de/newsticker/meldung/Missing-LinkPredictive-Polic­ing-die-Kunst-Verbrechen-vorherzusagen-4425204.html, zuletzt aufgerufen am 01.06.2019. 154  https://www.bundestag.de/presse/hib/2015_01/356416-356416 (zuletzt abgerufen am 01.06.2019). 155  LKA Hamburg, Kriminologische Forschungsstelle, Prädiktionspotenzial schwere Einbruchskriminalität, abrufbar unter: https://www.polizei.hamburg/contentb lob/12118190/83d3f24635ef41f35664c57059045fa5/data/ergebniszusammenfassungpraediktionspotenzial-schwere-einbruchskriminalitaet-stand-januar-2019)-do.pdf, zuletzt abgerufen am 10.06.2019.



B. Eingriffsverwaltung 119

2016 veröffentlichte das Büro für Technikfolgenabschätzung beim Deutschen Bundestag ein „Themenkurzprofil“156. Demnach seien vier Arten von Predictive Policing denkbar: Verfahren, mit denen mögliche Örtlichkeiten und Zeiten mit einem erhöhten Kriminalitätsrisiko prognostiziert werden; Verfahren, mit denen Individuen identifiziert werden, die zukünftig in Straftaten verwickelt sein könnten; Verfahren, mit denen Profile erstellt werden, bei denen mögliche zukünftige Straftaten von Individuen mit bereits begangenen Straftaten abgeglichen werden können; Verfahren, mit denen Gruppen oder Individuen identifiziert werden, die zukünftig Opfer einer Straftat werden könnten.157 In einer Antwort der Bundesregierung vom 03.04.2018 heißt es auf eine kleine Anfrage einiger Abgeordneter und der Fraktion der FDP,158 dass auf Bundesebene die Sicherheitsbehörden softwaregestützte Prognosetechnologien im Sinne des Predictive Policing derzeit weder nutzen noch entwickeln.159 Auf Landesebene hingegen finden in verschiedenen Bundesländern derzeit Systeme der vorhersagenden Polizeiarbeit („predictive polic­ ing“) Anwendung.

II. Zwischenfazit Eine extensive Nutzung des Predictive Policing nach dem Vorbild der USA – namentlich die Bildung von Risk-Scores für Bürger einer Stadt – birgt erhebliches Diskriminierungspotenzial und könnte daher einen Verstoß gegen das Diskriminierungsverbot des Art. 21 GRCh darstellen, indem die Ausgewerteten kriminalisiert werden. Insbesondere wenn aufgrund von Risk-Scores beliebig Gefährderanschreiben versendet werden, stellt sich die Frage, ob nicht auch das rechtsstaatliche Prinzip der Unschuldsvermutung aus Art. 20 Abs. 3 sowie Art. 6 Abs. 1 EMRK verletzt werden könnte. Jedenfalls wird dadurch zu invasiv in die informationelle Selbstbestimmung von Betroffenen eingegriffen und der Eingriff steht außer Verhältnis mit dem staatlich verfolgten Gefahrenabwehrzweck.160 Die oben bereits angesprochene Problematik – dass KI-Systeme lediglich Korrelationen, aber keine Kausalitäten erkennen – kommt im Bereich des Predictive Policing besonders zum Tragen: Sollte es in einem Wohngebiet, in dem überwiegend Menschen mit Migra­ tionshintergrund leben, vermehrt zu Gewaltdelikten kommen, sollte jeden156  Vgl. Richter/Kind, Predictive Policing, Büro für Technikfolgenabschätzung im Deutschen Bundestag, 2016, abrufbar unter: https://www.tab-beim-bundestag.de/de/ pdf/publikationen/themenprofile/Themenkurzprofil-009.pdf (zuletzt abgerufen am 01.06.2019). 157  Richter/Kind, Predictive Policing, S. 2. 158  Deutscher Bundestag, Drucksache 19/1513. 159  Deutscher Bundestag, Drucksache 19/1513, S. 2. 160  Martini/Nink, in: Martini et al., Automatisch erlaubt?, 2020, S. 41.

120

Teil 3: Paradigmatische Einsatzfelder

falls der Mensch, der den Zusammenhang zwischen Ursache und Wirkung erkennen kann, nicht schlussfolgern, dass Menschen mit Migrationshintergrund aggressiv und/oder kriminell sind. Die Maschine ist hingegen ohne moralischen Kompass solchen Schlussfolgerungen quasi ausgeliefert. Diskriminierungsgefahren durch das Arbeiten mit ungeeigneten Trainingsdaten sind im Bereich des Predictive Policing verheerend. Polizeiakten z. B., die Defizite enthalten, weil sie auch das Produkt des möglicherweise voreingenommenen Polizeibeamten sind, führen zu algorithmischen Verzerrungen, angelegt im Lernprozess und in die Zukunft hinein perpetuiert.161 So kann eine Verzerrung dadurch entstehen, dass in hauptsächlich von Migranten bewohnten Stadtteilen der versteckte Prädiktor Geburtsort prognoserelevant wird.162 Dadurch wird ein Crowding-in-Effekt auf zwei Ebenen befeuert: Der Algorithmus wird die Beamten so häufiger dorthin schicken, wo sie bereits „strafbare“ und somit gefahrindizierende Daten gesammelt haben, und zum anderen sind sodann Migranten in den Akten überrepräsentiert. Und eben aus diesem Grund – zur Vermeidung von diskriminierenden Verstärkungseffekten – ist gerade im Bereich des Predictive Policing Transparenz von entscheidender Bedeutung. Gemeint ist in diesem Zusammenhang insbesondere die Transparenz für die Behörden selbst, um durch eine Durchsicht der ermittelten Prädiktoren eine Steuerbarkeit des algorithmischen Systems für die Behörde sicherstellen zu können.163

AöR 142, 2017, 376. AöR 142, 2017, 376. 163  Rademacher, AöR 142, 2017, 376. 161  Rademacher, 162  Rademacher,

Teil 4

Spannungsfelder und Grenzen beim Einsatz von KI im öffentlichen Bereich Unter Berücksichtigung der technischen Grundlagen und der Referenzbeispiele können bestehende rechtliche Grenzen, aber auch Rechtsschutzlücken aufgezeigt werden. Damit soll der dringenden Frage nachgegangen werden, ob der Einsatz von KI-Systemen taugliche rechtliche Anknüpfungspunkte gefunden hat, wobei in diesem Zusammenhang im Besonderen datenschutzrechtliche und verfassungsrechtliche Vorgaben sowie einzelne einfachgesetzliche Regelungen in den Blick genommen werden sollen. Die beiden Referenzbeispiele haben gezeigt, dass die Leitplanken anwendungsfallbezogen unterschiedlich verlaufen können. Das jeweilige Einsatzfeld und die Bereichsdogmatiken sind im Einzelfall in die rechtliche Bewertung mit einzubeziehen. Gleichwohl bestehen – was ebenfalls die Beispiele verdeutlicht haben – allgemeine verfassungsrechtliche Grenzen, die im Rahmen von allen Anwendungsfällen zu berücksichtigen sind. Es wird sich zeigen, dass regulatorische Ansätze auf ökonomische und technische Funktionsbedingungen der analogen Welt zugeschnitten sind, sodass sie bei KI-Systemen an die Grenzen ihrer Steuerungsmacht stoßen.1 Die unmittelbare Grundrechtsbindung sowie Kontrollmechanismen wie etwa die Informationsansprüche der Bürger garantieren bereits Ansätze zur Gegensteuerung asymmetrischer Machtgefälle im Verhältnis Staat und Bürger. Da KI-Systeme lediglich statistische Ergebnisse liefern können, müssen sog. „false positive“- und „false negative“-Ergebnisse stets mitberücksichtigt werden. In wesentlichen Bereichen werden rein statistische Ergebnisse jedoch den grundrechtlichen Vorgaben nicht ausreichen, wie z. B. bei einem strafrechtlichen Schuldvorwurf. Insoweit begrenzen Grundrechte bereits unter Berücksichtigung der technischen Grundlagen solcher KI-Systeme die möglichen Einsatzfelder im öffentlichen Sektor in erheblichem Maße.2 Zuvor werden die möglichen Risiken von algorithmischen Entscheidungen aufgezeigt. Die Risiken hängen von der technischen Weiterentwicklung und Blackbox Algorithmus, 2019, S. 66. auch Wischmeyer, AöR 143, 2018, 24.

1  Martini, 2  So

122

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

den Einsatzfeldern ab. Folglich erhebt die Darstellung nicht den Anspruch auf Vollständigkeit. Sie bildet lediglich die derzeit mit KI-Systemen einhergehenden typischen Risiken für die Rechte und Freiheiten der Bürger ab. Es wird sich zeigen, dass sich sowohl Risiken für die individuellen Rechte und Freiheiten des Betroffenen als auch für gesamtgesellschaftliche Interessen ergeben. Zudem besteht für menschliche Verwaltungsentscheidungen bereits ein Kontroll- und Überwachungssystem. Es fragt sich somit, ob sich maschinelle Entscheidungen in dieses System nicht einbetten lassen oder tatsächlich spezielle Regelungen (Stichwort: KI-Regulierung) notwendig sind, welche der technischen Eigenart solcher Systeme Rechnung tragen. An einigen Stellen werden als mögliche Gegenmaßnahmen zur Minimierung der Risiken aber auch technische Ansätze angerissen.3 Dadurch, dass das Recht selbst die Leitlinien für die Anwendung von KISystemen im öffentlichen Sektor liefern muss, können anhand möglicher rechtlicher Anknüpfungspunkte die Reichweite und die möglichen Grenzen aufgezeigt werden. Dabei kann Recht in diesem Zusammenhang nicht nur als Begrenzung verstanden werden, sondern ggf. sogar zur Implementierung und Weiterentwicklung von Technik und damit von KI-Systemen verpflichten. Beispielhaft könnte das Recht auf eine gute Verwaltung nach Art. 41 GRCh dann zum Einsatz von KI-Systemen verpflichten, wenn andernfalls eine ineffiziente Verwaltung droht.4 Begrenzend wirkt das Recht in vielen sektorspezifischen Bereichen, wie etwa dem Beamtenrecht. Nach § 114 Abs. 4 BBeamtenG dürfen beamtenrechtliche Entscheidungen nicht ausschließlich durch automatisierte Verarbeitung personenbezogener Daten gestützt werden, die der Bewertung einzelner Persönlichkeitsmerkmale dienen. Ausgeschlossen werden hier per Gesetz die vollautomatisierte Verarbeitung und Entscheidung, nicht jedoch die Entscheidung, die aufgrund einer algorithmischen Auswertung vorbereitet wird, sodass auch hier der Weg für assistierte Entscheidungen durch KI-Systeme offensteht. Es hat sich gezeigt, dass dem Menschen beim Einsatz von KI-Systemen eine große Bedeutung zukommt. Somit müssen normative Ansätze vorsehen, dass KI-Systeme durch eine (ggf. risikobasierte) Governance-Struktur in bestehende Entscheidungssysteme eingebettet werden müssen. Im Zusammenhang von möglichen Entscheidungsarten stoßen bereits die technischen Möglichkeiten an rechtliche Grenzen. So ist etwa im Rahmen von Ermessensentscheidungen zu berücksichtigen, dass KI-Systeme lediglich 3  Hier werden im Rahmen der Transparenz-Herausforderungen Blackbox- und Whitebox-Testing-Ansätze erläutert, Stichwort: „transparency by design“. 4  Djeffal, NEGZ 2018, S. 18.



A. Risiken und Gegenmaßnahmen123

statistisch errechnete Antworten liefern können. Sie sind aber nicht imstande, Fragen zu stellen. Die richtigen Fragen zu stellen ist aber bei der Ausübung von Ermessen zentral, weil nur so das Gesamtbild bei komplexen Fragestellungen in den Blick genommen werden kann, wie es z. B. Prognoseentscheidungen verlangen. Wir Menschen sind eine soziale Spezies; nicht Maschinen, sondern Menschen können soziale Kräfte verstehen und sie in ihre Entscheidungen mit einfließen lassen. Die kontextuelle Einordnung von Daten gewinnt vor allem dann an Bedeutung, wenn es um wertende Aspekte wie Fairness oder Angemessenheit geht.

A. Risiken und Gegenmaßnahmen Die Risiken – und damit auch zwangsläufig die Gegenmaßnahmen – lassen sich wie folgt aufteilen: Risiken im Rahmen der Konzeptionsphase und solche, die sich in der Implementierungsphase ergeben. Letzteres muss wiederum unterteilt werden in Risiken für Individualrechte und Risiken für die Gesellschaft als Ganzes. Die oben dargestellte Funktionsweise zeigt, dass Intransparenz der Entscheidungsregeln und die komplexen Interaktionen zwischen Daten, Algorithmen und sozialer Einbettung dazu führen, dass Entscheidungen Individuen oder die gesamte Gesellschaft schädigen können.5 In solchen Konstellationen braucht es eine Überwachung ihrer Entscheidungsqualität (Risiken in der Konzeptionsphase) und ihrer Einbettung in soziale Prozesse (Risiken bei der Implementierung in Verwaltungsentscheidungen) durch Menschen.6 Abhängig von der jeweiligen Phase – Konzeption oder Implementierung – bieten sich verschiedene Gegenmaßnahmen an, die sich stets an drei Eckpfeilern anknüpfen lassen: den Menschen, den Daten und/oder den Algorithmen. Im Rahmen der Konzeptionsphase bieten sich wiederum insbesondere Ex-ante-Maßnahmen an, während sich in der Implementierungsphase die Entwicklung von tragfähigen Ex-ante- sowie angemessenen Ex-post-Kontrollmechanismen anbietet.

Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 5. Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 5. Für eine Einteilung der Risiken in Konzeptionsphase und Implementierungsphase auch Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 14. Es kann durchaus sein, dass bestimmte Risiken nicht trennscharf abgegrenzt werden können. Sie werden dort dargestellt, wo der Schwerpunkt des Risikos liegt. 5  Zweig, 6  Vgl.

124

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

I. Risiken für individuelle und gesamtgesellschaftliche Interessen Beim Einsatz von KI-Systemen können unterschiedlich hohe Risiken für Individuen, aber auch für gesamtgesellschaftliche Interessen entstehen. Diese Risiken können durch Prozesse wie etwa das Recht auf Hinzuziehung eines menschlichen Entscheiders oder ein Recht auf Einspruch gegen die algorithmische Entscheidung eingedämmt werden. In Abhängigkeit davon, welche Interessen im Einzelfall im Rahmen von Verwaltungsentscheidungen schwerer betroffen sind, müssen unterschiedliche Anforderungen an Transparenz und graduell abgestufte Methoden der Kontrolle und Überwachung in Erwägung gezogen werden.7 Insofern gilt es nachfolgend zunächst die Risiken auf einer vom Anwendungsfall unabhängigen abstrakteren Ebene für die vorbenannten Interessenkreise darzustellen und sie entsprechend den „unterschiedlichen Lebenszyklen“8 der KI-Systeme zu kategorisieren. Zudem dient diese Aufteilung dem Ziel aufzuzeigen, welche Maßnahmen zu welchem Zeitpunkt ergriffen werden müssen, um die Gefahrenquelle zu detektieren. Denn in der Konzeptionsphase können sich vielerlei Fehler in das KI-System einschleichen, die rechtlich unbedenklich sind, wenn das KISystem niemals eingesetzt werden soll. Diskriminierungen können nur dann stattfinden, wenn tatsächlich gegenüber einer Person eine Entscheidung getroffen wird. Gleichwohl können „Fehler“, die zu einer diskriminierenden algorithmischen Auswertung führen, sich in den Trainingsdaten verbergen. Bei algorithmischen Systemen ist es daher eine Herausforderung, ihre Diskriminierungsgeneigtheit bereits in der Konzeptionsphase möglichst auszumerzen. Insofern werden in diesem Abschnitt (Risiken in der Konzeptionsphase) auch Diskriminierungsgefahren angesprochen, die ihre Wurzel eben in dieser Konzeptionsphase finden. 1. Risiken in der Konzeptionsphase Im Rahmen der Konzeptionsphase, also vor dem Einsatz des KI-Systems, können sich insbesondere in der Trainingsphase Fehlerquellen herausstellen, die wiederum zu Fehlurteilen führen. Dabei gibt es Faktoren, die systemimmanent sind9, und solche, die unmittelbar mit dem Training des Algorithmus zu tun haben. Durch eine für den Zweck ungeeignete Vorauswahl von Trainingsdaten oder aber auch eine unzureichende Menge an Trainingsdaten Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 8. auch die Entschließung der DSK vom 04.11.2019, Empfehlungen für eine datenschutzkonforme Gestaltung von KI-Systemen. 9  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 5. 7  Zweig, 8  So



A. Risiken und Gegenmaßnahmen125

können Risiken für die Rechte und Freiheiten der Betroffenen einhergehen, sodass die Qualität der Trainingsdaten selbst als Risiko für das Gesamtsystem zu betrachten ist.10 Durch ein Training mit einem unzureichenden bzw. nicht repräsentativen Datenbestand wird ein fehlerhaftes Modell erlernt. Dieser nicht akzeptable Lernlevel kann zu algorithmischen Verzerrungen („Bias“) führen. Diese Verzerrungen nehmen dann – soweit sie vor dem Einsatz nicht ausgemerzt werden – Einzug in den Verwaltungsprozess. Insoweit bedingt ein „faires“ KI-System faires Trainingsmaterial. De lege ferenda müsste ein regulativer Rahmen operationalisierbare Qualitätskriterien für Trainingsdaten festhalten.11 Bereits in der Konzeptionsphase muss untersucht und entschieden werden, ob der Zweck bzw. das Einsatzfeld des KI-Systems geeignet ist. Es ist also danach zu fragen, ob das KI-System für den Zweck überhaupt in der Lage ist, evidente Ergebnisse auszuliefern. a) Diskriminierung durch menschliche Vorgaben Eine Diskriminierungsfreiheit wird grundrechtlich in Art. 3 Abs. 3 GG sowie Art. 21 GRCh gewährleistet. Algorithmen beruhen auf menschlichen Modellierungen, in die auch die Ansichten, Neigungen und Wertmuster ihrer Schöpfer einfließen; sie sind nicht objektiv oder neutral.12 Insoweit können menschliche Vorurteile, Vorstellungen und Wertungen gerade durch das Training Einzug in die maschinelle Entscheidung gefunden haben.13 KI-Systeme sind algorithmisch in Binärcode übersetzte Hypothesen zu vermuteten Wirklichkeitszusammenhängen, mit welchen aus Daten der Vergangenheit Korrelationen hergestellt werden, um Vorhersagen über die Zukunft zu treffen.14 Insoweit dienen die maschinell festgestellten Korrelationen dem Zweck, die von Menschen vorgegebenen Steuerungsvorgaben zu bestätigen. Soweit es um Gefahren der Machtverschiebung15 geht, ist zu berücksichtigen, dass 10  Hacker, A Legal Framework for AI Training Data, 2020, S. 3; Hoeren, MMR 2016, 8, 11. 11  Der von der Kommission erarbeitete Verordnungsentwurf „Artificial Intelligence Act“ (2021) lässt diesbezügliche Kriterien vermissen. Für solche Kriterien und konkreten Vorschläge vgl. Hacker, A Legal Framework for AI Training Data, 2020, S. 21. 12  Martini, JZ 2017, 1017, 1018. 13  Wischmeyer, AöR 143, 2018, 27. 14  Martini, Blackbox Algorithmus, 2019, S. 48. Anschaulich veranschaulichen diesen Aspekt die Predictive-Policing-Systeme, die von einer von Menschen festgelegten kriminologischen Near-Repeat-These ausgehen. 15  Die Tatsache, dass menschliche Zielvorgaben die Algorithmen prägen, verwirklicht damit auch ein Risiko für gesamtgesellschaftliche Interessen, was zur Vermeidung von doppelten Ausführungen nur hier angesprochen wird.

126

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

auch menschliche Akteure hinter der Technik und deren Interessen bei der Beurteilung, ob KI-Systeme beispielsweise in der Verwaltung Einzug finden können, stets mitberücksichtigt werden müssen. b) Diskriminierung durch eine fehlende oder ungeeignete Vorverarbeitung von Trainingsdaten Es wäre ein Irrglaube anzunehmen, dass KI-Systeme objektiver sein könnten als Menschen, weil sie keinen zu niedrigen Blutzuckerspiegel haben oder voreingenommen sein können. Die maschinellen Entscheidungen sind nicht beeinflusst von Stimmungsschwankungen oder gar Antipathie.16 Diese ermitteln ihrem Wesen nach nur Korrelationen, aber keine Kausalität.17 Das zeigt, dass eine hinreichende Objektivität algorithmischer Entscheidungen nur dann erreicht werden kann, wenn der Maschine ausreichend („gute“) Daten für den Lernprozess zur Verfügung gestellt werden.18 Ansonsten kommt es zu algorithmischen Verzerrungen, ähnlich wie die Vorurteile, denen wir als Menschen – wie oben dargestellt – auch unterliegen. Der Unterschied zu menschlichen Entscheidern ist jedoch, dass wir die künstliche Blackbox gezielt regulieren können, den Menschen aber lediglich durch grundrechtliche Konditionierung (Art. 3 GG) anhalten können, diskriminierende Entscheidungen zu verhindern. Algorithmische Verzerrungen können auch Reflex tatsächlich bestehender Korrelationen sein, die jedoch an Kategorien wie Ethnie, Sexualität oder Geschlecht anknüpfen und deswegen mit besonderer Vorsicht behandelt werden müssen.19 Algorithmen fehlt es insoweit an einem ethischen Kompass.20 Das bedeutet, dass KI-Systeme in bestimmten Situationen wahre Korrelationen feststellen können, die unsere Gesellschaft moralisch so nicht akzeptieren möchte, und es sich daher verbietet, solche Tatsachen im Entscheidungsprozess mit einfließen zu lassen. Die Trainingsdaten prägen die Entscheidungsfindung des KI-Systems, da sie als vorbildhaftes Muster dienen und die hinter den Trainingsdaten steckenden Wertungsmuster übernehmen und damit Vorurteile, Verzerrungen und Diskriminierungen, die sich in der Gesellschaft vorfinden, widerspiegeln.21 Diese Problematik stellt sich insoweit bei allen Lernstilen von KI-Systemen. KI-Systeme, die auf vergangenen verzerrten Blackbox Algorithmus, 2019, S. 47. JZ 2017, 1017, 1018. 18  Zum Spannungsverhältnis mit dem datenschutzrechtlichen Prinzip der Datenminimierung weiter unten unter Teil 3, B. I. 2. d). 19  Wischmeyer, AöR 143, 2018, 27. 20  Martini, JZ 2017, 1017, 1018. 21  Martini, Blackbox Algorithmus, 2019, S. 50. 16  Martini, 17  Martini,



A. Risiken und Gegenmaßnahmen127

Daten ohne sorgfältige Abwägung trainiert werden, bergen daher die Gefahr, Diskriminierungen, die bei früheren Entscheidungen beobachtet wurden, wiederherzustellen oder sogar zu verschärfen.22 Dieses Risiko kann sich in jedem Einsatzfeld realisieren, sodass beispielsweise ein Filtersystem für Lebensläufe, das nur auf früheren Erfolgsraten für Bewerber basiert, wahrscheinlich einige der Verzerrungen kodieren und replizieren wird, die durch die Filterung von Lebensläufen oder die manuelle Vergabe von Stellen in der Vergangenheit aufgetreten sind.23 Insofern ist das Risiko in diesem Zusammenhang deshalb so hoch, weil solche KI-Systeme indirekt, unbeabsichtigt und unwissentlich diskriminierend sein können. c) Zwischenergebnis Eine kritische Auswahl von Trainingsdaten muss im Verantwortungsbereich des Menschen bleiben. Die Gewährleistung einer hinreichenden Qualitätsstufe von Trainingsdaten ist ein Anknüpfungspunkt für regulatorische Ansätze. Insoweit bedingt ein „faires“ KI-System faires Trainingsmaterial. De lege ferenda müsste ein regulativer Rahmen operationalisierbare Qualitätskriterien für Trainingsdaten festhalten.24 Bereits in der Konzeptionsphase muss vorher untersucht und entschieden werden, ob das KI-System für den Zweck überhaupt in der Lage ist, evidente Ergebnisse auszuliefern. KI-Systeme können dem Menschen die Reflexionsaufgaben der Abwägung und der ethischen Bewertung nicht abnehmen.25 Da diese Aufgaben konstituierend für einen Rechtsstaat sind, muss bei jeder intelligenten maschinellen Entscheidung ein Hinzuziehungsrecht eines menschlichen Entscheiders, der die Sache analog überprüft und abwägt, zumindest möglich sein.26 KI-Systeme können nur speziell für ein darauf trainiertes Einsatzfeld vorgesehen werden. 22  Edwards/Veale, Slave to the Algorithm? Why a „Right to an Explanation“ Is Probably Not the Remedy You Are Looking For, 16 Duke Law & Technology Review, 2017, 18, 28. 23  Edwards/Veale, Slave to the Algorithm? Why a „Right to an Explanation“ Is Probably Not the Remedy You Are Looking For, 16 Duke Law & Technology Review, 2017, 18, 28. 24  Der von der Kommission erarbeitete Verordnungsentwurf „Artificial Intelligence Act“ (2021) hat diesbezüglich ausbaufähige Ansätze implementiert, namentlich Kapitel 2 (Art. 8–15 AIA). Die dort formulierten Anforderungen müssten jedoch mit konkreteren Kriterien angereichert werden, was durch konkretisierende Leitlinien bewerkstelligt werden kann. Für konkrete Vorschläge relevanter Kriterien vgl. Hacker, A Legal Framework for AI Training Data, 2020, S. 21. 25  Martini, Blackbox Algorithmus, 2019, S. 49. 26  Solche Anknüpfungspunkte sind im Recht schon vorgesehen, z.  B. Art. 22 i. V. m. EG 71 der DSGVO.

128

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

2. Risiken in der Implementierungsphase Von der Konzeptionsphase ist die Implementierungsphase zu unterscheiden. Hier wird das KI-System bzw. dessen Ergebnislieferungen in die Verwaltungsentscheidung integriert. Erst hier wirken mögliche im KI-System angelegte Verzerrungen auf gesamtgesellschaftliche Interessen und die Rechte und Freiheiten des Einzelnen. Es kann zu unbrauchbaren Ergebnissen kommen, wenn das KI-System in einem anderen als bei der Konzeption beabsichtigtem Einsatzgebiet genutzt werden soll.27 In dieser Phase stellt sich die Frage, ob und wieweit für den jeweiligen Zweck KI-Systeme in staatliche Entscheidungsprozesse eingesetzt werden können. Die Frage ist also, ob es aus verfassungsrechtlicher Sicht zulässig wäre, in der Justiz ein System zur Beurteilung der Rückfallwahrscheinlichkeit von Straftätern einzusetzen, und ob es gleichzeitig mit Blick auf zukünftige Entwicklungen ethisch gewollt ist, z. B. ein Social-Scoring-System wie in China einzusetzen.28 Soweit KISysteme in staatlichen Entscheidungen eingesetzt werden, können hierdurch insofern sowohl Risiken für individuelle Interessen als auch für gesamtgesellschaftliche Interessen entstehen. a) Objekt algorithmischer Verzerrung durch Intransparenz Soweit Betroffene nicht nachvollziehen können, welche Aspekte ausschlaggebend für eine Entscheidung gewesen sind, droht die Gefahr, dass der Einzelne zum Objekt algorithmischer Entscheidungen wird. „Jedenfalls löst es die Anwandlung aus, zum Objekt sublimer Steuerung zu degenerieren.“29 Dies steht im Widerspruch zu Art. 1 Abs. 1 GG sowie Art. 1 Abs. 1 GRCh. Für die Schaffung von Vertrauen ist es insoweit zwingend erforderlich, dass betroffene Personen den Umfang der Datenverarbeitungen sowie die Rechtmäßigkeit von staatlichen Entscheidungen überprüfen können. Dies setzt voraus, dass der Einzelne zumindest Kenntnisse von den wesentlichen Entscheidungsparametern und ihren Gewichtungen hat.30

27  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 14. 28  Vgl. für einen Überblick über das Social-Scoring-System in China: Sartorius, China testet derzeit verschiedene Social-Scoring-Systeme, die das Verhalten der Einwohner beurteilen. Trotz aller Kontrolle ist die Zustimmung hoch, 08.05.2020, abrufbar unter: https://www.heise.de/ct/artikel/Social-Scoring-in-China-4713878.html. 29  Martini, JZ 2017, 1017, 1018. 30  Martini, JZ 2017, 1017, 1018.



A. Risiken und Gegenmaßnahmen129

b) Eingriff in justizielle Grundrechte Ein damit zusammenhängendes Problem ist, dass die Gefahr besteht, dass durch den verstärkten Einsatz weitgehend opaker Systeme im Rahmen von Verwaltungsentscheidungen justizielle Grundrechte der Betroffenen nicht effektiv wahrgenommen werden können. Dadurch, dass Maschinen Entscheidungen für Menschen, über Menschen oder mit Menschen treffen und ihre Entscheidungen nicht „transparent“ sind, können die sonst hohen Anforderungen an Begründungen von belastenden Verwaltungsakten konterkariert werden. Mit der Unmöglichkeit, Fehlurteile in opaken Systemen zu detektieren, droht ein Eingriff in justizielle Rechte der Betroffenen – namentlich ein Anspruch auf rechtliches Gehör aus Art. 103 GG Abs. 1 sowie das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren gemäß Art. 47 GRCh.31 Diese Gefährdungslage verdeutlicht, dass Fairness auf verschiedenen Ebenen gewährleistet werden muss und die Überprüfbarkeit als „Prozessfairness“ stets mitberücksichtigt werden muss, da jegliche weiter herauszuarbeitenden Fairnessprinzipien ohne gerichtliche Kontrolle in Leere laufen.32 Das Risiko, dass justizielle Grundrechte stark beeinträchtigt werden, verstärkt sich zudem dadurch, dass durch das KI-System vorgenommenen Klassifizierungen und so erstellte Profile ungenau sein können. So können dabei sogenannte „false positive“- und „false negative“-Profile entstehen, was dahingehend zu verstehen ist, dass Personen, die tatsächlich nicht in die Klasse bzw. in das Profil passen, dieser Kategorie dennoch zugeordnet werden („false positive“), oder Personen, die in das Profil tatsächlich passen, dieser Gruppe nicht zugeordnet werden („false negative“).33 Die Betroffenen können sich gegen solche falschen Klassifizierungen nur schwer wehren, weil sie davon nichts wissen und eine gerichtliche Überprüfbarkeit nur schwer möglich ist. Es handelt sich schließlich um kein kontradiktorisches Verfahren, bei dem beide Seiten gehört werden können. Dies kann schließlich zu einer Art Beweislastumkehr führen, indem die betroffene Person darlegen und beweisen muss, warum er oder sie dem Profil gerade nicht entspricht, was in der Regel mangels weiterer Anhaltspunkte ein unmögliches Unterfangen sein wird.

31  Dies gilt auch für assistierende Systeme, vgl. oben zu COMPAS, Teil 3, A. II. 2. Assistierende Systeme. 32  Hermstrüwer, AöR 145, 2020, 479, 513. 33  Vgl. Schermer, Risks of profiling and the limits of data protection law, 2013, 137, 140.

130

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

c) Zementierung von Diskriminierungen und horizontale Wirkmacht KI-Systeme haben kein Verständnis von der Bedeutung der ausgewerteten Informationen und wenden kategorisch ihre Entscheidungslogik konsistent auf alle Fälle an. Ihre quantifizierende Durchdringung des Sozialen macht dadurch auch den Zugang zu Leistungen von Gruppenzuordnungen abhängig, die in eine selbstreferenzielle Entscheidungsmechanik münden können, welche bereits existierende strukturelle Ungleichheiten verstärken oder gar zementieren kann.34 Diskriminierende Einstellungen beeinträchtigen betroffene Gruppen daher besonders intensiv. Diskriminierungsverbote aus Art. 3 Abs. 3 GG bzw. Art. 21 GRCh sind dem binären Wesen eines selbstlernenden KI-Systems grundsätzlich fremd.35 Sollten algorithmische Entscheidungen trotz fehlender bzw. nicht hinreichender Transparenz von öffentlichen Stellen eingesetzt werden, erfahren die Betroffenen in den seltensten Fällen von bestehenden Diskriminierungen, sodass bestehende sich zementieren. Dies hat erhebliche Auswirkungen auf die Rechte und Freiheiten des Einzelnen, aber auch auf gesellschaftliche Interessen wie Teilhabe. Die Kenntnis von möglichen Diskriminierungen bzw. die Überprüfbarkeit von Entscheidungen ist aber basale Voraussetzung, um gegen solche Entscheidungen vorgehen zu können. Durch Nachvollziehbarkeit der Entscheidung wird dem Bürger somit ein Stück Beherrschbarkeit von hoheitlichen Entscheidungen bewahrt. Insofern ist Transparenz in einem Rechtsstaat ein bedeutsames Mittel zum Ausgleich von Machtasymmetrien.36 KI-Systeme können daher konsistent diskriminieren, womit die Verzerrungen schließlich für die Gemeinschaft weit invasivere Folgen bedeuten, weil die Verzerrung – anders als bei einem voreingenommenen Verwaltungsangestellten – strukturell horizontal wirkt. Gelten in der Gesellschaft Entscheidungen der Technik dann noch als neutral und werden unreflektiert hingenommen, besteht die Gefahr, dass sich Vorurteile zu sozialen Tatsachen verfestigen und Wahrnehmungen Dritter ebenso wie die Selbstwahrnehmung der Betroffenen verzerren37 und somit auch wieder den Einzelnen in seiner informationellen Selbstbestimmung aus Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG beeinträchtigen.

JZ 2017, 1017, 1018. JZ 2017, 1017, 1018. 36  Vgl. Sandvig et al., Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Plat forms (May 22, 2014), abrufbar unter: http://wwwpersonal.umich.edu/~csandvig/research/Auditing%20Algorithms%20--%20Sandvig %20--%20ICA%202014%20Data %20and%20Discrimination%20Preconference.pdf. 37  Wischmeyer, AöR 143, 2018, 27. 34  Martini, 35  Martini,



A. Risiken und Gegenmaßnahmen131

d) Diskriminierung durch Adaption maschineller Entscheidungen Das Risiko einer Diskriminierung besteht beim Einsatz von KI bei jeder Art der Implementierung: also auch beim Einsatz zur Vorbereitung menschlicher Entscheidungen.38 Auf diesen Stufen der Automation besteht die Gefahr einer unreflektierten Adaption der gelieferten Ergebnisse, sodass die menschliche Entscheidung durch eine unzulässig diskriminierende Vorfilterung infiziert werden könnte. Unterhalb vollautomatisierter Entscheidungen bleibt insofern der Risikofaktor Mensch. Dies wird letztlich auch damit zusammenhängen, dass ansonsten die Effizienzbestrebungen von Massenverfahren im öffentlichen Bereich bei einer kritischen Nachprüfung zunichte gemacht würden.39 Würde eine Output-Kontrolle wiederum auf die Betroffenen abgewälzt, würde die Digitalisierung der Verwaltung tatsächlich zulasten der Bürger erfolgen.40 In einer von KI-Systemen geprägten Verwaltungspraxis ist daher zu erwarten, dass sich der Grundsatz „in dubio pro machina“ etablieren und zu einer weitreichenden faktischen Geltung maschinenreduzierter Entscheidungen führen wird.41 Insofern könnte ein Predictive-Polic­ ing-System, das statistisch signifikante Korrelationen zwischen Religionszugehörigkeit und Risikoneigung ermittelt und daraus Empfehlungen ableitet, Diskriminierungen verfestigen, weil aufgrund der algorithmischen Empfehlungen verstärkte Kontrollen durchgeführt werden.42 Diese werden dann zu einer höheren Zahl von Verfahren führen. Bestehende Diskriminierungen werden damit systemimmanent. e) Kein Entkommen aus der Stereotypisierung mangels Transparenz Die KI-Systeme treffen ihre Entscheidungen auf der Grundlage von gebildeten Klassen. Dadurch entsteht ein Profil des Einzelnen auf der Basis vorgegebener Kategorien (risikoreich, zuverlässig, kreditwürdig usw.). Die so gebildeten Profile sind nicht in der Lage, alle Nuancen unserer Persönlichkeit genau wiederzugeben, sodass es zu einem Stereotyp avanciert, auf dessen Grundlage der Einzelne beurteilt wird und der diesem aufgrund der intransparenten Funktionsweise des KI-Systems nicht „entkommen“ kann.43 Diese Form der statistischen Diskriminierung ist ein grundsätzliches Pro­ 38  Entscheidungsstufen

1 bis 3. Binder-Seckelmann, Digitalisierte Verwaltung, S. 320, Rn. 22. 40  Vgl. Binder-Seckelmann, Digitalisierte Verwaltung, S. 320, Rn. 22. 41  Caspar, PinG 01/2019, S. 3. 42  Wischmeyer, AöR 143, 2018, 27. 43  Schermer, Risks of profiling and the limits of data protection law, 2013, 137, 139. 39  Vgl.

132

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

blem beim Einsatz von KI-Systemen, auf das weiter unten gesondert eingegangen wird. f) Social Cooling Werden KI-Systeme in Entscheidungsprozessen eingesetzt, ohne dass deren Ergebnisse weitergehend einer menschlichen Supervision unterzogen werden, so kann der Einzelne aufgrund einer zufälligen Zugehörigkeit zu einer Gruppe eine Schlechterbehandlung erfahren.44 Wenn KI-Systeme ihre Entscheidungen z. B. danach ausrichten, was für ein Scorewert der betroffenen Person zugewiesen wird, so besteht die Gefahr, dass betroffene Personen ihr Verhalten danach ausrichten, möglichst score-schädigende Handlungen zu unterlassen. Diese „Chilling-Effekte“, die von dem Wissen darüber ausgehen, welche Auswirkungen das eigene Verhalten auf den Score zeitigt, veranlassen Personen zur Vorsicht und zur subtilen Selbstzensur. Das wiederum kann die Gesellschaft dahingehend beeinflussen, dass Konformitätsdruck und soziale Kontrolle wichtiger sind als Individualität („social cooling“).45 g) Demokratieprinzip Den Gestaltern von KI-Systemen kommt eine gewichtige Rolle zu. Sie tragen maßgebend dazu bei, ob ein KI-System z. B. rassistische Ergebnisse liefert. Durch diese Vorverlagerung von entscheidungserheblichen Aspekten auf Programmierleistungen kann die demokratische Legitimationskette in Frage gestellt werden, Art. 20 Abs. 2 GG. Denn im Unterschied zu anderen komplexen Technologien können selbstlernende algorithmische Systeme nicht nur Objekt staatlicher Regulierung sein, sondern werden selbst in regulatorische Entscheidungsprozesse integriert und damit zum Modus hoheit­ licher Verhaltenssteuerung.46 Jede hoheitliche Entscheidung muss grundsätzlich über eine Legitimationskette auf den Willen des Volkes rückführbar sein. Durch den Einsatz eines KI-Systems, das eine gewaltige Menge von Daten sekundenschnell verarbeiten kann und neue Schlussfolgerungen erlaubt, verBlackbox Algorithmus, 2019, S. 50. Martini, Blackbox Algorithmus, 2019, S. 50; Schep, Data leads to Social Cooling, abrufbar unter: https://www.socialcooling.com/; vgl. zudem Penney, Understanding Chilling Effects, Minnesota Law Review, 2021, S. 4 ff., der davon ausgeht, dass das herkömmliche Begriffsverständnis von Chilling Effects ungeeignet ist, und argumentiert, dass Chilling-Effekt-Phänomene ganzheitlicher betrachtet werden müssen. Es gehe mehr um soziale Konformität als um Selbstzensur. Die Selbstzensur beschreibe lediglich einen Teilaspekt des Phänomens; vordergründig müssen Chilling Effects als Verhaltenssteuerungen betrachtet werden. 46  Hoffmann-Riem, AöR 142, 2017, 1 ff. 44  Martini, 45  Vgl.



A. Risiken und Gegenmaßnahmen133

bessert sich die Position des Staates in Bezug auf die ihm zur Verfügung stehenden Daten, während die Position der betroffenen Person unverändert bleibt.47 Dadurch entsteht eine Informationsasymmetrie, welche sich nachteilig auf die Demokratie auswirken kann. Eine Symmetrisierung durch Aufhebung dieses Ungleichgewichts erfolgt nicht, wodurch sich die Schieflage verfestigt. Das liegt daran, dass die betroffene Person von der durch das KI-System vorgenommenen Klassifizierung keine Kenntnis bzw. keine vollständigen Informationen über die Funktionsweise des algorithmischen Systems hat. Dadurch wird ständig die individuelle Autonomie des Einzelnen und damit auch die der Gesellschaft beeinträchtigt, was sich wiederum auf die Demokratie als Ganzes auswirkt. Liefern KI-Systeme durch die hergestellten Korrelationen zusätzliches Wissen, worauf der Staat reagieren kann, wird die Regierung auch mehr Macht haben.48 Dem Staat ist gewissermaßen ein smartes Regieren möglich, indem er durch die zusätzlichen Informationen seine öffentlichen Aufgaben, etwa zur Herstellung öffentlicher Sicherheit, besser wahrnehmen kann. Diese gewonnenen Erkenntnisse können eine Überwachung ermöglichen, indem sie Handlungsoptionen offenbaren und somit vorausschauendes Handeln ermöglichen.49 Dieses Wissen kann für eine wirksame Gefahrenabwehr eingesetzt werden und verleiht dem Staat eine ganz besondere Art der Macht sowie Kontroll- und Steuerungsmöglichkeit. Das Demokratieprinzip aus Art. 20 Abs. 1 und Abs. 2 GG verlangt jedoch, dass die Macht beim Volk liegen muss. Wenn sich das Machtgefälle zu stark zugunsten staatlicher Überwachung verschiebt, birgt das eine erhebliche Gefahr für die Demokratie.50 h) Gefahr für den Rechtsstaat Dadurch, dass sich der Staat und die entscheidenden Akteure solcher Systeme bedienen, die sie selbst nicht verstehen, bzw. die Gründe, die hinter einer Entscheidung stehen, nicht kennen, verliert der Staat selbst die Kontrolle über seine Entscheidungshoheit, sodass mit der Zeit auch die Legitimität des Systems in Frage gestellt werden kann.51 Das Rechtsstaatsprinzip verlangt, dass 47  Vgl. Schermer, Risks of profiling and the limits of data protection law, 2013, 137, 139. 48  Vgl. Schermer, Risks of profiling and the limits of data protection law, 2013, 137, 139. 49  Grimm et al., Digitale Ethik, 2019, S. 60. 50  Grimm et al., Digitale Ethik, 2019, S. 62. 51  Desai/Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. 13; Schwartz, Data Processing and Government Administration: The Failure of the Ame­ rican Legal Response to the Computer, 43 Hastings L.J., 1992, 1321, 1348, abrufbar unter: https://repository.uchastings.edu/hastings_law_journal/vol43/iss5/2.

134

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Entscheidungen durch partizipative Elemente ausgestaltet werden müssen, womit dem Risiko willkürlicher Entscheidungen begegnet wird. Insofern ist Transparenz eine Bedingung rechtsstaatlichen Handelns. Aus den rechtsstaatlichen Begründungspflichten könnten sich konkrete Transparenzvorgaben ergeben.52 Ferner ist zu berücksichtigen, dass KI-Systeme in der Regel nicht vom Staat selbst, sondern von spezialisierten Unternehmen aus der Privatwirtschaft hergestellt und konzipiert werden. Insofern bedarf es bestimmter Kontrollmechanismen, damit sichergestellt ist, dass Private in bestimmten Bereichen nicht ihre eigenen (ggf. gesetzeswidrigen) durchsetzen oder fördern können.53 i) Selbstbestimmungsrecht des Einzelnen Der „Blackbox-Algorithmus“ beschwört das dumpfe Gefühl herauf, überwacht zu werden und die Selbstbestimmungsmacht darüber zu verlieren, wer welche persönliche Daten sammeln, auslesen und daraus Schlüsse ziehen darf.54 Die Gefahr einer gesellschaftlichen Erschütterung des Vertrauens in Verwaltungsentscheidungen bringt rechtsstaatliche Grundprinzipien – insbesondere die Gesetzmäßigkeit der Verwaltung – aus Art. 20 GG und Art. 52 GRCh, welche eine Vorhersehbarkeit staatlicher Eingriffsentscheidungen verlangen, ins Wanken. 3. Zwischenergebnis Die unterschiedlichen Risiken zeigen, dass unabhängig von dem jeweiligen Einsatzgebiet immer zu beachtende Risiken bestehen. Diese wirken sich auf die Interessen des Einzelnen, aber auch auf gesamtgesellschaftliche Interessen aus. Ferner zeigt sich in Ansehung der Risiken, dass die dass in den verschiedenen Phasen der Entwicklung und Implementierung unterschied­ liche Aspekte eine Rolle spielen können. Hervorzuheben sind insbesondere vielfältige Diskriminierungsrisiken. Es zeigt sich, dass eine hinreichende Transparenz bereits in der Konzeptionsphase (insbesondere Training) eine zentrale Funktion bei der Begegnung der einzelnen Risiken einnimmt. Denn nur so sind Evaluationen im Sinne einer inhaltlichen Überprüfbarkeit mög-

52  Zur

verfassungsrechtlichen Transparenz Teil 4, B. II. Volkswagen-Abgasskandal verdeutlicht, wie Manipulationen von Software dazu genutzt werden können, gesetzlich festgelegte Standards zu umgehen. 54  Martini, JZ 2017, 1017, 1018. 53  Der



A. Risiken und Gegenmaßnahmen135

lich, womit Fehleinschätzungen aufgezeigt werden können.55 Außerdem können durch eine klare Eingrenzung des Einsatzgebiets etwaige Fehlurteile des algorithmischen Entscheidungssystems vermieden werden, indem die Gefahr systemimmanenter Fehlurteile frühzeitig erkannt wird. Die oben dargestellte Funktionsweise von KI-Systemen und dem maschinellen Lernen hat aber auch verdeutlicht, dass eine komplette Transparenz nicht möglich und auch nicht zielführend ist. Das Polanyi-Paradoxon verdeutlicht, dass wir die Regeln und die Logik, die sich hinter bestimmten Abläufen verbergen, nicht nachvollziehen können. Diese Logik werden wir Menschen auch dann nicht verstehen, wenn wir Maschinen beibringen, ein Fahrrad zu fahren. Die Forderung nach Transparenz muss im Zusammenhang mit KI-Systemen dahingehend ausgelegt werden, dass eine Beherrschbarkeit maschineller Entscheidungen stets gewährleistet ist. Das dafür erforderliche Maß an Transparenz müsste auch de lege ferenda Ansatzpunkt regulativer Maßstäbe sein. Kriteriengeleitete Audits könnten in diesem Zusammenhang eine besonders hervorzuhebende Bedeutung einnehmen.

II. Gegenmaßnahmen In regulativer Hinsicht muss insbesondere berücksichtigt werden, welche technischen Ansätze zur Eindämmung der Risiken angemessen sein können. Zur Sicherstellung von fairem Trainingsmaterial etwa sind Validierungsmaßnahmen und spezielle KI-Audits zu entwickeln. Rechtssicherheit könnte in der Weise erreicht werden, dass per Gesetz festgelegt werden würde, was für Kriterien solche Audits umfassen müssten. Nachfolgende Maßnahmen werden beispielhaft für einen Überblick dargestellt. 1. „Trial and Error“ Gerade in der Trainingsphase müssen Ansätze entwickelt werden, die eine Kalibrierung des algorithmischen Systems ermöglichen. Dafür sind zunächst genaue Zielvorgaben erforderlich. Stehen diese fest, kann die Kalibrierung in der Trainingsphase mit der heuristischen „Trial and Error“-Methode erfolgen. Erforderlich ist eine ausreichende Menge von Trainingsdaten, von denen Eingabe und dazu passende Ausgabe bereits bekannt sind. Wenn es darum geht, vor allem Diskriminierungen durch das KI-System zu vermeiden, könnten Verzerrungen bzw. sog. Bias dadurch im System ausgemerzt werden, dass ein „faires“ Trainingsmaterial verwendet wird. Hierfür könnten hinrei55  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 14.

136

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

chend geprüfte synthetische Daten als Trainingsdaten für KI-Systeme hilfreich sein. So werden KI-Systeme datenschutzfreundlich mit Daten ohne Personenbezug trainiert und gleichzeitig mit einem Trainingsmaterial, das repräsentativ und nicht diskriminierend ist.56 Mit der Trial-and-Error-Methode werden die Ergebnisse dann in einem Trainingsprozess so lange wiederholt, bis die gewünschte Lösung von dem KI-System gefunden wurde. Das bedeutet, dass die Wahl des Lernstils in der Trainingsphase bereits eine taugliche Gegenmaßnahme sein kann. Es zeigt sich, dass im Rahmen des überwachten Lernens der Mensch eine weitgehende Kontrolle behält, sodass unüberwachte Lernstile nur dann zum Einsatz kommen sollten, wenn lediglich ein geringes Risiko für die Rechte und Freiheiten der Betroffenen besteht oder diese genutzt werden, um mehr Sicherheiten für die Rechte von Einzelnen zu erreichen. 2. Blackbox- und Whitebox-Testing-Analysen Die Nachvollziehbarkeit von maschinellen Entscheidungen ist aus regulatorischer Sicht eine Herausforderung, und zwar unabhängig vom Lernstil oder dem Modell des KI-Systems. In vielen Fällen können die Auswirkungen von KI-Systemen ohne eine genaue Kenntnis des darunterliegenden Wirkmechanismus bzw. des Codes mit sogenannten Blackbox- und Whitebox-Test­ ing-Verfahren überwacht werden.57 Es handelt sich um technische Ansätze, die als Gegenmaßnahmen zu Risiken mangelnder Transparenz und von Diskriminierungen geeignet sein können. Im Wesentlichen geht es darum, den Schaden, der in Fehlurteilen zu erblicken ist, zu minimieren. Dafür können technische Analysen hilfreich sein, die es erlauben, eine Fehlurteilsrate zu ermitteln, ohne dass man im Detail wissen muss, wie das System zu einem bestimmten Urteil kam.58 Mit solchen Analysen lässt sich auch die Frage nach Diskriminierung besser überwachen. Solche technischen „transparency by design“-Ansätze helfen womöglich auch, das Vertrauen und die Akzeptanz von KI-Systemen bzw. selbstlernenden algorithmischen Systemen zu fördern, sodass Transparenz insgesamt auch der Beherrschbarkeit maschineller Entscheidungen dienen muss.59

56  Zu synthetischen Daten im Trainingsprozess für KI-Systeme vgl. Raji, DuD 2021, 303–309. 57  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 10. 58  Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle, S. 10. 59  Vgl. Desai/Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. 4. Zur Unmöglichkeit von algorithmischer Transparenz wegen der Komplexität: Sandvig et al., Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms (May 22, 2014), abrufbar unter: http://www-personal.umich.edu/~csand



A. Risiken und Gegenmaßnahmen137

a) Dynamisches und statisches Testen Die Testverfahren lassen sich unterscheiden in das sogenannte „WhiteboxTesting“ und das sogenannte „Blackbox-Testing“.60 Bei einem WhiteboxTest wird der Quellcode einem Analytiker offenbart, wohingegen sich der Blackbox-Test darauf beschränkt, dass nur Input und Output geprüft werden. Beide Testvarianten lassen sich nochmal unterteilen in statische und dynamische Analysen. Die statische Analyse ermöglicht lediglich die Untersuchung der Eingabeund Ausgabedaten bzw. des Quellcodes, ohne das System tatsächlich in den Betrieb zu nehmen. Die Prüfung erfolgt daher statisch. Die dynamische Analyse ermöglicht die Untersuchung unter Ausführung des KI-Systems. Der Whitebox-Test ist effektiver, bringt jedoch das Problem mit sich, dass Experten einfache Probleme, die in kompliziertem Programmiercode verborgen sind, leicht übersehen können, unabhängig von der Frage ob dieser Test dynamisch oder statisch abläuft.61 Der Blackbox-Test ist weniger effektiv, trägt aber weitgehend den Eigentumsrechten und den Geschäftsgeheimnissen der Entwickler Rechnung.62 Die dynamische Analyse vermag (auch wenn sie im Rahmen des Whitebox-Testings Anwendung finden sollte) ebenfalls nicht befriedigende Transparenz herzustellen. Die algorithmische Auswertung kann über eine massive Anzahl von Eingaben hinweg tadellos funktionieren, sodass man nur eine ggf. unbedeutende kleine Teilmenge dieser Eingaben testen kann, sodass die Eingaben und Ausgaben, die zur Überprüfung für den Test verfügbar sind, nicht mit der Menge der Eingaben und Ausgaben übereinstimmen, die für die Analyse von Bedeutung sein kann.63 b) Ex-post-Analyse und Überwachung Wegen der vorbenannten Unzulänglichkeiten solcher technischen Ansätze zur Herstellung von Transparenz schlagen Desai/Kroll eine Ex-post-Analyse und Überwachung vor, ganz nach dem Motto „trust, but verify“. Denn vollständige Transparenz kann entweder technisch nicht erreicht werden oder steht im Widerspruch zu den Geschäfts- und Betriebsgeheimnissen der Urheber und kann in vielen Fällen ohne deren Zustimmung nicht erreicht werden. vig/research/Auditing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20 Data%20and%20Discrimination %20Preconference.pdf. 60  Martini, Blackbox Algorithmus, 2019, S. 45; Desai/Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. 36 ff. 61  Desai/Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. 37. 62  Martini, Blackbox Algorithmus, 2019, S. 45. 63  Desai/Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. 36.

138

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Insofern können Audits und aufsichtsrechtliche Kontrollinstanzen geschaffen werden, denen eine Überwachung ermöglicht wird, wodurch zumindest eine selektive Transparenz geschaffen werden kann.64 Ein System muss mög­ licherweise nicht für alle transparent sein, solange etwa eine zuständige Aufsichtsbehörde die Ergebnisse des Systems überprüft werden kann.65 Auch wenn die Ex-post-Kontrolle ein wichtiges Instrument ist, um rechtsstaatlichen Anforderungen zu genügen, können solche Ex-post-Überwachungen nur ein Teilaspekt im regulativen Gesamtsystem sein, da Audits und Kontrollen bei intelligenten, sich selbst weiterentwickelnden Systemen lediglich eine Momentaufnahme darstellen. 3. Zwischenergebnis Transparenz muss in opaken Systemen auch als Beherrschbarkeit maschineller Entscheidungen verstanden werden. Hierfür könnten spezielle KI-Auditierungen hilfreich sein. Regulativ könnten diesbezüglich Kriterien und Zielvorgaben formuliert werden. Audits und aufsichtsrechtliche Kontroll­ instanzen können geschaffen werden, denen eine Überwachung ermöglicht wird.

B. Regulatorische Anknüpfungspunkte Einhelliger Konsens dürfte dahingehend bestehen, dass durch den (staat­ lichen) Einsatz von KI-Systemen und angesichts der rasanten Entwicklung dieser Technologien gewissermaßen ein neuer Realitätsbereich entsteht, der normativ eingehegt werden muss.66 Nachfolgend wird untersucht, ob in Anbetracht der technologischen Entwicklungen und damit einhergehenden neuen Möglichkeiten die für die analoge Welt zugeschnittenen rechtlichen Regeln in der Lage sind, verfassungsrechtliche „Zielwerte“ zu verwirklichen.67 Zu diesen Zielwerten gehören im Besonderen der Schutz individueller Freiheit, die Wahrung der Rechtsstaatlichkeit sowie der Funktionsfähigkeit der demokratischen Grundordnung soHarvard Journal of Law & Technology, Vol. 31, 2017, S. 39 ff. Harvard Journal of Law & Technology, Vol. 31, 2017, S. 39 ff. beschreiben, wie ein solches Audit ausgestaltet werden könnte. 66  In diese Richtung spricht sich zudem aus datenschutzrechtlicher Sicht auch die Hambacher Erklärung der Datenschutzkonferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder vom 03.04.2019 aus, abrufbar unter: https://www. datenschutzkonferenz-online.de/media/en/20190405_hambacher_erklaerung.pdf. 67  Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 13. 64  Desai/Kroll, 65  Desai/Kroll,



B. Regulatorische Anknüpfungspunkte 139

wie die Sicherung der technologischen Entwicklung.68 Diese Zielwerte sind gleichzeitig der jedenfalls bereits verfassungsrechtlich vorgegebene normative Rahmen. Die unmittelbare Grundrechtsbindung aller staatlichen Gewalt aus Art. 1 Abs. 3 GG zeigt in regulatorischer Hinsicht eine unverrückbare Linie auf, wenn es um die Frage geht, inwieweit KI-Systeme in der Verwaltung und im öffentlichen Sektor insgesamt Einzug finden können. „Grundrechtsfreie“ besondere Gewaltverhältnisse gibt es nicht, auch nicht, wenn es um Effizienzmaximierung des öffentlichen Sektors durch KI-Systeme geht.69 Unter Berücksichtigung des Art. 20 Abs. 3 GG und der oben dargestellten Risiken wird deutlich, dass insbesondere Transparenzanforderungen und Gleichheitsrechte bereits auf verfassungsrechtlicher Ebene normative Grenzen abstecken.70 Es kann aber nicht nur darum gehen, Grenzen aufzuzeigen, sondern auch darum, dass vorhandene Normen den technologischen Entwicklungen nur bedingt Rechnung tragen. Das führt zu der Frage, wie neue Vorschriften ausgerichtet oder bestehende angepasst werden müssen. Letzteres ist dem Recht nicht fremd. Das BVerfG hat immer wieder Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG konkretisiert, wenn rechtlicher Schutz nicht mit technologischer Realität Schritt halten konnte.71

I. Verfassungsrechtliche Begrenzung der Einsatzmöglichkeiten 1. Demokratie- und Rechtsstaatsprinzip KI-Systeme werden den Staat in die Lage versetzen, öffentliche Aufgaben immer besser zu erfüllen. Dies betrifft auch die Rechtsdurchsetzung und Rechtsverwirklichung.72 Indem intelligente algorithmische Systeme immer 68  Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 13. 69  Hillgruber, in: BeckOK Grundgesetz/, 41. Ed. 15.5.2019, GG Art. 1 Rn. 68; BVerfGE 33, 1 (11). 70  Je nach Einsatzfeld können weitere Aspekte eine Rolle spielen, wie z. B. die Schutzpflicht des Staates aus Art. 2 Abs. 2 S. 1 GG in Bezug auf „autonomes“ Fahren. 71  Vgl. BVerfGE 120, 274, 313 (Grundrecht auf Gewährleistung der Vertraulichkeit und Integrität informationstechnischer Systeme, 2008); Erweiterung des Schutzes auf Systemebene durch Erstreckung auch auf Clouds, vgl. BVerfGE 141, 220, 304. 72  Zu der Frage, ob perfekte Vollziehung von Recht ihrerseits ein Maß erreichen könnte, welches mit dem Grundverständnis eines autonomen, selbstbestimmten Menschen zunehmend in Konflikt geraten könnte, weiter unten unter Teil 4, B. 3. b) Law by Design.

140

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

stärker in Entscheidungsprozesse des Staates integriert werden oder gar bestimmte Aufgaben vollständig übernehmen, erlangen sie eine beschränkte Akteursqualität.73 Dies führt unweigerlich zu der Frage, inwieweit das Demokratie- und das Rechtsstaatsprinzip noch gewahrt sein können.74 Die nachfolgenden Ausführungen zu a) und b) betreffen freilich die Kon­ stellation, dass KI-Systeme vollautomatisiert staatliche Entscheidungen übernehmen oder assistierend einen Entscheidungsbeitrag liefern. Die Probleme stellen sich also dann nicht, wenn das System keinerlei Auswirkung auf die Entscheidungsfindung hat. Das kann der Fall sein, wenn der Amtswalter für eine ausländische Behörde (ggf. zur Kenntnisnahme) einen Verwaltungsbescheid mit einer intelligenten Übersetzungssoftware in eine andere Sprache übersetzen lässt. a) Demokratische Legitimation Das in Art. 20 Abs. 1 und 2 GG verankerte Demokratieprinzip ist ein Organisationsprinzip,75 welches bei jeder staatlichen Entscheidung eine ununterbrochene Legitimationskette zum Volk verlangt.76 Das bedeutet, dass die Legitimation, die das Volk in Wahlen und Abstimmungen spendet, innerhalb der staatlichen Organisation weitergereicht werden muss.77 Daraus folgen eine organisatorisch-personelle und eine sachlich-inhaltliche demokratische Legitimation, die beide auf eine Absicherung abzielen, dass jegliche Staatsgewalt inhaltlich an den demokratisch geäußerten Willen des Volkes rückgekoppelt ist.78 Die organisatorisch-personelle demokratische Legitimation besteht insofern darin, dass sich jede Ernennung auf die Wahl zurückführen lässt. Die sachlich-inhaltliche demokratische Legitimation verlangt, dass die Entscheidungen der nachgeordneten Stellen einerseits durch Gesetze, Verordnungen, Satzungen etc. mehr oder weniger vorgezeichnet sind, andererseits die vor­ geordneten Stellen im Einzelfall korrigierend eingreifen können (durch Weisungen, Aufhebung, Selbsteintritt).79 73  Vgl. auch Rademacher, JZ 2019, 702, 706, der die Akteursqualität darin sieht, dass Technologie als Teil der Umwelt rechtmäßiges Verhalten für und gegen betroffene Personen bewirken kann. 74  Die Frage, welche Rolle dabei private Stellen einnehmen, die als Hersteller von KI-Systemen in staatliche Entscheidungsprozesse eingebunden werden, bleibt weiteren Untersuchungen vorbehalten und ist nicht Teil dieser Arbeit. 75  Huster/Rux, in: BeckOK GG, 49. Ed. 15.11.2021, GG Art. 20 Rn. 55. 76  BVerfG, Urt. vom 01.10.1987 – BvR 1178, 86. 77  Schröder, JA 2017, 809, 814. 78  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 85. 79  Schröder, JA 2017, 809, 814.



B. Regulatorische Anknüpfungspunkte 141

Selbstlernende KI-Systeme stellen die Wahrung dieser für Menschen zugeschnittenen Muster in Bezug auf sachlich-inhaltliche demokratische Legitimation heraus. Denn KI-Systeme passen sich durch eine Auswertung von Daten an, ohne dass die Einzelschritte wie bei streng deterministischen Algorithmen vorgegeben sind. Dadurch kann das KI-System eine vom Menschen entkoppelte Weiterentwicklung erfahren, womit sich dann das System von der Legitimationsgrundlage ablöst.80 Allerdings ist zu berücksichtigen, dass Defizite des einen Legitimationsstrangs durch ein Mehr im anderen kompensiert werden können.81 Ohne gänzlichen Verzicht auf einen Strang ist das Zusammenwirken der Stränge ausschlaggebend.82 Maßgeblich ist nach der Rechtsprechung des BVerfG nicht die Form der demokratischen Legitimation staatlichen Handelns, sondern deren Effektivität; notwendig ist ein bestimmtes Legitimationsniveau.83 So können beispielsweise Entscheidungsbefugnisse mit großem Beurteilungsspielraum – also schwacher Gesetzesbindung – Beamten vorbehalten sein, die aufgrund des Beamtenrechts besonders weisungsabhängig sind.84 Ist somit die staatliche Prüfungs- und Kontrollmöglichkeit von „Entscheidungen“ von KI-Systemen eingeschränkt, muss der Staat zur Wahrung der demokratischen Legitimation den Einsatz von KI-Systemen in staatlichen Entscheidungen gegenüber dem Bürger mit effektiven Kontrollinstrumenten flankieren.85 b) Rechtsstaatsprinzip Die Problematik der eigenständigen Entkopplung und mangels Transparenz eingeschränkten Kontrollierbarkeit von KI-Systemen lässt auch ein Spannungsverhältnis mit dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) entstehen. Das Rechtsstaatsprinzip bindet den Staat und alle Gewalten, bei der Ausübung von Staatsgewalt bestimmte Anforderungen zu erfüllen.86 Ein 80  Zur Problematik der demokratischen Legitimation im Zusammenhang mit selbstlernenden Algorithmen siehe Koops, Criteria for Normative Technology, 2007, S.  2 ff.; Hoffmann-Riem, AöR, 142, 2017, 35. 81  Schröder, JA 2017, 809, 814. 82  BVerfG, Beschluss vom 24.05.1995 – 2 BvF 1/92, Rn. 135. 83  BVerfG, Beschluss vom 24.05.1995 – 2 BvF 1/92, Rn. 135. 84  Schröder, JA 2017, 809, 814 mit Verweis darauf, dass dieser Gedanke dem Funktionsgehalt des Art. 33 Abs. 4 GG zugrunde liegt. 85  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 87. 86  Wie sich dieser Aspekt gegenüber dem Bürger auswirkt, d. h. inwieweit die Funktionsweise des KI-Systems im Rahmen der Begründung von staatlichen Entscheidungen dargelegt werden muss, wird unten unter Teil 4, B. II. Verfassungsrechtliche Transparenz ausgearbeitet.

142

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

zentrales Element des Rechtsstaatsprinzips ist der Grundsatz der Gesetzmäßigkeit der Verwaltung.87 Jegliche Form staatlicher Machtausübung muss nach Maßgabe der rechtlichen Vorgaben messbar, d. h. insbesondere vorhersehbar und rekonstruierbar sein.88 Entwickelt sich das KI-System insoweit unkontrolliert selbst weiter, sodass die Kriterien für die maschinellen Ergebnisse vom KI-System selbst festgelegt werden, sind die Ergebnisse nicht vorhersehbar und aus rechtsstaatlichen Gesichtspunkten verfassungswidrig. Das KI-System darf daher nicht dergestalt eingesetzt werden, dass die Kriterien im Rahmen einer gesetzlich vorgeschriebenen Abwägungsentscheidung systemseitig festgelegt werden. Aber auch bei gebundenen Entscheidungen darf maschinell von den gesetzlich vorgeschriebenen Kriterien nicht abgewichen werden. Aus dem Rechtsstaatsprinzip folgt somit eine Grenze für den Einsatz von KI-Systemen in staatliche Entscheidungen sowie staatliche Verpflichtungen, vorher entsprechende Kontrollmechanismen zu etablieren. Es muss geprüft werden, welche Entscheidungen unter Berücksichtigung der technisch limitierten Möglichkeiten ein KI-Einsatz überhaupt möglich sind. Entscheidungen mit Beurteilungsspielraum oder Ermessenentscheidungen sind ausschließlich Menschen vorbehalten. Dies gebietet auch das Rechtsstaatsprinzip. Zudem muss immer gewährleistet sein, dass das KI-System nur Ergebnisse liefert, die eine Rückbindung der Programmabläufe an diese gesetzlichen Vorgaben sicherstellen lassen.89 Einfachgesetzlich hat der Gesetzgeber mit § 24 Abs. 1 VwVfG und § 31 S. 2 SGB X die Regelung geschaffen, nach der die Verwaltung beim Einsatz vollautomatisierter Einrichtungen dazu verpflichtet ist, „für den Einzelfall bedeutsame tatsächliche Angaben des Beteiligten zu berücksichtigen, die im automatischen Verfahren nicht ermittelt wurden.“ Insofern wurde an dieser Stelle bereits vom Gesetzgeber berücksichtigt, dass beim Einsatz von (intelligenten) algorithmischen Systemen die Möglichkeit für den Staat gegeben sein muss, zu überprüfen, welche Kriterien die Maschine berücksichtigt hat und welche nicht. 2. Zwischenfazit Das Demokratie- und Rechtsstaatsprinzip machen den Einsatz von KISystemen im Rahmen von staatlichen Entscheidungen gegenüber dem Bürger 87  Dieser Grundsatz wird wiederum konkretisiert durch die zwei Prinzipien „Vorrang des Gesetzes“ und „Vorbehalt des Gesetzes“, vgl. Voßkuhle/Kaufhold, JuS 2010, 116, 117. 88  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 88. 89  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 88.



B. Regulatorische Anknüpfungspunkte 143

nicht per se unmöglich. Gleichwohl erwächst aus diesen Prinzipien die Pflicht, eine Kontrollstruktur zu schaffen. Diese muss Validierungsverfahren vorsehen und entsprechende technische Gegensteuerungsmaßnahmen90 beinhalten. Sofern das KI-System sich außerhalb des gesetzlich vorgegebenen Rasters entwickelt hat, muss der Staat eingreifen können. Nur so wird sichergestellt, dass die Entscheidungshoheit gewahrt bleibt und die demokratische Legitimationskette nicht unterbrochen wird. Es muss sichergestellt werden, dass sich das KI-System an die gesetzlichen Vorgaben des jeweiligen Gesetzes hält. Abwägungsentscheidungen, die technisch nicht von KI-Systemen erfolgen können, sind unzulässig. Sofern sie in solchen Entscheidungskonstellationen assistierend so eingesetzt werden, dass sie bei der Entscheidungsfindung unterstützen, muss es für den Staat nachvollziehbar und kontrollierbar sein, ob stets an richtige Bewertungskriterien angeknüpft wurde. Da, wo dies nicht möglich ist, verbietet sich ein Einsatz von KI-Systemen aus rechtsstaatlichen Gründen. Andererseits grenzt das die Anwendungsfälle in der Weise an, dass KI-Systeme für eindeutig definierte, enge Zweckbestimmungen in Frage kommen. Konstellationen, in denen z. B. bei einer Entscheidung, ob ein Angeklagter auf Bewährung verurteilt werden soll oder nicht, ein KI-System eine rote oder grüne Lampe anzeigt, scheiden insoweit per se aus. Für alle KI-Systeme gilt somit, dass entsprechende Sicherungs- und Kon­ trollmechanismen gewährleisten können müssen, dass das KI-System im konkreten Einzelfall weder unmittelbar noch mittelbar Gewichtungsparameter als entscheidungsrelevant heranzieht, die das jeweilige Gesetz nicht deckt.91 Dabei ist zu berücksichtigen, dass Trainingsphasen den aktuellen Stand der Rechtslage widerspiegeln und ggf. wegen neuer Rechtsprechung oder veränderter Rechtslage wiederholt werden müssen. Die hier abgeleitete rechtsstaatliche Verantwortlichkeit führt indes auch dazu, dass der Staat für etwaige Fehlentscheidungen – die auf Ergebnisse des KI-Systems rückführbar sind und zu Rechtsverletzungen führen – haftbar gemacht werden muss.92

90  Zu ggf. unter diesem Blickwinkel verpflichtenden Blackbox- und WhiteboxTesting-Analysen vgl. oben, Teil 4 A. II. 2. Blackbox- und Whitebox-Testing-Analysen. 91  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 92. 92  Staatshaftungsrechtliche Fragen, die sich bei Fehlern von KI-Systemen anschließen, bleiben weitergehenden Untersuchungen vorbehalten. Die vorliegende Arbeit beschränkt sich auf das Aufzeigen von rechtlichen Grenzen und den daraus resultierenden grundsätzlichen Pflichten. Zu staathaftungsrechtlichen Fragen im Zusammenhang mit KI-Systemen vgl. Martini, Blackbox Algorithmus, 2019, S. 288 ff.

144

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

3. Grundrechte Auch die Grundrechte können den Einsatz von KI-Systemen durch öffentliche Stellen begrenzen. Grundrechte wie der Schutz der Menschenwürde (Art. 1 GG, Art. 1 GRCh), der Gleichheitssatz (Art. 3 GG, Art. 21 GRCh) und weitere Grundrechte gelten übergreifend und sind nicht auf den Einsatz herkömmlicher Technologien begrenzt.93 Für den Staat ist ihre Achtung oberstes Gebot und ihre Wertungen binden alle Staatsgewalten unmittelbar, Art. 1 Abs. 3 GG. a) Informationelle Selbstbestimmung als Begrenzung der Datenerhebung Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG und Art. 8 Abs. 1 GRCh können in vielen Konstellationen bereits die Datenerhebung begrenzen und unter Umständen dazu führen, dass die Funktionsfähigkeit von KI-Systemen den Anforderungen des Einsatzzwecks nicht in angemessener Weise gerecht werden kann.94 Die Selbstbestimmung des Einzelnen kann den Einsatz von KISystemen somit begrenzen, wenn statt einer standardisierten Entscheidung eine Entscheidung im Einzelfall erforderlich ist, die eine individualisierte Entscheidung abverlangt.95 Im Zusammenhang mit vollautomatisierten Eingriffen in das Datenschutzgrundrecht (Art. 8 GRCh) verlangt Art. 22 Abs. 3 DSGVO i. V. m. Erwägungsgrund 71 der DSGVO das „Recht auf Erwirkung des Eingreifens einer Person96, Darlegung des eigenen Standpunkts sowie auf Anfechtung der Entscheidung“. Außerhalb des Anwendungsbereichs des Art. 22 DSGVO greifen die allgemeinen Datenschutzgrundsätze des Art. 5 DSGVO und ermöglichen ebenfalls die vorbenannten Rechte.97 Das betrifft z. B. assistierende algorithmische Systeme, die nicht in den Anwendungsbereich des Art. 22 DSGVO fallen. Diese datenschutzrechtlichen Anknüpfungspunkte beschränken sich auf KI-Systeme, die auf die Nutzung von personenbezogenen Daten angewiesen sind. 93  Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 26. 94  Wischmeyer, AöR 143, 2018, 33. 95  Wischmeyer, AöR 143, 2018, 34. 96  So auch § 155 Abs. 4 S. 3 AO. 97  So auch die Hambacher Erklärung der Datenschutzkonferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder vom 03.04.2019, abrufbar unter: https:// www.datenschutzkonferenz-online.de/media/en/20190405_hambacher_erklaerung. pdf.



B. Regulatorische Anknüpfungspunkte 145

Unter Berücksichtigung der Annahme, dass der staatliche Einsatz von KISystemen in verschiedenste Grundrechte eingreifen könnte, greifen auch verschiedene Rechtssysteme wie z. B. das Datenschutzrecht, das Verbraucherrecht, das Wettbewerbsrecht oder das Verwaltungsrecht.98 Nachfolgend wird als weitere grundrechtliche Leitplanke erörtert, ob grundrechtliche Freiheitsgarantien einem intelligenten (perfekten) Rechtsvollzug nicht Grenzen setzen. Die Einsatzmöglichkeiten eines algorithmischen Rechtsvollzugs sind vielfältig. Die sich damit auftuenden Problemfelder betreffen den Einsatz sämtlicher algorithmischer – und auch nicht intelligenter algorithmischer – Systeme durch den Staat. Die Problematik ist gleichwohl hier anzusprechen, weil damit (auch für KI-Systeme) eine verfassungsrechtliche Grenze eines möglichen Einsatzes gezogen ist bzw. sich aus der Verfassung selbst Rechte ableiten, um der staatlich eingesetzten technologischen Macht Abwehrrechte gegenüberzustellen. b) Law by Design Das Recht nimmt Bezug auf soziale Tatbestände und verknüpft dabei Handlungen mit Normen.99 Rechtsnormen gebieten, verbieten und schaffen so Regeln für die Strukturierung des gesellschaftlichen Zusammenlebens.100 Rechtsnormen treffen somit Sollensaussagen, welche spezifische Anforderungen an das Verhalten der Individuen zum Ausdruck bringen.101 Durch die Vorgabe von Geboten und Verboten schafft Recht Ordnung in einem gesellschaftlichen System. Rechtssetzung kann daher als demokratische Form der Machtausübung verstanden werden. Denn sie ist gleichzeitig die demokratische und rechtsstaatliche Legitimation von staatlichem Zwang, die sich in der Vollziehung von Recht ausdrückt. Um Letzteres geht es hier, wenn konkret KI-Systeme Recht vollziehen. Das Risiko eines automatisierten Totalvollzugs erkennt auch die Datenethikkommission an und fordert daher in ihrem Gutachten ein „technisches Design, bei dem der Mensch im Einzelfall den technischen Vollzug außer Kraft setzen kann.“102 Es lassen sich insofern weitere Mindestanforderungen aus den Grundrechten ableiten, die für alle algorithmischen Systeme gelten müssten.103 98  Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 32. 99  Dietrich, in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 2. 100  Hoffmann-Riem, in: Unger/Steinberg, Demokratie und künstliche Intelligenz, 2020, S. 138. 101  Dietrich, in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. 2. 102  Gutachten der DEK 2019, S. 217. 103  Ob diese Anforderungen beispielsweise im Rahmen einer „Algorithmenverordnung“ oder Ähnliches ihre normative Verortung erfahren, bleibt der Entscheidung des

146

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Technologie macht im Gegensatz zum Recht oft möglich, was früher unmöglich war,104 und unterstützt den Menschen, Erlaubtes schneller und besser zu tun.105 Dieses Grundkonzept ändert sich zunehmend durch die Durchdringung aller Lebensbereiche mittels algorithmischer Systeme. Die Gesellschaft befindet sich in einer digitalen Transformation. (Intelligente) Technologie kann, wenn sie vom Staat eingesetzt wird, auch das Recht selbst vollziehen. Durch diesen Selbstvollzug werden algorithmische Systeme zum instrumentum regni, zum Herrschaftsinstrument. Sie können die Einhaltung von Recht erzwingen und so Verbotenes erst gar nicht ermöglichen oder Gebotenes vollständig vollziehen. Sie sind somit eine besondere Form zur Herstellung von Regelungsstrukturen.106 Es stellt sich die Frage, ob es ein rechtliches Ziel sein kann, in einer Gesellschaft zu leben, in der – überspitzt gesagt – nichts Rechtswidriges geschehen kann.107 Das Design, der Programmiercode kann den Vollzug von Gesetzen ersetzen. Setzt der Staat zunehmend auf eine algorithmische Vollziehung von Gesetzen, liegt das wieder einmal an den Vorteilen, die solche Werkzeuge versprechen. Insofern stellt sich die Frage, ob mit dem Vollvollzug durch Technik eine „Ablösung von Freiheit durch technisch gewährleistete Sicherheit“108 einhergeht und welcher grundrechtliche Gehalt der Freiheit zukommt, aus Einsicht nicht rechtswidrig zu handeln. aa) Begriffliche Einordnung Unter Berücksichtigung der Folgen wird hier die algorithmische Vollziehung von Gesetzen verstanden als Law by Design.109 Eine erste begriffliche Einordnung ist wohl Lessig zuzuschreiben, der bereits im Jahr 1999 mit der Beschreibung „Code is Law“ beschrieb, dass der Korridor des Möglichen im Internet nicht durch Gesetze, sondern durch programmierten binären Code vorgegeben ist.110 Insofern wollte Lessig mit „Code is Law“ im Grunde auf ein verwandtes und doch anderes Phänomen hinaus. Es gibt freilich weitere mögliche begriffliche Einordnungen des algorithmischen Gesetzgebers vorbehalten und ist nicht Gegenstand der vorliegenden Untersuchung, die keine rechtspolitischen Vorschläge unterbreiten will. 104  Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 796. 105  Rademacher, JZ 2019, 702. 106  Hoffmann-Riem, AöR 142, 2017, 9. 107  Rademacher, JZ 2019, 702. 108  Becker, ZUM 2019, 636. 109  In ähnliche Richtung gehend mit „Technosteuerung durch Design“, HoffmannRiem, AöR 142, 2017, 19; Hoffmann-Riem, AöR 145, 2020, 32. 110  Vgl. Lessig, code and other laws of Cyberspace, 1999, S. 24.



B. Regulatorische Anknüpfungspunkte 147

Vollvollzugs.111 Law by Design bezieht sich darauf, dass Recht dadurch verwirklicht wird, dass die Architektur technischer Systeme so konzipiert ist, dass physisch nicht von der Norm abgewichen werden kann bzw. eine Normabweichung erschwert wird. Insofern sind Law-by-Design-Ansätze im Grundsatz positiv zu bewerten, weil diese auf die Herstellung rechtmäßiger Zustände gerichtet sind. Auch wegen der graduellen Unterscheidung, die solche algorithmischen Systeme bei der Vollziehung von Recht ermöglichen, ist der Begriff „Law by Design“ vorzuziehen. So erfassen z. B. „Impossibil­ ity Structures“ nur den Vollvollzug, welches ein abweichendes Verhalten unmöglich macht. Die Bandbreite und die Einsatzmöglichkeiten solcher Systeme sind jedoch deutlich breiter, sodass Law by Design als Oberbegriff für die graduellen Abstufungen am ehesten in der Lage ist, die verschiedenen Ausprägungen zu umfassen. Erfasst werden somit auch gesetzlich vorgeschriebene Voreinstellungen, die nur mit einer Konfigurationsänderung übersteuert werden können. Der Vorteil algorithmischer Herrschaft besteht insbesondere darin, dass statt einer Ex-post-Durchsetzung (durch Polizei, Staatsanwaltschaft und Gerichte) ex ante eine Rechtsgutverletzung vermieden wird.112 Die Maschine kommt gewissermaßen vor die Lage.113 Indem der Code den Rahmen des Möglichen überhaupt vorgibt, stellt sich die grundsätzliche Frage, ob das nicht rechtlich wünschens- bzw. erstrebenswert ist.114 Das technische Design verhindert, dass es überhaupt zu einem Rechtsverstoß kommt, indem z. B. das Auto bei Übermüdung des Fahrers rechts ranfährt bzw. bei Trunkenheit den Motor erst gar nicht starten lässt.115 Es wird als Mittel zur Herstellung rechtmäßiger Verhältnisse eine Beschränkung des faktischen Könnens ge111  Vgl. m. w. N. Rademacher, JZ 2019, 702, dort Fn. 2. mit weiteren Bezeichnungen: „Impossibilty Structures“, „perfect prevention“, „digital preemption“ und „total enforcement.“ Koops verwendet hingegen in Criteria for Normative Technology, 2007, S. 2 die Beschreibung „Code as law“. 112  Samer/De Filippi, The Expansion of Algorithmic Governance: From Code is Law to Law is Code, 2017, 88, 89. 113  Das Land Nordrhein-Westfalen plant z. B. den Einsatz von intelligenter Videoüberwachung in den JVA zur Erkennung von Suizidgefährdungen, Pressemitteilung des Justizministeriums vom 22.10.2019, abrufbar unter: https://www.justiz.nrw.de/ JM/Presse/PresseJM/archiv/2019_02_Archiv/2019_10_22_PM_KI_Suizidpraeven tion/index.php. 114  Rademacher, JZ 2019, 702. 115  Es gibt bereits Pläne für eine Pflicht für Autohersteller, (ab 2022) Neuwagen mit diversen automatisierten Sicherheitssystemen auszustatten, wie z. B. mit einer Alkohol-Wegfahrsperre oder einem intelligenten Geschwindigkeitsassistenten, vgl. Pressemitteilung des Europaparlaments v. 21.02.2019, abrufbar unter: https://www. europarl.europa.eu/news/en/press-room/20190220IPR27656/safer-roads-more-lifesaving-technology-to-be-mandatory-in-vehicles.

148

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

wählt, anstatt, wie üblich im Recht, normativ Dürfen und Nichtdürfen dem Normadressaten als Richtschnur vorzugeben.116 Der darin zum Ausdruck kommende Paradigmenwechsel besteht insofern nicht lediglich darin, dass algorithmisch das rechtlich vorgegebene Wertesystem selbst vollzogen wird. Der wesentliche Unterschied zum analogen Recht ist, dass algorithmisch das Mögliche vorgegeben wird. In einer starken Ausgestaltung gibt Law by Design keine Wahlmöglichkeit und somit ist die freie Entscheidung, aus der Einsicht dem Recht zu folgen, ausgeschlossen. Das Recht hingegen, ohne automatisierten Vollzug, schreibt den Bürgerinnen und Bürgern lediglich vor, was sie tun sollen und was sie nicht tun sollen.117 Der Law-by-Design-Ansatz knüpft nicht an den Entscheidungsfindungsprozess des Individuums an, sondern an die wirksame Verhinderung des Verhaltens.118 Als Herrschaftsinstrument schafft Law by Design rechtmäßige Zustände durch Verhaltenssteuerung und unterscheidet sich in diesem Punkt stark vom gewöhnlichen Rechtsvollzug. bb) Herkömmliche Möglichkeiten zur Sicherung der Rechtsbefolgung Das Versprechen des Law by Designs ist: Keiner kann gegen das Gesetz verstoßen, weil diese Verstöße by Design – durch technische Voreinstellungen – unmöglich gemacht werden.119 Herkömmliche Wege, Recht zu realisieren, bestehen in der Vollziehung von Gesetzen, etwa durch Polizeibeamte.120 In vielen Bereichen, wie z. B. im Datenschutzrecht, wird oftmals über ein Vollzugsdefizit geklagt, weil das erforderliche Personal nicht vorhanden ist und auf der anderen Seite die Aufgaben an Komplexität stark zunehmen. Eine andere Möglichkeit, Recht zu realisieren, ist die anreizbasierte Verhaltenssteuerung, die unter dem Begriff des Nudgings gefasst wird.121 Beispielsweise ist in Ländern, in denen für den Organspendeausweis auf die Widerspruchslösung gesetzt wird (z. B. Österreich), die Beteiligung deutlich höher als in Ländern, in denen eine aktive Einwilligung gesetzlich vorgeschrieben ist (z. B. Deutschland).122

AöR 145, 2020, 33. Filippi, The Expansion of Algorithmic Governance: From Code is Law to Law is Code, 2017, 88, 89. 118  Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 803. 119  Lobe, Speichern und Strafen, 2019, S. 51. 120  Zu den Unterschieden der Steuerung durch Rechtsnormen und durch Algorithmen Hoffmann-Riem, AöR 142, 2017, 25 ff. 121  Rademacher, JZ 2019, 702, 703. 122  Thaler/Sunstein, Nudge, 15. Auflage 2019, S. 244. 116  Hoffmann-Riem, 117  Samer/De



B. Regulatorische Anknüpfungspunkte 149

Der Umstand, dass in vielen Lebensbereichen der Staat dafür sorgt, dass faktisch bestimmte Handlungsweisen erschwert werden, ist nichts Neues. Ein einfaches Beispiel ist die aufgrund einer Gefahr durch die Polizei abgesperrte Straße. Nur mit erheblichem Aufwand und Inkaufnahme der Verletzung eigener und fremder Rechtsgüter kann die Straße durch Durchbrechen der Absperrung befahren werden.123 Während also bei gesetzlichen Vorgaben die Freiheit vor allem darin besteht, zwischen Rechtsbefolgung und verstoß zu wählen, ist die Freiheit in ausgewählten Bereichen faktisch eingeschränkt. Insgesamt fußt die Realisierung von Recht auf dem Konzept, dass Rechtsvollzug aus einer freiwilligen Entscheidung der Normadressaten heraus geschieht.124 Das setzt jedoch voraus, dass betroffene Personen erfahren, dass ihre Handlungen rechtlich bindend sind und Verwaltungsvollzug, die Festsetzung einer Geldbuße oder gar strafrechtliche Sanktionen Konsequenzen ihres Handelns sein können.125 Soweit es um ein Zwangsmittel geht, muss dieses dem Betroffenen aufgrund seiner belastenden Natur grundsätzlich gemäß § 13 Abs. 1 S. 1 VwVG zuvor angedroht werden. Verwaltungszwang ohne vorherige Androhung ist nur in den engen von § 6 Abs. 2 VwVG vorgegebenen Ausnahmefällen zulässig. Insoweit trägt die Androhung zwei Aspekten Rechnung. Erstens ist sie in besonderem Maße Ausdruck eines rechtsstaatlichen Vollstreckungsverfahrens im Sinne von Art. 20 Abs. 3 GG.126 Zweitens kann die Androhung „als Mittel zur Wahrung der Autonomie der Betroffenen“ verstanden werden,127 womit der Art. 1 GG entspringenden Sicht von einem freien und eigenverantwortlichen Menschen Rechnung getragen wird. Durch die Androhung staatlicher Sanktionen wird die Autonomie des Individuums dadurch gewahrt, dass es dem Individuum überantwortet wird, für sich zu entscheiden, eine staat­ liche Sanktion zu riskieren.128 Die Androhung des Zwangsmittels versetzt den Pflichtigen in die Lage, freiwillig zu entscheiden, der ihm durch die Grundverfügung auferlegten Verpflichtung nachzukommen.129 Das Recht 123  Vgl. für weitere Beispiele: Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 797 f. 124  Rademacher, JZ 2019, 702; Hoffmann-Riem, in: Unger/Ungern-Sternberg, Demokratie und künstliche Intelligenz, 2019, S. 155. 125  Hoffmann-Riem, in: Unger/Ungern-Sternberg, Demokratie und künstliche Intelligenz, 2019, S. 155. 126  Deusch/Burr, in: BeckOK VwVfG/, 48. Ed. 1.7.2020, VwVG Vorbemerkung zu § 13. 127  Hoffmann-Riem, in: Unger/Ungern-Sternberg, Demokratie und künstliche Intelligenz, 2019, S. 155. 128  Hoffmann-Riem, AöR 145, 2020, 33. 129  Deusch/Burr, in: BeckOK VwVfG/, 48. Ed. 1.7.2020, VwVG § 13 Rn. 1.

150

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

setzt somit offenkundig darauf, Rechtstreue durch Einsicht erreichen zu können. Der Pflichtige kann sich auch zur Nichtbefolgung entscheiden und damit Sanktionen aus freier Selbstbestimmung riskieren. cc) Effiziente Herrschaftsform über alle Folglich ist Law by Design eine effiziente Herrschaftsform („structural controls“), um unerwünschte Handlungsweisen unmöglich zu machen oder sie zumindest erheblich zu erschweren.130 Der Gesetzgeber könnte gesetzlich vorschreiben, dass ein Auto technisch so konstruiert werden muss, dass der Motor eines Fahrzeugs nicht starten kann, wenn nicht alle Insassen angeschnallt sind, oder per Gesetz die Automobilhersteller verpflichten, die Höchstleistungsgeschwindigkeit des Fahrzeugs auf das gewünschte Maß zu beschränken. Im Gegensatz zum Recht, welches Ge- und Verbote vorgibt (was der Einzelne nicht tun sollte), bewirkt Law by Design, dass der Einzelne etwas nicht tun kann.131 Die Folgen, z. B. Sanktionierung von Recht durch selbstvollziehende Algorithmen, knüpfen nicht mehr an die Eigenverantwortung des Subjekts an. Es besteht keine Auswahl zwischen Verhaltensoptionen.132 Auch inhaftierten Verurteilten ist es unmöglich, in Ausübung ihrer Freiheit bestimmte Straftaten zu begehen. Dagegen richtet sich der Law-by-Design-Ansatz abstrakt generell an alle normunterworfenen Subjekte, sodass er insgesamt eher als effiziente Herrschaftsform verstanden werden muss. dd) Verhinderung von (il)legalem Verhalten Law by Design erscheint zunächst sehr vielversprechend. Schließlich zielt das Recht auch darauf ab, unerwünschtes kriminelles Verhalten zu unterbinden, damit es erst gar nicht zu einer Rechtsgutverletzung kommen kann. Das per Design unterbundene Verhalten ist also von der Rechtsordnung als verwerflich, unerwünscht, ethisch falsch und gemeinschaftsschädlich eingestuft worden. Insofern wird Technologie positiv eingesetzt, indem Verhalten per Design unter Beachtung gesellschaftlich akzeptierter Werte gesteuert wird.133 Hinzu kommt, dass neben der Vermeidung von Rechtsgutverletzungen Law by Design dem Staat die Nutzung von Ressourcen für die Verfolgung und Ahndung von Verhalten ermöglicht, das noch nicht unmöglich gemacht werden konnte.134 New Criminal Law review, 2011, 586–589. Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 800. 132  Hoffmann-Riem, AöR 142, 2017, 35. 133  Hoffmann-Riem, AöR 142, 2017, 35. 134  Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 805. 130  Rosenthal, 131  Rich,



B. Regulatorische Anknüpfungspunkte 151

Darüber hinaus können solche Ansätze zu mehr Fairness und Gleichheit beitragen. Bei der Rechtsdurchsetzung können Menschen (durch Verwaltungsangestellte, Polizei, Staatsanwaltschaft usw.) ggf. unberechtigterweise ungleich behandelt werden.135 Unabhängig von der Frage, ob und in welchem Umfang auch in Deutschland tatsächlich rassistische Tendenzen bei staatlich Bediensteten vorhanden sind, wären jedenfalls solche Risiken mit Unmöglichkeitsstrukturen per Design ggf. im Keim erstickt. Das Versprechen von algorithmischen Systemen, die das Recht selbst vollziehen und unrechtmäßiges Verhalten unmöglich machen, ist ein Vollvollzug. Fraglich ist, ob nicht damit auch unweigerlich legales, nicht-kriminelles Verhalten verhindert wird.136 Wenn die Norm, die technologisch vollzogen wird, auch nur etwas Entscheidungsspielraum übrig lässt, können auch nicht strafbare Verhaltensweisen von vornherein unmöglich gemacht werden, was wiederum zu einer Art „Overblocking“ führen kann.137 Es wäre durchaus denkbar, diese – nennen wir sie – Fehlerrate als hinnehmbares kleineres Übel zu verstehen, weil im Wesentlichen (ggf. mehr) illegales Verhalten verhindert wird. Eine derart stark utilitaristische Sichtweise verbietet sich jedoch. Überall, wo Law by Design einen unmittelbaren Eingriff in grundrechtlich geschützte Freiheitsrechte darstellt, der nicht gerechtfertigt werden kann, verbietet sich ein Einsatz solcher algorithmischen selbstvollziehenden Systeme. Ein solcher Eingriff kann regelmäßig dann nicht gerechtfertigt werden, wenn ein Grundrecht mit der Begründung verhindert wird, dass es sich um eine geringe Fehlerrate handelt und grundsätzlich technologisch nur unrechtmäßiges Verhalten tatsächlich verhindert werde. Eine solche Begründung würde grundrechtsfreie Räume schaffen, die so verfassungsrechtlich nicht denkbar sind. Law by Design kann unterschiedlich invasiv ausgestaltet werden. Technologisch könnte das Unmögliche dadurch abgesichert sein, dass dem Individuum eine Handlung abverlangt wird. Erwähnt sei z. B. eine Alkoholwegfahrsperre, die das Fahren nur dann möglich macht, wenn der Fahrer zuvor pusten muss.

135  Auch in Deutschland gäbe es Anlässe, Probleme struktureller Diskriminierung eingehend zu untersuchen (Stichwort Racial Profiling). Das von Horst Seehofer geleitete Innenministerium sagte mit der Begründung, Racial Profiling sei unzulässig, weitergehende empirische Untersuchungen innerhalb der Polizei ab, vgl. Leitlein, Hannes, Bundesministerium sagt Studie zu Rassismus bei der Polizei ab, Zeit online, 04.07.2020, abrufbar unter: https://www.zeit.de/gesellschaft/zeitgeschehen/2020-07/ racial-profiling-studie-polizei-abgesagt-justizministerium-horst-seehofer. 136  Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 812. 137  Rademacher, JZ 2019, 702, 706.

152

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

ee) Grenzen des Law by Design Es stellt sich die Frage, ob solche Ansätze zur Wahrung der Autonomie des Einzelnen nicht eine Grenze erfahren. Zudem stellt sich in diesem Zusammenhang auch die Frage, ob sich zur Wahrung der Autonomie nicht Rechte der Übersteuerung ergeben müssen, die ihrerseits Einfluss auf die Ausgestaltung solcher Law-by-Design-Ansätze haben. Wenn der Korridor des Möglichen in bestimmten Bereichen vorgegeben ist, geht damit auch eine Einschränkung der Freiheit einher, die, da sie staatlich erfolgt, einer Rechtfertigung bedarf. Die offensichtlichste Auswirkung solcher Law-by-DesignStrukturen ist die Unmöglichkeit des Einzelnen, sich für oder gegen einen Regelverstoß zu entscheiden. Dies stellt eine erhebliche Einschränkung der Autonomie dar.138 ff) Kein Recht auf Rechtsverstoß Rechtlich gesehen vermittelt die Freiheit, sich illegal zu verhalten, keinen durchsetzbaren Anspruch, da es bereits logisch kein Recht zum Rechtsverstoß geben kann.139 Denn die Ausübung eines solchen Rechts würde bei der Bewertung im Nachhinein nicht mehr als Rechtsverstoß bewertet werden können.140 Darüber hinaus vermögen die dem Recht inhärenten Rechtfertigungsgründe nicht ein Recht zum Rechtsverstoß zu vermitteln. Rechtfertigungsgründe sind lediglich in der Lage, im Nachhinein den Erfolgs- und Handlungsunwert zu neutralisieren. Es ändert nichts an dem grundsätzlichen Werturteil, dass z. B. Gewalt gegen einen Menschen von der Rechtsordnung nicht gebilligt ist.141 Gleichwohl sind Dilemmasituationen denkbar, in denen die Regelübertretung sogar dem Sinn und Zweck einer Regel näher kommt als ihre blinde Befolgung.142 Sondersituationen also, die zur Auflösung des Dilemmas einer „brauchbaren Illegalität“143 bedürfen. Da es insoweit wegen der Komplexität möglicher Dilemmasituationen nicht ausgeschlossen werden kann, dass by Design diese per Code bereits berücksichtigt werden konnten und somit algorithmisch abgebildet werden können, muss die letzte Verantwortung für Entscheidungen beim Menschen bleiben. Es muss ein Recht zur ÜbersteueHarvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 808. Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 809. 140  Rademacher, JZ 2019, 707. 141  So auch Rademacher, JZ 2019, 707. 142  Hoffmann-Riem, AöR 145, 2020, S. 34. 143  Luhmann, Funktion und Folgen formaler Organisation, 2.  Auflage 1972, 22. Kapitel, S. 304–314. 138  Rich, 139  Rich,



B. Regulatorische Anknüpfungspunkte 153

rung bestehen, das es dem Menschen ermöglicht, diesen vermeintlich rechtssicheren vorgegebenen Korridor zu verlassen. Insgesamt sind die Grundrechte und ihre Eingriffsmöglichkeiten so ausgestaltet, dass nicht die Freiheitsbetätigung selbst, sondern ihre Einschränkung unter Vorbehalt steht und die Begründungslast etwaiger Grundrechtseinschränkungen dem Staat überantwortet wird. gg) Recht auf Vollzugsdefizit Gleichwohl bleibt offen, ob von diesem Freiheitsraum auch ein grundrechtlich abgeleitetes Recht auf Vollzugsdefizit erfasst sein könnte. Denn Grundrechte gewährleisten in erster Linie einen Schutz gegen Eingriffe.144 Der automatisierte Vollzug von Rechten erscheint aber weniger als Eingriff denn als Abbild einer sich verändernden Welt, an die sich in einer Wechselwirkung Freiheitsräume und technischer Wandel anpassen müssen. Bei sehr schwerer Kriminalität werden sich wenige finden, die sich gegen Law by Design aussprechen würden. Es wäre wohl erstrebenswert, wenn per se solche Straftaten unmöglich wären. Wenn es aber um leichte Verstöße geht, könnte tatsächlich erwogen werden, ob für ein gemeinschaftliches Zusammenleben, in dem Fehler und Fehltritte Antriebsfeder von persönlicher und gemeinschaftlicher Entwicklung sein können, ein Vollzugsdefizit nicht als systemfördernde Anomalie hinzunehmen ist, quasi als „sporting Chance to get away with Crime“.145 Berücksichtigt man, dass ein Vollvollzug im analogen Zeitalter bereits aus kapazitären Gründen nicht möglich war, könnte womöglich nicht von einem Hinnehmen die Rede sein, sondern vielmehr von gerechtfertigter Erwartungshaltung, dass ein gewisses Vollzugsdefizit sogar freiheitlich, demokratisch und rechtsstaatlich förderlich sein kann.146 Dieses Vollzugsdefizit ermöglicht den Menschen einen Raum der Reflexion, ohne dass sofort Vollzugsmaßnahmen drohen, und sorgt damit gewissermaßen für eine „ethische Imprägnierung“147 der Vollzugspraxis von Recht. Die Autonomie des Menschen gebietet es, auch objektiv unvernünftige Entscheidungen treffen zu können, sodass es einer paternalistischen Sicht entspräche, würde der Staat normabweichendes Verhalten technisch by DeZUM 2019, 636, 640. Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, 810. 146  Vgl. Rademacher, JZ 2019, 702, 708. 147  Der Begriff stammt von Habermas, der zur Thematik der Beziehung von Ethik und Recht die Grundrechte als ethisch imprägnierte Schnittstelle von Recht und Ethik versteht, vgl. Habermas, Die Einbeziehung des Anderen, Studien zur politischen Theorie, 1996, S. 252 ff. 144  Becker, 145  Rich,

154

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

sign unterbinden.148 Absolute Sicherheit ist in einer humanen und freiheit­ lichen Demokratie insoweit kein Zielwert, sondern kann diese sogar untergraben.149 Vielmehr müssen ein Mehr oder Weniger an Sicherheit und eine Begrenzung der Freiheit in einem grundrechtlichen Abwägungsprozess entschieden werden. hh) Eigenverantwortung des Menschen als Grenze des by-Design-Ansatzes Art. 1 GG verdeutlicht die fundamental anthropozentrische150 Ausrichtung des Grundrechtskatalogs und der gesamten grundgesetzlichen Staatsordnung.151 Die Voranstellung der unantastbaren Menschenwürde verpflichtet den Staat, sie zu achten und zu schützen und seiner Persönlichkeitsentfaltung zu dienen, und ist gleichzeitig die Auslegungsgrundlage des gesamten Grundgesetzes.152 Diese Ausrichtung kann somit gleichermaßen als Grenze dieses algorithmischen Law-by-Design-Ansatzes verstanden werden, woraus sich zudem Kriterien für eine verfassungsverträgliche Umsetzung solcher Ansätze ableiten lassen. Die Menschenwürde und die sie ausdifferenzierenden Grundrechte basieren auf der Idee von Freiheit. Das verdeutlicht nicht zuletzt auch das Verhältnis von Strafe und Schuld im Recht. Der Grundsatz „Keine Strafe ohne Schuld“ (nulla poena sine culpa) setzt die Eigenverantwortung des Menschen voraus, der sein Handeln selbst bestimmt und sich kraft seiner Willensfreiheit zwischen Recht und Unrecht entscheiden kann. Dem Schutz der Menschenwürde in Art. 1 Abs. 1 GG liegt die Vorstellung vom Menschen als einem geistig-sittlichen Wesen zugrunde, das darauf angelegt ist, sich in Freiheit selbst zu bestimmen und zu entfalten.153 Das gesamte freiheitliche demokratische Grundkonzept des Zusammenlebens aktualisiert sich daher in jeder freien Entscheidung des Einzelnen gegen regelwidriges Verhalten. Schuld ist Vorwerfbarkeit und Voraussetzung für Strafe. Der Vorwurf besteht in dem Unwerturteil, „dass [sich der Täter] nicht rechtmäßig verhalten, dass er sich für das Unrecht entschieden hat, obwohl er sich rechtmäßig verhalten, 148  BT-Drucksache 18/13500, Ethik-Kommission Automatisiertes und Vernetztes Fahren, Bericht Juni 2017, S. 24. 149  BT-Drucksache 18/13500, Ethik-Kommission Automatisiertes und Vernetztes Fahren, Bericht Juni 2017, S. 24. 150  Hähnchen/Schrader/Weiler/Wischmeyer, in: JuS, 2020, 625, im Zusammenhang mit Legal Tech. 151  Hillgruber, in: BeckOK GG, 43. Ed. 15.5.2020, GG Art. 1. 152  Hillgruber, in: BeckOK GG, 43. Ed. 15.5.2020, GG Art. 1. 153  BVerfG NJW 2016, 1149, Rn. 54.



B. Regulatorische Anknüpfungspunkte 155

sich für das Recht hätte entscheiden können. Der innere Grund des Schuldvorwurfes liegt darin, dass der Mensch auf freie, verantwortliche, sittliche Selbstbestimmung angelegt und deshalb befähigt ist, sich für das Recht und gegen das Unrecht zu entscheiden, sein Verhalten nach den Normen des rechtlichen Sollens einzurichten und das rechtlich Verbotene zu vermeiden.“154 Insofern kann bereits aus dem Art. 1 GG entspringenden Grundwertemodell ein wichtiges Kriterium abgeleitet werden, welches bei der Etablierung solcher Law-by-Design-Ansätze berücksichtigt werden muss: Dem Menschen muss quasi ein Exit möglich sein, eine menschliche Übersteuerungsmöglichkeit, aus freien Stücken den Korridor der rechtskonformen Voreinstellung zu verlassen, mit dem Risiko, Schuld auf sich zu laden. Folglich muss auch in diesem Kontext ein Anspruch auf Eingreifen einer Person (Intervenierbarkeit) möglich sein. ii) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft Staatliche Entscheidungen müssen begründet werden. Einer der zentralen Zwecke einer Begründung hoheitlicher Entscheidungen ist die Herstellung von Legitimation, welche durch die Zustimmung des Betroffenen erreicht wird.155 Diese Zustimmung ist mehr auf eine unter Umständen auch widerwillige Akzeptanz gerichtet, dass die Entscheidung im Rahmen des geltenden Rechts ergangen ist.156 Dieses Zustimmungserfordernis ist gleichsam auch deshalb eine Konkretisierung des Rechtsstaatsprinzips, weil der Staat eine konsensuale Pflicht des Bürgers überwacht und durchsetzt und keine Gewaltherrschaft gilt. Dies verdeutlicht, dass die rechtsstaatliche Begründungspflicht, welche u. a. den Zweck der Legitimation verfolgt und Konsens vo­ raussetzt, eine effiziente Gewaltherrschaft durch algorithmische Systeme ablehnt. Wenn algorithmische Systeme zur Vollziehung von Recht eingesetzt werden und per Design die Entscheidungs- und Handlungsoptionen des Bürgers beschränken, müssen Übersteuerungsmöglichkeiten vorgesehen sein, um rechtsstaatlich verträglich zu sein. Denn Konsens setzt zumindest die Möglichkeit voraus, sich gegen das Recht zu entscheiden. Erst dann kann der Staat auf das Arsenal seiner Durchsetzungsmittel setzen und das Recht vollziehen. Diese Mehrstufigkeit lässt Raum für die Entwicklung von Einsicht und dient damit letztlich der Verwirklichung von Freiheit in einem demokratischen Rechtsstaat.

154  BGHSt

2, 194, 200 f. in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 1. 156  Tiedemann, in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 1. 155  Tiedemann,

156

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

jj) Vollzug ist kein Selbstzweck Aus den vorstehenden Ausführungen wird jedoch nicht deutlich, wie die Grenze sichtbar gemacht werden kann, d. h. wo die Autonomie des Einzelnen bestimmte Freiheitsräume – mit denen ein Vollzugsdefizit einhergehen könnte – bewahren will. Eine pauschale Antwort verbietet sich. Vielmehr müssen die einzelnen Normen, ihr Rechtsgut und ihr Schutzanspruch in den Blick genommen werden.157 Es gibt im Recht bereits by-Design-Ansätze. An prominenter Stelle findet sich ein solcher Ansatz im sich im Datenschutz als allgemeine Pflicht des Verantwortlichen in Art. 25 DSGVO. Der in Art. 25 DSGVO verankerte Privacy-by-Design-Ansatz bezweckt eine frühzeitige technische und administrative Berücksichtigung der datenschutzrechtlichen Grundsätze, um risikoreiche Entwicklungen, die mit dem Einsatz technischer Systeme einhergehen, zu minimieren.158 Mit Privacy by Design geht es um die Schaffung einer Architektur von technischen Systemen unter Berücksichtigung von Datenschutz.159 Der hier verfolgte by-Design-Ansatz ist also kein Selbstzweck. Er soll vielmehr einen Wert sichern, namentlich Datenschutz durch Technikgestaltung. Law by Design, eine algorithmische Vollvollziehung, würde jedoch einen Selbstzweck darstellen, wenn dieser Ansatz hypothetisch bei jeder Norm Anwendung fände, obgleich es dem Recht auf blinde Vollvollziehung gar nicht ankommt. Das gesamte Recht enthält Rechtfertigungsgründe wie z. B. §§ 228, 904 BGB, § 34 StGB, § 16 OWiG, welche rechtswidriges Verhalten rechtfertigungsfähig machen und daher nicht per se unmöglich machen (wollen).160 Alle Rechtfertigungsgründe ermöglichen es unter dem Vorbehalt einer umfassenden Angemessenheitsprüfung, das begangene Unrecht zu rechtfertigen, es aus dem rechtswidrigen in den nicht rechtswidrigen, also rechtskonformen Bereich zu verrücken.161 Die Rechtfertigungsgründe verdeutlichen also, dass die Normen, auf die sie Anwendung finden, auf einen Vollvollzug gar nicht angelegt sind. Kommt es einer Norm mithin gar nicht auf den Vollvollzug an, so widerspricht es ihrem Sinn und Zweck, wenn ihr die Möglichkeit des Vollvollzugs aufgezwungen wird.

158  Moser,

JZ 2019, 702, 710. in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. 25,

159  Moser,

in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. 25,

157  Rademacher,

Rn. 1. Rn. 1.

160  Rademacher, 161  Rademacher,

JZ 2019, 702, 706. JZ 2019, 702, 706.



B. Regulatorische Anknüpfungspunkte 157

4. Zwischenergebnis Die Herstellung von rechtmäßigen Zuständen ist in einem freien und demokratischen Staat ein Zielwert. Ein Vollziehungsüberschuss ist mit der Autonomie des Einzelnen nicht verträglich. Es lässt sich nicht pauschal auf­ zeigen, wo die Linie als rechtliche Grenze eines solchen Law-by-DesignAnsatzes genau verläuft. Gleichwohl gibt es für solche Ansätze eine grundrechtliche Unverträglichkeitsgrenze. Die Eigenverantwortlichkeit des Menschen kann es in bestimmten Bereichen gebieten, den Korridor des Möglichen durch menschliche Übersteuerung auch verlassen zu können. Weniger problematisch ist es, wenn lediglich eine empfohlene Struktur vorgegeben wird, eine Überwindung dieser Empfehlung aber möglich ist. Noch einmal zusammenfassend lässt sich festhalten, dass auch außerhalb des Datenschutzes Art. 1 GG und Art. 1 GRCh im Zusammenhang mit algorithmischen Systemen einen Anspruch auf Eingreifen einer Person vermitteln. Im Datenschutzrecht – worauf gesondert eingegangen wird – vermittelt Art. 22 Abs. 3 DSGVO ein Recht auf Erwirkung des Eingreifens einer Person. Bei nicht vollautomatisierten assistierenden Systemen ergibt sich wiederum aus den Grundsätzen des Art. 5 DSGVO ein Recht auf Intervenierbarkeit. Im Zusammenhang mit Law-by-Design-Ansätzen ergibt sich aus Art. 1 GG und Art. 1 GRCh ein Recht auf Intervenierbarkeit im Sinne eines Rechts auf Übersteuerungsmöglichkeit. Die Letztentscheidung muss auch systemseitig dem betroffenen Grundrechtsträger überantwortet werden, ob er aus Einsicht dem Recht folgen möchte oder nicht. Wenn der Law-by-Design-Ansatz in seiner stärksten Ausprägung umgesetzt werden soll, d. h. als „impossibility Structure“, so muss vorher analysiert werden, ob die jeweilige Norm überhaupt auf einen derartigen Vollvollzug angelegt ist. Wenn dies nicht der Fall ist, darf sie auch nicht in eine Impossibility Structure eingekleidet werden.162

II. Verfassungsrechtliche Transparenz Nachfolgend wird untersucht, ob hinsichtlich der Transparenz von KISystemen nicht bereits rechtliche Implikationen vorhanden sind. Fraglich ist, ob tatsächlich ein neues Verständnis von Transparenz aufgrund des BlackboxPhänomens von KI-Systemen geboten ist.

162  Rademacher,

JZ 2019, 702, 710.

158

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

1. Notwendigkeit der Öffnung der Blackbox? Dem Blackbox-Phänomen wird fast intuitiv die Forderung nach Transparenz entgegengehalten.163 Mit der Transparenz sollen die o. g. Risiken kon­ trollierbar gemacht werden. Die dargelegten technischen Grundlagen zeigen, wie schwer dieser Forderung nachgekommen werden kann. Selbstlernende KI-Systeme entwickeln sich auch nach Abschluss des Trainingsprozesses weiter, indem die einzelnen Gewichtungsparameter aufgrund der weiteren Lernerfahrung (Feedback) angepasst werden. Diese Systeme sind daher dynamisch, sodass sich Entscheidungserklärungen ändern können. Mit der Offenlegung des Quellcodes haben die Betroffenen nichts gewonnen. Der Blick in ein Buch liefert keine Erkenntnisse, wenn man nicht lesen kann. Insofern wird sich die Komplexität nicht auflösen und damit die Blackbox auch nicht öffnen, selbst wenn man Einblick in den Maschinenraum dieser komplexen Systeme bekommt.164 Insofern kann in Bezug auf KI-Systeme Transparenz dadurch geschaffen werden, dass in Entscheidungsbegründungen auch wesentliche Parameter, an welche das KI-System angeknüpft hat, mitgeliefert werden. Für den öffentlichen Sektor ist die verfassungsrechtlich abgesicherte Begründungspflicht Ausfluss der strukturellen Grundprinzipien aus Art. 20 GG. Sie kann als eine Komponente bei der Herstellung von Transparenz verstanden werden. Aus rechtsstaatlicher Perspektive ergeben sich grundsätzliche Anforderungen an KI-Systeme, die mit der Generierung des Ergebnisses der Datenverarbeitung zusammenhängen.165 Dass ein komplexes Entscheidungssystem als Blackbox operiert, ist nicht per se problematisch, da auch Menschen, die entscheiden, für andere Menschen oft Blackboxes sind.166 Wichtiger als die Erklärbarkeit und Nachvollziehbarkeit der maschinellen Entscheidung ist daher, dass sie, ebenso wie die Handlungen menschlicher Entscheidungsträger, in eine hinreichend dichte Begründungs- und Kontrollarchitektur eingebunden sind.167 2. Begründungspflicht Auf verfassungsrechtlicher Ebene findet Transparenz keine explizite Erwähnung.168 Gleichwohl lässt sich ein verfassungsrechtliches Verständnis von AöR 143, 2018, 1, 44. auch Wischmeyer, AöR 143, 2018, 1, 53. 165  Herold, DSRITB 2018, 453, 461. 166  Wischmeyer, AöR 143, 2018, 8. 167  Wischmeyer, AöR 143, 2018, 8. 168  Martini, Blackbox Algorithmus, 2019, S. 69 mit Verweis auf Bröhmer, Transparenz als Verfassungsprinzip, 2004, S. 33; a. A. Wegener, Der geheime Staat, 2006, S. 475. 163  Wischmeyer, 164  So



B. Regulatorische Anknüpfungspunkte 159

Transparenz aus den Strukturprinzipien des Grundgesetzes ableiten. Im Wesentlichen lassen sich daraus Erkenntnisse ableiten, die nur für einen Teil­ aspekt der Transparenz gelten können. Denn Begründungen beziehen sich auf den der Verarbeitung von Daten nachgelagerten Bereich, nämlich nachdem eine Entscheidung getroffen wurde. Transparenz von KI-Systemen muss aber weiter gehen bzw. zeitlich schon vorher ansetzen. Den betroffenen Personen müssen bereits vorher Informationen bezüglich der Verarbeitung zur Verfügung gestellt werden. Transparenz setzt insoweit auch Informationspflichten voraus. Diese Informationspflichten ergeben sich jedenfalls bei der Verarbeitung von personenbezogenen Daten aus den Vorgaben des Datenschutzrechts. Die Begründungspflicht stellt ein wesentliches Erfordernis jedes rechtsstaatlichen Verfahrens dar und ist Ausfluss des Rechtsstaatsprinzips,169 welches als Ausdruck der Verfahrensfairness zum Ausdruck kommt.170 Art. 20 Abs. 3 GG verlangt als Ausdruck materieller Gerechtigkeit, dass staatliches Handeln messbar und nachvollziehbar sein muss. Daher sind Entscheidungen der Verwaltung zu begründen. Im Rahmen der Transparenzdebatte von KISystemen müssen insoweit – wie bei analogen Entscheidungen der Verwaltung auch – verschiedene Ebenen mitgedacht werden. Begründungen von Verwaltungsentscheidungen sind rechtsstaatlich geboten, weil sie eine gerichtliche Kontrolle erst ermöglichen. Dies ist grundsätzlich nur möglich, wenn auch die entscheidungsrelevanten und in diesem Zusammenhang die Kategorien der verarbeiteten Daten bzw. die für die Entscheidung relevanten Gewichtungsparameter bzw. „tragenden Gründe“ mitgeteilt werden. Insofern genießt der datenschutzrechtliche Grundsatz der Transparenz aus Art. 5 Abs. 1 lit. a) DSGVO verfassungsrechtlichen Flankenschutz. Der Grundsatz der Gesetzmäßigkeit der Verwaltung verlangt eine strikte Orientierung am Gesetz, das seinerseits rechtsstaatliche Gebote, namentlich Rechtssicherheit und Vertrauensschutz konkretisiert.171 Die rechtsstaatliche Begründungspflicht von staatlichen Entscheidungen ist in § 39 VwVfG einfachgesetzlich konkretisiert. Dabei sind auch Ausnahmen von der grundsätzlichen Begründungspflicht normiert. Gemäß § 39 Abs. 2 Nr. 1 VwVfG bedarf es ausnahmsweise dann keiner Begründung, soweit die Behörde einem Antrag entspricht und der Verwaltungsakt nicht in Rechte Dritter eingreift oder wenn die Behörde gemäß § 39 Abs. 2 Nr. 3 VwVfG Verwaltungsakte mithilfe vollautomatisierter Einrichtungen erlässt, wobei in diesen Konstellationen nicht pauschal auf die Begründung verzichtet werden kann, sondern nur, wenn eine Begründung nach den Umständen des Einzelfalls nicht geboten ist. in: Kopp/Rammsauer VwVfG Kommentar, § 39 Rn. 5a. in: Sachs GG Kommentar, 8. Auflage 2018, Art. 20 Rn. 165. 171  Schulze-Fielitz, in: Dreier, GG Kommentar, Bd. II, Art. 20 Rn. 170. 169  Ramsauer, 170  Sachs,

160

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Während datenschutzrechtliche Informationspflichten vor der Verarbeitung personenbezogener Daten stets bestehen, kann ein Recht auf Begründung in einigen Konstellationen auch nicht bestehen. Dabei statuiert § 39 Abs. 2 VwVfG eben nur eine Befugnis und keine Pflicht, in bestimmten Fallkon­ stellationen von einer Begründung abzusehen.172 Von dieser Befugnis kann ermessensfehlerfrei aber nur dann Gebrauch gemacht werden, wenn die verfassungsrechtlich abgesicherte grundsätzliche Begründungspflicht von staatlichen Entscheidungen nicht unterlaufen wird und ihr auch grundsätzlich überhaupt nachgekommen werden kann. Das BVerwG hat entschieden, dass im Rahmen von mündlichen Prüfungsentscheidungen ein Recht auf Begründung des Prüfungsergebnisses bestehen muss, da ansonsten die Grundrechte auf freie Berufswahl, Art. 12 Abs. 1 GG, und auf einen effektiven Rechtsschutz, Art. 19 Abs. 4 GG, verletzt werden.173 Folglich lässt sich im öffentlichen Sektor nicht nur aus dem Rechtsstaatsprinzip, sondern auch aus den Grundrechten selbst ein Recht auf Begründung ableiten, welches hier als Teilaspekt der Transparenz verstanden wird. Gemeint war in dem Urteil aber nicht ein unmittelbar aus diesen Grundrechten hergeleiteter Leistungsanspruch, sondern vielmehr die Klarstellung, dass die Rechtfertigungslast bei Grundrechtseingriffen beim Staat liegt und Grundrechtsschutz durch eine nachträgliche Kontrolle der Gerichte gewährleistet werden muss.174 Hierzu ist es erforderlich, „dass der Prüfling diejenigen Informationen erhält, die er benötigt, um feststellen zu können, ob die rechtlichen Vorgaben und Grenzen der Prüfung, insbesondere der Beurteilung seiner Leistungen, eingehalten worden sind“.175 Erst durch die Mitteilung einer angemessenen Begründung („tragenden Gründe“) wird der Prüfling in die Lage versetzt, Einwände gegen die Bewertung vorzutragen und damit unberechtigte Eingriffe in sein Grundrecht aus Art. 12 Abs. 1 GG abzuwehren. Das Besondere bei mündlichen Prüfungen ist, dass die Bewertung der Prüfungsleistungen quasi in Echtzeit erfolgt. Eine umfängliche Protokollierung und Nachvollziehbarkeit der Leistung und der korrespondierenden Bewertung ist, anders als bei schriftlichen Prüfungen, bei mündlichen Prüfungen nicht vorhanden. Daraus leitete das Gericht ab, dass der „Nachteil einer völlig fehlenden oder jeweils nur unzulänglichen Dokumentation“ durch „hinreichende verfahrensmäßige Vorkehrungen erforderlich sei, um das Prüfungsgeschehen auch nachträglich noch aufklären zu können“.176 in: BeckOK VwVfG, 47. Ed. 1.4.2020, VwVfG § 39 Rn. 57. Urt. v. 06.09.1995, 6 C 18/93, Rn. 15 und 17. 174  BVerwGE, Urt. v. 06.09.1995, 6 C 18/93, Rn. 17. 175  BVerwGE, Urt. v. 06.09.1995, 6 C 18/93, Rn. 17. 176  BVerwGE, Urt. v. 06.09.1995, 6 C 18/93, Rn. 20. 172  Tiedemann, 173  BVerwGE,



B. Regulatorische Anknüpfungspunkte 161

In der analogen Welt gibt es insoweit schon Konstellationen, in denen Menschen als Blackboxes Entscheidungen treffen. Die dort bestehende Intransparenz soll ausgeglichen werden durch entsprechende „verfahrensmäßige Vorkehrungen“. Es kann aber nicht mit jeder Entscheidung eines KI-Systems gefordert werden, dass alle einzelnen Gewichtungsparameter oder gar der Quellcode des KI-Systems offengelegt werden muss. Vielmehr muss durch entsprechende Maßnahmen sichergestellt werden, dass unabhängig vom Einsatzgebiet grundsätzlich die entscheidenden Gewichtungsparameter erklärbar als Begründung mitgeliefert werden können. Nur so kann gewährleistet werden, dass die staatliche Entscheidung anfechtbar ist und die Bürgerin oder der Bürger nicht in seinem Grundrecht aus Art. 19 Abs. 4 GG beschnitten wird. 3. Zeitliche und inhaltliche Unterschiede zwischen Begründung und Informationen Begründungs- und Informationspflichten sind nicht deckungsgleich. Sie sind als Teilaspekte der Transparenz voneinander zu unterscheiden, auch wenn sie miteinander korrespondieren. Ein zentraler Unterschied besteht in zeitlicher Hinsicht. Während Begründungen für staatliche Entscheidungen mit der Entscheidung mitgeliefert werden müssen, verlangen etwa datenschutzrechtliche Informationspflichten eine Erhellung des Verarbeitungsprozesses, bevor die tatsächliche Verarbeitung beginnt. Entscheidend für die rechtliche Existenz von Verwaltungsakten ist ihre Bekanntgabe gemäß § 41 VwVfG.177 Dem liegt die fundamentale Werteentscheidung zugrunde, dass die durch Recht konstituierte Ordnung des menschlichen Zusammenlebens nicht durch gewaltsame Einwirkung auf ihre Verhaltensmöglichkeiten gesteuert wird, sondern durch Pflichten und Rechte, nach denen sich die Rechtsunterworfenen selbst in ihrem Verhalten bestimmen können.178 Die Selbstbestimmung setzt zwingend die Kenntnis des rechtlich Gebotenen oder Verbotenen voraus, sodass eine Geheimverwaltung gegenüber dem Bürger keine Rechte und Pflichten konstituieren kann, wenn die Maßnahme den Bürger trifft und dieser davon nichts weiß und sich folglich nicht dazu verhalten kann.179

in: BeckOK VwVfG/, 46. Ed. 1.1.2020, VwVfG § 41 Rn. 50. in: BeckOK VwVfG/, 46. Ed. 1.1.2020, VwVfG § 41 Rn. 1. 179  Tiedemann, in: BeckOK VwVfG/, 46. Ed. 1.1.2020, VwVfG § 41 Rn. 1; vgl. oben, Teil 4, B. I. 3. b) Law by design. 177  Tiedemann, 178  Tiedemann,

162

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Die Begründungspflicht ist außerdem Ausfluss des Demokratieprinzips insoweit, als die Transparenz staatliches Handeln sichert.180 Speziell für Verwaltungsentscheidungen hat das BVerwG den Zusammenhang zwischen Begründung und Kontrolle hervorgehoben und den Grundsatz herausgearbeitet, dass der Staatsbürger, in dessen Rechte die Verwaltung eingreift, einen Anspruch darauf hat, die dafür maßgeblichen Gründe zu erfahren, weil er nur dann in der Lage ist, seine Rechte sachgemäß zu verteidigen.181 Es geht somit darum, dass Begründungen von Entscheidungen erst eine Rechtmäßigkeitskontrolle ermöglichen. Die vorgelagerten Informationspflichten (als eine Eigenart des Datenschutzes) hingegen ermöglichen den Betroffenen den Umfang der zu erwartenden Verarbeitung abzuschätzen und tragen damit in erster Linie dem Selbstbestimmungsrecht des Betroffenen Rechnung, in diesem Stadium noch darüber entscheiden zu können, ob die personenbezogenen Daten in diesem Umfang verarbeitet werden sollen, was sich aus dem allgemeinen Persönlichkeitsrecht aus Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG bzw. Art. 8 GRCh ergibt. Flankiert werden datenschutzrechtliche Informationspflichten von Betroffenenrechten, insbesondere dem primärrechtlich in Art. 8 Abs. 2 GRCh verbürgten und sekundärrechtlich in Art. 15 DSGVO ausgestaltetem Recht auf Auskunft, das im Dienste der Transparenz steht.182 4. Detailgrad, Inhalt und Zwecke von Begründungen Während es bei Gesetzen nicht erforderlich ist, dass der Bürger eine Norm ohne Hilfe juristischer Fachkunde verstehen kann,183 muss die Bestimmtheit von Einzelakten strengeren Anforderungen genügen, da sie den Einzelfall abschließend regeln und Grundlage der Vollstreckung sein sollen.184 So hat das BVerwG in einem Verfahren zu dienstlichen Beurteilungen entschieden, dass der Dienstherr in seinen Beurteilungsrichtlinien ein Ankreuzverfahren für die Einzelbewertungen ohne zusätzliche individuelle textliche Begründungen vorsehen darf, sofern die Bewertungskriterien hinreichend differenziert und die Notenstufen textlich definiert sind, wobei auf Verlangen des Beamten die im Ankreuzverfahren vorgenommenen Einzelbewertungen im weiteren Verfahren plausibilisiert werden müssen.185 Ein Begründungserforin: Kopp/Rammsauer VwVfG Kommentar, § 39 Rn. 5a. DSBl 1982, 198/199. Ausdruck dessen im einfachen Recht u. a.: §§ 39 VwVfG, 73 Abs. 3 S. 1 VwGO, 9 Abs. 8 BauGB. 182  Raji, ZD 2020, 279. 183  BVerfGE 131, 88 (123). 184  Sachs, in: Sachs, GG Kommentar, 8. Auflage 2018, Art. 20 Rn. 130. 185  BVerwGE 153, 48, Rn. 11. 180  Ramsauer, 181  BVerwG,



B. Regulatorische Anknüpfungspunkte 163

dernis folgert das Gericht nicht aus § 39 VwVfG, da dienstliche Beurteilungen mangels Regelungswirkung keine Verwaltungsakte sind, leitet ein solches Erfordernis gleichwohl direkt aus dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) sowie dem Gebot effektiven Rechtsschutzes aus Art. 19 Abs. 4 S. 1 GG ab.186 Hieraus lassen sich Leitlinien für Entscheidungen von KISystemen ableiten: Es ist nicht erforderlich, granular die Funktionsweise des KI-Systems offenzulegen. Vielmehr reicht eine verständliche Umschreibung der Funktionsweise, des gewählten Modells und eine Erläuterung des Trainingssets, woraus sich ableiten lässt, welche Gewichtungsparameter grundsätzlich für die Entscheidungen des KI-Systems maßgebend sind. Der Staat muss in der Lage sein, bei weiteren präzisierenden Nachfragen korrespondierend präzise Begründungen nachzuliefern. In der Begründung sind die wesentlichen tatsächlichen und rechtlichen Gründe mitzuteilen, die die Behörde zu ihrer Entscheidung bewogen haben (§ 39 Abs. 1 S. 2).187 Wesentlich sind die Gründe dann, wenn sie mit den Gründen tatsächlich übereinstimmen, die die Behörde der Entscheidung zugrunde gelegt hat (tragende Gründe). Welche Anforderungen an Inhalt und Umfang einer Begründung zu stellen sind, lässt sich nicht allgemein beantworten.188 Bei komplexen Sachverhalten, wie etwa dem langjährigen dienstlichen Verhalten, das in einer dienstlichen Beurteilung eines Beamten durch den Dienstvorgesetzten zu bewerten ist, hat das BVerwG entschieden, dass es unmöglich sei, alle Einzelheiten darzulegen, die der Bewertung zugrunde liegen.189 Hier müssen deshalb nur besonders wichtige Ereignisse ausdrücklich erwähnt werden, während im Übrigen eine plausible allgemeine Wertung genügen muss.190 Dieser Maßstab lässt sich auf KI-Systeme dahingehend übertragen, dass bei einer Verarbeitung durch KI-Systeme dargelegt werden muss, welche Daten nach welchen Kriterien für die Auswertung grundsätzlich von Bedeutung sind, sowie die Darlegung von Beispielsfällen. a) Begründungen zur rechtsstaatlichen Kontrolle Das Begründungserfordernis dient daher auch der Selbstkontrolle der Verwaltung.191 Wer gezwungen ist, die wesentlichen tatsächlichen und rechtli186  BVerwGE

153, 48, Rn. 12. in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 26. 188  Tiedemann, in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 26. 189  Vgl. BVerwG Beschl. v. 17.3.1993 – 2 B 25.93; BVerwGE 60, 245, 248 ff. 190  Tiedemann, in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 27. 191  Im Verwaltungsrecht ergibt sich dies nicht zuletzt auch aus dem Sinn und Zweck des § 80 Abs. 3 VwGO. 187  Tiedemann,

164

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

chen Gründe, welche die Entscheidung tragen, mitzuteilen, wird die Voraussetzungen der Ermächtigungsgrundlage sorgfältig prüfen. Mit dieser Selbstkontrolle korrespondiert eine Absicherung der Rechte der Bürger, denen so eine Wahrnehmung ihrer Rechte erst ermöglicht wird und die somit auch als Fremdkontrolle fungiert.192 Einfachgesetzlich wird das etwa durch die Protokollierungspflichten der Hauptverhandlung in Gerichtsprozessen verdeutlicht, § 160 ZPO und § 273 StPO. Der Hauptzweck des Sitzungsprotokolls ist die Gewährleistung der Nachprüfung der Gesetzmäßigkeit der Hauptverhandlung bzw. des Verfahrens durch das Rechtsmittelgericht.193 Schließlich trägt diese Wechselwirkung erst dazu bei, dass ein (digitales) Vertrauen in KI-Systeme entstehen kann. Insoweit dient eine Begründung neben dem Einzelnen vor allem der Allgemeinheit und wirkt rechtsstaatsstabilisierend, weil sie in der Lage ist, Vertrauen zu stiften und abzusichern. b) Unionsrechtlicher Gedanke einer Begründung Die Begründungspflicht für Verwaltungsakte entspricht einem allgemeinen Rechtsgrundsatz des Unionsrechts, wonach die Begründung von Entscheidungen ein Element guter Verwaltung ist, Art. 296 AEUV, Art. 41 GRCh.194 Unionsrechtlich verlangt zudem Art. 52 GRCh eine Vorhersehbarkeit von staatlichen Eingriffsentscheidungen. Das Transparenzgebot staatlicher Entscheidungen ist als zentrales Verfassungsprinzip der EU nach dem Vertrag von Lissabon in Art. 1 Abs. 2 EUV enthalten und erfährt damit eine primärrechtliche Verankerung.195 Transparenz auf unionsrechtlicher Ebene verbürgt nach Art. 15 Abs. 3 AEUV in Verbindung mit Art. 42 GRCh Unionsbürgern das Recht, Zugang zu Dokumenten der Union zu erhalten. Dieses grundsätzliche Transparenzgebot wird unionsrechtlich durch weitere Vorschriften konkretisiert, wie etwa der datenschutzrechtliche Grundsatz des Art. 5 Abs. 1 lit. a) DSGVO sowie die Benachrichtigungspflicht gemäß Art. 34 DSGVO bei einer Verletzung des Schutzes personenbezogener Daten, eines sogenannten Data Breaches, welche ebenso wie der grundrechtlich in Art. 8 Abs. 2 GRCh abgesicherte Auskunftsanspruch nach Art. 15 Abs. 1 DSGVO in den Diensten der Transparenz stehen.

192  Denn erst durch die Begründung wissen die Betroffenen, auf welche relevanten Punkte sie ihren Vortrag ausrichten müssen. 193  Vgl. Stöber, in: Zöller, ZPO Kommentar, 33. Auflage, § 160 Rn. 1; MeyerGoßner, in: Meyer-Goßner/Schmitt, StPO Kommentar, 62. Auflage, § 273 Rn. 1. 194  Vgl. Ramsauer, in: Kopp/Rammsauer VwVfG Kommentar, § 39 Rn. 6. 195  Calliess, in: Ruffert/Calliess, 5. Aufl. 2016, EU-Vertrag (Lissabon) Art. 1 Rn. 78; vgl. Riemann, Die Transparenz der Europäischen Union, 2004, S. 124.



B. Regulatorische Anknüpfungspunkte 165

Folglich ist Transparenz ein die gesamte Rechtsordnung durchdringendes Grundprinzip und soweit es Entscheidungen im öffentlichen Sektor betrifft, eine Bedingung für Rechtsstaatlichkeit. c) Legitimationsfunktion Der wichtigste Zweck einer Begründung hoheitlicher Entscheidungen ist die Herstellung von Legitimation.196 Diese Legitimation bzw. Zustimmung kann bei einem belastenden Verwaltungsakt nur dann erwartet werden, wenn sich die Behörde in der Begründung mit den Argumenten auseinandersetzt, die der Betroffene vorgetragen hat, womit er als Partner in einem diskursiven Verhältnis anerkannt wird.197 Daher ist die Darlegung des eigenen Standpunktes ein rechtsstaatlich zu gewährleistender Zielwert, der bei allen algorithmischen Systemen – jedenfalls wenn sie vom Staat eingesetzt werden – gewährleistet sein muss. Die Darlegung des eigenen Standpunkts und die menschliche Auseinandersetzung mit den Argumenten des Betroffenen sind nur dann möglich, wenn in Realisierung der Legitimationsfunktion die wesentlichen Gewichtungsparameter mitgeteilt werden. Daraus ergibt sich für den Anwendungsbereich von KI-Systemen für den öffentlichen Sektor, dass der Zweck des Einsatzes eng gefasst sein muss. Nur so kann hinreichend gewährleistet werden, dass bei selbstlernenden KI-Systemen die jedenfalls wesentlichen Gewichtungsparameter gleich bleiben und deshalb auch kommuniziert werden können. d) Rechtsschutzfunktion Die Begründungspflicht erfüllt zudem eine wesentliche Funktion im Zusammenhang mit dem Rechtsschutz und sichert auf diese Weise die Rechtsschutzgarantie des Art. 19 Abs. 4 GG ab, da nur im Lichte der Gründe, auf denen der Verwaltungsakt beruht, der Betroffene in die Lage versetzt wird, zu überprüfen und zu entscheiden, ob ein Rechtsbehelf gegen die Entscheidung eingelegt werden soll und dieser Aussicht auf Erfolg hätte.198 Insofern müssen in der Transparenzdebatte über KI-Systeme verschiedene Ebenen wie z. B. die gerichtliche Überprüfbarkeit stets mitgedacht werden.

196  Vgl. bereits oben, B. I. 1. b) dd) Rechtsstaatsprinzip verbietet eine algorithmische Gewaltherrschaft. 197  Tiedemann, in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 3. 198  Tiedemann, in: BeckOK VwVfG, 42. Ed. 1.10.2018, VwVfG § 39 Rn. 5; BVerfGE 6, 32 (44); VGH Kassel BeckRS 2005, 27796.

166

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

5. Informationsfreiheit als Flankenschutz Art. 15 Abs. 3 AEUV und grundrechtlich Art. 42 GRCh gewährleisten ein Recht auf Zugang zu Unionsdokumenten und finden ihre Grundlage im Demokratieprinzip und konkretisieren das in Art. 1 Abs. 2 EUV verankerte Transparenzprinzip im Hinblick auf die Förderung der Bürgernähe.199 Das hier nicht unmittelbar anwendbare Recht steht im Spannungsverhältnis zu öffentlichen und privaten Geheimhaltungsinteressen, die in Art. 16 und 339 AEUV geschützt sind, welche im Einzelfall gemäß dem Grundsatz der Verhältnismäßigkeit miteinander abzuwägen sind.200 Das BVerfG folgert aus dem Demokratie- und Rechtsstaatsprinzip, dass der gesamte Willensbildungsprozess für den Bürger durchschaubar sein muss und das Ergebnis parlamentarischer Entscheidungen vor den Augen der Öffentlichkeit beschlossen werden muss, da parlamentarische Demokratie auf Vertrauen des Volkes basiert und Vertrauen ohne Transparenz, die erlaubt zu verfolgen, was politisch geschieht, nicht möglich ist.201 Transparenz bezweckt insoweit neben der Ermöglichung einer Rechtmäßigkeitskontrolle und der Bewahrung der Selbstbestimmung auch die Schaffung von Vertrauen. Aus der Informa­ tionsfreiheit und dem Demokratieprinzip erwächst grundsätzlich kein subjektiver Anspruch auf Erschließung neuer Informationsquellen und damit auch kein Anspruch auf Einsicht in die Algorithmen des KI-Systems.202 Aus dem Demokratieprinzip ergibt sich allenfalls für den staatlichen Bereich eine objektive Verpflichtung zur Herstellung von Öffentlichkeit als Verfassungs­ direktive.203 Diese Verfassungsdirektive kann im Zusammenspiel mit der Informationsfreiheit nicht die Schaffung einer umfassenden allgemeinen Zugänglichkeit zum algorithmischen Code des KI-Systems gewähren, sondern allenfalls zu einen Mindeststandard an Informationen.204 Folglich müssen staatliche Entscheidungen transparent, aber nicht gläsern sein.205 Somit ist Transparenz ein die gesamte Rechtsordnung umhüllendes Rechtsprinzip, das sich graduell, nie aber total durchsetzen kann.206 Transparenz steht im Spannungsverhältnis mit den Geheimhaltungsinteressen involvierter Parteien, in: Meyer/Hölscheidt, GRCh Kommentar, 2019, Art. 42, Rn. 6. in: Meyer/Hölscheidt, GRCh Kommentar, 2019, Art. 42, Rn. 6. 201  BVerfGE 40, 296, 327. 202  Martini, Blackbox Algorithmus, 2019, S. 70; Bethge, in: Sachs GG Kommentar, Art. 5 Rn. 59a; BVerfGE 103, 44, 59 f. 203  VerfGH RhPf, NVwZ 2018, 492, 493, Rn. 17; Bethge, in: Sachs, GG Kommentar, Art. 5 Rn. 58. 204  VerfGH RhPf, NVwZ 2018, 492, 493, Rn. 17; Wirtz/Brink, NVwZ 2015, 1166, 1168; Roßnagel, MMR 2007, 16, 17. 205  Wagner/Brink, LKRZ 1, 3. 206  Wagner/Brink, LKRZ 1. 199  Magiera, 200  Magiera,



B. Regulatorische Anknüpfungspunkte 167

etwa dem Urheber- und Patentrecht des Softwareherstellers des KI-Systems, das der Staat verwendet. Insoweit ist Transparenz bereits verfassungsrechtlich als ein begrenztes Recht zu verstehen, dem Interessen wie z. B. die Berufsfreiheit oder die Eigentumsfreiheit anderer gegenüberstehen können. Der Staat kann sich etwa dann auf ein gewichtiges Geheimhaltungsinteresse berufen, wenn die Offenlegung der algorithmischen Struktur Sicherheitslücken offenbart und die vom Staat eingesetzten KI-Systeme dadurch stärker angreifbar wären, etwa durch Hackerangriffe oder Ähnliches. Diesem Umstand trägt etwa § 88 Abs. 5 S. 4 AO Rechnung, indem Einzelheiten des Risikomanagementsystems nicht veröffentlicht werden dürfen. Das Demokratieprinzip in Verbindung mit der Informationsfreiheit kann sich ausnahmsweise jedoch dann zu einem subjektiven Recht verdichten, wenn der Einzelne andernfalls subjektive Rechte ohne staatliche Informationen nicht wirksam ausüben kann.207 Ein solcher Fall kann dann eintreten, wenn der Bürger eine automatisierte Entscheidung durch oder mithilfe eines KI-Systems nicht auf ihre Richtigkeit überprüfen kann, ohne die Arbeitsweise der im KI-System implementierten Algorithmen zu kennen, etwa bei grundrechtssensiblen Zuteilungen von Studienplätzen.208 Bei solchen Entscheidungen kann das subjektive Recht nicht total auf einen Einblick in die Algorithmen selbst gerichtet sein. Wie weit graduell dieses subjektive Recht die Offenlegung und damit die Transparenz beeinflusst, hängt von dem beeinträchtigten subjektiven Recht ab. Bei Verteilungsentscheidungen (von Studienplätzen oder Sozialleistungen) kann es geboten sein, dass die Verteilungskriterien offengelegt werden müssen, auf die sich das KI-System stützt. Dem Einzelnen geht es in solchen Konstellationen darum, die Entscheidung nachprüfbar zu machen, damit kontrolliert werden kann, ob die Entscheidung ggf. diskriminierend war. Es ist fraglich, ob die einfachgesetzlich verbürgten Informations- und Auskunftsrechte der Informationsfreiheitsgesetze der Länder209 einen Einblick in die Algorithmen der KI-Systeme ermöglichen.210 Soweit Algorithmen im Zusammenhang mit der öffentlichen Aufgabenwahrnehmung eingesetzt werden, sind sie selbst und ihre Funktionsweise ein Mittel der Informationsgewinnung, aber selbst keine amtliche Information. Gleichwohl sind die von ihnen gelieferten Ergebnisse, soweit sie Teil einer amtlichen Entscheidung sind, offenzulegen. In diesem Zusammenhang muss berücksichtigt werden, Blackbox Algorithmus, 2019, S. 70. Blackbox Algorithmus, 2019, S. 70. 209  Neben den Landesgesetzen vermitteln auch Bundesgesetze Zugangsrechte, so das Informationsfreiheitsgesetz (IFG), das Umweltinformationsgesetz (UIG), das Verbraucherinformationsgesetz (VIG) sowie das Geodatenzugangsgesetz (GeoZG). 210  So Martini, Blackbox Algorithmus, 2019, S. 40. 207  Martini, 208  Martini,

168

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

dass das E-Government-Gesetz (EGovG) den Regelungsgegenstand des Informationszugangs erweitert, da von diesen Rechtsnormen die Art und Weise der Datenspeicherung, aber auch die nachgelagerte Weiterverwendung der zugänglich gemachten Daten geregelt wird.211 Auch im Zusammenhang mit KI-Systemen sind Informations- und Auskunftsrechte im Verwaltungsverfahren insoweit ein wichtiger Flankenschutz.212 6. Diskriminierungsschutz und justizielle Grundrechte als Konkretisierungen verfassungsrechtlicher Transparenz Diskriminierungsschutz kann in Verbindung mit justiziellen Grundrechten Vorgaben machen, was die Granularität der Offenlegung anbelangt. Die Gewährleistung eines fairen Verfahrens ist eine Ausprägung des Rechtsstaatsprinzips aus Art. 20 Abs. 3 GG, Art. 2 Abs. 1 GG sowie Art. 6 EMRK, für welche charakteristisch ist, dass sie den Verfahrensbeteiligten Mitwirkungsrechte sichern als auch sie vor einseitigen Benachteiligungen schützen sollen.213 Das Recht auf ein faires Verfahren wird zudem geschützt durch das Recht auf rechtliches Gehör (Art. 103 Abs. 1 GG) und das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht im Sinne von Art. 47 GRCh und Art. 19 Abs. 4 GG. Ein solches Verfahren ist nur dann möglich, wenn das Prinzip der Waffengleichheit hinreichend berücksichtigt wird, wozu das ebenfalls im Dienst der Transparenz stehende Akteneinsichtsrecht aus § 29 VwVfG gehört sowie das Recht, zu allen entscheidungsrelevanten Tatsachen Stellung zu beziehen. Dies ist wiederum nur möglich, wenn die entscheidungsrelevanten Parameter des KI-Systems dem Betroffenen offengelegt werden. Aus den justiziellen Grundrechten und den verfassungsrechtlich abgesicherten Diskriminierungsverboten (Art. 3 GG, Art. 21 GRCh) lässt sich daher eine Verfahrenstransparenz ableiten, die skalieren kann, je nachdem, an welche und wie viele Kriterien das KI-System anknüpft und wie weit es in die hoheitliche Entscheidung eingebunden war. Je bedeutsamer ein Umstand ist, umso wichtiger ist es, dass das Gericht in seiner Entscheidungsbegründung zum Ausdruck bringt, dass eine Auseinandersetzung mit dem Parteivortrag erfolgt ist. Insofern muss die Entscheidungssystematik des KISystems schon deshalb hinreichend transparent erfolgen, damit das Gericht seiner rechtsstaatlichen Pflicht zur Kontrolle und Begründung der Entscheidung nachkommen kann. Dafür wird es genügen, die Funktionsweise des Modells, die zentralen Gewichtungsparameter und Anknüpfungskriterien so211  Mast, in: Hoffmann-Riem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 126. 212  Martini, Blackbox Algorithmus, 2019, S. 40. 213  Eser/Kubiciel, in: Meyer/Hölscheidt, GRCh Kommentar, 2019, Art. 47, Rn. 37.



B. Regulatorische Anknüpfungspunkte 169

wie das Trainingskonzept – zur Nachprüfbarkeit der Robustheit des KI-Systems – offenzulegen. 7. Zwischenergebnis Der Staat kann sich nicht durch den Einsatz opaker intelligenter Systeme seiner Rechtfertigungslast entledigen. Gleichwohl zeigen Rechtsprechung und die Begründungsstrukturen der analogen Welt, dass nicht im Rahmen jeder Begründung vollständige Transparenz geschaffen werden muss.214 Die wesentlichen Messdaten müssen jedoch auf Nachfrage vorgelegt werden können.215 Insoweit korrespondieren die Begründungspflichten mit den aus dem Rechtsstaatsprinzip abgeleiteten Kontrollpflichten.216

III. Diskriminierungsschutz in Zeiten von KI Wie sich oben gezeigt hat, treten im Zusammenhang mit KI-Systemen im Besonderen Diskriminierungsrisiken auf.217 Diese Risiken treten vor allem bei der Implementierung solcher intelligenten algorithmischen Systeme in Entscheidungsprozessen auf. Diskriminierungsrisiken können in Entscheidungsprozessen dann entstehen, wenn KI-Systeme z. B. in Bewerbungsverfahren in der Verwaltung eingesetzt werden und durch eine Auswertung einer Vielzahl von Lebensläufen das Kriterium männlich oder ein bestimmter Wohnort systemseitig als besonders positiv für die Auswahl identifiziert wurde. Solchen und vergleichbaren Risiken widmet sich die vorliegende rechtliche Beurteilung. Hier ist von Interesse, ob KI-Systeme Daten klassifizieren und Personen oder gesamte Personengruppen (unbeabsichtigt) diskriminieren, allein aufgrund der Gruppenzugehörigkeit. Für den Fall, dass es möglich ist, dem KI-System Farinessprinzipien einzuprogrammieren, stellt sich die Frage, ob und wie diese mit gleichheitsrechtlichen Anforderungen vereinbar sind.218 1. KI-Systeme sind Diskriminierungsmaschinen per definitionem Begrifflich bezieht sich die Diskriminierung (lat. discriminare, trennen, absondern, abgrenzen, unterscheiden) auf eine Ungleichbehandlung bzw. 214  Insoweit kann auch schon deshalb keine Pflicht zur Offenlegung des Quellcodes bestehen. 215  Vgl. BVerfG, Beschluss vom 12.11.2020 – 2 BvR 1616/18 –, Rn. 45, 46. 216  Vgl. oben Teil 4, B. I. 1. b) Rechtsstaatsprinzip. 217  Vgl. oben, Teil 4, A. Risiken und Gegenmaßnahmen. 218  Hermstrüwer, AöR 145, 2020, 480.

170

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Gleichbehandlung mittels der Bildung von Klassen. Dadurch findet eine an Merkmalen anknüpfende Differenzierung statt, die im Grunde auf Generalisierung abzielt. Insofern ist die extremste Form der Differenzierung, der Absonderung, der Abgrenzung, kurz der Diskriminierung, die Individualisierung. Rechtlicher Diskriminierungsschutz spielt hingegen dann eine Rolle, wenn etwa Entscheidungen über eine Person oder eine Personengruppe an besonders geschützte bzw. besonders verpönte Merkmale anknüpfen. Unter Berücksichtigung der Funktionsweise von KI-Systemen219 kommt es diesen Systemen gerade auf Diskriminierungen – im begrifflichen Sinne – an. Das KI-System ist darauf angelegt, bei der Erlernung des Modells Klassen bzw. Gruppen zu bilden. Unter anderem wegen der zunehmenden Ausstattung von unterschiedlichsten Geräten mit Sensoren sowie ihrer zunehmenden Vernetzung untereinander und mit dem Menschen (als Nutzer)220 werden riesige Mengen an personenbezogenen bzw. personenbeziehbaren und nicht personenbezogenen Daten produziert.221 Diese Menge an Daten und ihre intelligente Auswertung ermöglichen ganz neue Formen von Differenzierungen.222 Darüber hinaus kann durch neue Korrelationen die Genauigkeit der Differenzierung erhöht werden. So war es lange Zeit im Bereich des Kreditscorings üblich, dass für Prognoseentscheidungen hinsichtlich der Vertrauenswürdigkeit bei der Scorebildung lediglich an die Zahlungshistorie und weitere ausschließlich finan­ zielle Informationen angeknüpft wurde. Darüber hinaus ermöglicht die intelligente Verarbeitung von Metadaten,223 von nicht personenbezogenen Kontextinformationen sowie auf den ersten Blick wenig ergiebigen Informationen (sensitive) Ableitungen, deren Zusammenführung eine Profilerstellung oder Bildung weiterer Klassen ermög219  Vgl.

oben Teil 2, C. II. Funktionsweise der schwachen KI. Stichwörter in diesem Zusammenhang: „smart homes“, „smart cars“, „wearables“, „Fitnesstracker“, „IoT“. 221  Die Menge der weltweit produzierten Daten wird von 33 Zetabyte im Jahr 2018 auf voraussichtlich 175 Zetabyte im Jahr 2025 ansteigen; vgl. Europäische Kommission, Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen, 2020, S. 5 (abrufbar unter: https://ec.europa.eu/info/sites/ info/files/commission-white-paper-artificial-intelligence-feb2020_de.pdf). 222  Vgl. Orwat, Diskriminierungsrisiken durch Algorithmen, 2019, S. 6. 223  Zur begrifflichen Einordnung vgl. Krüger/Möllers, MMR 2016, 728–731 sowie Boehm et al., Sachverständigengutachten zur Anhörung des 1. Untersuchungsausschusses des Deutschen Bundestages der 18. Wahlperiode, 2017. Eine allgemeingültige Definition existiert in der juristischen Literatur nicht. Metadaten können als Kontextinformationen bzw. Sekundärdaten verstanden werden, die bei der Verarbeitung von „Primärdaten“ auch anfallen, wie z. B. Foto-Metadaten, namentlich EXIFDaten; Browserhistorien, Verwendungs-, Standort- und Bewegungsdaten. 220  Einige



B. Regulatorische Anknüpfungspunkte 171

licht.224 Vorliegend geht es somit nicht darum, dass systemseitig Benachteiligungen entstehen, die auf eine etwa rassistische Technikgestaltung zurückgehen, namentlich eine schlicht schlechte Programmierung algorithmischer Systeme.225 Es geht vielmehr darum, dass sich ein selbstlernendes System rechtlich ungewollt diskriminierend entwickelt und so eingesetzt wird. Maßgeblich sind daher die Daten, die das selbstlernende System dazu bringen, bestimmte Klassen zu bilden. Auch ohne vorherige Absicht, Menschen auf der Grundlage bestimmter Merkmale zu beurteilen, kann sich die Gefahr einer unbeabsichtigten Diskriminierung bestimmter Gruppen oder Einzelpersonen realisieren.226 Es kann etwa an Parameter wie die Postleitzahl oder auch die Nachbarschaft angeknüpft werden, welche stellvertretende Parameter sein können für ethnische Gruppierungen oder auch finanzielle Stärke, was Gefahren gesellschaftlicher Sortierung und Diskriminierung birgt.227 Ein zentrales Problem mit selbstlernenden diskriminierenden Systemen ist nicht, dass der menschliche Schöpfer entschieden hat, bestimmte Merkmale als entscheidungsrelevant einzustufen, sondern dass das System selbst diese Klassen anhand der Daten aus der realen Welt bildet. 2. Notwendigkeit ineinandergreifender Regularien für einen effektiven Diskriminierungsschutz In Zeiten von Big Data gilt die Feststellung des BVerfG mehr denn je: „Entscheidend sind [die] Nutzbarkeit und Verwendungsmöglichkeit [von Daten]. Diese hängen einerseits von dem Zweck, dem die Erhebung dient, und andererseits von den der Informationstechnologie eigenen Verarbeitungsund Verknüpfungsmöglichkeiten ab. Dadurch kann ein für sich gesehen belangloses Datum einen neuen Stellenwert bekommen; insoweit gibt es unter den Bedingungen der automatischen Datenverarbeitung kein ‚belangloses‘ Datum mehr.“228 Zum anderen wird deutlich, dass es für den Diskriminierungsschutz zwei bedeutsame Anknüpfungspunkte gibt: die Inputdaten einerseits und die Out224  Vgl. für eine Zusammenfassung von Beispielen m. w. N.: Orwat, Diskriminierungsrisiken durch Algorithmen, 2019, S. 11. 225  Technik als sozio-technisches System muss Diversität bei der Konzeption bereits berücksichtigen, vgl. Jaume-Palasi, Lorena, Nur Hände von weißen Menschen wurde erkannt, 2019, abrufbar unter: https://www.deutschlandfunk.de/diversitaet-undalgorithmen-lorena-jaume-palasi-nur-haende.911.de.html?dram:article_id=455866. 226  Schermer, Risks of profiling and the limits of data protection law, 2013, 137, 138. 227  Mann/Matzner, Big Data & Society, 2019, 1, 2. 228  Volkszählungsurteil, BVerfGE 65, 1–71.

172

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

putdaten andererseits. Regulativ sollten daher harmonisch hier bestehende Ansätze ineinandergreifen. Hinsichtlich der Inputdaten ist der Datenschutz von herausragender Bedeutung. Hinsichtlich der Outputdaten kann zumindest für den öffentlichen Sektor die verfassungsrechtliche Gleichheitsdogmatik Lösungsansätze liefern. Beide regulativen Ansätze werden nachfolgend gesondert unter Berücksichtigung von KI-Systemen beleuchtet. In diesem ersten Teil soll zunächst der Blick darauf gerichtet werden, ob die verfassungsrechtliche Gleichheitsdogmatik für den öffentlichen Sektor handhabbare Lösungen für Entscheidungen mit KI-Systemen bietet. In diesem Zusammenhang muss in einem ersten Schritt ermittelt werden, worin der Unrechtsgehalt bei Entscheidungen durch und mit KI-Systemen bestehen kann, wenn es um Diskriminierungen geht. Im Anschluss wird geprüft, welche datenschutzrechtlichen Spannungsfelder sich im Zusammenhang mit KI-Systemen auftun (IV.). Dann soll in einem weiteren Teil geklärt werden, ob diese regulativen Schutzinstrumente in Zeiten von KI und Big Data in einem ineinandergreifenden Zusammenspiel hohen Schutz für die Betroffenen noch bieten können oder hinter der digitalen Transformation zurückbleiben. 3. Verfassungsrechtlicher Gleichheitssatz Wenn es um den Einsatz von KI-Systemen im öffentlichen Sektor geht, sind die verfassungsrechtlichen Verbote aus Art. 3 GG zu berücksichtigen. In diesem Zusammenhang nehmen die Diskriminierungsverbote des Art. 3 Abs. 3 S. 1 GG eine besondere Rolle ein. Die Benachteiligungen zielen eben nicht direkt auf eine Personengruppe, sondern auf bestimmte Attribute, die bei Mitgliedern dieser Gruppe erwartet werden.229 Dabei gibt es in der Rechtsordnung zuhauf Unterscheidungen, die entscheidend auf besonders geschützte Merkmale zurückzuführen sind, wie z. B. deutsche Sprachkenntnisse bei Beamtenberufungen; Urteilsabfassung in deutscher Sprache; Schulunterricht nur auf Deutsch; erb- und familienrechtliche Vorteile für die unmittelbaren Nachkommen; Anknüpfung einer Förderung an das Elterneinkommen; deutsche Staatsangehörigkeit von den Eltern abgeleitet oder die nur christlichen gesetzlichen Feiertage.230 Die Anknüpfung an besondere Merkmale in bestimmten Kontexten ist gesetzlich sogar gewollt. Grundsätzlich ist die Anknüpfung an solche Merkmale unter einer erschwerten Rechtfertigung möglich. Es muss der gesamte Kontext und die 229  Britz,

Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 2. in: BeckOK GG, 44. Ed. 15.8.2020 Rn. 209, GG Art. 3 Rn. 209.

230  Kischel,



B. Regulatorische Anknüpfungspunkte 173

wertemäßige Einbettung als Beurteilungsmaßstab für die Zulässigkeit der Anknüpfung an solche Merkmale berücksichtigt werden. a) Kontextualität als normativer Gehalt des Gleichheitssatzes Der Mensch folgt in Entscheidungsfindungsprozessen nicht dem strengen kantschen kategorischen Imperativ. Vielmehr sind im alltäglichen Leben menschliche Entscheidungen im Hinblick auf Fairness stark kontextabhängig. Die kontextabhängige Beurteilung von Fairness trägt zudem rechtlichen Regelungen Rechnung und schafft durch eine umfassende Abwägung im Einzelfall Einzelfallgerechtigkeit. Maschinen „entscheiden“ hingegen nach einem kategorischen Imperativ kontextblind. Folglich stellt sich im Zusammenhang mit Diskriminierungsschutz und Fairness die (auch ethische) Frage, mit wie wenig Kontextualität bzw. mit wie viel kategorischem Imperativ wir leben wollen. Das Grundgesetz ist in seiner anthropozentrischen Ausgangsperspektive auf die Einzigartigkeit und Individualität des Subjekts gerichtet und geht daher davon aus, dass Menschen und Sachverhalte stets ungleich sind. Gleichwohl sollen vom allgemeinen Gesetz auch ungleiche Fälle gleich behandelt werden.231 Art. 3 Abs. 1 GG behandelt insofern „Gleichheit immer nur als Abstraktion von gegebener Ungleichheit.“232 Insoweit erfährt der semantisch leere Gleichheitssatz des Art. 3 Abs. 1 GG seinen normativen Gehalt erst durch die Bildung gerechter Vergleichsmaßstäbe, was nur durch Kontextualisierung möglich ist.233 „Ob Gleichbehandlung oder Ungleichbehandlung verschiedener Menschen geboten, erlaubt oder verboten ist, wieweit generalisierende Gleichbehandlung trotz Verschiedenheit oder individualisierende Differenzierung trotz Vergleichbarkeit im Übrigen ‚menschengerecht‘ ist, kann nur mit Wertungen außerhalb des allgemeinen Gleichheitssatzes entschieden werden und ist dem gesellschaftlichen Wandel unterworfen.“234

Die Kontextualität bildet insofern den normativen Maßstab für verfassungsrechtliche Fairness im Sinne des Gleichheitssatzes. Moralische und rechtliche Vorstellungen von Fairness, Gerechtigkeit und Verhältnismäßigkeit können Menschen KI-Systemen allenfalls mittelbar durch das Training angedeihen lassen. Wie und ob algorithmische Systeme Fairness beachten können, ist die nachfolgend zu erörternde Frage.

in: Sachs, GG Kommentar, 8. Auflage, 2018, Art. 3, Rn. 2. Rechtsphilosophie, 8. Auflage 1973, S. 122. 233  Nußberger, in: Sachs, GG Kommentar, 8. Auflage, 2018, Art. 3, Rn. 5. 234  Nußberger, in: Sachs, GG Kommentar, 8. Auflage, 2018, Art. 3, Rn. 5. 231  Nußberger, 232  Radbruch,

174

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Insgesamt besteht die Gefahr, dass durch einen zunehmenden staatlichen Einsatz von KI-Systemen Diskriminierungen zunehmen und es zu einer strukturellen Verschiebung in der Gesellschaft kommt.235 Pauschal kann dies jedoch nicht gelten. Vielmehr muss das jeweilige Einsatzfeld im Einzelnen betrachtet werden. Teilweise sind KI-Systeme, z. B. im Bereich der medizinischen Diagnostik, hoch individualisiert, sodass hier zumindest weniger Diskriminierungsrisiken bestehen.236 Solche können aber immer dann entstehen, wenn Individuen aufgrund der durch die Systeme vorgenommenen Klassifikationen nur als Mitglieder von Gruppen behandelt werden können. Werden solche Systeme im Bereich der Gefahrenabwehr eingesetzt, erhöhen sich die Diskriminierungsrisiken. Im Bereich des Predictive Policing etwa wird sich – der Logik dieser Systeme folgend – durch den effizienten Einsatz von Einsatzkräften die Gefahr nicht realisieren. Somit minimieren sich die Daten aus diesen Szenarien, aus denen wichtige Erkenntnisse abgeleitet werden müssen, um das selbstlernende System zu verbessern. Zudem hat in der Regel wegen datenschutzrechtlicher Rahmenbedingungen eine personenbezogene Auswertung nicht stattgefunden. Folglich sind die Datenquellen, aus denen Erkenntnisse abgeleitet werden können, zu einseitig und nicht ausreichend. Berücksichtigt man jedoch, dass die Datenbasis essenziell für ein gut austariertes KI-System ist, können solche Systeme in diesen Bereichen stärker fehleranfällig sein, womit wiederum größere Diskriminierungsrisiken einhergehen. Ein anderes Beispiel ist der sog. „Kultur-Token“ in Wien.237 Dabei geht es um ein staatliches „digitales Bonussystem, das mittels App umweltbewusstes Verhalten mit freiem Zugang zu Kulturveranstaltungen honoriert.“ Wer also Fahrrad fährt, soll auch gratis ins Museum kommen, so das Versprechen. Wenn jedoch diejenigen, die gerne auf ein Konzert gehen oder sich über ein Museumsbesuch freuen, statistisch ohnehin die Viel-Fahrradfahrer sind, so wäre das System insgesamt verzerrt. Ein weiteres Beispiel, das verdeutlicht, dass Zweck und repräsentative Datenbasis essenziell für funktionierende und faire KI-Systeme sind, ist die von der Stadt Boston (USA) herausgebrachte App „Street-Bump“.238 Es geht um den smarten Versuch der Stadt, anhand von Beschleunigungsmessern und GPSDaten des Smartphones Schlaglöcher aufzuspüren und automatisiert an die Stadt zu melden. Legt man die Annahme zugrunde, dass Menschen in unteren Einkommensgruppen weniger wahrscheinlich ein Smartphone besitzen und dies auch für ältere Menschen gilt, bedeutet dies, dass der Datenbestand nicht die Daten von Teilen der Bevölkerung mit den wenigsten Ressourcen AöR 143, 2018, 26. AöR 143, 2018, 29. 237  Vgl. https://digitales.wien.gv.at/site/projekt/kultur-token/. 238  https://www.boston.gov/transportation/street-bump. 235  Wischmeyer, 236  Wischmeyer,



B. Regulatorische Anknüpfungspunkte 175

umfasst.239 Daraus folgt, dass die App ein Übergewicht an Daten aus wohlhabenderen Wohngebieten und weniger aus ärmeren Gebieten sammelt und daraus eben nicht geschlussfolgert werden kann, dass es in wohlhabenderen Wohngebieten mehr Schlaglöcher in Boston gibt. Insofern sind es oft eben die Daten, die nicht im Datenbestand eines algorithmischen Systems enthalten sind, die den größten Einfluss auf ihre Ergebnisse von KI-Systemen haben und mit welchen Diskriminierungen einhergehen können, hier namentlich die Diskriminierung auf Grundlage des Einkommens.240 b) Verbot von ungerechtfertigten Ungleichbehandlungen Fraglich ist somit, ob der technologische Fortschritt und die neuen Gruppenbildungen, die mit KI-Systemen möglich sind, die klassische Gleichheitsdogmatik nicht herausfordern, weil neue Gefährdungslagen entstehen können.241 Für diese Bewertung sind die oben dargelegten technischen Grundlagen der Ausgangspunkt. Richtig ist, dass die klassischen dogmatischen Grundfragen des Gleichheitssatzes sauber auf intelligente Systeme angewendet werden müssen.242 Jedenfalls im öffentlichen Sektor vermag der Gleichheitssatz viele Antworten auf Diskriminierungsrisiken zu liefern. Verfassungsrechtlich ergeben sich für den öffentlichen Sektor aus Art. 21 Abs. 1 GRCh sowie aus Art. 3 Abs. 3 GG unmittelbare Diskriminierungsverbote. Flankiert wird dieser Diskriminierungsschutz für den Bereich der präventiven Gefahrenabwehr (Polizei) durch datenschutzrechtliche Bestimmungen wie Art. 11 Abs. 3 i. V. m. Art. 10 der JI-RL243 sowie § 54 BDSG. Danach ist ein „Profiling“, das natürliche Personen wegen einer Verarbeitung besonderer Kategorien personenbezogener Daten diskriminiert, verboten.244 Soweit der öffentliche Sektor KI-Systeme einsetzt, sind die für den Staat unmittelbar geltenden und aus Art. 3 GG abzuleitenden Diskriminierungsverbote daher zu berücksichtigen.

239  Crawford, The Hidden Biases in Big Data, in: Harvard Business Review, 2013, abrufbar unter: https://hbr.org/2013/04/the-hidden-biases-in-big-data#:~:text=The%20 hype%20becomes%20problematic%20when,analytics%20always%20reflect%20ob jective%20truth. 240  Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8. 241  So Wischmeyer, AöR 143, 2018, 1, 27. 242  So Kischel, in: BeckOK Grundgesetz, 42. Ed. 1.12.2019, GG Art. 3 Rn. 218a. 243  Richtlinie EU 2016/680. 244  Diese Vorschriften stecken den Anwendungsbereich von Predictive-PolicingSystemen ab.

176

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Art. 3 Abs. 2 S. 1 und Abs. 3 S. 1 GG verbieten, dass die Anknüpfung an bestimmte Aspekte nicht Grundlage für eine Benachteiligung oder Bevorzugung sein darf, sodass daraus bereits abgeleitet werden kann, dass Art. 3 Abs. 1 GG nicht die absolute Gleichbehandlung verlangt, weil ansonsten Art. 3 Abs. 2 S. 1 und Abs. 3 S. 1 schlicht überflüssig wären.245 Das BVerfG sieht das Gleichheitsgrundrecht „vor allem dann verletzt, wenn eine Gruppe von Normadressaten im Vergleich zu anderen Normadressaten anders behandelt wird, obwohl zwischen beiden Gruppen keine Unterschiede von solcher Art und solchem Gewicht bestehen, dass sie die ungleiche Behandlung rechtfertigen könnten.“246 Insofern dürfen gleiche Sachverhalte nicht unterschiedlich und unterschiedliche nicht gleich behandelt werden, es sei denn, ein abweichendes Vorgehen wäre sachlich gerechtfertigt.247 Daraus ergibt sich für die Prüfung, ob eine Diskriminierung vorliegt, folgende Struktur: Erstens muss eine Gleich- oder Ungleichbehandlung vorliegen, zweitens sind die gleichen und ungleichen Elemente der betroffenen Sachverhaltskonstellationen zu sammeln, um drittens zu fragen, ob die (Un-)Gleichbehandlung im Hinblick auf diese gleichen und ungleichen Elemente zu rechtfertigen ist, wobei sich als zentrales Problem des Gleichheitssatzes die Frage nach dem Rechtfertigungsmaßstab stellt.248 Das BVerfG249 tendiert in diesem Zusammenhang zu einer Integration von Willkürverbot und Gebot verhältnismäßiger Gleichheit auf einer gleitenden Skala unterschiedlich strenger Anforderungen an verfassungsgerechte Abwägungen: „Differenzierungen bedürfen stets der Rechtfertigung durch Sachgründe, die dem Differenzierungsziel und dem Ausmaß der Ungleichbehandlung angemessen sind. Dabei gilt ein stufenloser, am Grundsatz der Verhältnismäßigkeit orientierter verfassungs­ rechtlicher Prüfungsmaßstab, dessen Inhalt und Grenzen sich nicht abstrakt, sondern nur nach den jeweils betroffenen unterschiedlichen Sach- und Regelungsbereichen bestimmen lassen.“250 Insoweit verlangt die verfassungsrechtliche Gleichheitsdogmatik die Ungleichbehandlung anhand einer Kon­ textualisierung festzustellen. Ungerechtfertigt ist demnach eine Ungleichbehandlung dann, wenn unter Beziehung-Setzen der Sachverhalte ein sachlicher Grund für die Ungleichbehandlung nicht ersichtlich ist. Die Ungleichbehandlung selbst knüpft an Merkmalen an. Die Merkmale können in verschiedenen Staatsrecht II, 2019, S. 142, Rn. 515. 55, 72, 88; 71, 39, 58. 247  Kischel, in: Epping/Hillgruber, BeckOK Grundgesetz 42. Ed. 1.12.2019, GG Art. 3 Rn. 14. 248  Kischel, in: Epping/Hillgruber, BeckOK Grundgesetz 42. Ed. 1.12.2019, GG Art. 3 Rn. 14; vgl. etwa BVerfGE 55, 72 (88) = NJW 1981, 271 (271 f.); BVerfGE 110, 141 (167) = NVwZ 2004, 597 (602). 249  BVerfGE 138, 136, Rn. 121. 250  Nußberger, in: Sachs, GG Kommentar, Art. 3, Rn. 30, 31. 245  Kingreen/Poscher, 246  BVerfGE



B. Regulatorische Anknüpfungspunkte 177

Regularien unterschiedlich sein. Diese Merkmale sind deshalb regulativ erfasst, weil angenommen wird, dass Verarbeitungen oder Entscheidungen, die an diese Merkmale anknüpfen, besonders risikoreich sind. Die verfassungsrechtliche Gleichheitsdogmatik sieht den Unrechtsgehalt nicht dann verwirklicht, wenn eine Ungleichbehandlung vorliegt, sondern wenn es keinen sachlichen Differenzierungsgrund gibt. 4. KI-Systeme und der verfassungsrechtliche Gleichheitssatz Das Problem des Rechtfertigungsmaßstabs wiegt schwerer bei dem Versuch, die Grundsätze des verfassungsrechtlichen Gleichheitssatzes auf KISysteme zu übertragen. a) KI-Systeme erzeugen statistische Diskriminierungen Wenn es um Diskriminierungen durch KI-Systeme geht, treten insbesondere Fragen im Zusammenhang mit statistischer Diskriminierung auf,251 d. h., die Benachteiligung zielt auf eine bestimmte Eigenschaft, die bei Mitgliedern dieser Gruppe mit einer gewissen Wahrscheinlichkeit erwartet wird.252 Die Verwendung solcher statistischen Erfahrungswerte dient der Überwindung von Informationsdefiziten.253 Ein sehr anschauliches Beispiel statistischer Diskriminierung aus der analogen Welt ist folgendes, welches eine – wenn auch gerechtfertigte254 – Ungleichbehandlung aufgrund des Alters zum Gegenstand hat: Wird gesetzlich255 die Höchstaltersgrenze für gewerbsmäßig fliegende Piloten auf 65 Jahre festgesetzt, da eine Vielzahl von Piloten ab diesem Alter nicht mehr über die für einen Piloten erforderliche körperliche Leistungsfähigkeit verfügen, knüpft die Unterscheidung an das Alter an, welches als stellvertretendes Merkmal (proxy) für verminderte Leistungsfähigkeit steht.256 Sachlicher Grund der generalisierenden Ungleichbehandlung ist die bestehende Korrelation zwischen Alter und Leistungsfähigkeit.257 Solche generalisierenden Diskriminierungen sind dem Gesetzgeber vorbehalten, der in der Lage ist, divergierende Schutzgüter in dem jeweiligen Kontext gegeneinander abzuwägen. 251  Barocas/Selbst, California Law Review, 2016, 671, 677; zur statistischen Diskriminierung, Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008. 252  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 2. 253  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 17. 254  EuGH, Urt. vom 05.07.2017 – Rs. C 190/16. 255  Verordnung (EU) Nr. 1178/2011 Anlage I FCL. 065 Abs. 2 lit. b). 256  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 2. 257  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 2.

178

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

KI-Systeme erkennen selbst diese Korrelationen und führen daher selbst zu solchen systemseitigen Diskriminierungen. Korrelationen können dabei zwischen vielfältigen Daten bestehen, wie z. B. Erfolg und Hobby oder ethnische Herkunft und Kriminalität. Der Mensch neigt dazu, ein Informationsdefizit über Kausalzusammenhänge durch statistische Korrelationen zu ersetzen, wodurch statistische Diskriminierungen entstehen können. Insofern kann das KI-System lediglich bestehende Diskriminierungen, Ressentiments konsolidieren und reproduzieren. Gerade die menschliche Auswahl von statistischen Zusammenhängen, die als relevant eingestuft werden, ist von menschlichen Vorwertungen geprägt, da Korrelationen zwischen einzelnen Daten schnell auffindbar sind.258 Somit ist die Auswahl der entscheidungsrelevanten Korrelationen ein Akt der menschlichen Bewertung. Auch wenn KI-Systeme Muster zwischen Daten erkennen, darf die Tatsache, dass Muster bestehen, für Entscheidungen im öffentlichen Sektor keine übermäßige Bewertung erfahren. Die invisible menschliche Voreingenommenheit wird durch Ergebnisse des KI-Systems gefördert. Dies ist ein grundlegendes Risiko beim Einsatz von KI-Systemen in Entscheidungsprozessen.259 Daten und in ihnen enthaltene etwaige Muster sind insoweit nicht objektiv, sondern Schöpfungen menschlichen Designs.260 Hier bedarf es Gegenmaßnahmen wie dezidierter Governance-Strukturen bzw. Verwaltungsrichtlinien, welche Lenkungsanweisungen bei der Verwendung von KI-Systemen in Entscheidungsprozessen bieten. aa) Generalisierungsunrecht Die Fragen statistischer Diskriminierung treten bei KI-Systemen insofern ebenso wie in der analogen Welt auf, sind bei KI-Systemen jedoch ein grundsätzliches Problem. Denn KI-Systeme bilden anhand von Mustererkennungen Klassen. Sie stellen daher Gleichheiten und Ungleichheiten fest, die so ggf. auch bestehen können. Diese Funktionsweise von KI-Systemen ist mit der Bildung von Klassen und Approximationsfunktionen induktiv. Mit generalisierenden Unterscheidungen geht grundsätzlich ein Differenzierungsverzicht einher, weil die Gruppe der Merkmalsträger und die Gruppe der Nicht-Merkmalsträger jeweils als homogen behandelt werden.261 Per definitionem klammern Generalisierungen die Besonderheiten des Einzelfalls aus Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 21. wird in diesem Zusammenhang auch von „Garbage in, Garbage out“ oder besser im Zusammenhang mit Fairness „Bias in, Bias out“ gesprochen. 260  Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8. 261  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 2. 258  Britz, 259  Oft



B. Regulatorische Anknüpfungspunkte 179

und bilden anhand eines oder mehrerer typisierungstauglicher Unterscheidungsmerkmale Klassen, die unter Zugrundelegung des Unterscheidungszwecks fehlerhaft sind. Insofern werden in solchen Konstellationen die Besonderheiten des Einzelfalls innerhalb der Gruppen außer Acht gelassen, was zu einer Ungleichbehandlung im Verhältnis zwischen atypischen Merkmalsträgern und Nicht-Merkmalsträgern führt.262 Britz spricht insoweit zutreffend von Generalisierungsunrecht, welches sich dann verwirklicht, wenn generalisierende Annahmen über eine Person gemacht werden, die im Einzelfall nicht unbedingt zutreffen.263 Solche Diskriminierungen können aber bei einem sachlichen Differenzierungsgrund gleichwohl gerechtfertigt sein. Der EuGH hat eine Altersgrenze für Piloten für rechtmäßig erklärt, weil die Ungleichbehandlung des Alters durch das Ziel der Gewährleistung der Sicherheit der Zivilluftfahrt gerechtfertigt ist.264 Anders zu beurteilen sind hingegen Ungleichbehandlungen, die moralisch gewollt und rechtlich daher auch – zumindest generalklauselartig – kodifiziert sind, wie z. B. die nach § 1 KSchG vorgesehene Sozialauswahl bei Kündigungen. Demnach müssen die zu entlassenden Personen anhand von Kriterien wie u. a. auch dem Lebensalter ausgewählt werden. Bei solchen Ungleichbehandlungen erfolgt eben keine generalisierende Betrachtung. Vielmehr werden genau die Personen ungleich behandelt, die es auch treffen soll.265 Das KI-System lernt anhand der Daten Korrelationen festzustellen, die es ermöglichen, bei neuen Daten aufgrund des „Erfahrungswissens“ Vermutungen anzustellen. Insofern birgt die Funktionsweise schon ein gewisses Diskriminierungsrisiko, welches nicht deshalb gefährlich ist, weil die Ungleichheiten tatsächlich bestehen, sondern vielmehr, weil nach unseren rechtlichen und moralischen Vorstellungen gewisse Unterschiede zwischen Personengruppen im Entscheidungskontext keine Rolle spielen sollen bzw. Ungleichbehandlungen nur dann rechtlich und gesellschaftlich akzeptabel sind, wenn ein sachlicher Differenzierungsgrund angegeben werden kann. Der kontextuelle normative Gehalt des Diskriminierungsschutzes verlangt, dass z. B. in einem Strafverfahren nicht an Merkmale wie Ethnie oder Geschlecht angeknüpft werden darf. Das Grundkonzept basiert auf der Annahme, dass durch den Ausschluss bestimmter Kriterien im jeweiligen Entscheidungsprozess und vor allem durch die Angabe eines Differenzierungsgrundes Fairness hergestellt werden kann. Lediglich die Anknüpfung an beEinzelfallgerechtigkeit versus Generalisierung, 2008, S. 3. Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 3. 264  EuGH, Urt. v. 05.07.2017 – Rs. C-190/16 265  Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. 7. 262  Britz, 263  Britz,

180

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

sondere Merkmale ist unzulässig. Die Anknüpfung an andere Merkmale bzw. Kriterien ist dagegen zulässig. Diese Grundkonzeption des analogen Antidiskriminierungsrechts fußt auf der Annahme, dass der Mensch und seine ­Gedanken eine Blackbox sind, sodass nur der Ausschluss bestimmter klar definierter Merkmale in Kombination mit der Begründungspflicht von Entscheidungen Fairness herstellen kann. Nun sind KI-Systeme zwar auch Blackboxes, im Vergleich zum menschlichen Entscheider sind sie aber viel transparenter als das menschliche Gehirn. Denn zumindest theoretisch kann ein Blick in den Maschinenraum des KI-Systems geworfen werden, in das Gehirn des menschlichen Entscheiders hingegen nicht. Aus diesem Umstand erwächst zu Recht eine andere Erwartungshaltung gegenüber Maschinen, eine Forderung nach mehr Transparenz zur Herstellung von Fairness. Ein weiterer Aspekt, der bei KI-Systemen und Diskriminierungsschutz bedacht werden muss, ist, dass im Gegensatz zum Menschen die Lernkurve eines KI-Systems anders verläuft. Das algorithmische System ist sehr konservativ, weil es die in den Trainingsdaten angelegten Muster konserviert und sich allenfalls nur sehr langsam entwickeln kann, wenn die ausgewerteten Daten sich ändern. Als Künstliche Intelligenz sind solche Systeme insofern eine künstliche Abbildung unserer Kognition, einschließlich menschlicher kognitiver Verzerrungen.266 Erforderlich wäre daher, dass das System selbst diese Fairness-Grundwerte mitberücksichtigt. Da nicht davon auszugehen ist, dass dies gelingen wird, wäre es erforderlich, dass ein Mensch einen verfassungsrechtlich getragenen Differenzierungsgrund in seiner Entscheidung angeben können muss. Diese Herausforderungen entstehen dann, wenn die vom KI-System ausgelieferten Ergebnisse Teil der Entscheidung werden sollen. KI-Systeme können nicht kontextualisieren. Es wird (noch) nicht möglich sein, die komplexen Nuancierungen der rechtlichen Abwägungslehren algorithmisch abzubilden, weil die KI-Systeme derzeit nur Korrelationen herstellen können und keine moralischen und rechtlichen Verständnisse in die Regression bzw. Klassifikation einfließen lassen können bzw. der Kontext hinreichend berücksichtigt wird. Das KI-System kann insoweit nicht (Un-)Gleichbehandlungen von benachteiligten Personengruppen, die deren Benachteiligungen gerade entgegenwirken sollen, berücksichtigen. Werden KI-Systeme (assistierend) in staatlichen Entscheidungen eingesetzt, so muss die konkrete maschinell vorgenommene Differenzierung im Rahmen eines Validierungsverfahrens einer Prüfung unterzogen werden 266  Vgl. zu menschlichen kognitiven Verzerrungen Teil 2, C. I. Verzerrte menschliche Entscheidungen.



B. Regulatorische Anknüpfungspunkte 181

können,267 wobei wegen der selbstlernenden Funktionsweise solcher Systeme und neu entstehender Korrelationen eine permanente Verantwortlichkeit der Überwachung ausgelöst wird. Gleichzeitig verlangt der Gleichheitsgrundsatz, dass der Staat sich nur solcher Systeme bedienen darf, in denen eine Rechtfertigung der Differenzierung abgeschichtet nach Diskriminierungsmerkmalen und -kontexten möglich ist. Das wäre nur bei KI-Systemen, denen ein überwachter Lernstil zugrunde liegt, eher möglich. Die Rechtfertigungslast liegt jedenfalls beim Staat. bb) Typen statistischer Diskriminierung Zu unterscheiden ist zwischen der mittelbaren und der unmittelbaren statistischen Diskriminierung. Knüpft das algorithmische System unmittelbar an ein besonderes Merkmal an, liegt eine unmittelbare statistische Diskriminierung vor.268 Eine mittelbare statistische Diskriminierung liegt hingegen dann vor, wenn Korrelationen von nicht besonders geschützten zu besonderen Merkmalen bestehen, wie z. B. die Anknüpfung an das Merkmal „Teilzeitbeschäftigung“, bei dem eine Korrelation zum Geschlecht besteht, da Frauen statistisch öfter in Teilzeit arbeiten als Männer.269 Da es mit KI-Systemen möglich ist, statistische Zusammenhänge zu erkennen, die zuvor verborgen waren, nehmen zwangsläufig damit auch die Diskriminierungsrisiken zu. Denn solchen Systemen ist möglich, aus stellvertretenden Daten („Proxys“) Verbindungen zu verpönten Merkmalen herzustellen oder gar neue Klassen zu bilden. b) Zwischenergebnis KI-Systeme diskriminieren per definitionem. Eine Diskriminierung im Sinne von Art. 3 GG stellt jedoch nur dann eine Grundrechtsverletzung dar, wenn die Diskriminierung ungerechtfertigt ist. Daraus lässt sich eine Darlegungs- und Beweislastregel ableiten, die den Staat trifft. Es bedarf regelmäßiger Validierungsverfahren. Das Antidiskriminierungsrecht legt dem Staat die Pflicht auf, die Ergebnisse und damit auch die Gründe der Differenzierungen des KI-Systems zu prüfen.

267  In diese Richtung auch Beck et al., Künstliche Intelligenz und Diskriminierung, 2019, S. 10. 268  Kischel, in: Epping/Hillgruber, BeckOK Grundgesetz 42. Ed. 1.12.2019, GG Art. 3 Rn. 218c; Orwat, Diskriminierungsrisiken durch Algorithmen, 2019, S. 28. 269  Orwat, Diskriminierungsrisiken durch Algorithmen, 2019, S. 28.

182

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

c) Ist Machine-Learning-Fairness möglich? Es gibt diverse Definitionen von algorithmischer Fairness.270 Fraglich ist, ob die Vielfalt der Definitionen die Messung von Fairness erschwert. Technisch wird daran gearbeitet, Fairness by Design271 im algorithmischen System umzusetzen, indem z. B. systemseitig an verpönte Merkmale gar nicht erst angeknüpft werden kann. Dieser Ansatz ließe sich auch mit „Fairness through Blindness“272 umschreiben. aa) Fairness through Blindness Fairness könnte versucht werden dadurch hergestellt zu werden, indem verpönte bzw. besonders geschützte Merkmale erst gar nicht verarbeitet werden dürfen. Bei Menschen scheint dieser Ansatz eine probate Gegenmaßnahme gegen Diskriminierung zu sein. Jedenfalls verfolgen rechtliche Antidiskriminierungsregelungen solche Ansätze, Art. 3 Abs. 3, § 1 AGG, aber auch Art. 9 Abs. 1 DSGVO als datenschutzrechtliche konkretisierende Norm des Art. 21 GRCh und damit als spezielle Antidiskriminierungsnorm. Bei intelligenten algorithmischen Systemen wird dieser „Fairness through Blindness“273-Ansatz aber Diskriminierungen nicht verhindern,274 sondern das Diskriminierungspotenzial gar verschlimmern.275 Grund dafür sind sogenannte „redundant encodings“ bzw. Proxys.276 Es geht um Informationen, die stellvertretend für ein geschütztes Merkmal stehen, weil sie mit diesem stark korrelieren. So wird der Kauf von Schminke stark mit dem Geschlecht korrelieren und die Postleitzahlen können Aussagen über die finanzielle Leistungsfähigkeit einer Personengruppe treffen.277 In einem solchen Fall können 270  Verma/Rubin, Fairness Definitions Explained, 2018, wendeten in einem Workshop zur algorithmischen Fairness 20 verschiedene Definitionen von Fairness auf ein Modell an, um die Kreditwürdigkeit (finanzielle Leistungsfähigkeit und bereitschaft) einer Person vorherzusagen. 271  Ein Bericht des Weißen Hauses der USA spricht von „equal opportunity by design“, Executive Office of the President, Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, 2016, S. 5. 272  So Rademacher in der Online-Tagung vom 7. und 8. September 2020, vgl. Göhsl et al., JZ 2021, 34, 36. 273  Hardt et al., Equality of Opportunity in Supervised Learning 2016, S. 1 sprechen in diesem Zusammenhang von „fairness through unawareness“, Hermstrüwer, AöR 145, 2020, S. 501 „fairness by blindness“. 274  Barocas/Selbst, California Law Review, 2016, 671, 691. 275  Hermstrüwer, AöR 145, 2020, 501. 276  Dwork et al., Fairness Through Awareness, 2011, arXiv:1104.3913v2; Barocas/ Selbst, California Law Review, 2016, 671, 691.



B. Regulatorische Anknüpfungspunkte 183

die Kriterien, die tatsächlich für die Entscheidung relevant sind, somit als verlässliche Proxys für die Klassenzugehörigkeit dienen.278 Ein Beispiel für die praktische Relevanz solcher Proxys wird unten anhand des Referenzbeispiels COMPAS aufgezeigt.279 Das KI-System ist also gerade nicht darauf angelegt, anhand geschützter Merkmale wie z. B. Geschlecht oder Ethnie zu diskriminieren. Jedoch werden diese Systeme in den Daten inhärente soziale und damit auch menschlich assoziierte Muster wiedererkennen. Dadurch wird das System ähnlich wie seine menschlichen Schöpfer lernen, insbesondere voreingenommen zu werden. Zu berücksichtigen ist jedoch, dass eine Korrelation zwischen Daten besteht und dadurch Wissen generiert werden kann, da systemseitig diese Verbindungen zwischen Daten andernfalls ignoriert werden würden. Folglich verbessern diese Proxys schließlich die Genauigkeit intelligenter Systeme. Aber in Zeiten von Big Data können bei der Vielzahl der ausgewerteten Daten Korrelationen mit geschützten Merkmalen gefunden werden, die uns Menschen so gar nicht klar waren. Das wird zu ganz neuen Formen von Diskriminierungen führen können.280 Eine Beschränkung des Inputs – wie es bestehende Regelungsansätze vorsehen – ist nicht in der Lage, Diskriminierungen zu detektieren oder sie gar zu vermeiden, sondern führt bei KI-Systemen sogar zu einer systematischen verdeckten Diskriminierung („proxy discrimination“).281 (1) Maschinelle Minderheitendiskriminierung Minderheiten werden tendenziell von KI-Systemen diskriminiert. Dies wird auch dann die Konsequenz sein, wenn die Trainingsdaten des KI-Systems frei von jedweden Verzerrungen sind.282 Das liegt daran, dass die statistische Funktionsweise solcher Systeme sie dazu veranlasst, Mehrheitsgruppen tendenziell besser zu behandeln.283 Denn die Genauigkeit eines Klassifikators verbessert sich grundsätzlich mit der Anzahl der zum Training verwendeten Daten, sodass weniger Daten schlicht zu schlechteren Ergebnissen führen.284 277  In den USA können Geodaten wie Postleitzahlen auch Informationen über die Ethnie offenbaren. 278  Barocas/Selbst, California Law Review, 2016, 671, 691. 279  Vgl. Teil 3 A. I. COMPAS: Rückfälligkeitsscore für Straftäter im Rahmen von Haftentscheidungen. 280  Zum Problem der Intersektionalität unten, IV. KI und Datenschutz. 281  Hermstrüwer, AöR 145, 2020, 501. 282  Hermstrüwer, AöR 145, 2020, 495. 283  Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8. 284  Hardt, How Big data is unfair, 2014, abrufbar unter: https://medium.com/@ mrtz/how-big-data-is-unfair-9aa544d739de.

184

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Das bedeutet konkret für die Minderheiten, dass die Fehlerrate des KI-Systems wegen weniger vorhandener Daten stets höher ist und sich diese statistische Konsequenz in der Tat „agonal zum Minderheitenschutz“285 verhält. Eine Minderheitendiskriminierung würde sich noch verschärfen, wenn verpönte Attribute als Anknüpfungspunkte ausgeschlossen werden (Fairness through Blindness). Somit ist dieser Ansatz nicht geeignet, Diskriminierungen zu vermeiden, sondern fördert sie eher noch. Weil es statistisch weniger Daten über Minderheitengruppen gibt, werden die Aussagen des KI-Systems diese Gruppen betreffend ungenauer sein. KI-Systeme werden tendenziell die statistisch dominanter repräsentierte Gruppe bevorzugen, da diese Gruppe genaueren Entscheidungen der KI-Systeme begegnet.286 Insofern ist Genauigkeit und Evidenz ein Merkmal, an dem algorithmische Fairness mitgemessen werden muss. Hardt führt in diesem Zusammenhang sehr treffend aus: „A classifier that performs no better than a coin toss when assessing minorities while accurately sorting members of the majority group should be considered blatantly unfair even if its overall prediction accuracy is extremely high. Just consider a college that tosses a coin on minority applicants regardless of their qualifications, while expending diligence to others!“287

(2) Zwischenergebnis Die vielfältig vorhandenen Proxys fordern herkömmliche Antidiskriminierungsansätze heraus. Denn jedenfalls mittelbar wird eben doch durch die Maschine an ein besonders geschütztes Merkmal angeknüpft. Insoweit wird der Ansatz „Fairness through Blindness“ bei selbstlernenden intelligenten algorithmischen Systemen nicht umsetzbar sein. Darüber hinaus können eben dadurch ganz neue Formen der Diskriminierung entstehen. Eine unterschiedliche Klassifizierungsgenauigkeit zwischen den Personengruppen kann zu Diskriminierungen führen, die nur verstärkt werden, wenn verpönte Merkmale im Datensatz für das KI-System lediglich blinde Flecken darstellen. Dies führt zu der Schlussfolgerung, dass Validierungsmaßnahmen und Begründungspflichten gemeinsam ein Maßstab für Fairness sein könnten, den es technisch zu verwirklichen gilt.

AöR 145, 2020, 495. How Big data is unfair, 2014, abrufbar unter: https://medium.com/@ mrtz/how-big-data-is-unfair-9aa544d739de. 287  Hardt, How Big data is unfair, 2014, abrufbar unter: https://medium.com/@ mrtz/how-big-data-is-unfair-9aa544d739de. 285  Hermstrüwer, 286  Hardt,



B. Regulatorische Anknüpfungspunkte 185

bb) Statistische Parität Es liegt nahe, statistische Diskriminierung mit der Forderung nach statistischer Parität zu entgegnen, um Fairness herzustellen.288 Die statistische Parität zielt darauf ab, dass das Ergebnis unabhängig von der Klassifikationszuordnung erfolgt, der gleiche Anteil jeder Gruppe somit als positiv oder negativ eingestuft wird.289 Stewart erläutert, dass statistische Parität zu Lasten der Genauigkeit der Vorhersagen des Modells geht. Insofern wird dafür plädiert, Unterschiede zwischen den einzelnen Gruppen sehr wohl zu berücksichtigen, ohne jede unterschiedliche Auswirkungen für die Gruppen auszulösen. Insofern sieht u. a. auch Stewart die statistische Parität und ihre nuancierten Abwandlungen290 als nützlichen Baustein für die Entwicklung anderer Defini­ tionen von Fairness. Gleichzeitig können je nach Einsatzgebiet verschiedene algorithmisch umgesetzte Fairnessdefinitionen aus datenschutzrechtlicher Sicht geeignete technische und organisatorische Maßnahmen zur Minimierung der Risiken für die Rechte und Freiheiten der Betroffenen sein (Art. 25 und Art. 32 DSGVO). Gleichwohl ist es jedenfalls unmöglich, zugleich die Präzision des KI-Systems zu erhöhen – obgleich dies der Fairness zuträglich wäre – sowie die Diskriminierungsfreiheit einer maschinellen Klassifikation bzw. Prognose zu maximieren.291 cc) Human in the Loop? Ein weiterer Ansatz, der wohl noch weitere Beachtung verdient, ist der Ansatz Human in the Loop (HITL).292 Der Ansatz fordert einen Menschen bei der Entscheidung zwischenzuschalten, algorithmische Systeme mit einem höheren Schädigungspotenzial lediglich also als assistierende Systeme einzusetzen. Das wirft weitere noch zu untersuchende Fragen auf, nämlich wie Mensch und Maschine interagieren müssen, damit der Mensch geeignete

288  Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797. 289  Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8. 290  „True positive parity“, „false positive parity“ oder „positive rate parity“, vgl. Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https://towards datascience.com/programming-fairness-in-algorithms-4943a13dd9f8. 291  Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797; Hermstrüwer, AöR 145, 2020, S. 495. 292  Bisen, What is Human in the Loop Machine Learning: Why & How Used in AI? 2020, abrufbar unter: https://medium.com/vsinghbisen/what-is-human-in-theloop-machine-learning-why-how-used-in-ai-60c7b44eb2c0.

186

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Validierungsmaßnahmen ergreifen kann, um die maschinelle Entscheidung überprüfen und ggf. übersteuern zu können. dd) Transparenz Ein entscheidender Baustein ist Transparenz von KI-Systemen.293 Transparenz ermöglicht es Betroffenen, Diskriminierungen überhaupt zu erkennen und überprüfen zu lassen. Insofern ist unabhängig vom Kontext und Einsatzgebiet des KI-Systems die Transparenz ein Fairness-Baustein, der für alle KI-Systeme gilt. Dabei muss an dieser Stelle noch einmal hervorgehoben werden, dass im öffentlichen Bereich das Verwaltungsverfahrensrecht durch das Erfordernis der Begründung der Entscheidung gemäß § 39 Abs. 1 VwVfG einen Teilaspekt der Transparenz darstellt und dabei hilft, Diskriminierungsproblemen wirksam zu begegnen.294 ee) Validierungsverfahren Unterschiedliche Validierungsverfahren können dabei helfen, Diskriminierungen zu erkennen und auszumerzen. Eine Erklärung dafür, dass es so viele unterschiedliche Fairness-Definitionen gibt, ist die kontextuelle Dimension von Fairness. Je nach Einsatzgebiet und Kontext können Wertungen hinsichtlich Fairness variieren. Diskriminierungen in Gerichtsentscheidungen und in Bewerbungsverfahren müssen an unterschiedlichen Maßstäben gemessen werden. In Bewerbungsverfahren könnte die Bevorzugung aufgrund des Geschlechts angezeigt sein, auch wenn dabei fähigere andersgeschlechtliche Mitbewerber benachteiligt werden. Insofern kann bei der Operationalisierung von Fairness nicht an einer einzigen Definition festgehalten werden. Die unterschiedlichen Definitionen helfen unterschiedliche Validierungsmaßnahmen zu etablieren und werden der Kontextualität als normativer Gehalt gerecht. Validierungsverfahren könnten unabhängig vom Entscheidungstypus eine rechtsstaatliche Überprüfbarkeit der Entscheidung im Hinblick auf ­Diskriminierungen erst ermöglichen und damit selbst ein entscheidender Teil der sachlichen Begründung des Differenzierungsgrundes sein.

293  Hinsichtlich

renz.

294  In

der Reichweite s. o., Teil 4, B. II. Verfassungsrechtliche Transpa-

diese Richtung auch Hermstrüwer, AöR 145, 2020, 498.



B. Regulatorische Anknüpfungspunkte 187

d) Zwischenergebnis: Rechtfertigungslast liegt beim Staat Im öffentlichen Sektor liegt die Rechtfertigungslast beim Staat. Verboten ist die grundlose Ungleichbehandlung, sodass das Unvermögen, im Einzelfall die Entscheidung zu rechtfertigen, einer grundlosen Ungleichbehandlung gleichgestellt ist. Zudem muss sichergestellt werden, dass nicht mittelbar an grundrechtlich unzulässige Aspekte (Art. 3 Abs. 2 S. 1 und Abs. 3 S. 1 GG) angeknüpft wird. Die Genauigkeit und damit auch die Fairness solcher Systeme zu Lasten der Minderheiten kann jedoch beeinträchtigt werden, wenn systemseitig geschützte Merkmale erst gar nicht verarbeitet werden dürfen. Insoweit müssen diese Informationen verarbeitet werden, dürfen aber ohne sachlichen Differenzierungsgrund nicht Teil der Entscheidung einer öffent­ lichen Stelle sein. Überall dort, wo das nicht mit Sicherheit ausgeschlossen werden kann, verbietet sich der Einsatz von KI-Systemen im öffentlichen Sektor.

IV. KI und Datenschutzrecht Nachfolgend soll das Datenschutzrecht als bereits vorhandener regulativer Rahmen für die Input-Daten für KI-Systeme in den Blick genommen werden. Hinsichtlich der KI-Systeme selbst lassen sich aus der Funktionsweise (­Verarbeitung von Daten sowie mögliches Einsatzfeld) und dem möglichen Automationsgrad der maschinellen Entscheidung (Implementierungsphase) Schlussfolgerungen ableiten, insbesondere ob das Datenschutzrecht ein geeigneter Steuerungsrahmen für KI-Systeme sein kann. De lege ferenda wären bestimmte Zwecke des Einsatzes ebenfalls möglicher regulativer Anknüpfungspunkt.295 Diskriminierungsrisiken und Transparenzanforderungen sind zwei Aspekte mit herausragender Bedeutung, wenn es um staatlichen KI-Einsatz geht. Diesen zwei Aspekten trägt das Datenschutzrecht in unterschiedlicher Weise Rechnung. Denn das Datenschutzrecht ist auch eine Art „präventiver Diskriminierungsschutz.“296 Soweit das Datenschutzrecht dafür Sorge trägt, dass solche in Art. 21 GRCh und als weitestgehend spiegelbildliche Auflistung in Art. 9 Abs. 1 DSGVO genannten Merkmale, die ein Diskriminierungspotenzial bergen, erst gar nicht zur Kenntnis Dritter gelangen, nimmt es möglichen Diskriminierungen von vornherein die erforderliche Informations-

295  So etwa Art. 5 des von der Kommission erarbeiteten Verordnungsentwurfs „Artificial Intelligence Act“ (2021). Dort werden grundsätzlich KI-Systeme z. B. zum Zwecke des Social Scorings verboten. 296  Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 1 Rn. 14.

188

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

grundlage.297 Art. 9 Abs. 1 DSGVO konstatiert insoweit ein informationelles Diskriminierungsverbot und konkretisiert damit Art. 21 GRCh.298 Das Datenschutzrecht ist insoweit auch eine Art informationelles Antidiskriminierungsrecht. Als einer der Schutzgegenstände statuiert Art. 1 Abs. 2 DSGVO den Schutz der „Grundrechte und Grundfreiheiten natürlicher Personen und insbesondere deren Recht auf Schutz personenbezogener Daten“. Damit stützt sich an dieser Stelle die DSGVO unmittelbar auf Art. 8 GRCh.299 Der Schutz sämtlicher weiterer Grundrechte und Grundfreiheiten zieht den Datenschutz vor die Klammer als allgemeines „Vorfeldrecht“.300 Dies zeigt sich auch daran, dass das Grundrecht auf Datenschutz mit einer Vielzahl von anderen Grundrechten wie etwa Art. 10 und Art. 11 GRCh eng verknüpft ist, deren Wahrnehmung ohne Datenschutz von vornherein defizitär möglich wäre.301 Denn die vorbenannten Grundrechte setzen notwendigerweise voraus, dass der Einzelne überhaupt erst einmal in freier Selbstbestimmung und ohne Angst vor Überwachung eine eigene Überzeugung herausbilden kann.302 Insofern erfasst also der Datenschutz präventiv alle Gefahren für Grundrechte und Grundfreiheiten der Betroffenen, die mit der Verarbeitung personenbezogener Daten einhergehen, und somit auch Diskriminierungsrisiken.303 Das datenschutzrechtliche Konzept ist mit seinem Verbot mit Erlaubnisvorbehalt stark inputorientiert. Dass dieses Grundkonzept jedoch enorm he­ rausgefordert wird bzw. konkret bei KI-Systemen versagt, wurde oben bereits dargestellt.304 Hinsichtlich der Transparenz von Verarbeitungen personenbezogener Daten stellt Art. 5 Abs. 1 lit. a) DSGVO hohe Anforderungen.

in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 1 Rn. 14. in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 9 Rn. 2. 299  Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 1 Rn. 9. 300  So auch: Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 18. 301  Vgl. Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 1 Rn. 13. 302  Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 1 Rn. 13 m. w. V. auf Tinnefeld, ZD 2015, 22. 303  Vgl. Veil, NVwZ 2018, 686, 693, der die Auffassung vertritt, dass durch einen derart umfassenden Schutzanspruch dem Datenschutz eine Konturenlosigkeit droht. 304  Vgl. oben, Teil 4, B. III. 4. c) aa) Fairness through Blindness. 297  Buchner,

298  Weichert,



B. Regulatorische Anknüpfungspunkte 189

1. Datenschutzrechtliche Zielwerte für einen soziotechnischen Rahmen Die Entwicklung und der Einsatz von KI-Systemen müssen insgesamt in einem soziotechnischen Rahmen stattfinden.305 Ein solcher Rahmen, der die Technologie ebenso wie die menschlichen Fähigkeiten im Umgang mit dieser Technologie berücksichtigt, aber auch Organisationsstrukturen sowie normative Einhegungen sind erforderlich, um individuelle und gesamtgesellschaftliche Interessen zu schützen. Da es keinen expliziten normativen Rahmen für KI-Systeme gibt, ist diesbezüglich die Formulierung von Zielwerten von grundsätzlicher Bedeutung. Denn so wird sichtbar, ob bestehende Normen einen angemessenen Ordnungsrahmen für die beteiligten Akteure, namentlich Bürgerinnen und Bürger, Unternehmen, öffentliche Stellen und Aufsichtsbehörden bieten. Insoweit hat die Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK) am 3. ­April 2019 die sogenannte „Hambacher Erklärung zur Künstlichen Intelligenz“306 verabschiedet. Zu diesen grundsätzlichen datenschutzrechtlichen Gewährleistungszielen gehören: –– „KI darf Menschen nicht zum Objekt machen“ (Art. 1 Abs. 1 GG; Art. 1 GRCh); –– „KI darf nur für verfassungsrechtlich legitimierte Zwecke eingesetzt werden und das Zweckbindungsgebot nicht aufheben“; –– „KI muss transparent, nachvollziehbar und erklärbar sein“; –– „KI muss Diskriminierungen vermeiden“; –– „für KI gilt der Grundsatz der Datenminimierung“; –– „KI braucht Verantwortlichkeit“ und –– „KI benötigt technische und organisatorische Standards“. Die nachfolgenden Untersuchungen widmen sich der Frage, inwieweit die DSGVO unter Berücksichtigung der technisch dargelegten Grundlagen von KI-Systemen einen regulativen Ansatz bietet, der u. a. auch diesen Gewährleistungszielen Rechnung trägt. Jedenfalls in Bezug auf das Ziel, Diskriminierungen zu vermeiden, wurde bereits gezeigt, dass der stark inputorientierte Verbotsansatz KI-Systeme unpräziser und damit insgesamt unfairer macht, 305  Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 30. 306  Datenschutzkonferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder vom 03.04.2019, Hambacher Erklärung zur Künstlichen Intelligenz, abrufbar unter: https://www.datenschutzkonferenz-online.de/media/en/20190405_hambacher_ erklaerung.pdf.

190

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Diskriminierungen mithin fördert, statt sie zu verhindern. Hierfür werden insbesondere der binär ausgestaltete Anwendungsbereich der DSGVO und die Grundprinzipien der DSGVO in den Blick genommen. In diesem Zusammenhang wird unter Beachtung der herausragenden Bedeutung von Trans­ parenz untersucht, wie Informationspflichten, insbesondere solche, die bei vollautomatisierten Entscheidungssystemen zu beachten sind, umsetzbar sind. Im Rahmen einer Analyse des Art. 22 DSGVO als eine Art spezielle datenschutzrechtliche Antidiskriminierungsnorm werden auch einfachgesetzliche nationale Vorschriften untersucht. 2. Datenschutzrecht als Steuerungselement für KI-Systeme Es ist fraglich, ob das Datenschutzrecht in seiner jetzigen Ausrichtung geeignet ist, den mit KI-Systemen einhergehenden Risiken entgegenzuwirken, und ob es überhaupt ein geeigneter Regulierungsrahmen sein kann. Dabei soll ein Schwerpunkt der nachfolgenden Ausführungen der Frage nachgehen, ob insbesondere den Diskriminierungsrisiken und den Transparenzanforderungen durch das Datenschutzrecht adäquat begegnet werden kann. a) Das Problem des Personenbezugs Im Hinblick auf das Ziel, Diskriminierungen zu verhindern, ist nicht nur der Fokus auf ein Verbot des Inputdatums problematisch, sondern auch das Festhalten am Personenbezug. Mit Blick auf die technischen Grundlagen der KI-Systeme (Klassifikation, Regression und Clustering)307 sind diese eher auf Gruppen ausgerichtet und nicht auf das Individuum. Es stellt sich daher auch aus diesem Blickwinkel die Frage, ob das Datenschutzrecht überhaupt ein taugliches Steuerungselement für KI-Systeme sein kann. aa) Binärer Anwendungsbereich der DSGVO Die Auswertung von Daten ist essenziell für KI-Systeme. Der Begriff des personenbezogenen Datums ist in Ansehung der sich ständig weiterentwickelnden Informationstechnologie weit gefasst.308 Das personenbezogene Datum als zentrales Tatbestandsmerkmal der DSGVO entscheidet maßgeblich über die Eröffnung des Anwendungsbereichs des Datenschutzrechts auf 307  Vgl.

Teil 2, C. II. Funktionsweise der schwachen KI. EuGH, Rs. C-582/14 und nunmehr Art. 4 Nr. 1 DSGVO; Ernst, in: Paal/ Pauly, DSGVO, 3. Auflage 2021, Art. 4 Rn. 3. 308  Vgl.



B. Regulatorische Anknüpfungspunkte 191

sekundärrechtlicher (DSGVO) sowie primär- und verfassungsrechtlicher Ebene i. S. d. Art. 7 und 8 GRCh sowie Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG.309 Ein personenbezogenes Datum umfasst alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen.310 Die DSGVO verfolgt ein binäres Konzept des personenbezogenen Datums, d. h., die Verarbeitung der betreffenden Informationen fällt entweder vollständig oder gar nicht unter die Vorgaben der DSGVO.311 Es gibt entweder in den Anwendungsbereich der DSGVO fallende personenbezogene oder nicht vom Anwendungsbereich erfasste anonyme Daten.312 (1) Anonyme Daten Weder anonyme Daten noch der Prozess der Anonymisierung313 selbst werden in den Begriffsbestimmungen oder an einer anderen Stelle in der DSGVO definiert.314 Eine definitorische Eingrenzung erlaubt erst ein Umkehrschluss aus Art. 2 Abs. 1 Nr. 1 DSGVO und die Klarstellung in EG 26 der DSGVO, dass die DSGVO keine Anwendung auf anonyme Informationen findet. Mit dieser Umzäunung des Anwendungsbereichs macht der Verordnungsgeber klar, dass ein anonymes Datum die Kehrseite eines personenbezogenen Datums darstellt und insoweit entweder personenbezogen oder anonym sein kann.315 Dem sich einfügend wird in einem anderen Kontext in der Richtlinie 2019/1024316 in Art. 2 Nr. 7 nicht das Endergebnis, sondern der Prozess der Anonymisierung selbst definiert als „Prozess, in dessen Verlauf Dokumente in anonyme Dokumente umgewandelt werden, die sich nicht auf eine identifizierte oder identifizierbare natürliche Person beziehen, oder personenbezogene Daten so anonym gemacht werden, dass die betroffene Person nicht oder nicht mehr identifiziert werden kann.“317 An dem binären 309  Karg, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 4 Nr. 1 Rn. 1. 310  Ernst, in: Paal/Pauly/Ernst, DSGVO, 3. Aufl. 2021, Art. 4 Rn. 3. 311  Karg, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, ­DSGVO, 1. Auflage 2019, Art. 4 Nr. 1 Rn. 14. 312  Vgl. zur Wirksamkeit und Grenzen von Anonymisierungstechniken Artikel29-Datenschutzgruppe, WP 216 – Stellungnahme 5/2014 zu Anonymisierungstechniken. 313  Anders die Definition der Anonymisierung in § 3 Abs. 6 BDSG a. F. 314  Raji, DuD 2021, 303, 306. 315  Klar/Kühling, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 4 Abs. 1, Rn. 31; Karg, DuD 2015, 520, 523. 316  Richtlinie über offene Daten und die Weiterverwendung von Informationen des öffentlichen Sektors, die sog. Open-Data-Richtlinie. 317  Ähnliche Definitionen enthalten – für öffentliche Stellen – einige Datenschutzgesetze der Länder wie z. B. § 11 Abs. 2 HmbDSG; § 3 BbgDSG; § 2 Abs. 4 BremDSG;

192

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

System hält auch die Verordnung 2018/1807318 fest. Dort heißt – der technischen Entwicklung Rechnung tragen wollend – in EG 9: „Das wachsende Internet der Dinge, künstliche Intelligenz und maschinelles Lernen stellen bedeutende Quellen für nicht-personenbezogene Daten dar, zum Beispiel durch ihren Einsatz in automatisierten industriellen Produktionsprozessen. Konkrete Beispiele für nicht-personenbezogene Daten umfassen aggregierte und anonymisierte Datensätze für Big-Data-Analysen [.] (…). Ist es durch technologische Neuentwicklungen möglich, anonymisierte Daten wieder in personenbezogene Daten umzuwandeln, müssen diese Daten als personenbezogene Daten behandelt werden, und die Verordnung (EU) 2016/679 muss entsprechend gelten.“

In den Begriffsbestimmungen des Art. 3 Nr. 1 der Verordnung 2018/1807 werden „Daten“ bezeichnet als Daten, die keine personenbezogenen Daten im Sinne der DSGVO sind. Insofern behandelt diese Verordnung anonyme Daten und nicht personenbezogene Maschinendaten einheitlich. Unabhängig von den einzelnen Verfahren der Anonymisierung319 lassen sich juristisch und in Abgrenzung zur Pseudonymisierung zwei unterschiedliche Kategorien von anonymen Daten unterscheiden: Bei der einen Form besteht objektiv eine Unmöglichkeit der De-Identifizierung. Bei der anderen und weitaus streitigeren Form würde die De-Identifizierung entsprechend der EuGH-Rechtsprechung einen unverhältnismäßigen Aufwand an Zeit, Kosten und Arbeitskräften erfordern, sodass das Risiko einer De-Identifizierung vernachlässigbar sei.320 In Anbetracht der enormen Rechenkapazitäten von KI-Systemen stellt sich die Frage, was tatsächlich noch als unverhältnismäßiger Aufwand321 betrachtet werden kann. Auch in § 4 DSG NRW; § 24 Nr. 18 DSG Nds; 3 3 Abs. 2 S. 2 Nr. 4 Sächs DSG; § 2 Abs. 7 DSG LSA; § 13 Abs. 2 Schleswig-Holsteinisches DSG; § 28 Abs. 3 ThürDSG. 318  Verordnung vom 14. November 2018 über einen Rahmen für den freien Verkehr nicht-personenbezogener Daten in der Europäischen Union. 319  Vgl. Artikel-29-Datenschutzgruppe, WP 216, Stellungnahme 5/2014 zu Anonymisierungstechniken. 320  Arning/Rothkegel, in: Taeger/Gabel, 3.  Aufl. 2019, DSGVO Art. 4 Rn. 48; Wójtowicz/Cebulla, PinG 2017, 186, 189, mit Verweis auf EuGH, Urt. v. 19.10.2016 – Rs. C-582/14. 321  Strittig ist, ob die verhältnismäßige Identifizierbarkeit relativ (Wissen und Mittel des Verantwortlichen) oder absolut (Wissen und Mittel irgendeiner Person) verstanden werden muss, zum Streitstand Karg, in: Simitis/Hornung/Spiecker gen. Döhrmann, Datenschutzrecht, 1. Auflage 2019, Art. 4 Nr. 1, Rn. 57–65. Die Datenschutzaufsichtsbehörden halten (wohl) an dem absoluten Ansatz fest, zumal seit der Stellungnahme der Art.-29-Datenschutzgruppe keine andere offizielle Haltung eingenommen wurde. Der EuGH tendiert zu einem relativen Ansatz, ohne dies ausdrücklich so festzuhalten, vgl. EuGH v. 19.10.2016 – C-582/14 – Breyer. Wenn der EDSA Guidelines zu Anonymisierungstechniken verabschieden sollte, wird nicht davon auszugehen sein, dass von den strengen Hürden, um von anonymen Daten sprechen zu können, abgewichen wird. Dies bietet sich aus zwei Gründen an: Erstens hat sich



B. Regulatorische Anknüpfungspunkte 193

den Medien wurde immer wieder bekannt, wie vermeintlich anonyme Daten doch re-identifiziert wurden. Im Jahr 2016 re-identifizierten Journalisten Politiker in einem anonymisierten Browserverlaufsdatensatz von 3 Millionen deutschen Bürgern und enthüllten ihre medizinischen Informationen und ihre sexuellen Vorlieben.322 (2) Re-Identifizierung Vermeintlich anonyme Daten und damit auch nicht personenbezogene Daten können wegen der Möglichkeiten, durch KI-Systeme komplexe Korrelationen zwischen Daten herzustellen, eine Re-Identifizierung enorm erleichtern. Die Art.-29-Datenschutzgruppe hat nachfolgende drei Kriterien herausgearbeitet, nach welchen trotz einer vermeintlichen Anonymisierung eben doch keine anonyme Daten vorliegen sollen: „– Herausgreifen (singling out), d. h. die Möglichkeit, in einem Datenbestand einige oder alle Datensätze zu isolieren, welche die Identifizierung einer Person ermöglichen; – Verknüpfbarkeit, d. h. die Fähigkeit, mindestens zwei Datensätze, welche dieselbe Person oder Personengruppe betreffen, zu verknüpfen (in derselben Datenbank oder in zwei verschiedenen Datenbanken). Ist ein Angreifer in der Lage (z. B. mittels Korrelationsanalyse) festzustellen, dass zwei Datensätze dieselbe Personengruppe betreffen, ohne jedoch einzelne Personen in dieser Gruppe herauszugreifen, bietet die betreffende Technik zwar einen Schutz vor dem ‚Herausgreifen‘, nicht aber vor der Verknüpfbarkeit; – Inferenz, d. h. die Möglichkeit, den Wert eines Merkmals mit einer signifikanten Wahrscheinlichkeit von den Werten einer Reihe anderer Merkmale abzuleiten.“323

Mit KI-Systemen werden diese Punkte enorm erleichtert. Die Re-Identifizierung von Datensubjekten basiert in der Regel auf statistischen Korrelationen zwischen nicht-identifizierten Daten und personenbezogenen Daten, die dieselben Personen betreffen. Ein persönlicher Identifikator wird mit zuvor nicht identifizierten Datenelementen verknüpft, die dadurch zu personenbezogenen Daten werden.324 Der „Personenbezug“ für ein Datum ist nicht abder EuGH nur tendenziell einer Auffassung angeschlossen. Zweitens sind anonyme Daten außerhalb des Anwendungsbereichs der DSGVO, womit ein Verlust sämtlicher Betroffenenrechte einhergeht. 322  Vgl. m. w. N. Rocher et al., Nature Communications 2019, Estimating the success of re-identifications in incomplete datasets using generative models, S. 2. 323  Artikel-29-Datenschutzgruppe, WP 216, Stellungnahme 5/2014 zu Anonymisierungstechniken, S. 13. 324  Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 37.

194

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

solut und kann nicht statisch definiert werden, sondern ist kontextbezogen zu definieren und kann sich in der Zeit u. U. ändern.325 Demnach kann z. B. mithilfe von Big-Data-Auswertungen ein Datum wie z. B. ein Messwert eines Haushaltsgerätes mit weiteren Informationen verknüpft und dadurch weitergehende Erkenntnisse gewonnen werden, wobei viele Messwerte für sich genommen häufig noch keinen Personenbezug aufweisen.326 Die nicht personenbezogenen Daten können sich im Kontext dann jedoch zu personenbezogenen aufschwingen, sodass viele Daten sich erst durch eine komplexe Verknüpfung im jeweiligen Kontext als personenbezogene Daten darstellen können. Insoweit können somit durch Big-Data-Auswertungen selbst Messwerte eines Geräts (Maschinendaten) durch eine Verknüpfung mit weiteren Informationen Personenbezug erlangen. Die zunehmende Vernetzung von Alltagsgeräten und die einfache Auswertung ihrer Daten führt schließlich dazu, dass nahezu alle Informationen einen Personenbezug aufweisen können. Insofern wird teilweise dafür plädiert, dass der Begriff des personenbezogenen Datums in Zeiten von Big Data und KI neu gedacht werden müsse.327 Gerade bei KI-Systemen, die sich einer Big-Data-Analyse bedienen, ist es fraglich, ob der Personenbezug schon dann angenommen werden kann, wenn die Identifikation bzw. Identifizierbarkeit einer Einzelperson auf Grundlage der Wahrscheinlichkeitsanalyse nur sehr wahrscheinlich einer Einzelperson zugerechnet werden kann, sodass es auf den schwierig zu bestimmenden Grad der Wahrscheinlichkeit ankommen wird,328 wobei über den Grad der „Beziehbarkeit“ die DSGVO kein Wort verliert. (3) Risikobasierter Maßstab Purtova argumentiert, dass eine weite Auffassung des Personenbezugs und des damit erhobenen umfassenden Schutzanspruchs der DSGVO in Ansehung der weiter zunehmenden Datafizierung329 unserer Umwelt der bezweckte Schutz ins Leere laufen wird, da jedes Datum potenziell einen Per325  Breyer-Katzenberger, in: Specht-Riemenschneider/Werry/Werry, Datenrecht in der Digitalisierung, 2020, S. 43. 326  Breyer-Katzenberger, in: Specht-Riemenschneider/Werry/Werry, Datenrecht in der Digitalisierung, 2020, S. 43. 327  Hoffmann-Riem, in: Big Data – Regulative Herausforderungen, 1.  Auflage 2018, S. 55 m. w. V. 328  Breyer-Katzenberger, in: Specht-Riemenschneider/Werry/Werry, Datenrecht in der Digitalisierung, 2020, S. 44; zur Unvereinbarkeit der DSGVO mit Big Data Zarsky, 47 Seton Hall Law review, 995, 2017, 995–1018. 329  Grimm et al., Digitale Ethik, 2019, S. 27.



B. Regulatorische Anknüpfungspunkte 195

sonenbezug aufweisen kann und der Datenschutz zu einem „Law of every­ thing“ verkommt.330 Diese überaus kritische Haltung fußt im Wesentlichen auf der Befürchtung, dass der umfassende Schutzanspruch des Datenschutzrechts nicht erfüllt werden könne und somit in der Praxis als unangemessen ignoriert werde. Dies kann circa drei Jahre nach der Einschätzung von Purtova freilich so nicht bestätigt werden. Gleichwohl ist es in der Tat ein Problem, dass wegen der technologischen Entwicklung und in Ansehung der Menge an verfügbaren Daten eine irreversible Anonymität nicht mehr möglich ist, sodass einige331 vorschlagen, personenbezogene Daten mit Blick auf das Risiko der Identifizierung von „0“ (kein Risiko der Identifizierung) bis „identifiziert“ einzuordnen und Informationen mit unterschiedlichem Grad der Identifizierbarkeit unterschiedlich zu behandeln.332 Purtova geht davon aus, dass im KI-Zeitalter jedes Datum einen gewissen Personenbezug aufweisen wird, spricht sich jedoch gegen eine enge Auslegung des Begriffs des personenbezogenen Datums aus. Da alle Daten das Potenzial haben, sich auf die Rechte und Freiheiten der Menschen auszuwirken, sollten auch alle Daten eine Art Schutz vor möglichen negativen Auswirkungen haben.333 Eine solche Sichtweise könnte indes auch anonyme Daten einem gewissen Anwendungsbereich unterfallen lassen, soweit diese für KI-Systeme genutzt werden, um z. B. die Prognosegenauigkeit eines KI-Systems bei Entscheidungen über Individuen zu verbessern. Klassifikationen der KISysteme, die Korrelationen zwischen Datenpunkten erkennen und deren Ergebnisse statistischen Daten gleichen, können im Einzelfall – abhängig vom Aggregationsniveau – keinen Personenbezug aufweisen, sofern sie sich nicht auf eine Person, sondern auf eine Personengruppe beziehen.334 Wenn sich algorithmische Entscheidungen aufgrund von Korrelationen auf Gruppierungen beziehen, sind Mitglieder der Gruppen von diskriminierenden Wirkungen betroffen, ohne dass die verarbeitende Stelle diese Individuen kennen muss. Hinsichtlich anonymer Daten – auf die das Datenschutzrecht wegen seiner binären Ausrichtung keine Anwendung findet –, aus denen gleichwohl Erkenntnisse gezogen werden können, gibt die Art.-29-Datenschutzgruppe insoweit zu Recht zu bedenken, die Auswirkungen durch die Nutzung von Law, Innovation and Technology, 2018, 40. N.Y.U. Law review, 2011, 1815–1829. 332  Purtova, Law, Innovation and Technology, 2018, 40, 42; Schwartz/Solove, N.Y.U. Law review, 2011, 1815. 333  Purtova, Law, Innovation and Technology, 2018, 40, 42; Schwartz/Solove, N.Y.U. Law review 2011, 1815. 334  Vgl. Klar/Kühling, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 4 Rn. 15. 330  Purtova,

331  Schwartz/Solove,

196

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

ano­nymen Daten auf die betroffene Person nicht zu berücksichtigen.335 Die Nutzung anonymer Daten außerhalb des Anwendungsbereichs der DSGVO ist möglich und bietet für Verantwortliche die Möglichkeit, den umfangreichen Pflichtenkatalog der DSGVO nicht einhalten zu müssen. Gleichwohl kann sich die Nutzung anonymer Daten auf die von der Rechtsordnung geschützten Interessen der betroffenen Personen auswirken. Insoweit erfolgt die Nutzung nicht im rechtsfreien Raum, sondern kann primärrechtliche Auswirkungen haben, indem die Nutzung einen Eingriff in Art. 7 GRCh darstellt oder verfassungsrechtlich im Rahmen von Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG beachtenswert ist. Das bedeutet, dass anonyme Daten, die sekundärrechtlich durch die DSGVO nicht mehr erfasst werden, grundrechtlich relevante und rechtfertigungsbedürftige Eingriffe darstellen können. Auch wenn die Nutzung von anonymen Daten vom Pflichtenkatalog der DSGVO entbindet, geht damit keine Nutzungsmöglichkeit im grundrechtsfreien Raum einher. Aus praktischer Sicht ist dies jedoch ein schwacher Trost für Betroffene, da nur die DSGVO ihnen starke Durchsetzungsrechte vermittelt, auf die sie in solchen Fallkonstellationen de lege lata jedoch nicht zurückgreifen können. bb) Auf das Individuum fokussierter Anwendungsbereich Insofern ist der Anwendungsbereich auf das Individuum fokussiert. Einen kollektiven Datenschutz kennt die DSGVO nicht. In der DSGVO findet sich auch kein explizites Diskriminierungsverbot. Das hat im Wesentlichen damit zu tun, dass Datenschutz auf den Verarbeitungsprozess zielt, wohingegen sich Antidiskriminierung auf die Folgen bezieht und den Weg (die Verarbeitung), der zu diesen Folgen geführt hat, außer Acht lässt.336 Die gesamte DSGVO ist insoweit inputorientiert, was dem Vorfeldcharakter des Datenschutzrechts gerecht wird. Das Antidiskriminierungsrecht schützt neben Individuen typischerweise auch Gruppen, das Datenschutzrecht hingegen allein Individuen.337 Gleichwohl soll durch ein komplementäres Zusammenspiel von Datenschutzgeboten und Diskriminierungsverboten ein ganzheitlicher Schutz gewährleistet werden.

335  Art.-29-Datenschutzgruppe, WP 216, S. 12  f.; Hansen, in: Simitis/Hornung/ Spiecker gen. Döhmann, Datenschutzrecht, DSGVO, 1. Auflage 2019, Art. 4 Nr. 5, Rn. 24. 336  Vgl. Mann/Matzner, Big Data & Society, 2019, 1, 3, „(…) data protection is concerned with certain actions (principally data ‚processing‘), whereas antidiscrimination relates to an outcome irrespective of the action/s that led to it.“ 337  Tisné, The Data Delusion, 2020, S. 3.



B. Regulatorische Anknüpfungspunkte 197

Neue Technologien fordern für einen funktionierenden Schutz für die Betroffenen dieses Zusammenwirken von verschiedenen Antidiskriminierungsregularien besonders heraus. Wie oben dargelegt, arbeiten KI-Systeme mit einer Methode der Inferenzanalyse, die Korrelationen bzw. Muster innerhalb von Datensätzen identifiziert, welche als Indikator zur Klassifizierung einer Person als Mitglied einer Gruppe verwendet werden können.338 Diese Klassen bilden sich durch statistisch feststellbare Korrelationen, die wiederum Wahrscheinlichkeitsannahmen zulassen. Das KI-System ist somit gar nicht auf das Individuum ausgerichtet, sondern auf Gruppen. Die ermittelten wechselseitigen Beziehungen lassen sich insoweit auch ohne Personenbezug herstellen. Insofern haben die Big-Data-Auswertungen von KI-Systemen per definitionem eine kollektive Dimension, die dazu führt, dass Menschen mehr von den Daten anderer Menschen beeinflusst werden als von den eigenen Daten.339 Wenn durch Klassifikationen der KI-Systeme Personen allein wegen der Gruppenzugehörigkeit bestimmte Eigenschaften wie z. B. die Gesundheit, die Finanzkraft oder die sexuelle Orientierung betreffend zugeordnet werden, ohne dass dafür solche Datenkategorien verarbeitet wurden und gleichwohl sich folgenreiche Entscheidungen über diese Gruppen getroffen werden können,340 erscheint es doch lückenhaft, wenn es für derartige Fallkonstellationen keinen wirksamen Rechtsschutz gäbe. cc) Probabilistische Schlussfolgerungen als Verarbeitung (besonderer Kategorien) von personenbezogenen Daten Aus den mit KI-Systemen festgestellten Mustern in Daten ist es möglich, diverse Schlussfolgerungen zu ziehen. Insoweit ist es fraglich, ob durch KISysteme hergeleitete Schlussfolgerungen, die wahrscheinlich auf ein zukünftiges Verhalten oder einen anderen Umstand hinweisen, selbst Verarbeitungen neuer personenbezogener Daten im Sinne des Art. 4 Nr. 2 DSGVO darstellen. Dies könnte jedenfalls dann angenommen werden, wenn die geschlussfolgerten Informationen sich von den personenbezogenen Daten unterscheiden, aus denen sie abgeleitet wurden. Unter Berücksichtigung des oben Ausgeführten (kein kollektiver Datenschutz) sowie der technischen Grundlagen muss hier bei der Frage, ob Rückschlüsse überhaupt personenbezogene Daten sind, zunächst unterschieden werden. Bei einem KI-System zum Zwecke der Erkennung von GesichtsbilBig Data & Society, 2019, 1. The Data Delusion, 2020, S. 2. 340  Für eine Neubestimmung des Begriffs personenbezogener Daten: HoffmannRiem, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. 55. 338  Mann/Matzner, 339  Tisné,

198

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

dern handelt es sich bei den Trainingsdaten, die der erste Algorithmus verarbeitet (Trainingsalgorithmus), grundsätzlich341 um personenbezogene Daten.342 Der geschaffene Vorhersagealgorithmus hat sodann mittels Verarbeitung dieser Daten durch Regression und Klassifikation ein Modell erlernt. Das erlernte Modell enthält keine personenbezogenen Daten, weil es „gelernt“ hat, dass z. B. die Bonität eines Kreditnehmers mit dem Einkommen und den vorhandenen Schulden korreliert. Diese „gelernten“ Korrelationen sind keine personenbezogenen Daten, sondern ein statistisches Modell, das für alle Individuen gilt, die gleiche Merkmale aufweisen. Es handelt sich allenfalls um Gruppendaten ohne Personenbezug. Wird dem KI-System nun ein neues Eingabedatum zugeführt, so wird das System dieses personenbezogene Merkmal verarbeiten, das statistische Modell anwenden und eine Schlussfolgerung als Output liefern, was selbst auch ein personenbezogenes Datum dieses Individuums darstellt. Eine damit zusammenhängende Folgefrage ist, ob diese Schlussfolgerungen stets personenbezogene Daten darstellen oder nicht zumindest einigermaßen valide Vorhersagen darstellen müssen, um als personenbezogenes Datum klassifiziert werden zu können. Eine Auswertung der „Likes“ auf Facebook erlaubte ziemlich präzise Vorhersagen etwa zur sexuellen Orientierung oder zur politischen Einstellung.343 Diese Problematik kann auch die Frage betreffen, ob bei einer Fotoanfertigung besondere Kategorien von personenbezogenen Daten verarbeitet werden, wenn z. B. die abgebildete Person eine Brille oder eine Kopfbedeckung trägt.344 Die in diesem Kontext aufgeworfene Frage ist somit grundsätzlicher Art und nicht speziell nur bei KI-Systemen relevant. Dadurch würden sehr viele Verarbeitungen, die derartige Schlussfolgerungen nicht bezwecken, aber ermöglichen, automatisch zu Verarbeitungen von besonderen Kategorien von personenbezogenen Daten. Gleichzeitig würden sehr viele gelieferte Ergebnisse von KI-Systemen per se auch zu Verarbeitungen von besonderen Kategorien von Daten. Insofern müsste für die Legalisierung solcher Verarbeitungen ein Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO greifen. Ungeachtet der praktisch kaum überwindbaren Hürden, die damit einhergehen würden, drücken diese Schlussfolgerungen lediglich Wahrscheinlichkeiten 341  Es besteht auch die Möglichkeit, KI-Systeme mit synthetischen – anonymen – Daten zu trainieren; vgl. Raji, DuD 2021, 303, 306; Stadler/Oprisanu et al., Synthetic Data – Anonymisation Groundhog Day, arXiv:2011.07018v3 [cs.LG] 10 Jun 2021. 342  In diesem Kontext wird angenommen, dass es um die Versorgung eines KISystems mit personenbezogenen Daten geht. 343  Dambeck, Holger, Zeig mir deine Likes – und ich weiß wer Du bist, abrufbar unter: http://www.spiegel.de/netzwelt/web/facebook-studie-likes-enthuellen-persoen lichkeit-a-888151.html. 344  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9, Rn. 165.



B. Regulatorische Anknüpfungspunkte 199

aus. Aus diesen Gründen erscheint eine restriktive Auslegung des Anwendungsbereichs hier geboten. Dabei ist zu berücksichtigen, dass der Wortlaut des Art. 9 Abs. 1 DSGVO unmissverständlich die Ableitung von sensitiven Daten umfassen sollte. Denn erfasst werden Verarbeitungen von sensitiven Daten selbst, aber auch Verarbeitungen von personenbezogenen Daten, „aus denen“ besondere Kategorien von personenbezogenen Daten „hervorgehen“.345 Um jedoch einer uferlosen Anwendung des Art. 9 Abs. 1 DSGVO entgegenzutreten, sind weitere Kriterien für das Vorliegen sensitiver mittelbarer Daten erforderlich. Festzuhalten bleibt, dass sich weder aus dem Wortlaut noch aus der Rechtsprechung des EuGH ergeben kann, dass die automatisierte Analyse selbst – der Prozess, der zu einer Schlussfolgerung führt – die Verarbeitung von personenbezogenen Daten darstellt. Der EuGH verneinte, dass die rechtliche „Analyse als solche“ eines Antrags auf eine Aufenthaltsgenehmigung durch den bearbeitenden Amtswalter als personenbezogene Daten angesehen werden kann.346 Lediglich die Schlussfolgerung selbst sowie diejenigen Daten, auf die sich die Analyse stützt, können nach dem EuGH als personenbezogene Daten verstanden werden. Dies hat der EuGH sodann im Kontext von Prüfungsleistungen anders beurteilt und entschieden, dass auch die Anmerkungen des Prüfers zu den Antworten des Prüflings – beide – personenbezogene Daten des Prüflings darstellen.347 Dabei dient das Datenschutzrecht nicht dazu, die Richtigkeit von Entscheidungsprozessen zu gewährleisten, sodass nach alledem ein Recht auf Zugang zu den Daten besteht, aber kein Recht, die Schlussfolgerungen der Prüfer oder gar das Endergebnis zu korrigieren.348 Gleichwohl bedarf es der Verhinderung einer systemwidrigen Ausweitung des Anwendungsbereichs des Art. 9 DSGVO gegenüber Art. 6 DSGVO,349 345  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9 Rn. 26; Art.-29-Datenschutzgruppe Advice Paper on special categories of data („sensitive data“), v. 20.04.2011, S. 6: „The term ‚data revealing racial or ethnic origin, political opinions, religious or philosophical beliefs, trade-union membership‘ is to be understood that not only data which by its nature contains sensitive information is covered by this provision, but also data from which sensitive information with regard to an individual can be concluded“. 346  EuGH ECLI:EU:C:2014:2081, Rn. 48. 347  EuGH C-434/16 – Nowak, Rn. 42. 348  EuGH C-434/16 – Nowak, Rn. 52. 349  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9 Rn. 26.

200

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

sodass die nachfolgenden Kriterien (1)/(2) als einschränkende Merkmale bei derartigen Fallkonstellationen Anwendung finden sollten. (1) Verlässlichkeit der Schlussfolgerung Gefordert werden insbesondere eine Auswertungsabsicht des Verantwortlichen sowie die Berücksichtigung des Schutzzwecks der Regelung.350 Dieser Schutzzweck ist unter Berücksichtigung des EG 51 S. 1 der DSGVO darin zu sehen, dass der Verordnungsgeber davon ausgeht, dass mit der Verarbeitung von besonderen Kategorien von personenbezogenen Daten „erhebliche Risiken“ für die Grundrechte und Grundfreiheiten der betroffenen Personen auftreten können. Aus diesem Grund hat der Verordnungsgeber bei solchen Verarbeitungen das Verbot unter Erlaubnisvorbehalt unter strengere Voraussetzungen gestellt, indem zusätzlich ein Ausnahmetatbestand des Art. 9 Abs. 2 DSGVO vorliegen muss. Damit dieser Schutzzweck aber überhaupt greifen kann, reichen Schlussfolgerungen mit geringer Validität nicht aus. Für eine Anwendbarkeit des Art. 9 Abs. 1 DSGVO kommt es in Fallkonstellationen, in denen mittels KI-Systemen probabilistische Schlussfolgerungen gezogen werden, auf den Informationsgehalt im Einzelfall an.351 Die Ableitung muss also hinreichend verlässlich sein. Die Verlässlichkeit als Kriterium ist eben nicht gegeben, wenn ein Pizzalieferservice Pizzen an eine Kirche ausliefert und dafür zwangsläufig die Anschrift als Datum verarbeiten muss. Aus der Verarbeitung der Anschrift allein geht in einem solchen Fall nicht die religiöse oder weltanschauliche Überzeugung des Pizzabestellers hervor. Die Verlässlichkeit der Ableitung als Kriterium heranzuziehen, verlangt eine einzelfallbezogene Beurteilung und verhindert eine Absenkung des Schutzniveaus bei Verarbeitungen von sensitiven Daten und erlaubt zugleich eine restriktive Einschränkung des Anwendungsbereichs. (2) Verarbeitungsabsicht Als weiteres einschränkendes Kriterium muss für solche Fallkonstellationen eine Verarbeitungsabsicht – bezogen auf die sensitiven Schlussfolgerungen – gefordert werden. Unter Berücksichtigung des Schutzzwecks des Art. 9 Abs. 1 DSGVO fordert die Norm eine besondere Zweckbestimmung, die 350  Schulz, in: Gola, DSGVO 2. Auflage, Art. 9 Rn. 13; Weichert, in: Kühling/ Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 9 Rn. 23. 351  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9 Rn. 26.



B. Regulatorische Anknüpfungspunkte 201

vom Verantwortlichen willentlich und bewusst festgelegt wird.352 Auch die DSK vertritt diese Ansicht und verweist im Zusammenhang mit der besonderen Zweckbestimmung durch den Verantwortlichen auf die englische Fassung des Verordnungstextes, „da hier von ‚the purpose of uniquely identifying a natural person‘ die Rede ist. Die englische Fassung verdeutlicht an dieser Stelle eindeutiger als das das deutsche ‚um … zu‘, dass der Zweck (‚purpose‘) einer eindeutigen Identifizierung hinter der Verarbeitung stehen muss.“353 Die eindeutige Identifizierung als Teil der Zweckbestimmung muss also vom Willen des Verantwortlichen getragen sein, sodass eine reine Möglichkeit, sensitive Schlussfolgerungen zu ziehen, ebenfalls nicht ausreicht, um den Anwendungsbereich des Art. 9 Abs. 1 DSGVO auszulösen. Diese beiden einschränkenden Kriterien sind insoweit erforderlich, um den Schutzbereich der sensiblen Daten nicht unnötig auszuweiten.354 (3) Profiling und KI Unabhängig von den geforderten einschränkenden Kriterien definiert Art. 4 Nr. 4 DSGVO das Profiling, welches im Kontext von probabilistischen Schlussfolgerungen durch KI-Systeme mitberücksichtigt werden muss. Die Definition bezieht sich nicht explizit auf KI-Systeme. Doch es geht beim Profiling um die Vorhersage bestimmter persönlicher Aspekte von natürlichen Personen, wie z. B. Arbeitsleistung oder wirtschaftliche Lage etc., die nur durch eine Verarbeitung anderer personenbezogener Daten möglich ist. Nach der Art.-29-Datenschutzgruppe zielt das Profiling darauf ab, natürliche Personen zu kategorisieren.355 Wie oben beschrieben, zielen KI-Systeme gerade auf Klassifikationen, um u. a. Vorhersagen über zukünftiges Verhalten oder mögliche Präferenzen zu liefern. Werden KI-Systemen im Trainingsprozess viele personenbezogene Daten zugeführt, so erlernt das algorithmische System ein Vorhersagemodell (Entscheidungsbaum, neuronales Netz etc.). Der sich dieses Modell zu eigen machende Vorhersagealgorithmus kann neue Fälle entsprechend den erlernten Klassifikationen zuordnen. Diese Vorhersagen können Entscheidungen auslösen, müssen es aber nicht. Die Möglichkeit, durch eine Analyse von Daten künftiges Verhalten vorherzusagen, aus bestehenden Korrelationen Wissen, also Informationen zu generieren, lässt diese typische Funktionsweise von KI-Systemen dem Profiling-Begriff der ­DSGVO 352  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9 Rn. 165. 353  DSK Positionspapier zur biometrischen Analyse, 2019, S. 21. 354  Jaspers/Schwartmann/Mühlenbeck, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 9 Rn. 26. 355  Art.-29-Datenschutzgruppe, WP 251 2017, rev.01 2018.

202

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

unterfallen. Entscheidendes Kriterium, damit diese Datenanalyse als Profil­ ing im Sinne von Art. 4 Nr. 4 DSGVO verstanden werden kann, ist also die automatisierte Schlussfolgerung.356 Bei KI-Systemen erfolgen diese Schlussfolgerungen aus der Herstellung von Korrelationen zwischen Daten. Wenn vollautomatisiert aufgrund der vorhergesagten Kreditwürdigkeit eine Entscheidung über die Gewährung eines Kredits getroffen wird, kann der Anwendungsbereich des Art. 22 DSGVO eröffnet sein. Das Profiling selbst, wie es in Art. 4 Nr. 4 DSGVO legaldefiniert ist, umfasst lediglich die Datenanalyse, ohne dass hieran bereits Folgen geknüpft sind.357 Insoweit hat der europäische Gesetzgeber mit der Aufnahme dieser Analyseverfahren in die Begriffsbestimmungen auf die mit Big-Data-Analysen einhergehenden hohen Risiken für die Rechte und Freiheiten des Einzelnen reagiert.358 Die durch das KI-System festgestellten Korrelationen können auch Neigungen und Präferenzen einer Person bzw. einer Personengruppe betreffen. Insoweit kann das KI-System im Entscheidungsprozess dazu genutzt werden, Verhalten zu lenken bzw. zu beeinflussen. Wurde erlernt, dass ein bestimmter Typus Bürgerin oder Bürger an bestimmten Inhalten interessiert ist und auf bestimmte Informationen reagiert, kann ein gewünschtes Wahlverhalten gelenkt werden. Wegen der verschiedenen Nutzungsmöglichkeiten erlangter Profile und der damit einhergehenden besonderen Risiken ist das Profiling selbst ein an verschiedenen Stellen der DSGVO thematisierter Aspekt.359 dd) Betroffenenrechte in Bezug auf probabilistische Schlussfolgerungen Die Stärkung der Betroffenenrechte ist unter Berücksichtigung des EG 11 der DSGVO eines der Hauptanliegen des europäischen Datenschutzrechts.360 Die Betroffenenrechte finden auf die probabilistischen Schlussfolgerungen 356  So auch Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, DSGVO, 1. Auflage 2019, Art. 4 Nr. 4 Rn. 6 mit Verweis auf Schnabel, Datenschutz bei profilbasierten Location Based Services, 2009, S. 179. 357  Schwartmann/Hermann, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 4 Nr. 4 Rn. 71. Insoweit ist die EuGH-Rechtsprechung EuGH C-434/16 – Nowak nicht lediglich auf Prüfungen zu begrenzen, sondern bezieht sich allgemein unabhängig vom Kontext auf die Datenanalyse selbst. 358  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 4 Nr. 4 Rn. 1. 359  In Art. 22 DSGVO wird ein Verbot vollautomatisierter Verarbeitung und Entscheidung aufgestellt und EG 73 fordert den EDSA auf, für das Profiling besondere Leitlinien zur Verfügung zu stellen. 360  Dix, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, DSGVO, 1. Auflage 2019, Art. 12 Rn. 1.



B. Regulatorische Anknüpfungspunkte 203

auch Anwendung, da es sich um eine Verarbeitung von personenbezogenen Daten handelt. Es stellt sich jedoch die Frage, in welchem Umfang diese Rechte Anwendung finden, insbesondere unter Berücksichtigung der EuGHRechtsprechung.361 Es geht konkret um Schlussfolgerungen, die darauf abzielen, das Verhalten einer Person vorhersagen zu können und an diese Schlussfolgerungen Entscheidungen zu knüpfen, die auch Auswirkungen auf die Interessen der betroffenen Person haben. Diese Informationen stellen personenbezogene Daten dar. Die Betroffenenrechte, insbesondere das Recht auf Auskunft und das Recht auf Berichtigung, sind – wie der EuGH in der Nowak-Entscheidung festgehalten hat – nicht darauf gerichtet, die Richtigkeit von Entscheidungsprozessen zu gewährleisten. Es besteht ein Recht auf Zugang zu den Daten, wohl aber kein Recht, die Schlussfolgerungen zu korrigieren.362 Im Zusammenhang mit Profiling hat die Art.-29-Datenschutzgruppe jedoch festgestellt, dass betroffene Personen ein Recht auf Auskunft hinsichtlich der für die Profilerstellung verwendeten Eingabedaten haben und Verantwortliche die „Informationen zum Profil und Details zu den Segmenten, in die die betroffene Person eingeteilt wurde, mitteilen“ werden müssen.363 Insbesondere bei einem fehlerhaften Profiling kann es zu einer starken Beeinträchtigung der Freiheiten und Rechte der Betroffenen kommen. Dies kann bei fehlerhaften oder auch redundanten Eingabedaten der Fall sein. Da der Verordnungsgeber das Profiling als so relevant hervorgehoben hat und gleichzeitig die Stärkung von Betroffenenrechten eines seiner Hauptanliegen war, muss es ein Berichtigungsrecht auf fehlerhaftes Profiling geben. Dieses muss dann Anwendung finden, wenn eine Person fälschlicherweise algorithmisch einer Kategorie zugeordnet wird, in der Aussagen zu ihrer Fähigkeit getroffen werden, und dieses Profil schlicht auf falschen Informationen beruht.364 Das kann Fälle betreffen, die Allokationen von Studienplätzen umfassen oder in denen maschinell im Arbeitsamt vorgeschlagen wird, welche Person weitere Fördermaßnahmen erhalten soll und wer nicht. Eine Berichtigung kann in der Weise durchsetzbar eingefordert werden, dass die betroffene Person spezifische zusätzliche Daten liefert, die eine andere statistische (zutreffendere) Schlussfolgerung zulassen. Dies kann deshalb zu berücksichtigen zu sein, weil statistische Schlussfolgerungen, die sich auf eine Klasse beziehen, möglicherweise nicht auf Unterklassen dieser Klasse zutreffen. 361  Vor

allem EuGH C-434/16 – Nowak. C-434/16 – Nowak, Rn. 52. 363  Art.-29-Datenschutzgruppe, WP 251 rev.01 (2018), S. 18. 364  Art.-29-Datenschutzgruppe, WP 251 rev.01 (2018), S. 19. 362  EuGH

204

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Schüler einer Schule, die statistisch geringere Leistungsnachweise erbringen als Schüler einer anderen Schule, können in bestimmten Konstellationen benachteiligt werden. Dies wäre dann der Fall, wenn ein KI-System bei Stu­ dienplatzvergabeentscheidungen diese generalisierende Regel anwenden würde und Schüler treffen würde, welche die erstgenannte Schule besuchen und tatsächlich sehr gute Noten vorweisen können. Solche Schüler müssten das Recht haben, solche Schlussfolgerungen anzufechten, die sie im Vergleich zu durchschnittlichen Schülern der anderen Schule benachteiligen.365 b) Zwischenergebnis Nach alledem ist es daher fraglich, ob in Ansehung der Funktionsweise von KI-Systemen das Datenschutzrecht als im Vorfeld greifender Diskriminierungsschutz nicht versagt, wenn Daten ohne Personenbezug, die dennoch rechtliche Interessen der betroffenen Personen tangieren, dem Datenschutzregime nicht unterworfen werden können. Der Personenbezug verliert durch die maschinelle Sortierung an Bedeutung, wohingegen neue Formen von Risiken entstehen.366 Das Individuum ist wegen der Klassifizierung von Gruppen viel stärker abhängig von den Daten anderer Personen. Die Möglichkeit, die Klassifizierungen durch das eigene Verhalten beeinflussen zu können, ist sehr begrenzt. Diese neuen Risiken können es erforderlich machen, einen durchsetzbaren kollektiven Datenschutz zu ermöglichen. Der Ausschluss des Anwendungsbereichs der DSGVO kann insbesondere durch neue gezielte Anonymisierungstechniken auftreten oder aber auch, wenn die Anonymisierung nach der Verarbeitung an sich, aber vor dem Folgern von Rückschlüssen und vor der Erstellung von Profilen geschieht, womit viele Einschränkungen des Datenschutzrechts umgangen werden können.367 Jedenfalls geht allein von der Möglichkeit, den Einzelnen auf Basis korrelativ ermittelter Wahrscheinlichkeiten einer Klasse zuzuordnen, ein erhöhtes Risiko individueller und gruppenspezifischer Diskriminierungen ­ aus.368 Gleichwohl sind in der DSGVO Anknüpfungspunkte vorhanden, die geeignet sind, innerhalb von Organisationen Strukturen der Kontrolle und 365  Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 39. Teilweise wird auch argumentiert, dass es im Zusammenhang mit probabilistischen Schlussfolgerungen ein Recht auf vernünftige Schlussfolgerungen geben müsse, vgl. Wachter/Mittelstadt, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI, 2019. 366  Mann/Matzner, Big Data & Society, 2019, 1, 2. 367  Mann/Matzner, Big Data & Society, 2019, 1, 2. 368  Martini, Blackbox Algorithmus, 2019, S. 74.



B. Regulatorische Anknüpfungspunkte 205

Überprüfbarkeit implementieren zu müssen. Im Hinblick auf Betroffenenrechte bezüglich probabilistischer Schlussfolgerungen (hier hervorzuheben Auskunft und Berichtigung) müssen öffentliche Stellen wie etwa die Verwaltung insofern Governance-Strukturen schaffen, die auch Überprüfungsverfahren vorsehen. Diese müssen einen Zugang zu Daten ermöglichen wie etwa die Durchführung alternativer Berechnungen (mit den von Betroffenen gelieferten Informationen). c) Anwendungsbereich des Art. 22 DSGVO und KI-Systeme Art. 22 Abs. 1 DSGVO konstatiert ein grundsätzliches Verbot, das den Einzelnen davor schützen soll, dass eine ihn betreffende Entscheidung allein auf Grundlage einer automatisierten Bewertung seiner Persönlichkeitsmerkmale ergeht und der Einzelne so zu einem bloßen Objekt computergestützter Programme wird.369 Insofern handelt es bei Art. 22 DSGVO um eine für KISysteme sehr relevante Vorschrift. Art. 22 Abs. 1 DSGVO stellt neben dem ohnehin geltenden Verbotsprinzip ein weiteres Verbot für vollautomatisierte Entscheidungen mit rechtlicher Wirkung für die Betroffenen auf. Für diesen Bereich gilt somit ein doppeltes Verbot mit Erlaubnisvorbehalt. Die zusätzlichen Anforderungen für eine Legalisierung sind in Art. 22 Abs. 2 DSGVO normiert. Das Verbot des Art. 22 Abs. 1 DSGVO erfordert, dass der Betroffene einer Entscheidung des Verantwortlichen unterworfen ist (aa)), die ausschließlich auf einer automatisierten Entscheidung beruht – einschließlich Profiling – (bb)) und eine rechtliche Wirkung entfaltet oder in ähnlicher Weise erheblich beeinträchtigt wird (cc)). aa) Einer Entscheidung unterworfen Die Tatbestandsmerkmale „Entscheidung“ und „Unterworfensein“ sind in den Begriffsbestimmungen der DSGVO nicht definiert. Fest steht jedenfalls, dass die „automatisierte Verarbeitung“ und die „Entscheidung“ zwei unterschiedliche Akte sein müssen, da die Verarbeitung in Art. 4 Nr. 2 DSGVO als Vorgang bzw. Vorgangsreihe im Zusammenhang mit personenbezogenen Daten legaldefiniert ist. Vorausgesetzt ist lediglich eine Handlung im Sinne einer menschlichen Aktivität, die imstande ist, einen solchen Vorgang in Gang zu setzen.370 369  Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 22 Rn. 1; Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, DSGVO, 1. Auflage 2019, Art. 22 Rn. 1. 370  OVG Hamburg, 5 Bs 152/20, S. 8; Herbst, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 4 Nr. 2, En. 14, 24.

206

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Nicht erforderlich ist hingegen ein Verarbeitungswille, der regelmäßig als bewusster Akt eine Entscheidung impliziert. Eine weitere Eingrenzung des Verarbeitungsbegriffs dahingehend, einen Verarbeitungswillen zu fordern, lässt sich mit dem Verordnungstext nicht begründen, sodass das Vorliegen einer Verarbeitung als Umgang mit personenbezogenen Daten stets objektiv zu bestimmen ist.371 Folglich ist eine Verarbeitung schon vom begrifflichen Verständnis von einer Entscheidung im Sinne des Art. 22 Abs. 1 DSGVO zu unterscheiden. Insoweit stellt das Vorliegen einer automatisierten Verarbeitung – wie von Art. 22 Abs. 1 DSGVO gefordert – alleine noch keine automatisierte Entscheidung, sondern eine der Entscheidung vorausgehende Datenauswertung dar.372 Aus dem Tatbestandsmerkmal geht nicht hervor, dass eine Wahlmöglichkeit aus zwei Handlungsalternativen bestehen muss,373 sondern die Festlegung auf ein bestimmtes Ergebnis.374 Der Verantwortliche nimmt mit der Entscheidung somit eine zunächst abschließende Haltung gegenüber den Betroffenen hinsichtlich der Bewertung persönlicher Aspekte ein. Das Merkmal der Entscheidung gegenüber dem Betroffenen impliziert eine Bewertung des Betroffenen durch den Verantwortlichen. Das Merkmal der Unterwerfung beschreibt die Perspektive des Betroffenen, der keinen entscheidenden Einfluss auf den Ausgang der Entscheidung gehabt haben muss,375 der Verantwortliche legt somit die Bedingungen für den Prozess der Entscheidungsfindung einseitig fest.376 bb) Ausschließlich automatisierte Verarbeitung einschließlich Profiling Weiter ist erforderlich für das Verbot nach Art. 22 Abs. 1 DSGVO, dass die jeweilige Einzelentscheidung auf einer ausschließlich automatisierten Verarbeitung beruht.377 Der Mensch als Entscheider muss daher vollständig 371  OVG

Hamburg, 5 Bs 152/20, S. 9. auch BGH NJW 2014, 1235, Rn. 34 mit Verweis auf Hoeren, RDV 2007, 93, 98; Wolber, CR 2003, 623, 625 f.; Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, DSGVO, 1. Auflage 2019, Art. 22 Rn. 17. 373  So Atzert, in HK DSGVO/BDSG, 2. Aufl. 2020, Art. 22 Rn. 32. 374  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 17. 375  Atzert, in: HK DSGVO/BDSG, 2. Aufl. 2020, Art. 22 Rn. 34. 376  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 17. 377  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 25. 372  So



B. Regulatorische Anknüpfungspunkte 207

ausgeklammert sein, sodass sowohl die Verarbeitung als auch die Entscheidung vollautomatisiert, im Sinne des EG 71 der DSGVO „ohne jegliches menschliches Eingreifen“ geschieht. Insoweit werden von dem eher engen Anwendungsbereich des Verbots nicht erfasst assistierende KI-Systeme, die Entscheidungen lediglich vorbereiten. Nicht hinreichend empirisch untersucht ist indes, inwieweit das Phänomen des „Automation Bias“378 Menschen tatsächlich dazu verleiten wird, in dem Anschein der objektiven maschinellen Entscheidung die Ergebnisse von Menschen ungeprüft zu übernehmen. Automation Bias stellt das Phänomen dar, dass im Zusammenhang mit Assistenzsystemen, die Menschen bei der Erledigung von Aufgaben unterstützen, diesen Systemen ein übersteigertes nicht hinterfragendes Vertrauen entgegengebracht wird, was wiederum zu negativen (ggf. diskriminierenden)379 Konsequenzen führen kann.380 Die Annahme des Automation Bias ist, dass wegen fehlender Möglichkeiten, die Ergebnisse des Assistenzsystems zu überprüfen, eine Neigung zum ungeprüften Befolgen der vorgegebenen Ergebnisse folgt. Mit Blick auf das in Art. 22 Abs. 1 DSGVO konstatierte Verbot ist mithin nicht klar, welche Qualität das menschliche Dazwischentreten haben muss, damit der gesamte Prozess nicht vom Verbot umfasst ist. Fest steht lediglich, dass die rein formale Zwischenschaltung eines Menschen die Ausschließlichkeit der vollautomatisierten Entscheidung nicht überwinden kann, da auch in solchen Fällen die bestimmenden Faktoren für die Entscheidung weiterhin durch automatisierte Vorgänge vorgegeben werden.381 Gleichwohl ist mangels detaillierter Vorgaben für assistierende Systeme davon auszugehen, dass das Verbot mit relativ überschaubarem Aufwand umgangen werden kann. Das zeigt auch die Entschließung des Europäischen Parlaments zu dem Evaluierungsbericht der Kommission über die Umsetzung der DSGVO zwei Jahre nach deren Anwendung.382 In der Entschließung unter Ziffer 38 stellt 378  Zum Begriff des Automation Bias vgl. Skitka/Moiser et al., Does automation bias decision-making? International Journal of Human-Computer Studies, 1999, 991–1006; Bahner, Übersteigertes Vertrauen in Automation, 2008, S. 40. 379  Die Berichterstattung, dass algorithmische Entscheidungssysteme, die in der Verwaltung eingesetzt werden, diskriminierend sind, nimmt immer stärker zu. Beispielhaft für diskriminierende Algorithmen im Arbeitsamt von Österreich vgl. Anja Reiter, Das Amt und meine Daten 2019, auf Zeit Online, abrufbar unter: https://www. zeit.de/2019/20/digitale-verwaltung-behoerden-aemter-effizienzsteigerung-probleme. 380  Bahner, Übersteigertes Vertrauen in Automation, 2008, S. 40. 381  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 26. 382  Entschließung des EU-Parlaments vom 17.03.2021 dort insbesondere Nr. 38, abrufbar unter: https://www.europarl.europa.eu/doceo/document/B-9-2021-0211_EN. html.

208

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

das EU-Parlament im Hinblick auf zukünftigen gesetzgeberischen Handlungsbedarf fest, dass Profiling trotz des strikten Art. 22 DSGVO zunehmend genutzt wird, da vor allem Online-Verhalten von Einzelpersonen tiefe Einblicke in ihre Psychologie und ihr Privatleben ermöglichen und Profiling dafür genutzt werden kann, das Verhalten der Nutzer zu manipulieren und zu steuern. Insofern fordert das Europäische Parlament die Europäische Kommission auf, strenge sektorspezifische Datenschutzvorschriften zu erlassen. Das Parlament erkennt damit faktisch an, dass Art. 22 DSGVO in der jetzigen Fassung nicht dazu geeignet ist, den Risiken des Profilings für die Rechte und Freiheiten der Betroffenen zu begegnen. Darüber hinaus erkennt es an, dass wegen zunehmender Profiling-Praktiken trotz eines regulativen Verbots eine gravierende Rechtsschutzlücke besteht, die de lege ferenda zu schließen ist. De lege lata werden vom Verbot des Art. 22 Abs. 1 DSGVO nicht erfasst vorbereitende Profiling-Analysen, in denen Menschen dazwischengeschaltet sind (z. B. Scoring bei der Kreditvergabe) oder Profiling-Analysen an sich, deren aus den Korrelationsmustern gewonnene Erkenntnisse Teil späterer Entscheidungen sein können. Insofern hat die Datenethikkommission der Bundesregierung empfohlen, sich im Rahmen der Evaluierung der DSGVO dafür einzusetzen, die „DSGVO um spezifische Regelungen zu ProfilingVerfahren zu ergänzen, die über die bereits bestehende Regelung des Art. 22 DSGVO hinausgehen“.383 Die in Art. 22 Abs. 1 DSGVO verwendete zusätzliche Formulierung „einschließlich Profiling“ hat nach hier vertretener Auffassung eben nicht lediglich deklaratorischen Charakter,384 mit welcher der Verordnungsgeber das Profiling als den wichtigsten Anwendungsfall einer automatisierten Entscheidungsfindung besonders hervorgehoben hat.385 Es wird vertreten, dass das Verbot des Art. 22 Abs. 1 Profiling als automatisierte Verarbeitung einschließt, es aber vom Wortlaut nicht voraussetzt. Der Wortlaut des Art. 22 Abs. 1 DSGVO will unzweideutig ausschließlich vollständig automatisierte Entscheidungen umfassen, die allein auf Grundlage automatisierter Verarbeitungen ergehen und rechtliche Wirkung gegenüber dem Betroffenen haben oder diesen in anderer Weise erheblich beeinträchtigen. Insoweit zielt die Norm nur auf Maßnahmen ab, die gemäß EG 71 der DSGVO „ohne jegliches menschliches Eingreifen“ erfolgen.386 Art. 22 DSGVO begrenzt Profil­ ing als Art der Entscheidungsfindung nicht grundsätzlich, wenngleich zwi383  Gutachten

der DEK 2019, S. 100. in: HK DSGVO/BDSG, 2. Aufl. 2020, Art. 22 Rn. 9; a. A. Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 60. 385  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 20. 386  Martini, in: Paal/Pauly, 3. Aufl. 2021, DS-GVO Art. 22 Rn. 2. 384  Atzert,



B. Regulatorische Anknüpfungspunkte 209

schen Profiling und der automatisierten Entscheidung eine große Schnittmenge besteht und nur diese von Art. 22 Abs. 1 erfasst wird.387 Würde die Verbotsnorm des Art. 22 Abs. 1 DSGVO stets ein Profiling tatbestandlich voraussetzen, so wäre die Formulierung jedenfalls ungenau. Historisch bezog sich die Vorgängerregelung des Art. 15 DSRL auf eine automatisierte Verarbeitung, die auf die Bewertung einzelner Aspekte gerichtet sein muss.388 Unter Berücksichtigung der Normgenese hat auch der Entwurf der Kommission für die DSGVO im Tatbestand berücksichtigt, dass der Zweck der Maßnahme „in der Auswertung bestimmter Merkmale ihrer Person oder in der Analyse bzw. Voraussage etwa ihre[r] beruflichen Leistungsfähigkeit […] besteht“.389 Der Rat sowie der Trilog haben diese Formulierung später jedoch gestrichen.390 Da sich diese für das Profiling i. S. v. Art. 4 Nr. 4 DSGVO charakteristische Einschränkung in Art. 22 Abs. 1 DSGVO insoweit nicht wiederfindet, könnte der Anwendungsbereich der Verbotsnorm zumindest dahingehend erweitert worden sein, dass sämtliche automatisierten Datenverarbeitungsprozesse miterfasst werden, die in eine entsprechend automatisierte Entscheidung münden, welche wiederum gegenüber der betroffenen Person eine rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Ein solches Verständnis wäre auch nicht zu weit gehend, weil Art. 22 Abs. 2 DSGVO für viele praktische Fallkonstellationen eben Ausnahmen vom Verbot zulässt, sodass z. B. die Geldausgabe am Automaten von Art. 22 Abs. 2 lit. a) DSGVO abgedeckt ist.391 Eine systematische und teleologische Auslegung widerspricht dem Vorausgegangenen jedoch. Der EG 71 der DSGVO – der im Zusammenhang mit Art. 22 Abs. 1 DSGVO zu lesen ist – lässt den Schluss zu, dass Art. 22 Abs. 1 DSGVO ebenfalls auf die „Bewertung von […] persönlichen Aspekten“ ausdrücklich abzielt.392 Im Grunde wird in dem EG 71 die Legaldefinition für das Profiling in Art. 4 Nr. 4 DSGVO wiederholt. Insofern ist Art. 22 Abs. 1 ­DSGVO so zu verstehen, dass die vollautomatisierte Verarbeitung, welche die Entscheidung bestimmt, ein Profiling einschließen muss. Die sprachliche Ergänzung „einschließlich Profiling“ ist ungenau,393 sodass die Wendung „zur 387  Martini,

in: Paal/Pauly, 3. Aufl. 2021, DS-GVO Art. 22 Rn. 2. in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 22

388  Buchner,

Rn. 17. 389  Martini, in: Paal/Pauly, 3. Aufl. 2021, DSGVO Art. 22 Rn. 15c. 390  Martini, in: Paal/Pauly, 3. Aufl. 2021, DSGVO Art. 22 Rn. 15c. 391  A. A. Buchner, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 22 Rn. 18. 392  So Buchner, in: Kühling/Buchner, 3. Aufl. 2020, DSGVO Art. 22 Rn. 19. 393  Vgl. auch ErwGr 71 UAbs. 1 S. 2: „Zu einer derartigen Verarbeitung zählt auch das Profiling.“

210

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Bewertung von sie betreffenden persönlichen Aspekten“ (­ErwGr 71 UAbs. 1 S. 1) einerseits als redaktionelles Versehen ausgelegt werden kann, das darauf zurückgeht, dass die Erwägungsgründe im Gesetzgebungsverfahren nicht mehr hinreichend auf den Normtext abgestimmt waren; oder aber damit ein „implizites Normverständnis“ ausgedrückt wird: „Die Wendung schränkt den Tatbestand im Wege teleologischer Reduktion ein, um dem Schutzgedanken Rechnung zu tragen, den Einzelnen nicht zum Objekt einer maschinellen Bewertung persönlicher Eigenschaften zu machen.“394 Da für das Profiling an dieser Stelle keine besonderen Vorgaben gemacht werden, gelten für solche Verarbeitungen die allgemeinen Rechtmäßigkeitsvoraussetzungen des Art. 6 DSGVO, ggf. unter zusätzlicher Berücksichtigung des Art. 9 Abs. 2 DSGVO. cc) Wirkung der Entscheidung Das Verbot bezieht sich nur auf solche automatisierten Einzelentscheidungen, die der betroffenen Person gegenüber eine rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen.395 d) Art. 22 DSGVO als spezielle Antidiskriminierungsnorm Trotz berechtigter Kritik nimmt Art. 22 DSGVO auch eine Art Vorbildfunktion für zukünftige Regelungen ein, zumindest wenn es um mögliche Diskriminierungsrisiken geht. Bemerkenswert ist, dass der Verordnungsgeber gerade im Hinblick auf die Stufe der vollautomatisierten Entscheidung den Präventionsgedanken der DSGVO durchbricht. Denn Art. 22 Abs. 1 DSGVO erstreckt sich auf die Folgen von Entscheidungen. Das ist die Phase, die sich der Verarbeitung anschließt. Somit erweitert die Norm den sachlichen Anwendungsbereich der DSGVO, weil sie nicht die Verarbeitung personenbezogener Daten regelt, sondern erst die darauf basierende Entscheidungsfindung und die Anwendung eines bestimmten Verarbeitungsergebnisses.396 394  Martini, in: Paal/Pauly, 3. Aufl. 2021, DSGVO Art. 22 Rn. 15c, im Erg. zustimmend: Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 60; Schulz, in: Gola, DSGVO, 2. Aufl. 2018, Art. 22 Rn. 20; von Lewinski, in: BeckOK DatenschutzR 35. Ed. 1.2.2021, DSGVO Art. 22 Rn. 12; Krämer, NJW 2020, 497, 498. 395  Schulz, in: Gola DSGVO, 2. Aufl. 2018, Art. 22 Rn. 22. Zur Auslegung und zum Streit der Reichweite des Tatbestandsmerkmals vgl. Atzert, in: HK DSGVO/ BDSG, 2. Aufl. 2020, Art. 22 Rn. 38–62. 396  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 4.



B. Regulatorische Anknüpfungspunkte 211

Art. 22 DSGVO gibt vor, wie ein Entscheidungsvorgang gestaltet werden muss, damit zum einen die betroffene Person ausreichend beteiligt und zum anderen die personale Verantwortung für die zu treffende Entscheidung gesichert ist.397 Und nur insoweit vermittelt Art. 22 DSGVO ein Betroffenenrecht, auch wenn die Vorschrift als Verbot formuliert ist. Durch den Anknüpfungspunkt der Entscheidung kann Art. 22 DSGVO quasi als eine Art konkrete Antidiskriminierungsvorschrift der DSGVO begriffen werden, die das Verbotsprinzip für bestimmte Fallkonstellationen enger umsetzt. Dadurch bringt der Verordnungsgeber zum Ausdruck, dass er ähnlich wie Verarbeitungen von besonderen Kategorien von Daten auch vollautomatisierte Entscheidungen für einen besonderen Risikobereich für die Freiheiten und Rechte von Betroffenen begreift. Fraglich ist, ob diese Neuausrichtung von der Verarbeitung hin zur Entscheidungskonsequenz zum Zwecke des Schutzes anderer Grundrechte ein geeignetes Steuerungselement ist.398 Ein Grund, warum konkrete Antidiskriminierungsansätze vermehrt im Datenschutzrecht zu verorten sind, liegt darin, dass Diskriminierungen, also die Folgen, oftmals und gerade im Zusammenhang mit KI-Systemen gar nicht wahrnehmbar sind und die maßgeblichen Klassifikationen jedoch im datenschutzrelevanten Moment der Verarbeitung personenbezogener Daten stattfinden. Insofern müsste es im Hinblick auf KI-Systeme mehr Regelungsansätze geben, die sich auch konkret auf die Folgen von Verarbeitungen beziehen. aa) Intersektionalität Big-Data-Auswertungen ermöglichen KI-Systemen die Herstellung von Korrelationen, die auf den ersten Blick keinen Sinn ergeben. Sie ermöglichen dadurch eine (neue) Art des Profilings, weil sie im Sinne von Art. 4 Nr. 4 DSGVO in der Lage sind, persönliche Aspekte, die sich auf eine natürliche Person beziehen, zu bewerten, um das Verhalten dieser Person bezogen auf bestimmte Aspekte vorherzusagen. Insoweit müssen Regelungsansätze entwickelt werden, welche bestimmte Klassifikationen bereits als diskriminierend einordnen können. Hilfreich können daher Konzepte sein, die einen präzisen Begriff der Diskriminierung erfassen und es so ermöglichen, neue Klassifizierungen aufgrund unbekannter neuer Korrelationen als diskriminierend zu erkennen.399 Da solche Defizite des KI-Systems vor allem im Trainingsprozess entstehen, bedarf es insbesondere eines regulativen Rahmens 397  Scholz, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, D ­ SGVO, 1. Auflage 2019, Art. 22 Rn. 4. 398  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 18. 399  Mann/Matzner, Big Data & Society, 2019, 1, 4.

212

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

für diesen Trainingsprozess. Da es wegen der vielfältigen Einsatzfelder keine granularen Prüfkriterien geben kann, sind zumindest allgemeine Vorgaben für Validierungen und Auditierungen vorzugeben. Mann/Matzner sprechen sich dafür aus, für algorithmische Profilerstellungen eine Verbindung zu intersektionellen Diskriminierungen herzustellen.400 Die Theorie der Intersek­ tionalität geht davon aus, dass Diskriminierungen im Kontext der Verkettung von verschiedenen Kategorien von Informationen zu verstehen sind. Einzelne Diskriminierungsformen (z. B. Rassismus oder Sexismus) können, wenn sie sich in einer Person vereinen, zu neuen und eigenständigen Diskriminierungserfahrungen führen. Eine Reduzierung einzig auf einzelne Kategorien wie Rasse, Geschlecht oder Ethnie erfasst das Ausmaß der Diskriminierung nicht, weil Diskriminierungen in der Regel mit einer Verflechtung verschiedener Attribute erscheinen, sich wechselseitig verstärken oder auch abschwächen können.401 In den USA und in Großbritannien besetzen am Arbeitsmarkt beispielsweise dunkelhäutige Frauen häufiger höhere Positionen als dunkelhäutige Männer, befinden sich aber insgesamt am untersten Ende der Verdienstskala. Durch eine komplexe Herstellung von Korrelationen zwischen einzelnen Datenpunkten, die an wesentlich mehr Merkmale anknüpfen, als das menschliche Urteilsvermögen imstande wäre, werden die Ergebnisse viel spezifischer als nur die Schnittmenge von zwei oder drei besonderen Kategorien von Daten, die grundsätzlich ein erhöhtes Diskriminierungsrisiko bergen.402 bb) Neue Formen der Diskriminierung Die Klassifikationen der KI-Systeme können insoweit dazu beitragen, dass neue Kategorien von Gruppen geschaffen werden, die eine intersektionelle Diskriminierung erleben.403 Die Schlussfolgerungen, die ein KI-System aus einer Browsereinstellung, dem Fabrikat des Computers und anderer „unwesentlicher“ nicht personenbezogener Daten zieht, können diskriminierende 400  Mann/Matzner, Big Data & Society, 2019, 1, 4; vgl. Überblick zur Intersektionalität, Winkler/Degele, Intersektionalität als Mehrebenenanalyse, 2007, 1–3, abrufbar unter: https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad =rja&uact=8&ved=2ahUKEwjE_O-5p5_nAhVSMewKHR_vC80QFjACegQIBhAC &url=https%3A%2F %2Fwww.gabriele-winker.de%2Fpdf%2FFI_Intersektionalitaet. pdf&usg=AOvVaw1ab7WT9RdIbyHWqlahhwEI. 401  Winkler/Degele, Intersektionalität als Mehrebenenanalyse, 2007, 1. abrufbar unter: https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad =rja&uact=8&ved=2ahUKEwjE_O-5p5_nAhVSMewKHR_vC80QFjACegQIBhAC &url=https%3A%2F%2Fwww.gabriele-winker.de%2Fpdf%2FFI_Intersektionalitaet. pdf&usg=AOvVaw1ab7WT9RdIbyHWqlahhwEI. 402  Mann/Matzner, Big Data & Society, 2019, 1, 4. 403  Mann/Matzner, Big Data & Society, 2019, 1, 5.



B. Regulatorische Anknüpfungspunkte 213

Folgen für die betroffene Person haben, wenn sie neuen Klassen zugeordnet wird und diese Zuordnung zu weiteren Folgen für die Mitglieder dieser Gruppe führen. Dabei wird das KI-System im Rahmen seiner Big-DataAnalyse nicht an Kategorien im Sinne von Art. 21 GRCh anknüpfen und dennoch diskriminierend sein können. So könnte etwa eine Auswertung verschiedener Daten zu dem Ergebnis führen, dass bestimmte Personengruppen ein erhöhtes Risiko für den Flugverkehr darstellen und damit gesonderten Überprüfungen unterzogen werden. Den Menschen dieser Personengruppe würde insofern wegen einer algorithmischen Zuordnung zu einer Klasse als Reisende mit mehr Misstrauen begegnet, was diskriminierend ist. Durch KISysteme entstehen neue Gefährdungslagen, sodass etablierte Dogmatiken des Datenschutzrechts überdacht werden müssen. e) Ausnahmen nach Art. 22 Abs. 2 lit. b) DSGVO und Mindestgarantien In Art. 22 Abs. 2 DSGVO definiert der Verordnungsgeber Ausnahmen vom grundsätzlichen Verbot des Abs. 1, namentlich wenn die Entscheidung zur Vertragserfüllung oder -abschluss „erforderlich“ ist (lit. a) oder der Betroffene eingewilligt hat (c) oder – und das ist im öffentlichen Bereich die relevanteste Ausnahme – sofern auf europäischer oder nationalstaatlicher Ebene spezialgesetzliche Ermächtigungen existieren, die eine solche vollautomatisierte Entscheidung erlauben (lit. b).404 Art. 22 Abs. 2 lit. b) DSGVO stellt insofern eine Spezifizierungsklausel dar, die eine Ausnahme vom Verbot des Art. 22 Abs. 1 DSGVO nach einer nationalen Vorschrift zulässt, sofern diese Vorschrift „angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthält.“ Unter- und Oberpunkt des Spezifizierungsrahmens werden insoweit durch den Verordnungsgeber vorgegeben. Für die Ausnahmen des Abs. 2 stellt der Abs. 3 zu erfüllende Mindestgarantien auf: Die nationale Vorschrift muss demnach nach dem Wortlaut des Abs. 3 angemessene Maßnahmen treffen, um die Rechte und Freiheiten sowie die berechtigten Interessen der betroffenen Person zu wahren, wozu mindestens das Recht auf Erwirkung des Eingreifens einer Person seitens der Verwaltung, auf Darlegung des eigenen Standpunktes und auf Anfechtung der Entscheidung gehört. Der Wortlaut des Abs. 3 schließt jedoch den Ausnahmetatbestand Abs. 2 lit. b) gerade nicht ein. Insoweit bleibt offen, was der Verordnungsgeber hier unter angemessenen Schutzmaßnahmen mindestens verstehen will. Dass diese Mindestgarantien jedoch nicht für mitgliedschaft404  Atzert,

in: HK DSGVO/BDSG, 2. Aufl. 2020, Art. 22 Rn. 78.

214

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

liche Regelungen gelten sollen, erscheint mit Blick auf EG 71 DSGVO zweifelhaft: „In jedem Fall sollte eine solche Verarbeitung mit angemessenen Garantien verbunden sein, einschließlich der spezifischen Unterrichtung der betroffenen Person und des Anspruchs auf direktes Eingreifen einer Person, auf Darlegung des eigenen Standpunktes, auf Erläuterung der nach einer entsprechenden Bewertung getroffenen Entscheidung sowie des Rechts auf Anfechtung der Entscheidung.“

Die Formulierung „in jedem Fall“ bezieht sich in dem Erwägungsgrund ausdrücklich auch auf nationale Vorschriften. Während der Verordnungsgeber für den Verantwortlichen in der Norm explizit die Mindestgarantien im Sinne des Bestimmtheitsgrundsatzes aufzählt, verlangt er durch die Adressierung in Art. 22 Abs. 2 lit. b) DSGVO, diese Mindestgarantien in den nationalen Vorschriften zu inkorporieren. Unter Berücksichtigung des EG 71 der DSGVO muss diese Mindestgarantie auch für nationale Vorschriften gelten, sodass etwa § 35a VwVfG – trotz einiger Gegensteuerungselemente – den unionsrechtlichen Vorgaben nicht genügend Rechnung trägt.405 Die Spezifizierungsklauseln der DSGVO sind jedoch dahingehend zu verstehen, dass nationale Gesetzgeber nur in dem von der Verordnung vorgegebenen Bereich abweichende bzw. spezifizierende Regelungen treffen können. Die Mindestgarantien, verstanden als Untergrenze, sind somit von jeder Regelung im Rahmen des Art. 22 Abs. 2 lit. b) DSGVO einzuhalten. Zudem offenbart EG 71, dass für vollautomatisierte Verwaltungsentscheidungen qualifizierte Informationspflichten gelten. Neben den allgemeinen Informationen (Art. 13 und Art. 14 DSGVO) und der Darlegung der involvierten Logik müssen die Betroffenen in solchen Verfahren gerade über diese in Art. 22 Abs. 3 i. V. m. EG 71 geltenden Mindestgarantien aufgeklärt werden, worauf nicht zuletzt auch der Wortlaut „spezifische Unterrichtung“ hindeutet. aa) Nationale Vorschriften zu vollautomatisierten Entscheidungen Im nationalen Recht stellen § 35a VwVfG, § 31a SGB X und § 155 Abs. 4 AO Vorschritten dar, die im Spezifizierungsraum des Art. 22 Abs. 2 lit. b) DSGVO entstanden sind.406 Bei den einfachgesetzlichen Vorschriften (§ 35a VwVfG, § 31a SGB X und § 155 Abs. 4 AO) geht es darum, dass lediglich gebundene Entscheidungen der Verwaltung vom Gesetzgeber als automati405  A. A.: Martini/Nink, NVwZ – Extra 10/2017, 1, 5, der auf den Wortlaut des EG 71 nicht eingeht, sondern diese unterschiedlichen Maßstäbe mit der Anknüpfung unterschiedlicher Normadressaten erklärt. 406  Martini, in: Paal/Pauly, DSGVO, 3. Aufl. 2021, Art. 22 Rn. 33.



B. Regulatorische Anknüpfungspunkte 215

sierungstauglich gehalten werden. Vollautomatisierte Verwaltungsverfahren sind Verfahren, in denen alle Verfahrensschritte innerhalb der Verwaltung zu jedem Zeitpunkt ohne personelle Bearbeitung auskommen407 und daher auf der fünften Stufe der Entscheidungen anzusiedeln sind.408 (1) Einzelfallgerechtigkeit und Generalisierung im Verwaltungsverfahren Bevor auf einzelne Regelungen eingegangen wird, ist kurz zu skizzieren, inwiefern das Verwaltungsverfahrensrecht insgesamt darauf gerichtet ist, Einzelfallgerechtigkeit herzustellen, und inwieweit auf Generalisierung angelegte KI-Systeme hier einsetzbar sind. KI-Systeme sind darauf angelegt, durch Klassifikationen und Regressionen Generalisierungen vorzunehmen. Dabei können grundsätzlich immer zwei Arten von Prognosefehlern entstehen: Falsch-Positive („false positives“) und Falsch-Negative („false negatives“).409 Solche Fehler liegen dann vor, wenn systemseitig ein positiver oder negativer Wert als Vorhersageergebnis ausgegeben wird und ex post sich dieser Wert als falsch herausstellt. Während nach derzeitigem Stand der Technik KI-Systeme bzw. auf Machine Learning beruhende algorithmische Systeme lediglich induktive Leistungen vollbringen können, kann der Mensch auch deduktiv im Einzelfall die Atypik erkennen. Und eben dies ist die Leistung menschlicher Verwaltungsentscheidungen, die Anwendung abstrakt-genereller Rechtsnormen auf den Einzelfall als komplexe Konkretisierungsleistung.410 Selbstverständlich ist der Mensch auch in der Lage, typische Sachverhalte zusammenzufassen. Dies entspricht auch der typischen Aufgabenwahrnehmung in der Verwaltung. Im Hinblick auf die Selbstbindung der Verwaltung ist es sogar geboten, zur Gleichbehandlung von gleichgelagerten Fällen Typisierungen von Fallkonstellationen vorzunehmen.411 Gleichwohl ist das gesamte Verwaltungsverfahrensrecht grundsätzlich einzelfallorientiert und auf die Herstellung von Einzelfallgerechtigkeit ausgerichtet. Insoweit bezieht sich der verwaltungsrechtliche Untersuchungsgrundsatz nach § 24 Abs. 1 VwVfG, aber auch der Verwaltungsakt nach § 35 VwVfG auf die Untersuchung und Regelung des Einzelfalls. Nunmehr wurden Regelungen geschaffen, die Verwaltungsakte offenbar ohne jegliche Prüfung des Einzelfalls durch einen menschlichen Amtswalter zulassen.412 NVwZ 2016, 960. oben, Teil 2, D. 5. 409  Hermstrüwer, AöR 145, 2020, 487. 410  Hermstrüwer, AöR 145, 2020, 489. 411  Martini/Nink, DVBL 2018, 1128, 1129. 412  Guckelberger, Öffentliche Verwaltung im Zeitalter der Digitalisierung, 2019, Rn. 81. 407  Binder, 408  Vgl.

216

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Unabhängig von den möglichen Entscheidungsformen (gebunden, Ermessen und Beurteilungsspielraum) ist dem vorgelagert die Auslegung der Tatbestandsmerkmale. Durch die Induktion der Informationen aus dem Sachverhalt kann dieser unter die jeweiligen Tatbestandsmerkmale subsumiert werden. Es fehlt den Maschinen bislang an einem symbolischen Verständnis der Gesetzmäßigkeiten von natürlichen und sozialen Ordnungen.413 Die Problematik stellt sich nicht nur bei unbestimmten Rechtsbegriffen. Bislang verhindert das begrenzte Sprachverständnis intelligenter Systeme einen produktiven Einsatz dort, wo ein präziser Umgang mit Sprache essenziell ist, etwa auch bei der Auslegung juristischer Texte.414 Wo schließlich eine statistische Aussage für eine rechtserhebliche Entscheidung aus rechtlichen Gründen nicht ausreicht, verbietet sich der Einsatz von Systemen, die nur Korrelationen finden können, daher bereits aus verfassungsrechtlichen Gründen.415 Menschen wägen die Gründe ihres Handelns moralisch ab und entscheiden nicht ausschließlich nach einem berechenbaren Ergebnis. Algorithmische Entscheidungen hingegen sind einzig statistisch ausgerichtet, sodass sie das Für und Wider einer Entscheidung nie berücksichtigen können. Der Sachbearbeiter hingegen muss aus den relevanten Fällen extrapolieren, Analogien bilden und stets bemüht sein, die widerstreitenden Interessen in einen Ausgleich zu bringen. Damit ist die Beurteilung der Zulässigkeit eines Einsatzes nicht einzig daran zu messen, ob es um gebundene oder Ermessensentscheidungen in der Verwaltung geht. Der Einsatz muss in jedem Fall situationsabhängig bzw. sektorspezifisch gesondert auf seine Zulässigkeit hin überprüft und beurteilt werden. Etwas anderes kann gelten, wenn man den Einsatz von KI allein auf Entscheidungen auf der Tatsachenebene beschränkt. Der Einsatz fallbasierter Entscheidungen, für die komplexe Sachverhalte unter bestehenden Tatbestandsvoraussetzungen subsumiert werden müssen, Fälle verglichen werden müssen und im Rahmen eines eingeräumten Ermessensspielraums verschiedene Faktoren gegeneinander abgewogen werden, ist somit nicht möglich. Es wäre eine fehlgehende Einschätzung, dass der selbstlernende Algorithmus durch das Auswerten historischer Akten anhand früherer Entscheidungen menschlicher Verwaltungsmitarbeiter trainieren kann, angemessene fallbasierte Entscheidungen selbstständig zu treffen.416 Nur das, was im schematischen Verfahren Berücksichtigung gefunden hat, kann vom KI-System zu einem sachgerechten Ergebnis geführt werden. Schon der VerAöR 143, 2018, 17. AöR 143, 2018, 18. 415  So auch: Wischmeyer, AöR 143, 2018, 24. 416  Thapa/Parycek, Data Analytics in Politik und Verwaltung, in: (Un)Berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. 62. 413  Wischmeyer, 414  Wischmeyer,



B. Regulatorische Anknüpfungspunkte 217

such, einem KI-System die Beurteilung zu überlassen, wann ein unerlaubtes Entfernen Unfallort im Sinne von § 142 StGB vorliegt, gelang bislang nicht zufriedenstellend.417 (2) Regelung in der AO Ein vollautomatisiertes Steuerverwaltungsverfahren wird durch § 154 Abs. 4 AO ermöglicht, soweit kein Anlass zur Bearbeitung des Einzelfalls durch den Amtsträger besteht, § 154 Abs. 1 AO.418 In § 154 Abs. 4 S. 4 AO wird die Willensbildung über den Erlass des Verwaltungsaktes im Zeitpunkt des Abschlusses der maschinellen Verarbeitung fingiert.419 Als Gegensteuerungsmittel kann die Finanzverwaltung ein Risikomanagementsystem einsetzen, welches eine Anzahl zufällig ausgefilterter Fälle zur manuellen Bearbeitung vorgibt und das System zudem regelmäßig auf seine Zielführung hin überprüft. Einem Geheimhaltungsinteresse wird mit § 88 S. 4 AO dadurch Rechnung getragen, dass Einzelheiten des Risikomanagementsystems nicht offengelegt werden müssen. Gerechtfertigt wird das mit einer Gefahr der Manipulation, der damit begegnet werden soll. Komplexe Entscheidungen, die auf einer Wertung beruhen, müssen nach wie vor von Menschen getroffen werden. Der Gesetzgeber hat damit dem Umstand Rechnung getragen, dass komplexere Subsumtionen maschinell nicht möglich sind. (3) Regelungen im allgemeinen Verwaltungsverfahrensrecht § 35a VwVfG ermöglicht nunmehr den Erlass vollautomatisierter Verwaltungsakte. Die Willensbetätigung des Menschen wird beim Einsatz von Algorithmen für vollautomatisierte Entscheidungen vorweggenommen in der Programmierung und Implementierung des (ggf. selbstlernenden) Algorithmus zu einem Zeitpunkt, in dem der zu entscheidende Einzelfall sich noch nicht in all seinen Details abzeichnen konnte.420 Die Norm verdeutlicht, dass der Gesetzgeber bereits regulatorisch die technischen Grenzen in Gesetz gegossen hat, indem der Anwendungsbereich auf Fälle begrenzt wurde, in denen weder Ermessen noch Beurteilungsspielraum besteht.

DVBl 2018, 1128, 1129. dies im Einzelfall erforderlich ist, ergibt sich aus § 88 Abs. 5 S. 3 Nr. 1, Nr. 2, Nr. 3 AO sowie § 155 Abs. 4 S. 3 i. V. m. § 150 Abs. 7 S. 1 AO. 419  Binder-Seckelmann, Digitalisierte Verwaltung, S. 314, Rn. 10. 420  Martini/Nink, NVwZ – Extra 10/2017, 1, 2. 417  Marini/Nink, 418  Wann

218

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

(a) Gesetzgeberische Absicherungsmaßnahmen Voraussetzung ist jedoch, dass es sich um keine Ermessensentscheidung oder um die Ausübung von Beurteilungsspielraum handelt. Damit trägt der Gesetzgeber zumindest teilweise den oben genannten Gefahrensituationen Rechnung. Sämtliche Konstellationen, die eine Einzelfallgerechtigkeit voraussetzen, sind vom Anwendungsbereich der Vorschrift ausnahmslos ausgenommen. Als weitere Absicherung dient ein Gesetzesvorbehalt, sodass die Entscheidung, ob in einem Verwaltungsbereich Vollautomation zulässig ist, einzig gesetzgebenden Instanzen überantwortet wurde. Zudem verpflichtet § 24 Abs. 1 S. 3 VwVfG die Behörden, bei vollautomatisierten Verwaltungsentscheidungen tatsächliche Angaben des Beteiligten zu berücksichtigen, die für den Einzelfall bedeutsam sind, im maschinellen Verfahren aber keine Berücksichtigung fanden.421 Damit die Verwaltung überhaupt überprüfen kann, ob diese Angaben Berücksichtigung fanden, ist hieraus gleichzeitig eine Anforderung abzuleiten, dass der Staat zum einen Strukturen schaffen muss, die eine Überprüfung ermöglichen, und sich zweitens nur solcher Systeme bedienen darf, die dies auch ermöglichen. Insoweit wird in der Zusammenschau des § 35a VwVfG und § 24 Abs. 1 S. 3 VwVfG den vorbenannten Mindestgarantien teilweise Rechnung getragen.422 (b) Ermessensreduktion auf Null Einen Grenzfall zulässiger Vollautomatisierung i. S. d. § 35a VwVfG ermöglichen Verwaltungsvorschriften, die den grundsätzlich bestehenden behördlichen Ermessensspielraum wegen der Selbstbindung der Verwaltung nach Art. 3 Abs. 1 GG auf Null reduzieren und somit dem KI-System faktisch keine Ermessensausübung und damit keine Wertungsaufgaben überantworten.423 Diese ermessensreduzierenden Parameter könnten prinzipiell mathematisch dem KI-System vorgegeben werden, z. B. im Rahmen von verwaltungsrechtlichen Kostenentscheidungen.424 (4) Regelung im Sozialrecht Im Sozialrecht – vielfach mit rechenintensiven Verfahren – ermöglicht § 31a SGB X eine vollautomatisierte Entscheidung. Anders als der § 35a VwVfG ist im Sozialrecht jedoch kein Gesetzesvorbehalt vorgesehen. Eine NVwZ – Extra, 10/2017, 1, 3. Prell, in: BeckOK VwVfG, 50. Ed. 1.10.2020, VwVfG § 35a Rn. 11. 423  Martini/Nink, DVBl 2018, 1128, 1129. 424  Martini/Nink, DVBl 2018, 1128, 1129. 421  Martini/Nink, 422  So



B. Regulatorische Anknüpfungspunkte 219

Beschränkung auf gebundene Entscheidungen ist nicht ausdrücklich vorgesehen. Gemäß den Erläuterungen wird durch die Einschränkung „sofern kein Anlass besteht, den Einzelfall durch Amtsträger zu bearbeiten“, zum Ausdruck gebracht, dass ein Verwaltungsakt auch hier nicht vollautomatisiert erlassen werden darf, wenn eine Ermessensentscheidung oder ein Beurteilungsspielraum vorgesehen ist.425 bb) Zwischenergebnis Der Verordnungsgeber hat ein Verbot vollautomatisierter Entscheidungen formuliert, welches wegen seines engen Anwendungsbereichs viele risikoreiche Anwendungsfelder nicht erfassen kann, da zum einen assistierende KISysteme nicht Anwendung finden und zudem der Tatbestand des Art. 22 Abs. 1 DSGVO weiter verlangt, dass die betroffene Person der Entscheidung „unterworfen“ sein muss und die Entscheidung sie auch „beeinträchtigen“ muss. Insbesondere für assistierende KI-Systeme regelt die DSGVO nicht mit klaren Regelungen und weist insoweit eine Regelungslücke auf. Der nationale Gesetzgeber hat sich bemüht, gewisse Gegensteuerungsmittel vorzusehen, um Gefahren, die mit dem Automationsgrad einhergehen, zu begegnen. Richtigerweise hat er per se Ermessensentscheidungen und Beurteilungsspielräume aus dem Anwendungsbereich ausgenommen. Dennoch erfasst dieses Abgrenzungskriterium allein die Gefahren nicht. Eine zusätzliche Absicherung ist der Gesetzesvorbehalt. Dennoch sollte der Vorbehalt selbst eine Aussage darüber machen, dass sektorspezifisch Vollautomation auch bei unbestimmten Rechtsbegriffen nicht möglich sein kann. Durch die Neuregelungen wird deutlich, dass der Gesetzgeber wohl in Anbetracht der technisch (noch) begrenzten Möglichkeiten den menschlichen Entscheider für Abwägungsaufgaben als unverzichtbar betrachtet.426 Gleichwohl hat der Gesetzgeber es offenbar versäumt, verwaltungsverfahrensrechtliche Vorgaben für Assistenzsysteme zu schaffen. § 155 Abs. 4 AO, § 35a VwVfG oder § 31a SGB X sind Vorschriften, die bereits den rechtlichen Rahmen für vollautomatisierte Entscheidungen in der Verwaltung abstecken. Mit diesen Rechtsgrundlagen ist das Diskriminierungsrisiko aber längst nicht mehr abstrakt. So könnte ggf. das Risikomanagementsystem eines automatisierten Besteuerungsverfahrens gemäß Art. 88 Abs. 5 S. 1 AO Steuererklärungen derer für eine gesonderte Prüfung vorDigitalisierte Verwaltung, 2019, S. 316, Rn. 14. in: Unger/Ungern-Sternberg, Demokratie und künstliche Intel-

425  Binder-Seckelmann, 426  Hoffmann-Riem,

ligenz, 2019, S. 149.

220

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

schlagen, die schon einmal einen Einspruch eingelegt haben oder nach der Konfession klassifizieren, wenn es eine Korrelation zwischen der Zahl der Steuerhinterzieher und einer bestimmten Glaubensrichtung erkennt.427 Im Sozialhilfebereich könnte ein KI-System Menschen mit Migrationshintergrund stärkeren Kontrollen unterziehen, soweit ein statistischer Zusammenhang zur Zahl von Sozialbetrugsfällen identifiziert wird. An diesen nicht fern liegenden Szenarien zeigt sich u. a. auch die komplexe Verflechtung von Ethik und Recht, denn nicht alles statistisch tatsächlich Zutreffende wollen wir gesellschaftlich hinnehmen und zu Lasten des Einzelnen „sanktionieren“. Diese algorithmisch nicht abbildbaren Diskriminierungsrisiken lassen sich rechtlich nur erfassen, wenn auch die Folgen von Datenverarbeitungen – ob mit oder ohne Personenbezug – regulatorisch erfasst werden. Das österreichische Beispiel zeigt zudem, dass nicht nur von vollautomatisierten Entscheidungen, sondern in gleicher Intensität auch von vorbereitenden Entscheidungen von KI-Systemen Risiken ausgehen. Auch wenn der Mensch ebenfalls voreingenommen und diskriminierend sein kann, geht von diskriminierenden KI-Systemen, die gerade in Massenverfahren wegen der Skalierbarkeit eine ungleich höhere Anzahl von Fällen bearbeiten können, eine breitere Wirkmacht der Diskriminierungen aus. Derzeit gibt es keinerlei regulative Vorgaben, wie konkret KI-Systeme trainiert werden müssen. Standards fehlen bislang vollständig. Zukünftige Regeln müssten den Trainingsprozess von KISystemen ebenfalls im Blick haben. f) Recht auf Hinzuziehen eines menschlichen Entscheiders Neben den allgemeinen Betroffenenrechten vermittelt Art. 22 Abs. 3 DSGVO weitere Ansprüche. Im Rahmen von Art. 22 Abs. 3 DSGVO handelt es sich um ein Betroffenenrecht, was sich aus dem klaren Wortlaut des Art. 83 Abs. 5 lit. b) DSGVO ergibt. Hier kann es dahinstehen, ob Art. 22 Abs. 3 DSGVO dem Betroffenen ein subjektiv einklagbares Recht vermittelt oder nicht. Jedenfalls verpflichtet Art. 22 Abs. 3 den Verantwortlichen, Prozesse für das Entscheidungsverfahren vorzusehen, die „mindestens“ das Recht auf Erwirkung des Eingreifens einer Person seitens des Verantwortlichen, auf Darlegung des eigenen Standpunkts sowie auf Anfechtung der Entscheidung gewährleisten. Der betroffenen Person muss also die Möglichkeit eingeräumt werden, eine Entscheidung, die zunächst einmal ausschließlich automatisiert erfolgen sollte, wieder zu einer Entscheidung zu machen, die inhaltlich von einer Person zu verantworten ist und die hierbei insbesondere auch die individuelle Perspektive des einzelnen Betroffenen berücksichtigen muss.428 In427  Martini,

Blackbox Algorithmus, 2019, S. 88. in: Kühling/Buchner, DSGVO, Art. 22 Rn. 31.

428  Buchner,



B. Regulatorische Anknüpfungspunkte 221

soweit gewährleistet Art. 22 Abs. 2 mit dem Recht auf einen menschlichen Entscheider ein „Human in the loop“-Modell.429 Eine solche Überprüfung muss durch den Verantwortlichen selbst vorgenommen werden; nicht ausreichend ist es demgegenüber, wenn allein die Möglichkeit besteht, die Entscheidung durch eine andere Stelle (z. B. Aufsichtsbehörde, Gericht) überprüfen zu lassen.430 Daraus lassen sich für die Verwirklichung des Art. 22 Abs. 3 DSGVO in diesem Zusammenhang zwei Voraussetzungen ableiten: Zum einen muss der hinzugezogene Mensch eine eigene Entscheidungsbefugnis haben, d. h. die formelle Möglichkeit, eine algorithmisch abweichende Entscheidung zu treffen. Zum anderen ist es dann erforderlich, dass für eine eigene Bewertung dem Entscheider auch die Faktoren für die Herleitung der automatisierten Entscheidung vorliegen, um eine Neubewertung überhaupt zu ermöglichen.431 Daran zeigt sich einmal mehr, dass die Betroffenenrechte von Transparenz abhängig sind und dass die Transparenz sowohl den Betroffenen als auch den Verantwortlichen zu schützen vermag. Andernfalls könnte der Verantwortliche seiner Pflicht aus Art. 22 Abs. 3 nicht nachkommen. aa) Restriktiver Anwendungsbereich des Hinzuziehungsrechts? Die Systematik des Art. 22 Abs. 1 bis 3 lässt den Schluss zu, dass das Recht auf Hinzuziehen eines menschlichen Entscheiders aus Art. 22 Abs. 3 restriktiv auszulegen ist. Denn Art. 22 Abs. 1 DSGVO formuliert ein grundsätzliches Verbot vollautomatisierter Entscheidungen, wovon Art. 22 Abs. 2 DSGVO Ausnahmetatbestände vorsieht. Die Auffassung, dass ein generelles Hinzuziehungsrecht die Charakteristik eines Regel-Ausnahme-Prinzips des Abs. 1 und Abs. 2 konterkarieren würde, vermag nicht zu überzeugen. Es wird dann angeführt, dass das Verbot aus Abs. 1 allenfalls eine ausnahmslose Regel wäre. Diese Auffassung berücksichtigt jedoch nicht die zeitliche Dimension. Das Hinzuziehungsrecht ist nachgelagert. Das bedeutet so viel, dass bei der Geltendmachung des Hinzuziehungsrechts aus Abs. 3 bereits ein Ausnahmetatbestand des Abs. 2 gegriffen hat und der vollautomatisierte Entscheidungsprozess abgeschlossen ist. Dann kann jedoch nicht mehr die Rede davon sein, dass das Verbot ausnahmslos gelte. Zugegebenermaßen ist der Wortlaut ungünstig gewählt: „the right to obtain human intervention“ heißt es in der Originalfassung. „Eingreifen“ lässt einzig die Interpretation zu, dass der Entscheidungsprozess noch nicht abgeschlossen ist. Das würde in der 429  „Human in the loop“ (HITL)-Modelle werden definiert als Modelle, die menschliche Interaktionen erfordern, vgl. https://en.wikipedia.org/wiki/Human-inthe-loop. 430  Martini/Nink, NVwZ-Extra, 10/2017, 1, 4. 431  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 29.

222

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Konsequenz bedeuten, dass tatsächlich durch das Hinzuziehungsrecht jeg­ liche vollautomatisierte Verarbeitung und Entscheidung verboten wäre. To obtain kann, was wiederum der Normstruktur des Art. 22 DSGVO viel mehr gerecht wird, verstanden werden als „zu erhalten“, „zu erreichen“. bb) Zwischenergebnis Verantwortliche müssen für KI-Systeme, wenn diese irgendwie in Entscheidungsprozesse eingebunden werden, mit geeigneten Garantien sicherstellen, dass eine Mensch-Maschine-Schnittstelle vorhanden ist, um eine Beaufsichtigung zu gewährleisten. Hierfür wird im öffentlichen Sektor eine große Menge an Personal benötigt, die über entsprechendes Fachwissen verfügt. Darüber hinaus bedarf es Leitlinien, etwa Verwaltungsrichtlinien, um einem Phänomen wie Automation Bias gegenzusteuern. 3. KI und Grundprinzipien der DSGVO Soweit im öffentlichen Sektor KI-Systeme zur Erfüllung öffentlicher Aufgaben eingesetzt werden, können KI-Systeme die in Art. 5 Abs. 1 DSGVO verankerten Grundprinzipien des Datenschutzrechts herausfordern. Nachfolgend werden die Grundsätze der DSGVO einzeln in Bezug auf KI-Systeme untersucht und anschließend bewertet, inwiefern es (derzeit) überhaupt möglich ist, den in der Hambacher Erklärung432 formulierten sieben datenschutzrechtlichen Anforderungen an KI-Systeme gerecht zu werden. In diesem Zusammenhang ist zu fragen, ob es einen Interpretationsspielraum gibt, um die Datenschutzgrundsätze so anzuwenden, dass sie mit KI-Systemen vereinbar sind. a) Rechtmäßigkeit, Art. 5 Abs. 1 lit. a) DSGVO In Art. 5 Abs. 1 lit. a) DSGVO werden drei Grundsätze der DSGVO aufgestellt: Rechtmäßigkeit, Verarbeitung nach Treu und Glauben und Transparenz.433 Die Verarbeitung personenbezogener Daten muss nach Art. 5 Abs. 1 lit. a) DSGVO zunächst rechtmäßig sein, d. h. dem Verbot mit Erlaubnisvorbehalt 432  Datenschutzkonferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder vom 03.04.2019, abrufbar unter: https://www.datenschutzkonferenz-online.de/ media/en/20190405_hambacher_erklaerung.pdf. 433  Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2.  Auflage 2020, Art. 5 Rn. 17.



B. Regulatorische Anknüpfungspunkte 223

in der Weise genügen, dass es auf eine Rechtsgrundlage gestützt werden kann. Das Verbot mit Erlaubnisvorbehalt ist auch primärrechtlich in Art. 8 Abs. 2 S. 1 GRCh verankert, wonach personenbezogene Daten nur mit Einwilligung der betroffenen Person oder auf einer sonstigen gesetzlich geregelten Rechtsgrundlage verarbeitet werden dürfen. Rechtsgrundlagen können sich vor allem aus Art. 6 DSGVO ergeben, ggf. i. V. m. nationalen Vorschriften und ggf. unter dem Vorbehalt weiterer Ausnahmevoraussetzungen wie etwa Art. 9 Abs. 2 oder Art. 22 Abs. 2 DSGVO. Bei der Verarbeitung von personenbezogenen Daten durch KI-Systeme kann es zum einen um die Legalisierung der Verarbeitung für Trainingszwecke des KI-Systems gehen oder aber um die Bereitstellung dieser Daten für ein algorithmisches Modell, das individualisierte Output-Ergebnisse liefern soll. Es kann durchaus sein, dass im Rahmen eines Kompatibilitätstests eine Rechtsgrundlage beide Phasen der Verarbeitungen (Training und Implementierung) abdeckt. Nachfolgend werden lediglich die für KI-Systeme relevantesten Rechtsgrundlagen betrachtet. aa) Einwilligung Als Rechtsgrundlage für die Verarbeitung der personenbezogenen Daten durch KI-Systeme könnte die Einwilligung nach Art. 6 Abs. 1 S. 1 lit. a) DSGVO in Betracht kommen. Soweit besondere Kategorien personenbezogener Daten involviert sind, kommt als zusätzlicher Ausnahmevorbehalt eine Einwilligung nach Art. 9 Abs. 2 lit. a) DSGVO in Betracht. Diese Rechtsgrundlage ist jedoch nicht praktikabel, da es fraglich ist, wie eine wirksame und eine i. S. v. Art. 4 Nr. 11 DSGVO informierte Einwilligung nachgewiesen werden kann. Eine praktische Schwierigkeit wird die freie Widerruflichkeit von Einwilligungen bereiten. Nach erklärtem Widerruf müssen jene personenbezogenen Daten, die während der Analyse zwischen In- und Output verarbeitet wurden – wobei unklar sein wird, welche das im Einzelnen waren –, gelöscht werden. Diese technische Herausforderung macht das KI-System, soweit sie auf eine Einwilligung fußt, datenschutzrechtlich schwer umsetzbar. Dabei ist diese Rechtsgrundlage nach Maßgabe des EG 43 DSGVO in einigen Konstellationen wegen eines Machtungleichgewichts zwischen der betroffenen Person und dem Verantwortlichen, insbesondere wenn es sich bei dem Verantwortlichen um eine Behörde handelt, mangels Freiwilligkeit per se ausgeschlossen. Insofern bietet es sich an, wenn möglich die Verarbeitungen auf eine andere Rechtsgrundlage zu stützen.

224

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

bb) Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung Als Rechtsgrundlage können öffentliche Stellen sich auch auf Art. 6 Abs. 1 lit. c) DSGVO berufen. Dies ist dann der Fall, wenn Behörden hoheitlich handeln und hierdurch gleichzeitig gesetzliche Pflichten erfüllen.434 Eine Differenzierung zwischen öffentlichen Datenverarbeitungen, die sich auf lit. e) oder lit. c) stützen, ist zur korrekten Implementierung des Widerspruchsrechts nach Art. 21 DSGVO notwendig. Denn nach Art. 21 Abs. 1 hat der Betroffene die Möglichkeit, Datenverarbeitungen auf der Grundlage von lit. e) zu widersprechen.435 cc) Erforderlichkeit, Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO Die vorbenannten Rechtsgrundlagen, namentlich Art. 6 Abs. 1 lit. b) bis lit. e) DSGVO, erfordern als einschränkendes Kriterium der Rechtsgrundlagen eine Erforderlichkeit der Verarbeitung. Dieses Kriterium kann im Kontext der jeweiligen Rechtsgrundlage eine andere Nuancierung erfahren. Insgesamt muss die Erforderlichkeit der Datenverarbeitungen unionsrechtlich ausgelegt werden. Der EuGH hat den Begriff der Erforderlichkeit als einen eigenständigen Begriff des Gemeinschaftsrechts angesehen,436 d. h., die Verarbeitungen müssen im Einklang mit der DSGVO stehen und insbesondere verhältnismäßig sein.437 Die Erforderlichkeit ist nicht gegeben, wenn die personenbezogenen Daten zum Abschluss eines Vertrags durch ein KI-System verarbeitet werden und anschließend für weitere Analysezwecke verwendet werden. dd) Überwiegende berechtigte Interessen des Verantwortlichen Da es hier um den staatlichen Einsatz von KI-Systemen geht, kommt die in der Praxis oft bemühte Rechtsgrundlage der überwiegenden berechtigten Interessen des Verantwortlichen nach Art. 6 UAbs. 1 S. 1 lit. f) DSGVO gemäß Art. 6 Abs. 1 S. 2 DSGVO nicht für die von staatlichen Stellen in Erfüllung ihrer Aufgaben vorgenommene Verarbeitung in Betracht.

434  Frenzel,

in: Paal/Pauly, DSGVO Kommentar, Art. 6, Rn. 18. in: Gierschmann/Schlender/Stentzel/Veil, Kommentar D ­ S-GVO

435  Assion/Nolte/Veil,

Art. 6, Rn. 95. 436  Buchner/Petri, in: Kühling/Buchner, 3. Aufl. 2020, DSGVO Art. 6 Rn. 118. 437  Schwartmann/Jacquemain, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 6 Rn. 100, 107; EuGH Urt. v. 16.12.2008 – C-524/06.



B. Regulatorische Anknüpfungspunkte 225

b) Transparenz, Treu und Glauben bzw. Fairness, Art. 5 Abs. 1 lit. a) DSGVO Art. 5 Abs. 1 lit. a) DSGVO verlangt neben der rechtmäßigen Verarbeitung, dass diese auch nach Treu und Glauben und in einer transparenten Weise erfolgen müsse. Für ein besseres Verständnis ist es in diesem Zusammenhang hilfreich, den ethischen übergeordneten Zielwert hervorzuheben (aa)), um anschließend datenschutzrechtliche Fairness in Bezug auf KI-Systeme zu beleuchten (bb)) und schließlich ein handhabbares Verständnis von Transparenz in Bezug auf KI-Systeme ableiten zu können. aa) Vertrauen in KI-Systeme als ethischer Zielwert „Vertrauen ist gut, Kontrolle ist besser.“438

Die Redewendung bezeichnet ausnahmslos wertend Vertrauen als gut und stellt der Kontrolle einen Komparativ an die Seite. Eine Verbindung zwischen Vertrauen und Kontrolle kann dadurch entstehen, dass man die Formel mit einem Superlativ erweitert: Vertrauen mit Kontrollmöglichkeiten ist am besten. Man könnte die Redewendung aber auf die vorliegende Transparenzproblematik komplexer algorithmischer Systeme wie folgt negativ modifizieren: „Ohne Kontrolle kein Vertrauen“. Die Expertengruppe der europäischen Kommission für vertrauenswürdige KI-Systeme439 bezeichnet in ihren Ethikleitlinien Fairness und Erklärbarkeit als zwei von vier wesentlichen ethischen Grundprinzipien, um Vertrauen sicherzustellen. In Bezug auf Fairness wird gefordert, eine materielle und prozedurale Dimension mitzudenken.440 Das dort geäußerte Prinzip der Erklärbarkeit ist nicht deckungsgleich mit dem datenschutzrechtlichen Verständnis von Transparenz. Dennoch gibt es größere Schnittmengen, die es hier hervorzuheben gilt. Die Expertengruppe verlangt im Hinblick auf die Erklärbarkeit von KI-Systemen, dass algorithmische Systeme transparent sein müssen, was bedeutet, dass die Leistungs­ fähigkeit und der Zweck des KI-Systems kommuniziert werden müssen und 438  Alte russische Redewendung, die trotz fehlender stichhaltiger Quellen Wladimir Iljitsch Uljanow (Lenin) zugeschrieben wird, vgl. Wikipedia, abrufbar unter: https://de.wikipedia.org/wiki/Vertrauen_ist_gut,_Kontrolle_ist_besser! (zuletzt abgerufen am 21.06.2019), wobei Lenins häufiger Gebrauch dieser Redewendung wörtlich übersetzt „Vertraue, aber prüfe nach“ heißen müsste. 439  Ethische Grundsätze der Expertengruppe der EU, der High Level Expert Group on AI, abrufbar unter: https://ec.europa.eu/digital-single-market/en/news/draft-ethicsguidelines-trustworthy-ai. 440  HEG-KI 2018, S. 15.

226

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Entscheidungen erklärbar sind: „(…) Ohne diese Informationen kann eine Entscheidung nicht ordnungsgemäß angefochten werden. Eine Erklärung, warum ein Modell ein bestimmtes Ergebnis oder eine bestimmte Entscheidung erzeugt hat (und welche Kombination aus Eingabefaktoren dazu geführt hat) ist nicht immer möglich. Diese Fälle werden als ‚Blackbox‘-Algorithmen bezeichnet und erfordern besondere Beachtung. Unter diesen Umständen sind möglicherweise andere Erklärbarkeitsmaßnahmen notwendig (z.  B. Rückverfolgbarkeit, Nachprüfbarkeit und transparente Kommunikation über die Fähigkeiten des Systems), solange das System als Ganzes Grundrechte achtet. Bis zu welchem Grad Erklärbarkeit notwendig ist, hängt sehr stark vom Kontext und der Tragweite der Konsequenzen eines fehlerhaften oder anderweitig unzutreffenden Ergebnisses ab.“441 Vertrauen setzt insoweit nicht voraus, wenn der Einzelne die Einzelheiten der Funktionsweise der Technologie versteht. Erforderlich ist vielmehr, dass durch Erläuterungen der wesentlichen Aspekte erläutert werden.442 Vergleichen ließe sich das mit Strom: Funktionsweise, Gefahren und Vorsichtsvorkehrungen lassen sich kinderleicht erklären, ohne dass jedem die Funktionsweise von Neuronen und sich abstoßender Elektronen Gewahr bekannt ist. Wenn Vertrauen ein übergeordnetes Ziel ist, das auch datenschutzrechtlich Beachtung zu finden hat, so kann es angezeigt sein, das datenschutzrechtliche Verständnis von transparenten Verarbeitungen auch in diesem Lichte auszulegen. Da es bei Künstlicher Intelligenz um eine Risikotechnologie geht, müssen auch rechtliche Aspekte der Produktsicherheit mitgedacht werden.443 Dort zu untersuchende und zu bedenkende Haftungsfragen können Verantwortlichkeitssphären konturieren, was wiederum Einfluss auf Grenzen der Transparenzpflichten der einzelnen Akteure haben könnte. bb) Fairness Die deutsche Übersetzung von Fairness lautet „Treu und Glauben“ und ist ungenau. Aussagekräftiger ist es, hier von Fairness zu sprechen, womit insbesondere das Gebot zu verstehen ist, der betroffenen Person das notwendige Wissen zur Verfügung zu stellen bzw. nicht heimlich personenbezogene Daten zu verarbeiten.444 Ein solches Verständnis steht im Einklang mit EG 60 441  HEG-KI

2018, S. 16. einem allgemeinen Teil der Erklärung könnten z. B. steckbriefartig die Funktionen der Klassifikation und der Regression erläutert werden. In einem besonderen Teil könnten dann die besonderen Gewichtungsparameter dargestellt werden. 443  Dies bleibt weiteren Untersuchungen vorbehalten. 444  Herbst, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. 5 Rn. 15. 442  In



B. Regulatorische Anknüpfungspunkte 227

der DSGVO, wonach eine faire Verarbeitung es erforderlich macht, dass die betroffene Person über die Existenz des Verarbeitungsvorgangs und seine Zwecke unterrichtet wird und darüber hinaus die Person über das Bestehen und die Folgen eines Profilings unterrichtet wird. Der Grundsatz der Transparenz und der unter Treu und Glauben gefasste Grundsatz der Fairness445 stehen auch nach Ansicht des EuGH in einem wechselseitigen Verhältnis zueinander.446 Eine Entscheidung kann nur angefochten werden, wenn die für die Anfechtung wesentlichen Informationen zugrunde liegen. Hierin zeigt sich, in welch starker Wechselbeziehung Fairness und Transparenz stehen und dass Transparenzpflichten für Anbieter und Nutzer von KI-Systemen für die Sicherstellung von Vertrauen eine zentrale Voraussetzung sind. Für Vertrauen in einem demokratischen Rechtsstaat ist es erforderlich, dass betroffene Personen die erforderlichen Informationen erhalten, um einen wirk­ samen Rechtsbehelf ausüben zu können. Mit Blick darauf, dass Transparenz und Fairness in einem datenschutzrechtlichen Grundsatz zusammen erwähnt werden, kann Fairness in diesem Kontext besser als informationelle Fairness verstanden werden. Das macht es erforderlich, betroffenen Personen ein Zugangsrecht zu den Trainingsdaten zu verleihen, weil aus dem Wissen über die Trainingsdaten Diskriminierungen des Modells erkannt werden können. Neben der informationellen Perspektive gibt es noch eine inhaltliche Dimension der Überprüfbarkeitssicherung. EG 71 der DSGVO verlangt für die Gewährleistung einer fairen und transparenten Verarbeitung die Verwendung geeigneter mathematischer oder statistischer Verfahren für das Profiling, vom Verantwortlichen zu ergreifende technische und organisatorische Maßnahmen, mit denen in geeigneter Weise insbesondere sichergestellt wird, dass Faktoren, die zu unrichtigen personenbezogenen Daten führen, korrigiert werden und das Risiko von Fehlern minimiert wird, und personenbezogene Daten in einer Weise zu sichern, dass den potenziellen Bedrohungen für die Interessen und Rechte der betroffenen Person Rechnung getragen wird und die unter anderem verhindern, dass es gegenüber natürlichen Personen zu diskriminierenden Wirkungen kommt. cc) Transparenz Eine transparente Datenverarbeitung ist für informationelle Selbstbestimmung ebenso wie für die Demokratie entscheidend. Zum einen soll durch Transparenz einem Gefühl, beobachtet und überwacht zu werden, das in ein 445  So auch Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 5 Rn. 30. 446  Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2.  Auflage 2020, Art. 5 Rn. 17; EuGH v. 01.10.2015 – C-201/14, ECLI:EU:C:2015:638 – Smaranda Bara, dort Rn. 56.

228

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

diffuses Bedrohungsgefühl münden könne, entgegengewirkt werden.447 Zum anderen gewährleiste der Anspruch auf Auskunft – ein im Dienste der Transparenz primärrechtlich (Art. 8 Abs. 2 GRCh) abgesicherter Anspruch448 – eine Funktionsbedingung der Demokratie.449 Denn wer unsicher sei, welche Informationen der eigenen sozialen Umwelt bekannt sind, und daher das Wissen möglicher Kommunikationspartner nicht abzuschätzen vermöge, könne in seiner Freiheit wesentlich gehemmt werden, aus eigener Selbstbestimmung zu planen und zu entscheiden.450 Dadurch könnten sogenannte „Chilling effects“ (Einschüchterungseffekte) entstehen, da derjenige, der unsicher sei, ob abweichende Verhaltensweisen jederzeit notiert und als Information dauerhaft gespeichert, verwendet oder weitergegeben werden, versuchen wird, nicht durch solche Verhaltensweisen aufzufallen.451 Der vor die Klammer gezogene Transparenzgrundsatz im Datenschutzrecht wird konkretisiert durch verschiedene EG und Artikel452 und zielt auf eine Sicherstellung der Betroffenenrechte ab. Der starken Betonung einer transparenten Datenverarbeitung liegt der Gedanke zugrunde, dass ohne hinreichende Transparenz der Datenschutz leerlaufen würde, weil dem Betroffenen eventuelle Rechtsverstöße nicht bekannt wären und er seine Rechte nicht geltend machen könnte.453 Bei der Transparenzdebatte in Bezug auf KI-Systeme geht es nicht um ein Verständnis der Technik als solches, denn auch die buchstäbliche Raketenwissenschaft oder Atomtechnologie ist für die meisten Menschen unverständlich.454 Es geht vielmehr um die Opazität der Entscheidungsprozesse sich selbst entwickelnder intelligenter Systeme und den damit einhergehenden Kontrollverlust oder das Gefühl eines solchen, namentlich, dass das KI-System „in dem Sinne opak ist, dass der von einer Entscheidung Betroffene kaum je nachvollziehen kann, wie oder warum ein bestimmter Input an Daten klassifiziert wurde und einen bestimmten Output hervorgebracht hat.“455

447  Veil,

Rn. 2.

in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. 15

ZD 2020, 279. in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. 15 Rn. 2; BVerfG, Beschluss v. 10.03.2008, 1 BvR 2388/03. 450  BVerfG, Beschluss v. 10.03.2008, 1 BvR 2388/03. 451  BVerfG, Urt. v. 15.12.1983, BvR 209/83. Für eine umfassende Erläuterung des Phänomens „Chilling Effects“ siehe Penney, Understanding Chilling Effects, Minnesota Law Review, 2021. 452  Insbesondere EG 39, 58–62, 71, 78, 100 und insbesondere Art. 12 ff. DSGVO. 453  Pötters, in: Gola, DS-GVO, Art. 5 Rn. 11. 454  Wischmeyer, AöR 143, 2018, 43. 455  Burrell, Big Data & Society, 1. 448  Raji, 449  Veil,



B. Regulatorische Anknüpfungspunkte 229

Ein weiteres Problem von selbstlernenden algorithmischen Systemen ist ihre rechtliche Erklärbarkeit.456 Versteht man die Transparenz als ein mehrteiliges Gebilde, so ist die Erklärbarkeit auch nur ein Aspekt der Transparenz. Erklärbarkeit und Nachvollziehbarkeit adressieren unterschiedliche Akteure. Die Erklärbarkeit ist die Aufgabe des Verantwortlichen. Die Nachvollziehbarkeit verlangt, dass betroffene Personen überhaupt im Stande sein müssen, die Erklärungen des Verantwortlichen zu verstehen. Die Aspekte Erklärbarkeit und Nachvollziehbarkeit sind basale Voraussetzungen der Intervenier­ barkeit der Betroffenen. Durch die Wechselbeziehung zwischen den Leistungsbeitrag des erklärenden Verantwortlichen und der Möglichkeit des nachvollziehenden Betroffenen ergibt sich erst als Produkt Transparenz.457 Das bedeutet konkret, dass es dem Verantwortlichen im Rahmen der Zumutbarkeitsgrenzen überhaupt möglich sein muss, den Vorgang zu erklären. Sinn und Zweck ist eine Selbstkontrolle des Verantwortlichen. Wer im Rahmen des Möglichen den Verarbeitungsprozess erklären muss, wird reflektierter handeln. Zudem wird durch die Erklärungspflicht eine Messbarkeitsgrundlage der Entscheidung für den Betroffenen geschaffen. Darin liegt die arbeitsteilige Leistung des Verantwortlichen und des Betroffenen. Gleichzeitig setzt sich Transparenz aus wechselseitigen Beiträgen und Fähigkeiten der am Verarbeitungsprozess beteiligten Akteure zusammen: Erklärbarkeit als Aufgabe des Verantwortlichen einerseits, Nachvollziehbarkeit des Betroffenen als eine auf den Beitrag des Verantwortlichen abgestimmte Fähigkeit. Die Aspekte Erklärbarkeit und Nachvollziehbarkeit sind basale Voraussetzungen der Intervenierbarkeit der Betroffenen. Die DSGVO präzisiert den Grundsatz der Transparenz in EG 58 dahingehend, dass die zur Verfügung gestellten Informationen präzise, leicht zugänglich und verständlich sowie in klarer und einfacher Sprache abgefasst sein müssen. Nur dann sind die Informationen auch nachvollziehbar. Aus dem Zweck der Selbstkontrolle und der Schaffung einer Messbarkeitsgrundlage erwachsen dem Verantwortlichen Informationspflichten. Diese variieren jedoch. Der Transparenzgrundsatz weist auch eine zeitliche Dimension auf. Drehund Angelpunkt ist dabei die Verarbeitung personenbezogener Daten, da der Verantwortliche gemäß Art. 13 Abs. 1 DSGVO der betroffenen Person „zum Zeitpunkt der Erhebung“ die Informationen (Art. 13 Abs. 1 lit. a) bis f) ­DSGVO) mitteilen muss. Das bedeutet, dem Betroffenen müssen vorher entsprechende Informationen zur Verfügung gestellt werden, wenn dessen personenbezogene Daten zu Trainingszwecken verarbeitet werden, und wiede456  Herold, DSRITB 2018, 453, 461; vgl. zur Verantwortung der Verwaltung für eine rechtmäßige Gestaltung der Entscheidungsfindung auch: Konferenz der Informationsfreiheitsbeauftragten, Transparenz der Verwaltung, S. 2. 457  So auch Wischmeyer, AöR 143, 2018, 61 ff.

230

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

rum Informationen zur Verfügung gestellt werden, wenn das entsprechende Modell auf ihn angewandt wird und im Zuge dessen ein personenbezogenes Datum verarbeitet wird. Grundsätzlich ist insoweit zu berücksichtigen, dass die Frage der Ausgestaltung der Transparenz sich zeitlich und inhaltlich bei KI-Systemen immer in zweifacher Weise stellt: erstens bei gewissen ex ante zur Verfügung zu stellenden Informationen im Rahmen des KI-Trainings, wenn personenbezogene Daten also in das System eingespeist werden, um ein Vorhersagemodell erst zu erlernen, und zweitens, wenn das Modell des KI-Systems sodann auf eine bestimmte Person angewandt wird. Das ist die Phase, in der das KI-System auch in Entscheidungsprozesse implementiert wurde. (1) Allgemeine Informationspflichten In jedem Fall sind dem Betroffenen gemäß Art. 13 Abs. 1 und 2 DSGVO vor der Verarbeitung ex ante allgemeine Informationspflichten bereitzustellen. Das bedeutet, dass den Betroffenen auch dann Informationen zur Verfügung gestellt werden müssen, wenn ihre personenbezogenen Daten im Trainingsprozess verarbeitet werden. Zu diesem allgemeinen Informationskatalog gehören u. a. der Name und die Kontaktdaten des Verantwortlichen; die Zwecke, für die die personenbezogenen Daten verarbeitet werden sollen, sowie die Rechtsgrundlage der Verarbeitung; Informationen über die Speicherdauer, gegebenenfalls die Empfänger oder Kategorien von Empfängern der Daten und ggf. die Absicht des Verantwortlichen, die personenbezogenen Daten an ein Drittland zu übermitteln. Zusätzlich zu diesen Informationen sind dem Betroffenen nach Art. 13 Abs. 2 DSGVO Informationen über seine Rechte zu erteilen. Sehr relevant ist insbesondere Art. 13 Abs. 3 DSGVO, wonach der Verantwortliche im Falle einer Weiterverarbeitung der personenbezogenen Daten – was bei KI-Systemen eher der Regelfall sein wird – der betroffenen Person vor der Weiterverarbeitung Informationen über diesen anderen Zweck (z. B. Trainieren des KI-Systems) gemäß Art. 13 Abs. 2 ­DSGVO zur Verfügung stellen muss. Gemäß Art. 12 Abs. 1 DSGVO müssen die Informationen in präziser, transparenter, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache bereitgehalten werden. Dabei gilt Art. 12 DSGVO „vor die Klammer gezogen“ für alle in Kapitel III der DSGVO geregelten Betroffenenrechte, sofern die Art. 13 bis 22 keine spezielleren, von Art. 12 DSGVO abweichenden Regelungen vorsehen.458

458  Veil,

Rn. 1.

in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. 12,



B. Regulatorische Anknüpfungspunkte 231

Der Verordnungsgeber geht insoweit davon aus, dass transparente Verarbeitungen nur durch eine Kommunikation zwischen den Verantwort­ lichen und den betroffenen Personen möglich sind. (2) Besondere Informationspflichten Soweit es um eine Vollautomation der Entscheidung geht (Anwendungsbereich des Art. 22 Abs. 1), gelten jedenfalls qualifizierte Informationspflichten, bezogen auf den spezifischen Umstand der automatisierten Entscheidung, die dabei involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen der Datenverarbeitung, Art. 13 Abs. 2 lit. f) sowie Art. 14 Abs. 2 lit. g) DSGVO. Insofern muss der Verantwortliche betroffene Personen darüber informieren, ob eine automatisierte Entscheidungsfindung stattfindet und welche Folgen dies haben könnte, vgl. EG 60 S. 3 der DSGVO. (a) Darlegung der involvierten Logik Fraglich ist, was die an den Verantwortlichen gerichtete Pflicht, die involvierte Logik darzulegen, konkret bedeutet. Während die Detailtiefe unter einem Abwägungsvorbehalt steht und die Interessen der betroffenen Person und der verarbeitenden Stelle gegeneinander abgewogen werden, ist der verwendete Terminus technicus „involvierte Logik“ ein auslegungsbedürftiger Begriff. Der Normtext zielt hier auf algorithmische Systeme ab. Berücksichtigt man, dass Künstliche Intelligenz Konzepte des maschinellen Lernens sowie Logik- und wissensgestützte Konzepte umfasst, einschließlich induktiver logischer Programmierung und Inferenz- und Deduktionsmaschinen sowie Schlussfolgerungs- und Expertensysteme, so bezieht sich die Darlegung der „involvierten Logik“ auf eine leicht verständliche, auch für den nicht technikaffinen Betroffenen nachvollziehbare Erklärung der Schlussregeln. Die Offenlegung des programmierten Codes oder selbst die Darlegung jedes einzelnen Gewichtungsparameters kann bei derart emergenten intelligenten algorithmischen Systemen nicht verlangt werden.459 So agiert etwa der sogenannte EdgeRank-Algorithmus von Facebook460 nicht statisch, sondern mit jedem einzelnen Benutzer zusammen und ordnet die Beiträge in Abhängigkeit von der Interaktion mit den „Facebook-Freunden“, sodass die jeweiligen Parameter kontextuell und fließend gewichtet werden.461 Andere Systeme 459  So auch Paal/Hennemann, in: Paal/Pauly, DSGVO, Art. 13 Rn. 31; so auch: Martini, in: Paal/Pauly, DSGVO, Art. 22, Rn. 36. 460  Dieser ist verantwortlich dafür, welche Beiträge in welcher Reihenfolge in der „Timeline“ des einzelnen Benutzers angezeigt werden. 461  Kitchin, Information, Communication & Society, 2017, 14, 21.

232

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

funktionieren stark kontextabhängig, wie etwa der von Google entwickelte Suchalgorithmus: Dieselben Suchbegriffe können von zwei unterschiedlichen Orten unterschiedliche Treffer ergeben.462 Im Zusammenhang mit der Erklärbarkeit bedeutet dies, dass nicht einmal granular die einzelnen Gewichtungsparameter vorher mitgeteilt werden können. Es kann aber keine Pflicht auf Unmögliches gerichtet werden, weil das Recht dann sinnentleert daherkommt und ignoriert werden wird. Dem steht die Nachvollziehbarkeit aufseiten des Betroffenen in einer Wechselbeziehung gegenüber. Der Betroffene muss die Erklärung des Verantwortlichen überhaupt verstehen und nachvollziehen können. Maßstab für die in der Praxis schwierig zu operationalisierende Verständlichkeit muss dabei der durchschnittliche Empfänger der Information sein.463 Sonst wird der Zweck – eine Fremdkontrolle – nicht möglich sein. Einen weiteren Anhaltspunkt hinsichtlich des konkreten Inhalts bieten hier auch die Ausführungen der Art.-29-Datenschutzgruppe.464 Ausreichend sei demnach die Darstellung der wesentlichen Merkmale für die Entscheidungsfindung, die Informationsquelle sowie deren Relevanz.465 Hinzu kommt, dass es dem Sinn und Zweck der Transparenz widersprechen würde, wenn der Code des Algorithmus den Betroffenen offengelegt werden würde. Den Code werden die allermeisten Betroffenen gar nicht verstehen können und zudem meint die Darstellung in einfacher Sprache eben keinen Binärcode. Die granulare Offenlegung des Algorithmus würde daher den Transparenzgrundsatz konterkarieren. Insofern wird es in Ansehung des Sinns und Zwecks der transparenten Informationspflichten ausreichend sein, wenn etwa Beispielsfälle dargelegt werden und zudem der logische Entscheidungsbaum offengelegt wird, woran Betroffene ein Verständnis von den Gewichtungen im Verarbeitungsprozess bekommen.466 Die Diskussion um die Reichweite der Informationspflichten im Zusammenhang mit dem Einsatz von Technologien mit KI gleicht einem ausufernden Eskapismus: Die Forderung nach der Offenlegung des BinärInformation, Communication & Society, 2017, 14, 21. Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? 2018, S. 24. 464  Vgl. WP 251 rev.01 – Guidelines on the Automated individual decision-making and Profiling for the purposes of Regulation, 2016/679, S. 25. 465  Für eine Veröffentlichung des Quelltextes: Konferenz der Informationsfreiheitsbeauftragten, Transparenz der Verwaltung, S. 4; sowie Roßnagel/Nebel/Richter, ZD 2015, 455, 458. 466  Wie konkret der gesetzliche Maßstab erfüllt werden kann, ist Gegenstand diverser Untersuchungen. Für eine prägnante Zusammenfassung verschiedener Ansätze wie z. B. „Model explanation“, „Model inspection“, „Outcome explanation“, „Contrasive explanation“, „Selective explanation“, „Causal explanation“ oder „Social explanation“, vgl. Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 54 f. 462  Kitchin,

463  Dreyer/Schulz,



B. Regulatorische Anknüpfungspunkte 233

codes werden sich Betroffene noch viel weniger „durchlesen“ oder gar verstehen als seitenlange Datenschutzbestimmungen auf Websites. (b) Enger Anwendungsbereich der Vollautomation Der Anwendungsbereich des Art. 22 Abs. 1 DSGVO ist stark eingeschränkt und gilt nur dann, wenn die vollautomatisierte Verarbeitung und die vollautomatisierte Entscheidung deckungsgleich sind. Insofern begrenzt der Anwendungsbereich des Art. 22 Abs. 1 DSGVO auch die Reichweite der besonderen Informationspflichten. Darauf deutet zumindest der Wortlaut der Art. 13 Abs. 2 lit. f) und Art. 14 Abs. 2 lit. g) DSGVO hin. Dort wird jedoch die Pflicht des Verantwortlichen, Informationen über die involvierte Logik zur Verfügung zu stellen, vom Wortlaut – „zumindest in diesen Fällen“ – gerade nicht beschränkt auf den Anwendungsfall des Art. 22 Abs. 1 DSGVO. Mit diesem Maßstab korrespondiert der Auskunftsanspruch der Betroffenen gemäß Art. 15 Abs. 1 lit. h) DSGVO. Mit dem Adverb „zumindest“ bringt der Verordnungsgeber zum Ausdruck, dass auch andere Konstellationen von dieser Pflicht erfasst sein können. Demzufolge trifft den Verantwortlichen auch diese Pflicht bei der Nutzung von assistierenden KI-Systemen. Dies muss insofern gelten, weil von assistierten KI-Systemen kein erheblich geringeres Gefahrenpotenzial für die Rechte und Freiheiten der Betroffenen ausgeht. Es erscheint insoweit mit Blick auf den Sinn und Zweck des Art. 22 Abs. 1, 2 DSGVO schwer vereinbar, beim Einsatz assistierender KI-Systeme ein Weniger an Transparenz zu verlangen. (c) Zwischenergebnis Die Darlegung der involvierten Logik als eine besondere Informationspflicht gilt sowohl für Systeme, die in den Anwendungsbereich des Art. 22 Abs. 1, 2 DSGVO fallen, also auch für assistierende KI-Systeme. Insgesamt muss Transparenz als Summe von Erklärbarkeit und Nachvollziehbarkeit verstanden werden. Nachvollziehbarkeit als wesentlicher Summand setzt retrospektives und prospektives Verstehenkönnen aufseiten des Betroffenen voraus. (3) G  eschäftsgeheimnisse und Grundrechte des Verantwortlichen als Begrenzungen der Informationspflichten Eine Asymmetrie der Wissensmacht verfestigt sich dadurch, dass der Maschinenraum der opaken KI-Systeme meist als Geschäftsgeheimnisse behan-

234

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

delt wird.467 Das Geheimhaltungsinteresse von der algorithmischen Funk­ tionsweise wird vor dem Hintergrund des Geschäftsgeheimnisgesetzes468 gestärkt, womit die höchstrichterliche Rechtsprechung469 auch national einen normativen Anker gefunden hat. Auf unionsrechtlicher Ebene verlangt bereits EG 63 der DSGVO – der Erläuterungen zum Auskunftsrecht der Betroffenen enthält – in S. 5 die Berücksichtigung der Geschäftsgeheimnisse, sodass die DSGVO selbst mit den Geschäftsgeheimnissen dem Transparenzgrundsatz hier Grenzen ziehen will. Die Grundrechtspositionen des Verantwortlichen setzen der Transparenz ebenfalls Grenzen. Namentlich sind in diesem Zusammenhang die Berufsfreiheit aus Art. 15 GRCh, Art. 12 GG, die unternehmerische Freiheit (Art. 16 GRCh) sowie die Eigentumsfreiheit (Art. 17 GRCh bzw. Art. 14 GG) des Verantwortlichen zu nennen. dd) Zukünftige Lösungsansätze Zukünftig könnten Zertifizierungsverfahren im Sinne von Art. 42 DSGVO sowie Prüfzeichen geeignete Ansätze sein, die vertrauensstiftend sein können und zugleich Verantwortlichen zum Nachweis der Datenschutzkonformität dienen können.470 Zudem kann unter Berücksichtigung des Art. 25 DSGVO und Art. 32 DSGVO bereits bei der Programmierung eine „transparency by design“ angestrebt werden, indem sich Programmierer im Bewusstsein dieser rechtlichen Vorgaben bemühen, eine erklärbare KI zu entwickeln, in der etwa Entscheidungsbäume, also die hinter der Entscheidung stehende Logik, erklärt werden können. Zudem können verpflichtende technische und organisatorische Maßnahmen, z. B. Experten innerhalb der Verwaltung, welche die algorithmische Funktionsweise kontinuierlich überwachen, transparenzfördernd sein. Hier stellt sich die berechtigte Frage, wem die Kontrolle überantwortet werden kann. Die Kritik, dass Effizienzbestrebungen ins Leere gingen, wenn der Verwaltung die Kontrollpflicht auferlegt werden würde, verfängt nicht. Denn die Effizienz muss im Sinne einer guten Verwaltung (Art. 41 GRCh) in erster Linie dem Bürger nützen, indem etwa dessen Anträge schneller bearbeitet werden. Dass im Zuge dessen auf anderer Ebene Kon­ trollstellen innerhalb der Verwaltung andere erhebliche Ressourcen beanspruchen, tangiert das Ziel einer effizienten Verwaltung nicht. Jedenfalls kann die Verantwortung zur Überprüfung nicht dem Bürger überantwortet werden, 467  Vgl.

u. a. Hoffmann-Riem, AöR 142, 2017, 32. Geschäftsgeheimnisgesetz ist am 22. März 2019 vom Bundestag beschlossen worden. 469  BGHZ 200, 38, Rn. 10 ff.: Eine Scoring-Formel wurde als Geschäftsgeheimnis klassifiziert. 470  So auch Konferenz der Informationsfreiheitsbeauftragten, Transparenz der Verwaltung, S. 5, vorgeschlagen wird eine Art „Algorithmen-TÜV“. 468  Das



B. Regulatorische Anknüpfungspunkte 235

weil ansonsten tatsächlich die Digitalisierung der Verwaltung zu Lasten der Bürger erfolgen würde.471 c) Zweckbindung Weiter müssen Verarbeitungsvorgänge von KI-Systemen mit dem Zweckbindungsgrundsatz nach Art. 5 Abs. 1 lit. b) DSGVO vereinbar sein. Der Zweckbindungsgrundsatz findet bereits primärrechtlich Erwähnung in Art. 8 Abs. 2 S. 1 GRCh. Im Wesentlichen soll mit diesem grundrechtlich abge­ sicherten Grundsatz die Verarbeitung begrenzt, die Zugriffsmöglichkeiten beschränkt, die Transparenz für die betroffene Person sichergestellt und die Verwendungsdauer der Daten festgelegt werden, was insgesamt die herausragende Rolle dieses Grundsatzes für den Datenschutz ausmacht.472 Erforderlich ist, dass der Zweck der Verarbeitung „festgelegt“, „eindeutig“ und „legitim“ sein muss. Nach dem Zweckbindungsgrundsatz und unter Berücksichtigung des EG 50 der DSGVO sind Verarbeitungen personenbezogener Daten für andere Zwecke als die, für die die personenbezogenen Daten ursprünglich erhoben wurden, nur unter der Voraussetzung eines positiven Kompatibilitätstests zulässig. KI-Systeme fordern den Zweckbindungsgrundsatz heraus. Denn solche Systeme können dazu eingesetzt werden, neue hierarchische Strukturen und Muster in Datenbeständen zu erkennen, die zuvor unbekannt waren. Damit KI-Systeme ihre Versprechen einlösen können, werden vielfältige Daten verarbeitet und auch zusammengeführt, die für sich betrachtet ursprünglich für verschiedene Zwecke erhoben wurden. Diese Weiterverarbeitung muss im Einzelfall den Anforderungen des Art. 6 Abs. 4 DSGVO bzw. des § 23 Abs. 1 BDSG genügen.473 Insoweit können personenbezogene Daten für neue ZweDigitalisierte Verwaltung, S. 320, Rn. 22. in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, ­DSGVO, 1. Auflage 2019, Art. 5 Rn. 64. 473  Nachfolgend wird – wenn erforderlich – einzig auf Art. 6 Abs. 4 DSGVO eingegangen, da nach hier vertretener Auffassung § 23 BDSG teilweise europarechtswidrig ist. Konkret geht es um § 23 Abs. 1 Nr. 2 BDSG, der nicht erkennen lässt, auf welches der in Art. 23 Abs. 1 lit. a–j DSGVO genannten Ziele die Vorschrift Bezug nimmt, und er lässt darüber hinaus jegliche Einschränkungen vermissen, welche sicherstellen, dass der normierte Datenabgleich zum Schutz dieser Ziele erfolgt. Darüber hinaus sind die Tatbestandsmerkmale des § 23 Abs 1 Nr. 3 BDSG zu allgemein und damit nicht hinreichend bestimmt formuliert. Es ist nicht eindeutig, welche Sachverhalte unter „Abwehr erheblicher Nachteile für das Gemeinwohl“ und „zur Wahrung erheblicher Belange des Gemeinwohls“ zu subsumieren sind, und darüber hi­ naus, wie diese Tatbestandsmerkmale von der „Abwehr einer Gefahr für die öffent­ liche Sicherheit“ abzugrenzen sind. Vgl. auch Herbst, in: Kühling/Buchner, DSGVO/ BDSG, 3. Auflage 2020, § 23 Rn. 1 m. w. V. 471  Binder,

472  Roßnagel,

236

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

cke weiterverarbeitet werden und die Zwecke unterscheiden sich dann von denen, für welche die Daten ursprünglich verarbeitet wurden. Diese Zweckänderung stellt eine Durchbrechung des vorbenannten Zweckbindungsgrundsatzes dar.474 Solche Weiterverarbeitungen sind am engen Maßstab des Art. 6 Abs. 4 DSGVO bzw. des § 23 Abs. 1 BDSG zu messen. Beispielsweise können Vertragsdaten dazu genutzt werden, der Person hyperpersonalisierte Werbung zukommen zu lassen, und die Auswertung von „Likes“ in sozialen Netzwerken wie Facebook kann dazu genutzt werden, die politische Einstellung oder die sexuelle Orientierung genau einschätzen zu können.475 Die Ergebnisse, die aus der Verarbeitung von verfügbaren Datenmassen resultieren, können wiederum dazu genutzt werden, individuelles Verhalten zu bewerten und zu steuern. Die einzelnen Kriterien des Kompatibilitätstests brauchen hier nicht weiter erörtert werden. Eine beachtenswerte Frage ist hingegen, inwieweit der Kompatibilitätstest im Trainingsprozess Berücksichtigung finden muss. aa) Privilegierende Vermutungsregel bei Verarbeitungen zu statistischen Zwecken Art. 5 Abs. 1 lit. b) DSGVO i. V. m. Erwägungsgrund 50 S. 4 der DSGVO stellt eine Art Vermutung auf, nach der die Weiterverarbeitung u. a. für statistische Zwecke als vereinbarer und rechtmäßiger Verarbeitungsvorgang gelten „sollte“. Diese Fiktion der Vereinbarkeit führt dazu, dass ein Kompatibilitätstest wegen der Privilegierung der dort genannten Zwecke nicht durchzuführen ist.476 Der Grund für eine Privilegierung statistischer Zwecke wird sein, dass Statistiken eine „multifunktionale Zielsetzung“477 innewohnt, sie also für diverse, im Vorfeld nicht bestimmbare Aufgaben verwendet werden sollen.478 Fraglich ist, ob KI-Systeme, die sich Big-Data-Analysen bedienen, von dieser Privilegierung erfasst sein sollen. Wie oben bereits erörtert geht es dem KI-System in der Trainingsphase gerade darum, ein stochastisches Modell zu erlernen. Insofern könnte die Auffassung vertreten werden, die Verar474  Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. 5, Rn. 47. 475  Dambeck, Holger, Zeig mir deine Likes – und ich weiß wer Du bist, abrufbar unter: http://www.spiegel.de/netzwelt/web/facebook-studie-likes-enthuellen-persoen lichkeit-a-888151.html. Youyou/Kosinski et al., Computer-based personality, judgements are more accurate than those made by humans, PNAS 2015, 1036–1040. 476  Herbst, in: Kühling/Buchner, 3.  Auflage 2020, DSGVO Art. 5 Rn. 50 und Rn. 54. 477  BVerfGE 65, 1, Rn. 180. 478  Culic/Döpke, ZD 2017, 226, 230.



B. Regulatorische Anknüpfungspunkte 237

beitungen in dieser Phase losgelöst von weiteren Phasen (Implementierung) zu betrachten, sodass die Verarbeitungen der Daten in dieser Trainingsphase zu statistischen Analysezwecken erfolgen. Bereits früh hat die Art.-29-Datenschutzgruppe zu Recht festgehalten, dass ein solches Verständnis von einer Weiterverarbeitung zu statistischen Zwecken nicht intendiert sein kann und auch die Anwendung des Modells auf einzelne Personen mitberücksichtigt werden muss.479 Insofern ist der eigentlich maßgebliche Zweck nicht statistischer Art. Das System beruht auf statistischen Modellen. Der im Kompatibilitätstest zu berücksichtigende Zweck ist jedoch vielmehr, Profiling zu ermöglichen, bzw. konkreter, die Bewertung einer einzelnen Person durch die Zuordnung zu einer Klasse.480 Entscheidend ist also, was der Zweck des Modells ist bzw. was konkret bei der Anwendung vorhergesagt werden soll. Aufschlussreich ist zudem Erwägungsgrund 162 der DSGVO. Dort wird klargestellt, was unter dem Begriff „statistische Zwecke“ zu verstehen ist, namentlich „jeder für die Durchführung statistischer Untersuchungen und die Erstellung statistischer Ergebnisse erforderliche Vorgang der Erhebung und Verarbeitung personenbezogener Daten“. Der entscheidende Satz in Bezug auf KI-Systeme ist der letzte Satz des vorbenannten Erwägungsgrundes: „Im Zusammenhang mit den statistischen Zwecken wird vorausgesetzt, dass die Ergebnisse der Verarbeitung zu statistischen Zwecken keine personenbezogenen Daten, sondern aggregierte Daten sind und diese Ergebnisse oder personenbezogenen Daten nicht für Maßnahmen und Entscheidungen gegenüber einzelnen natürlichen Personen verwendet werden“. Daraus lassen sich zwei Erkenntnisse ableiten. Erstens muss das Ziel neben der Anwendung statistischer Methoden das Gewinnen statistischer Erkenntnisse sein („aggregierte Daten“).481 Zweitens wird klargestellt, dass in jedem Fall keine Privilegierung in Betracht kommt, wenn das erlernte Modell dafür eingesetzt werden soll, um für Maßnahmen oder Entscheidungen gegenüber Einzelnen eingesetzt zu werden – was bei KI-Systemen der Regelfall ist. Denn das erlernte Modell soll ja gerade dafür in der Implementierungsphase eingesetzt werden, bei der Verarbeitung eines personenbezogenen Datums 479  Vgl. Art.-29-Datenschutzgruppe WP 203, Opinion 03/2013 on purpose limitation, 2013, S. 28: „The provision contributes to greater legal certainty. It should not be read as providing an overall exception from the requirement of compatibility, and it is not intended as a general authorisation to further process data in all cases for historical, statistical or scientific purposes. Just like in any other case of further use, all relevant circumstances and factors must be taken into account when deciding what safeguards, if any, can be considered appropriate and sufficient“. 480  Zur Problematik, Profiling als Zweck festzulegen, Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz? 2020, S. 159–164. 481  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz? 2020, S. 306.

238

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

eines Einzelnen anhand des erlernten Modells dieses Datum einer Klasse zuzuordnen, um persönliche Aspekte dieser betroffenen Person zu bewerten. Da keine Privilegierung in Betracht kommt, muss der Kompatibilitätstest in jedem Fall unter Berücksichtigung des in Art. 6 Abs. 4 DSGVO vorgeschriebenen Katalogs durchgeführt werden. bb) Mögliche Auswirkungen auf die Rechte und Freiheiten von Betroffenen Ein besonders hervorzuhebendes Kriterium des Kompatibilitätstests ist Art. 6 Abs. 4 lit. d) DSGVO, wonach „die möglichen Folgen der beabsichtigten Weiterverarbeitung für die betroffenen Personen“ zu berücksichtigen sind. Dieses Kriterium ist insoweit hier so beachtenswert, weil es ein bereits oben angesprochenes Problem – namentlich die Fokussierung des Datenschutzes auf den Personenbezug – in einem anderen Zusammenhang beleuchtet.482 Um diesen Aspekt auszuarbeiten, müssen wieder die Phasen des Trainings ((1)) und der Implementierung ((2)) unterschieden werden.483 Mit der Implementierungsphase ist die Phase gemeint, in der das Modell auf ein Individuum angewandt wird, um sie zu bewerten oder z. B. Präferenzen vorherzusagen. (1) Verarbeitung personenbezogener Daten in der Trainingsphase Werden die medizinischen Daten einer Person, das Online-Kaufverhalten, selbst Bewegungsprofile oder andere personenbezogene Daten einer Person verwendet, um ein Modell zu erlernen, so wird dies allein überschaubare Auswirkungen auf die Interessen dieser Person haben. Etwaige Missbrauchsszenarien ließen sich vermeiden, indem die Originaldaten, nachdem das Modell erlernt wurde, gelöscht oder anonymisiert werden.484 Die einzelnen Daten werden in der Masse keine signifikante Auswirkung auf die Vorhersagegenauigkeit des Modells haben. Vielmehr tragen die einzelnen Daten dazu bei, dass das Modell Klassifikationen erstellen kann. Die Daten der Einzelnen zusammen tragen dazu bei, die Prognosegenauigkeit des KI-Systems bezogen auf eine Gruppe zu beeinflussen. Erst die Bildung einer Klasse bzw. einer Gruppe kann Auswirkungen für diese Gruppe haben, die von Ergebnissen und Vorhersagen betroffen sind, die auf Grundlage gleicher Prädikatoren getroffen wurden. Soll beispielsweise das Modell lernen, die Rückfallwahr482  Vgl.

oben Teil 4, B. IV. 2. a) Das Problem des Personenbezugs. auch Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 46. 484  Sofern diese für weitere Audits nicht mehr erforderlich sind. 483  So



B. Regulatorische Anknüpfungspunkte 239

scheinlichkeit von Straftätern vorherzusagen, werden bestimmte Prädikatoren korrelieren, die auf eine hohe Rückfallwahrscheinlichkeit hinweisen können. Personen, die dieser Gruppe angehören, bekommen schlechtere Ergebnisse. Insofern sind hier eher die Gruppendaten und nicht die personenbezogenen Daten des Individuums für die Beurteilung der Auswirkungen relevant. Das bedeutet, dass die Bewertung der Auswirkungen für den Einzelnen in dieser Phase eher gering ist, während die Auswirkungen für bestimmte Gruppen relevant sind, aber im Rahmen des Kompatibilitätstests wegen der Fokussierung auf den Einzelnen nicht berücksichtigt werden. (2) Anwendung des Modells in der Implementierungsphase Dagegen bestehen erhebliche Auswirkungen für eine betroffene Person, wenn ihre personenbezogenen Daten dem System im Training zugeführt werden, um gleichzeitig Inferenzen auf diese Person zu ermöglichen. Hier fungieren die Input-Daten der betroffenen Person als Grundlage für die Bewertung der persönlichen Aspekte dieser Person, sodass diese Fallkonstellation klassisches Profiling darstellt. Werden z. B. die Daten von Einzelnen über ihre Einkäufe im Supermarkt in ein KI-System überführt, um einen individualisierten Versicherungstarif zu bestimmen, der die Trink- und Essgewohnheiten berücksichtigt, wird der Kompatibilitätstest negativ ausfallen. In der Praxis ließe sich dies wohl umgehen, indem Trainingsdaten und jene Daten, die Inferenzen in der Implementierung ermöglichen sollen, strikt voneinander getrennt werden. d) Datenminimierung Die Big-Data-Analyse der KI steht weiter auch mit dem Grundsatz der Datenminimierung aus Art. 5 Abs. 1 lit. c) DSGVO in einem Spannungsverhältnis. Der Grundsatz ergänzt den Grundsatz der Zweckbindung, da personenbezogene Daten dem Zweck angemessen und erheblich sowie auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt sein müssen. Dieses Prinzip kollidiert jedoch mit Big-Data-Analysen, da diese Analysen auf eine Verarbeitung einer Masse von Daten abzielen, um neues Wissen zu generieren, sodass wegen der Herstellung immer weitergehender Korrelationen zur Generierung von Wissen diese Analysen quasi immer erforderlich und daher notwendig sein würden.485 Gleichwohl lässt sich dieses Spannungsverhältnis dogmatisch aus zwei Erwägungen auflösen.

485  Roßnagel,

ZD 2013, 562, 564.

240

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

Erstens sollte der Grundsatz der Minimierung bei der Beurteilung, ob die in Rede stehende Verarbeitung auf das notwendige Maß beschränkt ist, mit einer Verhältnismäßigkeitsprüfung verbunden sein.486 Der Wortlaut steht einem solchen Verständnis nicht entgegen. In der englischen Fassung heißt es insofern „adequate, relevant and limited“. Der Grundsatz der Datenminimierung steht einer Verarbeitung weiterer personenbezogener Daten nicht entgegen, soweit die Verarbeitung der Daten für die betroffene Person einen Nutzen bietet, namentlich um die Risiken für die Rechte und Freiheiten dieser Person zu minimieren. Für eine solche Auslegung spricht zum einen Erwägungsgrund 71 S. 6 der DSGVO. Der Verantwortliche sollte organisatorische und technische Maßnahmen beim Profiling implementieren – namentlich „geeignete mathematische und technische Verfahren“ –, um Fairness gewährleisten zu können. Auch wenn die Vorgaben sehr abstrakt bleiben, formuliert der Gesetzgeber einen Zielwert im Hinblick auf die Daten-Governance, dass Validierungen von Datensätzen möglich sein müssen. So kann der Datenbestand bei festgestellten Fehlern bereinigt, mit weiteren Daten angereichert werden und im Vorfeld eine Beurteilung hinsichtlich der Menge und Eignung der für das Lernziel erforderlichen Daten erfolgen. Dies ermöglicht eine Untersuchung im Hinblick auf etwaige algorithmische Verzerrungen. Die Qualität des KI-Systems bzw. der ausgelieferten Outputs hängt im Rahmen der Datenanalyse von der Menge der Daten ab. Wenn eine Masse an Daten algorithmische Verzerrungen in gewisser Weise korrigieren und damit Diskriminierungen in gewisser Weise eindämmen könnte, kann dem der Grundsatz der Datenminimierung nicht entgegenstehen. Ein anderes Verständnis würde hier dazu führen, dass sich Datenschutzgebote und Diskriminierungsverbote unlösbar gegenüberstünden, wobei die Regelungsziele harmonisch ineinandergreifen sollten. Sofern der Verordnungsgeber dem Verantwortlichen aufgibt, entsprechende Verfahren als Garantien zu ergreifen, die mit dem Profiling verbundenen Big-Data-Analysen jedoch nicht verboten hat, ist zu entnehmen, dass Big-Data-Analysen nicht per se verboten sind.487 Vielmehr sind solche Analyseverfahren wie das Profiling nach Art. 4 Nr. 4 DSGVO lediglich dem allgemeinen Verbot mit Erlaubnisvorbehalt unterstellt. Insofern können schon deshalb Big-Data-Analysen nicht per se dem Grundsatz der Datenminimierung entgegenstehen. Daher versteht auch Erwägungsgrund 78 der DSGVO die Minimierung von Datenbeständen durch Maßnahmen der Pseudonymisierung und Anonymisierung als geeignete technische 486  So auch Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. 47: „the idea of minimisation should be linked to an idea of proportionality“. 487  Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz? 2020, S. 319.



B. Regulatorische Anknüpfungspunkte 241

und organisatorische Maßnahmen, sie sind eine wesentliche Ausprägung des Grundsatzes der Datenminimierung.488 Wenn die Verarbeitung von Massen von Daten erforderlich ist, um das KI-System insgesamt fair zu konzipieren, und Genauigkeit des Systems ein Aspekt von Fairness ist, so ist eine in diesem Zusammenhang erforderliche Big-Data-Analyse mit dem Grundsatz der Datenminimierung vereinbar. Zudem muss in diesem Zusammenhang auch berücksichtigt werden, dass die einzelnen Datenschutzgrundsätze nicht losgelöst voneinander zu verstehen sind, sondern sich gegenseitig auch beeinflussen. Insofern wird auch der Grundsatz der Richtigkeit (Accuracy) dem Grundsatz der Minimierung in seiner absoluten Anwendung Grenzen setzen. Zweitens muss berücksichtigt werden, dass für die Verarbeitung zu rein statistischen Zwecken wie oben ausgeführt (lit. c) Zweckbindung) weniger strenge Anforderungen zu stellen sind. Dies gilt auch für den Grundsatz der Datenminimierung.489 e) Datenrichtigkeit Nach dem Grundsatz der Richtigkeit gemäß Art. 5 Abs. 1 lit. d) DSGVO müssen personenbezogene Daten sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein.490 Der Grundsatz zielt auf eine Absicherung der Datenqualität.491 Konkretisiert wird dies durch Erwägungsgrund 39, der alle Maßnahmen als vertretbar verstehen will, damit unrichtige personenbezogene Daten gelöscht oder berichtigt werden. Auch hier bietet es sich an, den Grundsatz einmal im Hinblick auf das Training und einmal im Hinblick auf die Implementierungsphase zu betrachten. Aus dem Grundsatz lässt sich ableiten, dass Verantwortliche eine menschliche Aufsicht solcher Systeme gewährleisten müssen. Das bedeutet, das gerade im Hinblick auf das Training von KI-Systemen sichergestellt sein muss, dass Mängel im Datenbestand behoben werden können. Die Trainingsdaten müssen insofern auch aus diesem Grundsatz folgernd relevant, repräsentativ und vollständig sein. Andernfalls werden die Vorhersagen in der Implementierungsphase eben nicht richtig sein. 488  Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2.  Auflage 2020, Art. 5, Rn. 55. 489  Dies kann nur unter dem Vorbehalt gelten, dass die oben ausgearbeiteten Voraussetzungen berücksichtigt werden: Die personenbezogenen Daten werden für den Trainingsdatensatz verwendet und nicht für Inferenzen oder Entscheidungen über Personen, EG, 162. 490  Jaspers/Schwartmann/Hermann, in: HK DSGVO/BDSG, 2.  Auflage 2020, Art. 5, Rn. 59. 491  Roßnagel, in: Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht, ­DSGVO, 1. Auflage 2019, Art. 5 Rn. 136.

242

Teil 4: Spannungsfelder und Grenzen beim Einsatz von KI

f) Speicherbegrenzung Nach dem Grundsatz der Speicherbegrenzung gemäß Art. 5 Abs. 1 lit. e) DSGVO müssen personenbezogene Daten dann gelöscht werden, wenn sie für die Zwecke, für die sie verarbeitet wurden, nicht mehr erforderlich sind.492 Die Funktionsweise der KI verlangt jedoch, dass alle Eingaben in das System seit dem Systemstart (z. B. Messwerte, Benutzereingaben etc.) gespeichert werden müssten.493 Nur so kann das von der Maschine erlernte Wissen bzw. die gemachten „Erfahrungen“, die in eine Entscheidungsfindung einfließen, nachvollzogen und reproduziert werden.494 Da die Speicherung für das System „erforderlich“ ist, aber nicht für die jeweilige Entscheidung im Einzelfall, bewegt sich die Speicherungsvoraussetzung des Systems auch im Spannungsfeld mit dem Grundsatz der Speicherbegrenzung. Hier können ebenfalls technische Lösungsansätze im Hinblick auf Pseudonymisierung und Anonymisierungen vorangetrieben werden. 4. Zwischenergebnis Sämtliche Grundprinzipien der DSGVO stehen in einem Spannungsverhältnis mit der Funktionsweise der KI. Im Besonderen stellen die Transparenzanforderungen im Verarbeitungsprozess sämtliche Akteure vor große Herausforderungen. Der dem Rechtsstaatsprinzip entspringende Grundsatz der Gesetzmäßigkeit der Verwaltung verlangt zudem eine Begründung, sodass dessen tradierte Vorgaben die Reichweite des unionsrechtlichen Transparenzgrundsatzes zu konkretisieren helfen. Gleichzeitig flankieren dessen Vorgaben die von der Verwaltung einzuhaltende Transparenz. Aber auch für andere Grundprinzipien stellt sich die Frage, ob diese derzeit technisch im Hinblick auf die Funktionsweise der KI erreicht werden können. Einige Spannungsverhältnisse sind durch Auslegungen auflösbar. Gleichzeitig zeigen sich anhand eines Zusammenspiels der Grundprinzipien, dass für KISysteme auch aus dem Datenschutzrecht eine Pflicht für Verantwortliche besteht, eine gewisse Daten-Governance-Struktur zu schaffen. Diese umfassen Validierungsverfahren zur Erfüllung von Transparenzpflichten und zur Absicherung von Fairness-Gesichtspunkten, eine Bewertung der Verfügbarkeit und Eignung der Daten, Untersuchungsmechanismen, um mögliche Verzerrungen im System zu detektieren, sowie die konzeptionelle Klarheit, welche Datensätze im Training erforderlich sind, damit ein fehlerfreies und 492  Etwas anderes gilt nur dann, wenn gesetzliche Aufbewahrungsfristen bestehen oder die Voraussetzungen einer Zweckänderung vorliegen. 493  Reichwald/Pfisterer, CR 2016, 208, 210. 494  Reichwald/Pfisterer, CR 2016, 208, 210.



B. Regulatorische Anknüpfungspunkte 243

faires Training erfolgt. Obgleich diese Verpflichtungen keine explizite Erwähnung in der DSGVO finden, lassen sich insbesondere aus den Grundprinzipien und anderen Vorschriften für Verarbeitungen personenbezogener Daten durch KI-Systeme relevante regulative Anknüpfungspunkte finden. Bestehende Spannungsverhältnisse mit den Datenschutzgrundsätzen sind durch eine entsprechende Auslegung auflösbar. Hervorzuheben sind etwa der Grundsatz der Zweckbindung und der Grundsatz der Datenminimierung. Gleichwohl ist anzuerkennen, dass die Bestimmungen derart vage sind, dass sie für verantwortliche Stellen und Betroffene kein handhabbares Regelwerk darstellen können. De lege ferenda wird es erforderlich sein, ein speziell für KI-Systeme konzipiertes allgemeines Regelwerk auf den Weg zu bringen, das auf die DSGVO abgestimmt ist. 5. Ergänzende Gegensteuerungselemente innerhalb der DSGVO System- und prozessbezogene Vorgaben der DSGVO zu Konzeption und Einsatz von selbstlernenden Algorithmen sind geeignet, um auf der Seite des Verantwortlichen Risiken für den Einzelnen (und indirekt auch für Personengruppen) frühzeitig zu erkennen und Mindestqualitätsstandards zu sichern.495 Dazu zählen vor allem Privacy by Design, verpflichtende Datenschutz-Folgenabschätzungen und ein internes IT-Sicherheitskonzept sowie die Bestellung eines Datenschutzbeauftragten, wodurch das Reflexionsrisiko aufseiten des Verantwortlichen gesteigert werden kann und so die Rechte und Freiheiten der Betroffenen ein Stück weit gestärkt werden.496

495  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme?, 2018, S. 10. 496  Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme?, 2018, S. 10.

Teil 5

Ausblick und Fazit Ein Ausblick soll aus regulatorischer Sicht die weiteren Entwicklungen einschätzen (A.), bis dann die gefundenen Ergebnisse zusammengefasst werden (B.).

A. Ausblick Die Europäische Kommission hat am 21.04.2021 ihren Entwurf für eine Verordnung zur Regulierung von künstlicher Intelligenz veröffentlicht, den sogenannten „Artificial Intelligence Act“ (nachfolgend AIA-E).1 Es handelt sich dabei um ein sehr umfangreiches Werk mit 89 Erwägungsgründen, 85 Artikeln und 9 Anhängen.2 Dieser Entwurf muss als ein Mosaikbaustein einer komplexen Europäischen Datenstrategie verstanden werden.3 Am 19. Februar 2020 veröffentlichte die Kommission das Weißbuch „AI – A European Approach to Excellence and Trust“.4 Dort wurden rechtspolitische Anforderungen an einen regulatorischen Rahmen formuliert. Ziel sei es, Innovationen nicht zu verhindern und gleichzeitig Risiken adäquat zu adressieren. Zuvor hat 2019 die von der Kommission eingesetzte „High-Level Expert Group“ (HLEG) Ethik-Leitlinien für eine vertrauenswürdige KI vorgelegt.5 In diesem Papier werden vier ethische Grundsätze formuliert, die hier beachtenswert sind: Achtung der menschlichen Autonomie, Schadensverhütung, Fairness und Erklärbarkeit.6 1  Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts, COM(2021) 206 final, 21.4.2021. 2  Vgl. für einen Überblick zum Anwendungsbereich Raji, The Artificial Intelligence Act (AIA) – a brief overview, abrufbar unter: https://dpoblog.eu/the-artificialintelligence-act-aia-a-brief-overview; Geminn, ZD 2021, 354–359. 3  Für eine Skizzierung der Entwicklung m. w. V. vgl. Geminn, ZD 2021, 354, 355. 4  Weißbuch der Europäischen Kommission, 2020, abrufbar unter: https://ec. europa.eu/info/sites/default/files/commission-white-paper-artificial-intelligence-feb 2020_en.pdf. 5  HLEG, Ethikleitlinien für eine vertrauenswürdige KI, 2019, abrufbar unter: https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60425. 6  Vgl. Fn. 3, dort S. 14.



A. Ausblick245

Vor diesem politischen und ethischen Hintergrund verfolgt der AIA-E regulativ einen harmonisierten Rechtsrahmen zur Erreichung folgender Ziele: –– Gewährleistung, dass KI-Systeme, die in der Union in Verkehr gebracht und genutzt werden, sicher sind und das geltende Recht in Bezug auf die Grundrechte und die Werte der Union respektieren; –– Gewährleistung von Rechtssicherheit, um Investitionen und Innovationen im Bereich der KI zu erleichtern; –– Verbesserung der Governance und der wirksamen Durchsetzung des bestehenden Rechts in Bezug auf die Grundrechte und die für KI-Systeme geltenden Sicherheitsanforderungen; –– die Entwicklung eines Binnenmarkts für rechtmäßige, sichere und vertrauenswürdige KI-Anwendungen zu erleichtern und eine Marktfragmentierung zu verhindern. Insoweit verwundert es auch nicht, dass dieses umfangreiche Regelwerk spezielles Technologierecht darstellt, welches verschiedene Regelungsansätze zu verzahnen versucht und insoweit als ein Werk zu verstehen ist, das sich mit anderen geplanten Regelungsvorhaben (z. B. der Maschinenrichtlinie oder der Richtlinie zur allgemeinen Produktsicherheit) verweben wird. Der AIA-E ist Bestandteil der digitalen Gesamtstrategie der Europäischen Kommission aus dem Jahr 2020.7 Weitere in diesem Zusammenhang zu berücksichtigende bevorstehende Regulierungsvorhaben sind u. a. der Data Governance Act8 und die Open-Data-Richtlinie.9 Im Gegensatz zu den USA und China bemüht sich die Europäische Kommission, einen europäischen Rechtsrahmen in einem relativ frühen Stadium zu schaffen. Dies ist sehr zu begrüßen und spiegelt den politischen Willen wider, den technologischen Fortschritt und den Einsatz von smarter Technologie in unserer Gesellschaft werteorientiert auszugestalten. Gleichzeitig besteht unter Berücksichtigung der vielen Regulierungsvorhaben die ernst zu nehmende Gefahr, dass es im Technologiesektor zu einer regulativen Hypertrophie kommt. Dies birgt die Gefahr, dass Normadressaten wegen des Dickichts an Regeln diese kaum noch einhalten können und Compliance so insgesamt zu einer Art „Enterprise-Privileg“ verkommt. Auch wenn stets die Gefahr einer regulativen Komplexität in komplexen Lebensbereichen besteht, 7  Eine europäische Datenstrategie, 2020, COM(2020) 66 final, abrufbar unter: https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:52020DC0066&fr om=EN. 8  Entwurf des Data Governance Acts vom 25.11.2020, abrufbar unter: https:// eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:52020PC0767. 9  Richtlinie 2019/1024, abrufbar unter: https://eur-lex.europa.eu/legal-content/DE/ TXT/HTML/?uri=LEGISSUM:4405374.

246

Teil 5: Ausblick und Fazit

muss dieser Aspekt im Auge behalten werden, da politischer Konsens besteht, jedenfalls Innovationen nicht behindern und den Binnenmarkt stärken zu wollen. Somit ist es erforderlich, einen Regulierungsansatz zu finden, der dem sich rasant entwickelnden Technologiesektor gerecht wird.10 Ein europäischer Weg kann es jedenfalls nicht sein, Risikotechnologien wie Künst­ liche Intelligenz gar nicht zu regeln. Im Hinblick auf die hier herausgearbeiteten Risiken und fehlenden Regeln beinhaltet der Verordnungsentwurf ausbaufähige Ansätze. Das betrifft insbesondere den Ansatz, einen funktionierenden Rechtsrahmen für den Trainingsprozess von KI-Systemen zu gestalten. Hervorzuheben ist Kapitel 2 des Titels III des Entwurfs. Bedauerlicherweise ist der Rechtsrahmen beschränkt auf sog. Hochrisiko-KI-Systeme. Dort werden allgemeine rechtliche Anforderungen für Hochrisiko-KI-Systeme festgelegt. Art. 9 AIA-E sieht vor, dass ein Risikomanagementsystem etabliert werden muss, „ein kontinuierlicher iterativer Prozess während des gesamten Lebenszyklus eines KISystems, der eine regelmäßige systematische Aktualisierung erfordert“ (Art. 9 Abs. 2 AIA-E). Gefordert wird insoweit ein umfangreiches Monitoring-Konzept zur Möglichkeit der kontinuierlichen Überwachung und des Eingreifens. Zudem legt Art. 10 AIA-E zumindest abstrakte Qualitätskriterien für Trainings- und Testdatensätze fest und sieht somit erstmals Vorschriften für Daten und Daten-Governance im Trainingsprozess vor, obgleich diese freilich konkretisierungsbedürftig sind. Weiter enthält das Kapitel rechtliche Anforderungen für die technische Dokumentation und Aufzeichnungspflichten (Art. 11, 12 AIA-E), Vorschriften zur Transparenz und Bereitstellung von Informationen für die Nutzer (Art. 13 AIA-E), zur menschlichen Aufsicht (Art. 14 AIA-E) sowie zur Genauigkeit, Robustheit und Cybersicherheit von KI-Systemen (Art. 15 AIA-E). Diese Ansätze sind sehr begrüßenswert. Jedoch ist die Kritik erlaubt, dass die Verordnung keine Bestimmung enthält, die Aufsichtsbehörden die Pflicht überantwortet, präzisierende Leitlinien auf den Weg zu bringen. Insofern lässt die Verordnung Nutzer von KI-Systemen, wie entsprechende Zielwerte erreicht werden sollen, ausweislich der Gesetzesbegründung allein: „Es liegt im Ermessen des Anbieters des jeweiligen KI-Systems, mit welchen technischen Lösungen er die Einhaltung dieser Anforderungen konkret erreicht – sei es durch Normen oder sonstige technische Spezifikationen oder durch andere Entwicklungen entsprechend dem allgemeinen wissenschaftlich-technischen Know-how. Diese Flexibilität ist besonders wichtig, denn sie ermöglicht es den Anbietern von KI-Systemen, unter Berücksichtigung des Stands der Technik und des wissenschaftlich-technischen Fortschritts auf dem Gebiet selbst zu ent-

10  COM(2021)

206 final, 21.4.2021, Gesetzesbegründung, S. 2.



A. Ausblick247

scheiden, wie sie die für sie geltenden Anforderungen zu erfüllen beab­ sichtigen.“11 Trotz vieler guter ausbaufähiger Ansätze besteht gleichwohl auch erheblicher Nachbesserungsbedarf am Verordnungsentwurf. Dies betrifft insbesondere dessen Verhältnis zur geltenden DSGVO. Die Frage ist insoweit relevant, dass es sich bei KI-Systemen um datengetriebene Systeme handelt, die mittels Techniken des maschinellen Lernens in der Lage sind, feingranulare Vorhersagen zu machen, indem sie Vergangenheit extrapolieren.12 Die Abhängigkeit von Vergangenheitsdaten als Rohstoff dieser Vorhersagemaschinen führt dazu, dass solche Systeme zwangsläufig auch an datenschutzrechtlichen Maßstäben gemessen werden müssen. Der Europäische Datenschutzausschuss (EDSA) und der Europäische Datenschutzbeauftragte (EDSB) haben eine gemeinsame Meinung veröffentlicht, welche die Motivation der Kommission würdigt und gleichzeitig kritisch einige noch klärungsbedürftige datenschutzrechtliche Implikationen des Verordnungsentwurfs beleuchtet.13 Auch wenn dieser Aspekt weitergehenden Untersuchungen vorbehalten ist, sollen nachfolgend einige Punkte hervorgehoben werden, die verdeutlichen, dass der Verordnungsentwurf noch keinen funktionierenden Rechtsrahmen für KI-Systeme darstellen kann. Die einzelnen Regelwerke, die als einzelne Bausteine in einer Gesamtstrategie für Daten auf den Weg gebracht werden, müssen zwingend aufeinander abgestimmt werden, um Rechtsunsicherheiten zu verhindern bzw. Kohärenz und Komplementarität des geplanten Maßnahmepakets zu gewährleisten. Kapitel 3 des Titels 3 enthält verschiedene Pflichten für Hochrisiko-KISysteme, welche im Rahmen der Wertschöpfungskette alle Akteure einbeziehen (Nutzer, Anbieter, Importeure, Vertreiber). Sofern es um die Verarbeitung von personenbezogenen Daten geht, wird kein Bezug auf datenschutzrecht­ liche Verantwortlichkeiten genommen. Ferner verlangt primärrechtlich Art. 16 AEUV und sekundärrechtlich Art. 8 Abs. 3 GRCh, dass die Einhaltung solcher Vorschriften, die den Schutz personenbezogener Daten betreffen, von einer unabhängigen Aufsichtsbehörde erfolgen muss. Die Unabhängigkeit wird diesbezüglich im Verordnungsentwurf nicht sichergestellt. Überhaupt bleibt es völlig unklar, wie die Vollziehung des Rechts konkret ausgestaltet werden soll. Sofern derzeit KI-Systeme personenbezogene Daten verarbeiten, fallen sie schon jetzt unter die Aufsicht 11  COM(2021)

206 final, 21.4.2021, Gesetzesbegründung, S. 16. DuD 2021, 303, 304. 13  EDPB-EDPS, Joint Opinion 05/21 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 18.06.2021. 12  Raji,

248

Teil 5: Ausblick und Fazit

der Datenschutzbehörden. Sofern eine Art KI-Behörde etabliert werden soll, wird es daher unweigerlich zu Verflechtungen der Zuständigkeiten kommen. Problematisch gilt es zu beachten, dass der Verordnungsentwurf auch Aspekte des Produkthaftungsrechts enthält. Diesen Teil der Aufsicht könnten Datenschutzbehörden ohne Erweiterung ihrer Kompetenzen nicht abdecken. Hier besteht dringender Klarstellungsbedarf. Erwägungsgrund 41 des AIA-E stellt klar, dass die Verordnung nicht so verstanden werden sollte, dass sie eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten bildet, auch nicht für besondere Kategorien von personenbezogenen Daten. Diese Klarstellung findet sich nicht im Normtext selbst wieder. Das Gegenteil ist der Fall. Art. 10 Abs. 5 AIA-E stellt für den Bereich des Testens und der Erkennung von Verzerrungen eine Rechtsgrundlage dar. Der AIA-E beinhaltet einen risikobasierten Ansatz. Dies ist zu begrüßen und spiegelt wider, wie stark das Regelwerk ethische Gesichtspunkte zu inkorporieren versucht. Denn die Einstufung in eine Risikoklasse bezieht sich auf den Zweck des KI-Systems. Der Verordnungsgeber hat sich nach Überprüfung verschiedener Ansätze für ein horizontales EU-Rechtssetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz entschieden.14 Das bedeutet konkret, dass sich der Rechtsrahmen auf sogenannte Hochrisiko-KI-Systeme fokussiert und für alle anderen Anbieter von KI-Systemen – die keine Hochrisiko-Systeme darstellen – die Möglichkeit bietet, sich freiwillig an einen Verhaltenskodex zu halten. Während die ­DSGVO keine Vorgaben zu konkreten Risikoklassen bereithält, beinhaltet der AIA-E eine konkrete Risikoklasseneinteilung. Während sich die DSGVO auf den Schutz natürlicher Personen bezieht und das Individuum schützen will, lässt der AIA-E offen, ob sich die Risikobewertung auf die Rechte und Freiheiten natürlicher Personen oder/und auf gesamtgesellschaftliche Interessen bezieht. Darüber hinaus ist nicht klar, wie sich die Risikobewertungen der unterschiedlichen Regularien zueinander verhalten: Ist es bei HochrisikoKI-Systemen immer erforderlich, auch eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durchzuführen?15

14  COM(2021)

206 final, 21.4.2021, Gesetzesbegründung, S. 11. hinaus unterscheiden sich die Normadressaten bei der Verpflichtung, eine Risikobewertung durchzuführen: Während der Verantwortliche bzw. der Nutzer eines KI-Systems eine Datenschutz-Folgenabschätzung durchführen muss, um konkrete Risiken einzuschätzen, trifft die Pflicht der Risikobewertung nach dem AIA-E den Anbieter eines KI-Systems. Dieser wird in der Tat nicht alle Einsatzszenarien im Blick haben können, sodass die Beurteilungen zwangsläufig eher allgemein ausfallen werden. So auch EDPB-EDPS, Joint Opinion 05/21, 18.06.2021, Rn. 22. 15  Darüber



A. Ausblick249

Nach alledem ist schließlich darauf hinzuweisen, dass es sich bei Art. 5 AIA-E lediglich um ein Lippenbekenntnis handelt.16 Dieses Verbot wird dem eigenen Maßstab des Verordnungsgebers, den Einsatz von KI-Systemen in der EU grundrechtswahrend und ethisch reflektiert einzuhegen, nicht gerecht. Der Grund dafür ist darin zu erblicken, dass das Verbot tatbestandlich an entscheidenden Stellen einschränkende Kriterien vorsieht und an anderen Stellen einige Formulierungen wiederum viel zu vage sind. Als einschränkende Kriterien verlangt Art. 5 Abs. 1 lit. a) und lit. b) AIA-E, dass das KISystem einer Person einen physischen oder psychischen Schaden zufügt oder zufügen kann. Dark Patterns und gewissermaßen dark Nudging haben jedoch vor allem erhebliche Auswirkungen auf die Freiheitsausübung und demo­ kratische Prozesse. Derartige Praktiken sind nicht vom Verbot erfasst. Bedauerlicherweise wurde dieser Aspekt auch nicht beim Verbot eines SocialScor­ ing-Systems erkannt. Denn das Verbot, Social-Scoring-Verfahren zu ver­wenden (Art. 5 Abs. 1 lit. c) AIA-E), um z. B. Wahlen zu beeinflussen, betrifft lediglich öffentliche Stellen und nicht große Tech-Konzerne. Darüber hinaus müssen derartige Verfahren, wenn sie von öffentlichen Stellen eingesetzt werden, über einen bestimmten Zeitraum erfolgen (Art. 5 Abs. 1 lit. c) ­AIA-E: „over a certain period“) und zusätzlich zu Folgen führen, die derart vage formuliert sind, dass dieses Verbot an dieser Stelle faktisch leerzulaufen droht, vgl. Art. 5 Abs. 1 lit. c) i) und ii) AIA-E. Schließlich erfasst das Verbot in Art. 5 Abs. 1 lit. d) AIA-E lediglich die biometrische Echtzeit-Fernidentifikation auf öffentlichen Plätzen. Insofern ließe sich das Verbot mit Leichtigkeit umgehen, indem etwa die biometrische Identifizierung nicht in Echtzeit, sondern im Nachgang der Demonstration erfolgen würde. Wegen der erheblichen Auswirkungen auf Grundrechte wie die Versammlungsfreiheit, die für eine Demokratie und einen Rechtsstaat von konstituierender Bedeutung sind, wäre in der Tat ein generelles kontextunabhängiges Verbot biometrischer Fernidentifizierungssysteme auf öffentlichen Plätzen erforderlich.17 Zusammenfassend lässt sich abschließend festhalten, dass es de lege lata keine hinreichenden regulativen Ansätze gibt, um KI-Systeme in einem funktionierenden Rechtsrahmen einzuhegen. De lege ferenda wird es im Hinblick auf den von der Europäischen Kommission vorgeschlagenen Artificial Intelligence Act viele Klarstellungen geben müssen. Das betrifft zum einen klare Abgrenzungen zu bestehenden Regelungswerken wie der DSGVO. Für eine vertrauenswürdige KI in Europa ist es zum anderen aber auch erforderlich, dass eine europäische KI-Verordnung eigenen Maßstäben gerecht wird. Dies tut Art. 5 AIA-E nicht ansatzweise. 16  EDPB-EDPS, 17  EDPB-EDPS,

Joint Opinion 05/21, 18.06.2021, Rn. 29. Joint Opinion 05/21, 18.06.2021, Rn. 33.

250

Teil 5: Ausblick und Fazit

B. Fazit: Zusammenfassung der Ergebnisse –– Durch den Einsatz von KI-Systemen kann der öffentliche Sektor Aufgaben effizienter wahrnehmen. Eine zentrale Aufgabe, die dem Menschen zukommt, ist die Kontrolle und das Trainieren von KI-Systemen. Insofern müssen diese neuen Bereiche bei regulativen Bestrebungen mitgedacht werden. Ein regulativer Rahmen für KI-Systeme müsste sowohl den Trainingsprozess umfassen als auch Risikomanagementsysteme in der Implementierungsphase solcher Systeme. –– Der Begriff der KI ist nicht definiert. Dem selbstlernenden Prozess kommt eine entscheidende Bedeutung bei der Begriffsbestimmung zu. Maschinelles Lernen kann selbst als Schwelle begriffen werden, ab welcher von KI gesprochen werden kann. Künstliche Intelligenz ist die Fähigkeit, durch maschinelles Lernen eine algorithmische Automation von Entscheidungen zu erreichen, die eine Verarbeitung (großer) Datenmengen erfordert, aus objektiver menschlicher Sicht nicht trivial ist und ohne menschliche Programmierung im Detail vorgegeben ist. Das intelligente System ist in der Lage, eine Aufgabe durch eine Verarbeitung von Daten zu lösen, indem die Daten zu Informationen umgewandelt werden, also Wissen, das für die Erreichung des Ziels wichtig ist. Die Fähigkeit algorithmischer Systeme, in dieser Weise auf veränderte Umgebungen zu reagieren und so zu lernen, macht sie künstlich intelligent. –– KI setzt stets drei Elemente voraus: große Datenmengen, selbstlernende Algorithmen und schließlich den Menschen (für das Training und die Programmierung). Sämtliche regulatorischen Bestrebungen können an diesen Trägern der KI-Systeme anknüpfen.18 Gerade im Bereich des Trainings von KI-Systemen und des damit verbundenen Umgangs mit Daten ist ein geeigneter Regulierungsrahmen zwingend erforderlich.19 Insofern können Anforderungen wie Evidenz der Ergebnisse von KI-Systemen oder eine Pflicht zum Ergreifen von Validierungsmaßnahmen im Sinne von KI-Audits rechtlich regulative Aspekte sein, die an diese drei Elemente anknüpfen. –– KI-Systeme können im Entscheidungsprozess integriert werden oder diesen vollständig ausfüllen. Je nach Automationsgrad (und Einsatzfeld) bestehen unterschiedliche rechtliche Grenzen für den Einsatz von KI-Systemen in staatlichen Entscheidungen.

18  Vgl.

Wischmeyer, AöR 143, 2018, 10. NJW 2020, 2142, 2144. Für eine Analyse bestehender regulativer Rahmen für Trainingsdaten vgl. Hacker, A Legal Framework for AI Training Data, 2020. 19  Hacker,



B. Fazit: Zusammenfassung der Ergebnisse251

–– Vollautomatisierte KI-Systeme können in der Justiz im Rahmen von Entscheidungen gegenüber den Betroffenen wegen unionsrechtlicher Vor­ gaben (Art. 22 Abs. 1 DSGVO), aber auch wegen verfassungsrechtlicher Grenzen (Art. 92, 97 GG) nicht eingesetzt werden. Der Einsatz von assis­ tierenden Systemen wie COMPAS ist grundsätzlich möglich. Der Einsatz ist aber mit konkret einzuhaltenden, bereits bestehenden verfassungsrechtlichen Bedingungen verbunden. Dazu zählen die Wahrung der richter­lichen Unabhängigkeit sowie das Recht auf ein faires Verfahren (Art. 2 Abs. 1 i. V. m. Art. 20 Abs. 3 GG und Art. 6 Abs. 1 EMRK). Rechtliche Vorgaben fehlen derzeit, wie eine Governance-Struktur ausgestaltet sein müsste. Eine Struktur zu schaffen, in der regelmäßig die Ergebnisse des Systems überprüft und nachvollzogen werden können, leitet sich aus dem Rechtsstaatsprinzip (Art. 20 Abs. 3 GG) ab. –– Eine extensive Nutzung des Predictive Policing nach dem Vorbild der USA – namentlich die Bildung von Risk-Scores für Bürger einer Stadt – birgt erhebliches Diskriminierungspotenzial und könnte daher einen Verstoß gegen das Diskriminierungsverbot des Art. 21 GRCh darstellen, indem die Ausgewerteten kriminalisiert werden. Insbesondere wenn aufgrund von Risk-Scores beliebig Gefährderanschreiben versendet werden, stellt sich die Frage, ob nicht auch das rechtsstaatliche Prinzip der Unschuldsvermutung aus Art. 20 Abs. 3 sowie Art. 6 Abs. 1 EMRK verletzt werden könnte. Jedenfalls wird dadurch zu invasiv in die informationelle Selbstbestimmung von Betroffenen eingegriffen und der Eingriff steht außer Verhältnis mit dem staatlich verfolgten Gefahrenabwehrzweck.20 –– Risiken können sich auf die Interessen des Einzelnen, aber auch auf gesamtgesellschaftliche Interessen auswirken. Der Schwerpunkt der recht­ lichen Einordnung und Bewertung der Risiken kann in der Konzeptionsphase (Training) oder in der Implementierungsphase liegen. –– Transparenz muss in opaken Systemen auch als Beherrschbarkeit maschineller Entscheidungen verstanden werden. Hierfür könnten spezielle KIAuditierungen hilfreich sein. Regulativ könnten diesbezüglich Kriterien und Zielvorgaben formuliert werden. Audits und aufsichtsrechtliche Kon­ trollinstanzen können geschaffen werden, denen eine Überwachung ermöglicht wird. –– Das Demokratie- und Rechtsstaatsprinzip machen den Einsatz von KISystemen im Rahmen von staatlichen Entscheidungen gegenüber dem Bürger nicht per se unmöglich. Gleichwohl erwächst aus diesen Prinzipien die Pflicht, eine Kontrollstruktur zu schaffen. Diese muss Validierungsverfahren vorsehen und entsprechende technische Gegensteuerungsmaß20  Martini/Nink,

in: Martini et al., Automatisch erlaubt?, 2020, S. 41.

252

Teil 5: Ausblick und Fazit

nahmen21 beinhalten. Sofern das KI-System sich außerhalb des gesetzlich vorgegebenen Rasters entwickelt hat, muss der Staat eingreifen können. Nur so wird sichergestellt, dass die Entscheidungshoheit gewahrt bleibt und die demokratische Legitimationskette nicht unterbrochen wird. Es muss sichergestellt werden, dass sich das KI-System an die gesetzlichen Vorgaben des jeweiligen Gesetzes hält. Abwägungsentscheidungen, die technisch nicht von KI-Systemen erfolgen können, sind unzulässig. Sofern sie in solchen Entscheidungskonstellationen assistierend so eingesetzt werden, dass sie bei der Entscheidungsfindung unterstützen, muss es für den Staat nachvollziehbar und kontrollierbar sein, ob stets an richtige Bewertungskriterien angeknüpft wurde. Da, wo dies nicht möglich ist, verbietet sich ein Einsatz von KI-Systemen aus rechtsstaatlichen Gründen. Andererseits grenzt das die Anwendungsfälle in der Weise ab, dass KISysteme für eindeutig definierte, enge Zweckbestimmungen in Frage kommen. Konstellationen, in denen z. B. bei einer Entscheidung, ob ein Angeklagter auf Bewährung verurteilt werden soll oder nicht, ein KISystem eine rote oder grüne Lampe anzeigt, scheiden insoweit per se aus. Für alle KI-Systeme gilt somit, dass entsprechende Sicherungs- und Kontrollmechanismen gewährleisten können müssen, dass das KI-System im konkreten Einzelfall weder unmittelbar noch mittelbar Gewichtungsparameter als entscheidungsrelevant heranzieht, die das jeweilige Gesetz nicht deckt.22 –– Sofern die Rechtsdurchsetzung und Vollziehung von Recht mit KI-Systemen perfektioniert werden kann (Law by Design), setzt die Autonomie dieser Möglichkeit der Realisierung von Recht Grenzen. Wo diese Grenzlinie verläuft, ist nicht klar erkennbar. Vielmehr müssen – um zwingend zu erhaltene Freiheitsräume zu erkennen – die jeweiligen Normen analysiert werden. Es muss geklärt werden, ob spezielle Normen überhaupt von ihrem Regelungsgehalt auf einen Vollvollzug angelegt sind. In den Bereichen, in denen dies nicht der Fall ist, ergibt sich aus Art. 1 GG und Art. 1 GRCh ein Recht auf Intervenierbarkeit im Sinne eines Rechts auf Übersteuerungsmöglichkeit. Die Letztentscheidung muss dann auch system­ seitig dem betroffenen Grundrechtsträger überantwortet werden, ob er aus Einsicht dem Recht folgen möchte oder nicht. –– Der Staat kann sich nicht durch den Einsatz opaker intelligenter Systeme seiner Rechtfertigungslast entledigen. Gleichwohl zeigen Rechtsprechung und die Begründungsstrukturen der analogen Welt, dass nicht im Rahmen 21  Zu ggf. unter diesem Blickwinkel verpflichtenden Blackbox- und WhiteboxTesting-Analysen vgl. oben, Teil 4 A. II. 2. Blackbox- und Whitebox-Testing-Analysen. 22  Martini, in: Kahl/Ludwigs, HVwR I, 2021, § 28 Rn. 92.



B. Fazit: Zusammenfassung der Ergebnisse253

jeder Begründung vollständige Transparenz geschaffen werden muss.23 Die wesentlichen Messdaten müssen jedoch auf Nachfrage vorgelegt werden können.24 Insoweit korrespondieren die Begründungspflichten mit den aus dem Rechtsstaatsprinzip abgeleiteten Kontrollpflichten.25 –– KI-Systeme diskriminieren per definitionem. Eine Diskriminierung im Sinne von Art. 3 GG stellt jedoch nur dann eine Grundrechtsverletzung dar, wenn die Diskriminierung ungerechtfertigt ist. Daraus lässt sich eine Darlegungs- und Beweislastregel ableiten, die den Staat trifft. Algorithmische Fairness lässt sich nicht dergestalt abbilden, dass – wie bei Menschen – an bestimmte gesondert geschützte Merkmale nicht angeknüpft wird. Ansonsten leidet die Genauigkeit solcher Systeme, was zu Lasten von Minderheiten geht. Es hat sich gezeigt, dass Genauigkeit der Ergebnisse eine Ausprägung algorithmischer Fairness ist. Insoweit müssen auch geschützte besondere Merkmale (Ethnie, Geschlecht usw.) verarbeitet werden können dürfen, jedoch ohne sachlichen Differenzierungsgrund nicht Teil der Entscheidung einer öffentlichen Stelle sein. Überall dort, wo das nicht mit Sicherheit ausgeschlossen werden kann, verbietet sich der Einsatz von KI-Systemen im öffentlichen Sektor. –– Das Datenschutzrecht ist als im Vorfeld greifender Diskriminierungsschutz nicht geeignet, wenn Daten ohne Personenbezug, die dennoch rechtliche Interessen der betroffenen Personen tangieren, dem Datenschutzregime nicht unterworfen werden können. Der Personenbezug verliert durch die maschinelle Sortierung an Bedeutung, wohingegen neue Formen von Risiken entstehen.26 Das Individuum hängt wegen der Klassifizierung von Gruppen viel stärker von den Daten anderer Personen ab. Die Möglichkeit, die Klassifizierungen durch das eigene Verhalten beeinflussen zu können, ist sehr begrenzt. Diese neuen Risiken können es erforderlich machen, einen durchsetzbaren kollektiven Datenschutz zu ermöglichen, den es de lege lata nicht gibt. –– Der Ausschluss des Anwendungsbereichs der DSGVO kann insbesondere durch neue gezielte Anonymisierungstechniken auftreten oder aber auch, wenn die Anonymisierung nach der Verarbeitung an sich, aber vor dem Folgern von Rückschlüssen und der Erstellung von Profilen geschieht, womit viele Einschränkungen des Datenschutzrechts umgangen werden können.27 Jedenfalls geht allein von der Möglichkeit, den Einzelnen auf 23  Insoweit kann auch schon deshalb keine Pflicht zur Offenlegung des Quellcodes bestehen. 24  Vgl. BVerfG, Beschluss vom 12.11.2020 – 2 BvR 1616/18 –, Rn. 45, 46. 25  Vgl. oben Teil 4, B. I. 1. b) Rechtsstaatsprinzip. 26  Mann/Matzner, Big Data & Society, 2019, 1, 2. 27  Mann/Matzner, Big Data & Society, 2019, 1, 2.

254

Teil 5: Ausblick und Fazit

Basis korrelativ ermittelter Wahrscheinlichkeiten einer Klasse zuzuordnen, ein erhöhtes Risiko individueller und gruppenspezifischer Diskriminierungen aus.28 –– Der Verordnungsgeber hat ein Verbot vollautomatisierter Entscheidungen formuliert, welches wegen seines engen Anwendungsbereichs viele risikoreiche Anwendungsfelder nicht erfassen kann, da zum einen assistierende KI-Systeme nicht Anwendung finden und zudem der Tatbestand des Art. 22 Abs. 1 DSGVO weiter verlangt, dass die betroffene Person der Entscheidung „unterworfen“ sein muss und die Entscheidung sie auch „beeinträchtigen“ muss. Insbesondere für assistierende KI-Systeme regelt die DSGVO nicht mit klaren Regelungen und weist insoweit eine Regelungslücke auf. –– Die Schlussfolgerungen zeigen, dass sich das Recht de lege ferenda dahin entwickeln muss, dass zumindest abstrakt in Bereichen, in denen intelligente Technologien eingesetzt werden, Pflichten zum Ergreifen von geeigneten technischen und organisatorischen Maßnahmen gesetzlich vorgeschrieben werden. Für den öffentlichen Sektor ergeben sich diese Pflichten auf einer sehr abstrakten Ebene bereits aus dem Demokratie- und Rechtsstaatsprinzip. Aber auch die Grundrechte sowie das Datenschutzrecht setzen voraus, dass der Staat bei einem Einsatz von KI-Systemen eine kontinuierliche Überwachungs- und Kontrollstruktur einrichten muss. Insgesamt wird das Verwaltungs- und Verfassungsrecht den Einsatz intelligenter Technologien stärker abbilden müssen.

28  Martini,

Blackbox Algorithmus, 2019, S. 74.

Literaturverzeichnis Ahner, Helen/Metzger, Max/Nolte, Mathis, Von Menschen und Maschinen: Interdisziplinäre Perspektiven auf das Verhältnis von Gesellschaft und Technik in Vergangenheit, Gegenwart und Zukunft; 1. Auflage 2020, Proceedings der 3. Tagung des Nachwuchsnetzwerks „INSIST“, 05.–07. Oktober 2018, Karlsruhe (INSIST-Proceedings, 3), https://www.ssoar.info/ssoar/handle/document/67663 (Zitiert: Bearbeiter, in: Ahner/Metzger et al., Von Menschen und Maschinen: Interdisziplinäre Perspektiven auf das Verhältnis von Gesellschaft und Technik in Vergangenheit, Gegenwart und Zukunft, 1. Auflage 2020, S. …). Alpaydin, Ethem, Maschinelles Lernen, 2. Auflage, 2019, Boston/Berlin (Zitiert: Alpaydin, Maschinelles Lernen, 2. Auflage 2019, S. …). Auernhammer, Herbert, Datenschutz-Grundverordnung Bundesdatenschutzgesetz und Nebengesetze Kommentar, 7. Auflage, Köln, 2020. (Zitiert: Auernhammer-Bearbeiter, Art. …, Rn. …). Aunkofer, Benjamin, Machine Learning vs Deep Learning – Wo liegt der Unterschied?, Blogbeitrag, 2018, abrufbar unter: https://data-science-blog.com/ blog/2018/05/14/machine-learning-vs-deep-learning-wo-liegt-der-unterschied/ (Zitiert: Aunkofer, Machine Learning vs Deep Learning – Wo liegt der Unterschied?, abrufbar unter: https://data-science-blog.com/blog/2018/05/14/machinelearning-vs-deep-learning-wo-liegt-der-unterschied/). Bader, Johann/Ronellenfitsch, Michael, BeckOK VwVfG mit VwVG und VwZG, 48. Edition, Stand 01.07.2020, München, 2020 (Zitiert: Bearbeiter, in: BeckOK VwVfG, 48. Edition 2020, § …, Rn. …). Bahner, Jennifer Elin, Übersteigertes Vertrauen in Automation: Der Einfluss von Fehleinschätzungen auf Complacency und Automation Bias (Diss.), Berlin, 2008 (Zitiert: Bahner, Übersteigertes Vertrauen in Automation, 2008, S. …). Barocas, Solon/Selbst, Andrew D., Big Data’s Disparate Impact, California Law Review 2016, Volume 4, 671–732 (Zitiert: Barocas/Selbst, California Law Review, 2016, 671, …). Barry-Jester, Maria/Casselman, Ben/Goldstein, Dana, Should Prison Sentences Be Based On Crimes That Haven’t Been Committed Yet? 2015, abrufbar unter: https://fivethirtyeight.com/features/prison-reform-risk-assessment/ (Zitiert: BarryJester et al., Should Prison Sentences Be Based On Crimes That Haven’t Been Committed Yet?, 2015, abrufbar unter: https://fivethirtyeight.com/features/prisonreform-risk-assessment/). Beck, Susanne/Grunwald, Armin/Jacob, Kai/Matzner, Tobias, Künstliche Intelligenz und Diskriminierung, Herausforderungen und Lösungsansätze, München, 2019 (Zitiert: Beck et al., Künstliche Intelligenz und Diskriminierung, 2019, S. …).

256 Literaturverzeichnis Becker, Maximilian, Von der Freiheit, rechtswidrig handeln zu können, Zeitschrift für Urheber- und Medienrecht, 2019, 636–648 (Zitiert: Becker, ZUM, 2019, 636, …). Bennett, Mark W., Confronting Cognitive „Anchoring Effect“ and „Blind Spot“ Biases In Federal Sentencing: a Modest Solution For Reforming a Fundamental Flaw, Journal of Criminal Law and Criminology, Volume 104, 2014, 489–534 (Zitiert: Bennett, Journal of Criminal Law Criminology, Vol. 104, 2014, 489, …). Binder, Nadja, Vollautomatisierte Verwaltungsverfahren im Allgemeinen Verwaltungsverfahrensrecht?, NVwZ 2016, 960–965 (Zitiert: Binder, NVwZ 2016, 960, …). Bisen, Vikram Singh, What is Human in the Loop Machine Learning: Why & How Used in AI? 2020, abrufbar unter: https://medium.com/vsinghbisen/what-ishuman-in-the-loop-machine-learning-why-how-used-in-ai-60c7b44eb2c0 (Zitiert: Bisen, What is Human in the Loop Machine Learning: Why & How Used in AI? 2020, abrufbar unter: https://medium.com/vsinghbisen/what-is-human-in-theloop-machine-learning-why-how-used-in-ai-60c7b44eb2c0). Bitkom e.V, Empfehlungen für den verantwortlichen Einsatz von KI und automatisierten Entscheidungen – Corporate Digital Responsibility and Decision Making, Leitfaden, 2018, abrufbar unter: https://www.bitkom.org/sites/default/files/file/ import/180202Empfehlungskatalog-online-2.pdf (Zitiert: Bitkom, Empfehlungen für den verantwortlichen Einsatz von KI und automatisierten Entscheidungen, S. …). Bitkom e. V., DFKI, Artificial Intelligence, Positionspapier, 2018, abrufbar unter: https://www.bitkom.org/sites/default/files/file/import/171101-PP-Artificial-Intel­ ligence-ENG-Web.pdf (Zitiert: Bitkom/DFKI, Artificial Intelligence, S. …). Bitkom e. V., DFKI, Künstliche Intelligenz, Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, abrufbar unter: https://www. bitkom.org/sites/default/files/file/import/171012-KI-Gipfelpapier-online.pdf (Zitiert: Bitkom/DFKI, Künstliche Intelligenz, S. …). Bitkom e. V., Künstliche Intelligenz verstehen als Automation des Entscheidens, Leitfaden, 2017, abrufbar unter: https://www.bitkom.org/sites/default/files/file/import/ Bitkom-Leitfaden-KI-verstehen-als-Automation-des-Entscheidens-2-Mai-2017. pdf (Zitiert: Bitkom, Künstliche Intelligenz verstehen als Automation des Entscheidens, 2017, S. …). Bitkom e. V., Machine Learning und die Transparenzanforderungen der DS-GVO, Leitfaden, 2018, abrufbar unter: https://www.bitkom.org/sites/default/files/file/ import/180926-Machine-Learning-und-DSGVO.pdf (Zitiert: Bitkom, Machine Learning, 2018, S. …). Bloom, Benjamin S., Taxonomy of Education Objectives, The classification of educational Goals, 1956, USA, Michigan. Boehm, Franziska/Böhme, Rainer/Andrees, Markus, Sachverständigengutachten zur Anhörung des 1. Untersuchungsausschusses des Deutschen Bundestages der 18. Wahlperiode zum Thema: „Wie bzw. auf welche unterschiedliche Art und Weise wird der Begriff der Verkehrs- und Nutzungsdaten wissenschaftlich im technischen und juristischen Kontext gebraucht? Wie ist dieser vom Begriff der

Literaturverzeichnis257 Metadaten abzugrenzen?“, 2017 (Zitiert: Boehm et al., Sachverständigengutachten zur Anhörung des 1. Untersuchungsausschusses des Deutschen Bundestages der 18. Wahlperiode, 2017, S. …). Borgesius, Frederik J. Zuiderveen, Strengthening legal protection against discrimination by algorithms and artificial intelligence 2020, The International Journal of Human Rights. Brink, Stefan/Wolff, Heinrich Amadeus, Beck Online Kommentar Datenschutzrecht, München, 2018 (Zitiert: BeckOK DatenschutzR/Bearbeiter, DS-GVO, Art. …, Rn. …). Britz, Gabielle, Einzelfallgerechtigkeit versus Generalisierung, Tübingen, 2008 (Zitiert: Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008, S. …). Bröhmer, Jürgen, Transparenz als Verfassungsprinzip, 2004, Tübingen (Zitiert: Bröhmer, Transparenz als Verfassungsprinzip, 2004, S. …). Bryson, Joanna J./Malikova, Helena, Is There an AI Cold War? Global Perspectives (2021) 2 (1): 24803, S. 1–10 (Zitiert: Bryson/Malikova, Is There an AI Cold War? Global Perspectives (2021) 2 (1): 24803, S. …). Bull, Hans Peter, Sinn und Unsinn des Datenschutzes, Tübingen, 2015. Burrell, Jenna, How the machine „thinks“: Understanding opacity in machine learning algorithms, 2016, Big Data & Society, 1–12 (Zitiert: Burrell, Big Data & Society, 1, …). BvD-News, Das Fachmagazin für den Datenschutz, Ausgabe 02/2019 (Zitiert: Autor, Titel, BvD-News, 02/2019, S. …). Calliess, Christian/Ruffert, Matthias, EUV/AEUV Das Verfassungsrecht der Europäischen Union mit Europäischer Grundrechtscharta, Kommentar, 5. Auflage 2016, München (Zitiert: Bearbeiter, in: Calliess/Ruffert EUV/AEUV, Art. …, Rn. …). Casey, Anthony Joseph/Niblett, Anthony, A Framework for the New Personalization of Law (October 23, 2018). University of Chicago Law Review, Vol. 86, 2019, abrufbar unter: SSRN: https://ssrn.com/abstract=3271992 or http://dx.doi. org/10.2139/ssrn.3271992 (Zitiert: Casey/Niblett, A Framework for the New Personalization of Law, in: University of Chicago Law Review, 2019, 333, …). Caspar, Johannes, Herrschaft der Maschinen oder Herrschaft des Rechts? Grenzen und Leitlinien für algorithmische und selbstlernende Verfahren in der Verwaltung – Thesen, PinG, Privacy in Germany, Ausgabe Januar 2019 (Zitiert: Caspar, PinG 01/2019, S. …). Centre for Information Policy Leadership, First Report: Artificial Intelligence and data Protection in Tension, 10. Oktober 2018, abrufbar unter: https://www. informationpolicycentre.com/uploads/5/7/1/0/57104281/cipl_ai_first_report_-_ artificial_intelligence_and_data_protection_in_te….pdf (Zitiert: CIPL, First Report, S. …). Christin, Angèle/Rosenblat, Alex/Boyd, Danah, Courts and Predictive Algorithms, in: Data & Civil Rights: a new Era of Policing and Justice, 2015, abrufbar unter: http://www.datacivilrights.org/pubs/2015-1027/Courts_and_Predictive_Algo­ rithms.pdf (Zitiert: Christin et al., Courts an Predictive Algorithms, 2015, S. …).

258 Literaturverzeichnis Conrad, Conrad S., Digitale Assistenten, Rechtlicher Rahmen für Anbieter und Nutzer, ITRB 2018, 116–118 (Zitiert: Conrad, ITRB 2018, 116, …). Corbett-Davies, Sam/Pierson, Emma/Feller, Avi/Goel, Sharad/Huq, Aziz, Algorithmic decision making and the cost of fairness, 2017, Canada, arXiv:1701.08230v4 [cs.CY] 10 Jun 2017, erschienen in KDD’17 Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 797– 806 (Zitiert: Corbett-Davies/Pierson et al., Algorithmic decision making and the cost of fairness, 2017, 797, …). Crawford, Kate, The Hidden Biases in Big Data, in: Harvard Business Review, 2013, abrufbar unter: https://hbr.org/2013/04/the-hidden-biases-in-big-data#:~:text=The %20hype%20becomes%20problematic%20when,analytics%20always%20 reflect%20objective%20truth. (Zitiert: Crawford, The Hidden Biases in Big Data, in: Harvard Business Review, 2013, abrufbar unter: https://hbr.org/2013/04/thehidden-biases-in-big-data#:~:text=The%20hype%20becomes%20problematic%20 when,analytics%20always%20reflect%20objective%20truth). Culic, Nicolai/Döpke, Christian, Zweckbindungsgrundsatz gegen unkontrollierten Einsatz von Big Data-Anwendungen, ZD 2017, 226–230 (Zitiert: Culic/Döpke, ZD 2017, 226, …). Cukier, Kenneth/Mayer-Schoenberger, Viktor, The Rise of Big Data. How It’s Changing the Way We Think About the World, Foreign Affairs, 2013, 28–40 (Zitiert: Cukier/Mayer-Schönberger, The Rise of Big Data 2013, in: Foreign Affairs, S. …). Datatilsynet, The norwegian Data Protection Authority, Artificial Intelligence and privacy, Report, January 2018, abrufbar unter: https://www.datatilsynet.no/ globalassets/global/english/ai-and-privacy.pdf (Zitiert: Datatilsynet, Report January 2018, S. …). Datenethikkommission der Bundesregierung Bundesministerium des Innern, für Bau und Heimat, Gutachten der Datenethikkommission, 2019, Potsdam, abrufbar unter: https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/ it-digitalpolitik/gutachten-datenethikkommission.pdf;jsessionid=EA0182C0F052 DEC449B3822485C25F81.1_cid373?__blob=publicationFile&v=6 (Zitiert: Gutachten der DEK 2019, S. …). Decker, Michael/Grunwald, Armin/Knapp, Martin, Der Systematik auf Innovation. Technikfolgenabschätzung in der Technikgestaltung, 1. Auflage, Berlin, 2012 (Zitiert: Decker/Grunwald/Knapp, Der Systematik auf Innovation. Technikfolgenabschätzung in der Technikgestaltung, 1. Auflage 2012, S. …). Desai, Devan R./Kroll, Joshua A., Trust but verify: A Guide to Algorithms and the Law, Harvard Journal of Law & Technology, Vol. 31 2017, abrufbar unter: https:// jolt.law.harvard.edu/assets/articlePDFs/v31/31HarvJLTech1.pdf (Zitiert: Desai/ Kroll, Harvard Journal of Law & Technology, Vol. 31, 2017, S. …). Dettling, Heinz-Uwe/Krüger, Stefan, Erste Schritte im Recht der Künstlichen Intelligenz, Entwurf der „Ethik-Leitlinien für eine vertrauenswürdige KI“, MMR 2019, 211–217 (Zitiert: Dettling/Krüger, MMR 2019, 211, …).

Literaturverzeichnis259 Di Fabio, Udo/Eifert, Martin/Huber, Peter M., Archiv des öffentlichen Rechts, Band 142, 2017, Tübingen (Zitiert: Autor, AöR 142, 2017, S. …). Di Fabio, Udo/Eifert, Martin/Huber, Peter M., Archiv des öffentlichen Rechts, Band 143, Heft 1 2018, Tübingen (Zitiert: Autor, AöR 143, 2018, S. …). Dietrich, William/Mendoza, Christina/Brennen, Tim, COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, Northpointe, abrufbar unter: http:// go.volarisgroup.com/rs/430-MBX-989/images/ProPublica_Commentary_ Final_070616.pdf (Zitiert: Dietrich/Mendoza et al., COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, S. …). Djeffal, Christian, Künstliche Intelligenz in der öffentlichen Verwaltung (Artificial Intelligence in Public Administration) (November 22, 2018). Berichte des NEGZ 2018, Nr. 3, p. 1–32. Abrufbar unter: SSRN: https://ssrn.com/abstract=3289109 (Zitiert: Djeffal, NEGZ 2018, Nr. 3, S. …). Döbel, Inga et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018 (Zitiert: Döbel et al., Fraunhofer Gesellschaft, Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, 2018, S. …). Donohue, Michael E., A Replacement for Justitia’s Scales? Machine Learning’s Role in Sentencing, Harvard Journal of Law & Technology Volume 32, Number 2, Frühling 2019, 657–678 (Zitiert: Donohue, Harvard Journal of Law & Technology, 2019, 657, …). Drechsler, Jörg/Jentzsch, Nicola, Synthetische Daten: Innovationspotential und gesellschaftliche Herausforderungen, Stiftung neue Verantwortung, Berlin, 2019, abrufbar unter: https://www.stiftung-nv.de/de/publikation/synthetische-dateninnovationspotential-und-gesellschaftliche-herausforderungen (Zitiert: Drechsler/ Jentzsch, Synthetische Daten: Innovationspotential und gesellschaftliche Herausforderungen, 2018, S. …). Dreier, Horst, Grundgesetz Kommentar, 3.  Auflage, Tübingen, 2015, Band II, Art. 20–82 (Zitiert: Bearbeiter, in: Dreier, GG Kommentar, Bd. II Art. …, Rn. …). Dreyer, Stephan/Schulz, Wolfgang, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme? Potentiale und Grenzen der Absicherung individueller, gruppenbezogener und gesellschaftlicher Interessen, 2018, Bertelsmann Stiftung, Gütersloh (Zitiert: Dreyer/Schulz, Was bringt die Datenschutzgrundverordnung für automatisierte Entscheidungssysteme?, 2018, S. …). Dwork, Cynhia/Hardt, Moritz/Pitassi, Toniann/Reingold, Omer/Zemel, Richard, Fairness Through Awareness, 2011, arXiv:1104.3913v2 (Zitiert: Dwork et al., Fairness Through Awareness, 2011, arXiv:1104.3913v2, S. …). Eckpunkte der Bundesregierung für eine Strategie Künstliche Intelligenz, 18. Juli 2018, abrufbar unter: https://www.bmwi.de/Redaktion/DE/Downloads/E/eck punktepapier-ki.pdf?__blob=publicationFile&v=10 (Zitiert: Eckpunkte der Bundesregierung für eine Strategie Künstliche Intelligenz, 2018, S. …). Edwards, Lilian/Veale, Michael, Slave to the Algorithm? Why a „Right to an Explanation“ Is Probably Not the Remedy You Are Looking For, 16 Duke Law & Technology Review, 2017, 18–84 (Zitiert: Edwards/Veale, Slave to the Algorithm?

260 Literaturverzeichnis Why a „Right to an Explanation“ Is Probably Not the Remedy You Are Looking For, 16 Duke Law & Technology Review, 2017, 18, …). Ehl, Christian/Gandhi, Sharad, AI & U – Translating Artificial Intelligence into Business, 2018 (Zitiert: Ehl/Gandhi, AI & U – Translating Artificial Intelligence into Business, 2018. S. …). Eifert, Martin, Neue Schriften zur Verwaltungswissenschaft, Band 1, Electronic Government, Das Recht der elektronischen Verwaltung, 2017, Baden-Baden (Zitiert: Eifert, Electronic Government, 2017, S. ….). Eifert, Martin/Hoffmann-Riem, Wolfgang/Schneider, Jens-Peter, Big Data – Regula­ tive Herausforderungen, Materialien zur rechtswissenschaftlichen Medien- und Informationsforschung, Band 77, 1. Auflage, 2018, Baden-Baden (Zitiert: Bearbeiter, Big Data – Regulative Herausforderungen, 1. Auflage 2018, S. …). Enders, Hagen, Einsatz künstlicher Intelligenz bei juristischer Entscheidungsfindung, JA 2018, 721–727 (Zitiert: Hagen, JA 2018, 721, …). Englich, Birte/Mussweiler, Thomas/Strack, Fritz, Playing Dice with Criminal Sentences: The Influence of Irrelevant Anchors on Experts’Judicial Decision Making, in: Personality and Social Psychology Bulletin, Volume 32, 2006, 188–200 (Zi­ tiert: Englich et al., PSPB 2006, 188, …). Ernst, Christian, Algorithmische Entscheidungsfindung und personenbezogene Daten, Juristenzeitung 2017, 1026–1036 (Zitiert: Ernst, JZ 2017, 1026, …) Executive Office oft he President, Big Data: A Report on Algoritmic Systems, Opportuniy, and Civil Rights, 2016, abrufbar unter: https://obamawhitehouse.archives. gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf (Zitiert: Executive Office of the President, Big Data: A Report on Algoritmic Systems, Opportunity, and Civil Rights, 2016, S. …). Farrell, Graham/Sousa, William, Repeat Victimization and Hotspots: The overlap and its Implications for Crime Control and Problem-oriented Policing, Washington, 1990, Crime Prevention Studies, Volume 12, 221–240 (Zitiert: Farrell/Sousa, Repeat Victimization and Hotspots: The overlap and its Implications for Crime Control and Problem-oriented Policing, S. …). Ferguson, Andrew Guthrie, Big Data and Predictive Reasonable Suspicion (Januar 2015). 163 U. Pa. L. Rev. 327 (2015) (Zitiert: Ferguson, Big Data and Predictive Reasonable Suspicion, 2015, S. …). Ferguson, Andrew Guthrie, The Police are using Computer Algorithms to tell if you’re a Threat, Time Magazine online, 03.10.2017, abrufbar unter: https://time. com/4966125/police-departments-algorithms-chicago/ (zuletzt aufgerufen am 09.06.2019; zi­tiert: Ferguson, The Police are using Computer Algorithms to tell if you’re a Threat, abrufbar unter: https://time.com/4966125/police-departmentsalgorithms-chicago/). Foucault, Michel, Der Wille zum Wissen, 21. Auflage, Frankfurt am Main, 2017 (Zitiert: Foucault, Der Wille zum Wissen, 2017, S. …). Galton, Francis, Regression Towards Mediocrity in Hereditary Stature, The Journal of the Anthropological Institute of Great Britain and Ireland, Vol. 15, 1886, 246–263.

Literaturverzeichnis261 Geminn, Christian, Die Regulierung Künstlicher Intelligenz, Anmerkungen zum Entwurf eines Artificial Intelligence Act, ZD 2021, 354–359 (Zitiert: Geminn, ZD 2021, 354, …). Gierschmann, Sibylle/Schlender, Katharina/Stentzel, Rainer/Veil, Winfried, Kommentar Datenschutz-Grundverordnung, Köln, 2017 (Zitiert: Bearbeiter, in: Gierschmann/Schlender/Stentzel/Veil, Kommentar DS-GVO Art. …, Rn. …). Gluba, Alexander, Predictive Policing – eine Bestandsaufnahme, LKA Niedersachsen, Hannover 2014, abrufbar unter: https://www.netzpolitik.org/wp-upload/LKA_ NRW_Predictive_Policing.pdf. Gola, Peter, DS-GVO, Datenschutz-Grundverordnung, Kommentar, 2. Auflage, München, 2018 (Zitiert: Bearbeiter, in: Gola, DSGVO, Art. …, Rn. …). Grimm, Petra/Keber, Tobias O./Zöllner, Oliver, Digitale Ethik, Leben in vernetzten Welten, 2019, Ditzingen (Zitiert: Grimm et al., Digitale Ethik, 2019, S. …). Guckelberger, Anette, Öffentliche Verwaltung im Zeitalter der Digitalisierung, 1. Auflage 2019, Baden-Baden (Zitiert: Guckelberger, Öffentliche Verwaltung im Zeit­ alter der Digitalisierung, 2019, Rn. …). Habermas, Jürgen, Die Einbeziehung des Anderen, Studien zur politischen Theorie, 1996, Frankfurt am Main (Zitiert: Habermas, Die Einbeziehung des Anderen, Studien zur politischen Theorie, 1996, S. …). Hacker, Philipp, A Legal Framework for AI Training Data (March 18, 2020). Law, Innovation and Technology (forthcoming), abrufbar unter: SSRN: https://ssrn. com/abstract=3556598 (Zitiert: Hacker, A Legal Framework for AI Training Data, 2020, S. …). Hacker, Philipp, Europäische und nationale Regulierung von Künstlicher Intelligenz, NJW 2020, 2142–2147 (Zitiert: Hacker, NJW 2020, 2142, …). Haenlein, Michael/Kaplan, Andreas, A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence, Carlfornia Management Review, 2019, 1–10 (Zitiert: Haenlein/Kaplan, A Brief History of Artificial Intelligence, 1, …). Hardt, Moritz, How Big data is unfair. Understanding unintended sources of unfairness in data driven decision making, 2014, abrufbar unter: https://medium.com/@ mrtz/how-big-data-is-unfair-9aa544d739de (Zitiert: Hardt, How Big data is unfair, 2014, abrufbar unter: https://medium.com/@mrtz/how-big-data-is-unfair-9aa544 d739de). Hardt, Moritz/Price, Eric/Srebro, Nathan, Equality of Opportunity in Supervised Learning, 2016, 1–22, arXiv:1610.02413v1 [cs.LG] (Zitiert: Hardt et al., Equality of Opportunity in Supervised Learning, 2016, S. …). Harvard Business Manager, Künstliche Intelligenz, Wie die Technik Unternehmen verändert und wie Manager sie erfolgreich einsetzen, Ausgabe 03/2019, Hamburg (Zitiert: Autor, Titel, in: Harvard Business Manager, 03/2019, S. …). Hassan, Samer/De Filippi, Primavera, The Expansion of Algorithmic Governance: From Code is Law to Law is Code, Field Actions Science Reports [Online], 2017,

262 Literaturverzeichnis abrufbar unter: http://journals.openedition.org/factsreports/4518, 88–90. (Zitiert: Samer/De Filippi, The Expansion of Algorithmic Governance: From Code is Law to Law is Code, 2017, 88, …). Heitmüller, Ulrike, Missing Link: Predictive Policing – die Kunst, Verbrechen vorherzusagen, abrufbar unter: https://www.heise.de/newsticker/meldung/MissingLink-Predictive-Policing-die-Kunst-Verbrechen-vorherzusagen-4425204.html, zuletzt aufgerufen am 01.06.2019. Herberger, Maximilian, „Künstliche Intelligenz“ und Recht, NJW 2018, 2825–2829 (Zitiert: Herberger, NJW 2018, 2825, …). Hermstrüwer, Yoan, Fairnessprinzipien der algorithmischen Verwaltung, Diskriminierungsprävention beim staatlichen Einsatz von Machine Learning, Archiv des öffentlichen Rechts (AöR) 2020, Band 145, 479–521 (Zitiert: Hermstrüwer, AöR 145, 2020, 479, …). Herold, Viktoria, Algorithmisierung von Ermessensentscheidungen durch Machine Learning, Deutsche Stiftung für Recht und Informatik, Tagungsband (DSRITB), 2018, 453–467 (Zitiert: Herold, DSRITB 2018, 453, …). High-Level Expert Group on Artificial Intelligence, A definition of AI: Main capabilities and scientific disciplines 2019, abrufbar unter https://ec.europa.eu/ newsroom/dae/document.cfm?doc_id=56341 (Zitiert: AI-HLEG, A definition of AI: Main capabilities and scientific disciplines 2019, S. …). Hildebrandt, Mireille, Philosophical Transactions A, Algorithmic regulation and the rule of law, 2018, 1–11, http://dx.doi.org/10.1098/rsta.2017.0355 (Zitiert: Hildebrandt, Phil. Trans. 2018, 1, …). Hilgendorf, Eric/Joerden, Jan C., Handbuch Rechtsphilosophie, Stuttgart, 2017 (Zitiert: Bearbeiter, in: Hilgendorf/Joerden, Handbuch Rechtsphilosophie, 2017, S. …). Hoeren, Thomas, MMR 2016, Thesen zum Verhältnis von Big Data und Datenqualität 8–11 (Zitiert: Hoeren, MMR 2016, 8, …). Hoeren, Thomas/Niehoff, Maurice, KI und Datenschutz – Begründungserfordernisse automatisierter Entscheidungen, Zeitschrift für rechtswissenschaftliche Forschung, 2018, 47–66 (Zitiert: Hoeren/Niehoff, RW 2018, 47, …). Kahl, Wolfgang/Ludwigs, Markus, Handbuch des Verwaltungsrechts, Band I: Grundstrukturen des deutschen Verwaltungsrechts, Heidelberg, 2021 (Zitiert: Bearbeiter, in: Kahl/Ludwigs, HVwR I 2021, § … Rn. …). Kahneman, Daniel, Schnelles Denken, langsames Denken, 12. Auflage, 2011, München (Zitiert: Kahneman, Schnelles Denken, langsames Denken, 2011, S. …). Kempny, Simon/Reimer, Philipp, Gleichheitssatzdogmatik, Tübingen, 2017 (Zitiert: Bearbeiter, in: Kempny/Reimer, Gleichheitsdogmatik, 2017, S. …). Kim, Won, A Taxonomy of dirty Data, Data Mining and Knowlegde Discovery, Niederlande, 2003, 81–99 (Zitiert: Kim et al., 2003, 81, …). Kingreen, Thorsten/Poscher, Ralf, Grundrechte Staatsrecht II, 35. Auflage 2019, Heidelberg (Zitiert: Kingreen/Poscher, Staatsrecht II, 2019, S. …, Rn. …).

Literaturverzeichnis263 Kitchin, Rob, Thinking critically about researching algorithms, Information, Communication & Society, 2017, 14–29 (Zitiert: Kitchin, Information, Communication & Society, 2017, 14, …). Klaas, Arne, Demokratieverhältnis im Spannungsverhältnis mit künstlicher Intelligenz, Demokratische Entscheidungsfindung durch und mithilfe von selbstlernenden Algorithmen, MMR 2019, 84–90. Kleinberg, Jon/Ludwig, Jens/Mullainathan, Sendhil/Sunstein, Cass R., Discrimination in the Age of Algorithms, 2019, abrufbar unter SSRN: https://ssrn.com/ abstract=3329669 oder http://dx.doi.org/10.2139/ssrn.3329669 (Zitiert: Kleinberg et al., Discrimination in the Age of Algorithms, 2019, S. …). Knobloch, Tobias, Vor die Lage kommen: Predictive Policing in Deutschland Chancen und Gefahren datenanalytischer Prognosetechnik und Empfehlungen für den Einsatz in der Polizeiarbeit, Berlin, 2018, abrufbar unter: https://www.bertelsmannstiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/predictive.pol icing.pdf (zuletzt abgerufen am 01.06.2019) (Zitiert: Knobloch, Predictive Polic­ ing, S. …). Konferenz der Informationsfreiheitsbeauftragten, „Transparenz der Verwaltung beim Einsatz von Algorithmen für gelebten Grundrechtsschutz unabdingbar“, 2018, abrufbar unter: https://www.datenschutzzentrum.de/uploads/informationsfreiheit/ 2018_Positionspapier-Transparenz-von-Algorithmen.pdf (Zitiert: Konferenz der Informationsfreiheitsbeauftragten, Positionspapier 2018, S. …). Koops, Bert-Jaap, Criteria for Normative Technology, An essay on the acceptability of „code as law“ in light of democratic and constitutional values, 2007, TILT Law & Technology Working Paper Series, Working Paper No. 005/2007, abrufbar un­ ter: http://ssrn.com/abstract=1071745 (Zitiert: Koops, Criteria for Normative Technology, 2007, S. …). Kranig, Thomas/Sachs, Andreas/Gierschmann, Markus, Datenschutz-Compliance nach der DS-GVO, Handlungshilfe für Verantwortliche inklusive Prüffragen für Aufsichtsbehörden, Köln, 2017 (Zitiert: Kranig/Sachs/Gierschmann, DatenschutzCompliance, 2017, S. …). Krüger, Jochen/Möllers, Frederik, Metadaten in Justiz und Verwaltung. Neue juristische Problemkategorie im Rahmen der elektronischen Aktenführung? Multimedia und Recht (MMR), 2016, 728–731 (Zitiert: Krüger/Möllers, MMR 2016, 728, …). Krüger, Julia/Lischka, Konrad, Damit Maschinen den Menschen dienen, Lösungsansätze, um algorithmische Prozesse in den Dienst der Gesellschaft zu stellen – Arbeitspapier – Gütersloh, 2018, abrufbar unter: https://www.bertelsmann-stiftung. de/fileadmin/files/BSt/Publikationen/GrauePublikationen/AlgorithmenethikLoesungspanorama.pdf (Zitiert: Krüger/Lischka, Damit Maschinen den Menschen dienen, 2018, S. …). Kugelmann, Dieter, Der polizeiliche Gefahrenbegriff in Gefahr?, Die Öffentliche Verwaltung (DÖV), 2003, 781–788 (Zitiert: Kugelmann, DÖV 2004, 781, …). Kühling, Jürgen/Buchner, Benedigt, Datenschutz-Grundverordnung BDSG Kommentar, 3. Auflage 2020, München. (Zitiert: Bearbeiter, in: Kühling/Buchner DSGVO, BDSG, 3. Auflage 2020, Art. …, Rn. …).

264 Literaturverzeichnis Lessig, Lawrence, Code: Version 2.0, New York, 2006 (Zitiert: Lessig, Code, Ver­ sion 2.0, S. …). Lessig, Lawrence, Code and other laws of cyberspace, New York, 1999 (Zitiert: Lessig, Code and other laws of Cyberspace, 1999, S. …). Lischka, Konrad/Klingel, Anita, Wenn Maschinen Menschen bewerten, Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung, Gütersloh, 2017 (Zitiert: Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. …). Lobe, Adrian, Speichern und Strafen, Die Gesellschaft im Datengefängnis, München, 2019 (Zitiert: (Lobe, Speichern und Strafen, 2019, S. …). Lorentz, Nora, Profiling – Persönlichkeitsschutz durch Datenschutz? 2020, Tübingen (Zitiert: Lorentz, Profiling – Persönlichkeitsschutz durch Datenschutz? 2020, S. …). Machiavelli, Niccolò, Mensch und Staat, Hamburg, 2011 (Zitiert: Machiavelli, Mensch und Staat, 2011, S. …). Mann, Monique/Matzner, Tobias, Challenging algorithmic profiling: The limits of data protection and anti-discrimination in responding to emergent discrimination, Big Data & Society, 2019, 1–11 (Zitiert: Mann/Matzner, Big Data & Society, 2019, 1 …). Martini, Mario, Algorithmen als Herausforderung für die Rechtsordnung, Juristen Zeitung 2017, 1017–1072 (Zitiert: Martini, JZ 2017, 1017, …). Martini, Mario, Blackbox Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz, Berlin, 2019 (Zitiert: Martini, Blackbox Algorithmus, 2019, S. …). Martini, Mario, Transformation der Verwaltung durch Digitalisierung, in: Ziekow, Jan, Verwaltungspraxis und Verwaltungswissenschaft, 1. Auflage, 2018, 11–68 hinter Band 41, Reihe: Schriften der Deutschen Sektion des Internationalen Instituts für Verwaltungswissenschaften, Band 41 (Zitiert: Martini, Transformation der Verwaltung durch Digitalisierung, S. …). Martini, Mario/Botta, Jonas/Nink, David/Kolain, Michael, Automatisch erlaubt? Fünf Anwendungsfälle algorithmischer Systeme auf dem juristischen Prüfstand, Gütersloh, 2020 (Zitiert: Bearbeiter, in: Martini et al., Automatisch erlaubt?, 2020, S. …). Martini, Mario/Nink, David, Subsumtionsautomaten ante portas? – Zu den Grenzen der Automatisierung in verwaltungsrechtlichen (Rechtsbehelfs-)Verfahren. Deutsches Verwaltungsblatt, 133. Jahrgang 2018, S. 1128–1137 (Zitiert: Martini/Nink, DVBl 2018, 1128, …). Martini, Mario/Nink, David, Wenn Maschinen entscheiden… – vollautomatisierte Verwaltungsverfahren und Persönlichkeitsschutz, Neue Zeitschrift für Verwaltungsrecht – Extra, 2017, 1–13 (Zitiert: Marini/Nink, NVwZ – Extra, 10/2017, 1, …). Mayson, Sandra Gabriel, Bias In, Bias Out (September 28, 2018). 128 Yale Law Journal __ (2019 Forthcoming); University of Georgia School of Law Legal Studies Research Paper, No. 2018-35, 2218–2300 (Zitiert: Mayson, Yale Law Journal, 2018, Bias In, Bias Out, 2218 …).

Literaturverzeichnis265 McAfee, Andrew/Brynjolfsson, Erik, Where Computers Defeat Humans, and Where They Can’t, New York Times, online, 2016, abrufbar unter: https://www.nytimes. com/2016/03/16/opinion/where-computers-defeat-humans-and-where-they-cant. html (zuletzt abgerufen am 19.07.2019) (Zitiert: McAfee/Brynjolfsson, Where Computers Defeat Humans, and Where They Can’t, New York Times, online, 2016, abrufbar unter: https://www.nytimes.com/2016/03/16/opinion/wherecomputers-defeat-humans-and-where-they-cant.html (zuletzt abgerufen am 19.07.2019). McCracken, Harry, Google CEO: AI is a bigger deal than fire and electricity, abrufbar unter: https://www.fastcompany.com/40519204/google-sundar-pichai-ai-is-abigger-deal-than-fire-or-electricity (Zitiert: McCracken, https://www.fastcompany. com/40519204/google-sundar-pichai-ai-is-a-bigger-deal-than-fire-or-electricity, zuletzt abgerufen am 15.01.2019). Meyer, Jürgen/Hölscheidt, Sven, Charta der Grundrechte der Europäischen Union, Kommentar, 5. Auflage, 2019, Baden-Baden (Zitiert: Bearbeiter, in: Meyer/Hölscheidt, GRCh Kommentar, 2019, Art. …, Rn. …). Meyer, Stephan, Künstliche Intelligenz und die Rolle des Rechts für Innovation, Rechtliche Rationalitätsanforderungen an zukünftige Regulierung, Zeitschrift für Rechtspolitik, ZRP 2018, 233–238 (Zitiert: Meyer, ZRP 2018, 233, …). Morewedge, Carey K./Kahneman, Daniel, Associative Processes in Intuitive Judement, in: Trends in Cognitive Sciences 14, 2010, S. 435–440 (Zitiert: Morewedge/ Kahneman, TiCS 2010, 435, …). Nouwens, Midas/Liccardi, Ilaria/Veale, Michael/Karger, David/Kagal, Lalana, Dark Patterns after the GDPR: Scraping Consent Pop-ups and Demonstrating their Influence, Computer Human Interaction Journal, 2020, USA, arXiv: https://arxiv. org/abs/2001.02479 (Zitiert: Nouwens et al., CHI 2020, arxiv.org/abs/2001.02479). O’Neil, Cathy, Weapons of math destruction: How Big Data increases inequality and threatens democracy, 2016, USA (Zitiert: O’Neil, Weapons of math destruction, 2016, S. …). Orwat, Carsten, Diskriminierungsrisiken durch Verwendung von Algorithmen, 1. Auflage 2019, Berlin (Zitiert: Orwat, Diskriminierungsrisiken durch Algorithmen, 2019, S. …). Orwell, George, 1984, Roman, ins Deutsche übertragen von Wagenseil, Kurt/Pothorn, Herbert, 21. Auflage 1973, Zürich (Zitiert: George Orwell, 1984, S. …). Paal, Boris/Pauly, Daniel, Datenschutz-Grundverordnung Bundesdatenschutzgesetz, Beck’sche Kompakt-Kommentare, 2. Auflage 2018, München (Zitiert: Bearbeiter, in: Paal/Pauly, DSGVO Kommentar, Art. …, Rn. …). Pasquale, Frank, The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, London, 2015 (Zitiert: Pasquale, The Black Box Society, 2015, S. …). Penney, Jonathon, Understanding Chilling Effects (May 28, 2021). 106 Minnesota Law Review (Forthcoming, 2022), abrufbar unter: SSRN: https://ssrn.com/ abstract= (Zitiert: Penney, Understanding Chilling Effects, Minnesota Law Review, 2021, S. …).

266 Literaturverzeichnis Purtova, Nadezhda, The law of everything. Broad concept of personal data and future of EU data protection law, in: Law, Innovation and Technology, 2018, 40–81 (Zitiert: Purtova, Law, Innovation and Technology, 2018, 40, …). Rademacher, Timo, Predictive Policing im deutschen Polizeirecht, Archiv des öffentlichen Rechts (AöR), 2017, S. 366–416 (Zitiert: Rademacher, AöR 142, 2017, S. …). Rademacher, Timo, Wenn neue Technologien altes Recht durchsetzen: Dürfen wir es unmöglich machen, rechtswidrig zu handeln?, Juristen Zeitung 14/2019, 702–710 (Zitiert: Rademacher, JZ 2019, 702, …). Raji, Behrang, Rechtliche Bewertung synthetischer Daten für KI-Systeme, Datenschutz und Datensicherheit, 05/2021, 303–309 (Zitiert: Raji, DuD 2021, 303, …). Raschka, Sebastian/Mirjalili, Vahid, Machine Learning mit Python und Scikit-learn und TensorFlow, Das umfassende Praxishandbuch für Data Science, Deep Learning und Predictive Analytics, 2. Auflage 2018, Frechen (Zitiert: Raschka/Mirjalili, Machine Learning, 2018, S….). Reichwald, Julian/Pfisterer, Dennis, Autonomie und Intelligenz im Internet der Dinge, Möglichkeiten und Grenzen autonomer Handlungen, Computer und Recht, 2016, 208–212 (Zitiert: Reichwald/Pfisterer, CR 2016, 208, …). Kar, Resa Mohabbat/Thapa, Basanta/Parycek, Peter, (Un)Berechenbar? Algorithmen und Automatisierung in Staat und Verwaltung, 1. Auflage 2018, Berlin, abrufbar unter: https://www.oeffentliche-it.de/documents/10181/76866/%28Un%29bereche nbar+-+Algorithmen+und+Automatisierung+in+Staat+und+Gesellschaft.pdf, zuletzt aufgerufen am 27.04.2019 (Zitiert: Bearbeiter, Titel, in: (Un)Berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft, S. …). Rich, Michael L., Should We make Crime Impossible?, Harvard Journal of Law & Public Policy, Vol. 36, Number 2, 2013, Privacy, Security, and Human Dignity in the Digital Age, 795–848, Cambridge (Zitiert: Rich, Harvard Journal of Law & Public Policy, Vol. 36, 2013, 795, …). Richardson, Rashida/Schultz, Jason M./Crawford, Kate, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, New York University Law Review Online, 2019, abrufbar unter: https:// www.nyulawreview.org/wp-content/uploads/2019/04/NYULawReview-94Richardson-Schultz-Crawford.pdf (Zitiert: Richardson/Schultz/Crawford, Dirty Data, Bad Predictions: How Civil Rights violations impact Police Data, Predictive Policing Systems, and Justice, New York University Law Review Online, abrufbar unter: https://www.nyulawreview.org/wp-content/uploads/2019/04/NYULawRe view-94-Richardson-Schultz-Crawford.pdf, zuletzt abgerufen am 09.06.2019, S. …). Richter, Stephan/Kind, Sonja, Predictive Policing, Büro für Technikfolgenabschätzung im Deutschen Bundestag, Berlin, 2016, abrufbar unter: https://www.tabbeim-bundestag.de/de/pdf/publikationen/themenprofile/Themenkurzprofil-009.pdf (zuletzt abgerufen am 01.06.2019) (Zitiert: Richter/Kind, Predictive Policing, 2016, S. …).

Literaturverzeichnis267 Riemann, Frank, Die Transparenz der Europäischen Union, Berlin, 2004 (Zitiert: Reimann, Die Transparenz der Europäischen Union, 2004, S. …). Rocher, Luc/M. Hendrickx, Julien/de Montjoye, Yves-Alexandre, nature Communications 2019, Estimating the success of re-identifications in incomplete datasets using generative models, aufrufbar unter: https://doi.org/10.1038/s41467-019-109333 (Zitiert: Rocher et al., nature Communications 2019, Estimating the success of re-identifications in incomplete datasets using generative models, S. …). Rosenthal, Daniel M., Assessing Digital Preemption (and the Future of law Enforcement?), New Criminal Law Review, 2011, 576–610 (Zitiert: Rosenthal, New Criminal Review, 2011, 576 …). Roßnagel, Alexander, Big Data – Small Privacy? Konzeptionelle Herausforderungen für das Datenschutzrecht, ZD 2013, 562–567 (Zitiert: Roßnagel, ZD 2013, 562, …). Sachs, Michael, Grundgesetz Kommentar, 8. Auflage 2018, München (Zitiert: Bearbeiter, in: Sachs, GG Kommentar, 2018, Art. …, Rn. …). Sahil, Verma/Rubin, Julia, Fairness Definitions Explained 2018, In FairWare’18: IEEE/ACM International Workshop on Software Fairness, 29. Mai 2018, Gothenburg, Sweden. ACM, New York, NY, USA, aufrufbar unter: https://doi.org/ 10.1145/3194770.3194776 (Zitiert: Verma/Rubin, Fairness Definitions Explained, 2018, S. …). Sandvig, Christian/Hamilton, Kevin/Karahalios, Karrie/Langbort, Cedric, Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms, Paper presented to „Data and Discrimination: Converting Critical Concerns into Productive Inquiry,“ a preconference at the 64th Annual Meeting of the International Communication Association. 22. Mai 2014, Seattle, WA, USA, abrufbar unter: http://www-personal.umich.edu/~csandvig/research/Auditing%20Algo rithms%20--%20Sandvig%20--%20ICA %202014%20Data%20and%20Discri mination%20Preconference.pdf (Zitiert: Sandvig et al., Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Plat forms, 22. Mai 2014), abrufbar unter: http://www-personal.umich.edu/~csandvig/research/Audit ing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20Data%20and %20Discrimination%20Preconference.pdf). Sartor, Giovanni/Lagioia, Francesca, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, Study 2020, Panel for the Future of Science and Technology doi: 10.2861/293, abrufbar unter: https://www.europarl.europa.eu/ RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf (Zitiert: Sartor/Lagioia, The impact of General Data Protection Regulation (GDPR) on artificial intelligence, 2020, S. …). Schäfer, Gerhard/Sander, Günther M./van Gemmeren, Gerhard, Praxis der Strafzumessung, 6. Auflage 2017, München (Zitiert: Schäfer/Sander/van Gemmeren, Praxis der Strafzumessung, Rn. 828). Schaffland, Hans-Jürgen/Wiltfang, Noeme, Datenschutz-Grundverordnung DS-GVO Kommentar, Berlin, 2017 (Zitiert: Schaffland/Wiltfang, DSGVO Art. … Rn. …).

268 Literaturverzeichnis Schaub, Renate, Verantwortlichkeit für Algorithmen im Internet, Deutsche Stiftung für Recht und Informatik, Tagungsband, DSRITB 2018, 439–452 (Zitiert: Schaub, DSRITB 2018, 439, …). Schefzig, Jens, Asimov 2.0 – Datenschutzrechtliche KI-Grundregeln, DSRITB 2018, 491–505 (Zitiert: Schefzig, DSRITB 2018, 491, …). Schenke, Wolf-Rüdiger, Polizei- und Ordnungsrecht, 10. Auflage 2018, Heidelberg (Zitiert: Schenke, Polizei- und Ordnungsrecht, § …, Rn. …). Schermer, Bart, Risks of profiling and the limits of data protection law, 2013, in: Custers B., Calders T., Schermer Bart, Zarsky T (eds) Discrimination and Privacy in the Information Society. Studies in Applied Philosophy, Epistemology and Rational Ethics, Ausgabe 3, 2013, Berlin/Heidelberg, S. 137–152 (Zitiert: Schermer, Risks of profiling and the limits of data protection law, 2013, 137, …). Schliesky, Utz, Digitale Ethik und Recht, Neue Juristische Wochenschrift (NJW) 2019, 3692–3697 (Zitiert: Schliesky, NJW 2019, 3692, …). Schröder, Ulrich Jan, Das Demokratieprinzip des Grundgesetzes, JA 2017, 809–818 (Zitiert: Schröder, JA 2017, 809, …). Schwartmann, Rolf/Jaspers, Andreas/Thüsing, Gregor/Kugelmann, Dieter, Heidelberger Kommentar, DSGVO/BDSG, 2. Auflage 2020, Heidelberg (Zitiert: Bearbeiter, in: HK DSGVO/BDSG, 2. Auflage 2020, Art. …, Rn. …). Schwartz, Paul, Data Processing and Government Administration: The Failure of the American Legal Response to the Computer, 43 Hastings L.J. 1992, 1321–1389, abrufbar unter: https://repository.uchastings.edu/hastings_law_journal/vol43/iss5/2 (Zitiert: Schwartz, Data Processing and Government Administration: The Failure of the American Legal Response to the Computer, 43 Hastings L.J., 1992, 1321, …, abrufbar unter: https://repository.uchastings.edu/hastings_law_journal/vol43/ iss5/2). Schwartz, Paul M./Solove, Daniel J., The PII Problem: Privacy and a new concept of personally identifiable Information, N.Y.U. Law review, 2011, 1815–1829 (Zitiert: Schwartz/Solove, N.Y.U. Law review, 2011, 1815, …). Seckelmann, Margit, Digitalisierte Verwaltung. Vernetztes E-Goverment, 2. Auflage, Berlin, 2019 (Zitiert: Bearbeiter-Seckelmann, Digitalisierte Verwaltung, S. …, Rn. …). Siegel, Eric, Predictive Analytics, The Power to predict who will click, buy, lie or die, 2016, Hoboken, New Jersey (Zitiert: Siegel, Predictive Analytics, 2016, S. …). Singelnstein, Tobias, Predictive Policing: Algorithmenbasierte Straftatprognosen zur vorausschauenden Kriminalintervention, NStZ, 2018, 1–9 (Zitiert: Singelnstein, NStZ 2018, 1, …). Skitka, Linda J./Mosier, Kathleen L./Burdick, Mark, Does automation bias decisionmaking? International Journal of Human-Computer Studies, 51, 1999, 991–1006 (Zitiert: Skitka/Moiser et al., Does automation bias decision-making? International Journal of Human-Computer Studies, 1999, 991, …). Song, Hyunjin/Schwarz, Norbert, Social Cognition Journal, 2008, Vol. 26, No. 6, 791–799 (Zitiert: Song/Schwarz, 2008, Fluency and the detection of misleading

Literaturverzeichnis269 questions: low processing fluency attenuates the Moses Illusion, in Social Cognition, 791, (…). Specht-Riemenschneider, Louisa/Buchner, Benedikt/Heinze, Christian/Thomsen, Oliver, IT Recht in Wissenschaft und Praxis, Festschrift für Jürgen Taeger, 2020, Frankfurt am Main (Zitiert: Bearbeiter, in: Festschrift für Jürgen Taeger, 2020, S. …). Specht-Riemenschneider, Louisa/Werry, Nikola/Werry, Susanne, Datenrecht in der Digitalisierung, Berlin, 2020 (Zitiert: Bearbeiter, in: Specht-Riemenschneider/ Werry/Werry, Datenrecht in der Digitalisierung, 2020, S. (…). Stadler, Theresa/Oprisanu, Bristena/Troncoso, Carmela, Synthetic Data – Anonymisation Groundhog Day, arXiv:2011.07018v3 [cs.LG] 10 Jun 2021 (Zitiert: Stadler/ Oprisanu et al., Synthetic Data – Anonymisation Groundhog Day, arXiv:2011. 07018v3 [cs.LG] 10 Jun 2021, S. …). Steiner, Udo/Brinktrine, Ralf, Besonderes Verwaltungsrecht, 9. Auflage 2018, Heidelberg (Zitiert: Bearbeiter, in: Steiner/Brinktrine, Besonderes Verwaltungsrecht, S. …). Stewart, Matthew, Programming Fairness in Algorithms. Understanding and combating issues of fairness in supervised learning, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8 (Zitiert: Stewart, Programming Fairness in Algorithms, 2020, abrufbar unter: https:// towardsdatascience.com/programming-fairness-in-algorithms-4943a13dd9f8). Strack, Fritz/Martin, Leonard L./Schwarz, Norbert, Priming and communication: Social determinants of information use in judgments of life satisfaction, European Journal of Social Psychology, 1988, Vol. 18, 429–442. Straker, Christian/Niehoff, Maurice, ABIDA-Fokusgruppe – Diskriminierung durch Algorithmen und KI im eRecruiting, ZD-Aktuell 2018, 06252 (Zitiert: Straker/ Niehoff, ZD-Aktuell 2018, 06252). Strategie Künstliche Intelligenz der Bundesregierung, Stand: November 2018, abrufbar unter: https://www.bmbf.de/files/Nationale_KI-Strategie.pdf (Zitiert: Strategie Künstliche Intelligenz der Bundesregierung, 2018, S. …). Thaler, Richard H./Sunstein, Cass R., Nudge, Wie man kluge Entscheidungen anstößt 15. Auflage 2019, Berlin (Zitiert: Thaler/Sunstein, Nudge, 15. Auflage 2019, S. …). Tisné, Martin, The Data Delusion, 2020, abrufbar unter: https://fsi-live.s3.us-west-1. amazonaws.com/s3fs-public/the_data_delusion_formatted-v3.pdf (Zitiert: Tisné, Martin, The Data Delusion, 2020, S. …). Turing, Alan M., A Quaterly Review of Psyvhology and Philosophy, Computing and Machinery Intelligence, Oxford 1950, in Mind Vol. 59, 433–460. Tversky, Amos/Kahneman, Daniel, Judment under Uncertainty, Heuristics and Biases, Science, Band 185, 1974, 1124–1131 (Zitiert: Tversky/Kahneman, Science 1974, 1124, …).

270 Literaturverzeichnis Unger, Sebastian/Ungern-Sternberg, Antje, Demokratie und künstliche Intelligenz, Tübingen, 2019 (Zitiert: Bearbeiter, in: Unger/Ungern-Sternberg, Demokratie und künstliche Intelligenz, 2019, S. …). Veil, Winfried, Die Datenschutz-Grundverordnung: des Kaisers neue Kleider, Der gefährliche Irrweg des alten wie des neuen Datenschutzrechts, Neue Zeitschrift für Verwaltungsrecht, NVwZ 2018, 686–696 (Zitiert: Veil, NVwZ 2018, 686, …). Voßkuhle, Andreas/Kaufhold, Ann-Katrin, Grundwissen – Öffentliches Recht: Das Rechtsstaatsprinzip, JuS 2010, 116–119 (Zitiert: Voßkuhle/Kaufhold, JuS 2010, 116, …). Wachter, Sandra/Mittelstadt, Brent, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI (October 5, 2018). Columbia Business Law Review, 2019(2), abrufbar unter: SSRN: https://ssrn.com/ abstract=3248829 (Zitiert: Wachter/Mittelstadt, A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI, 2019, S. …). Wachter, Sandra/Mittelstadt, Brent/Russell, Chris, Why Fairness cannot be automated: Bridging the Gap between EU Non-Discrimination Law and AI, 2020, abrufbar unter SSRN: https://ssrn.com/abstract= (Zitiert: Wachter/Mittelstadt/Russel, Why Fairness cannot be automated: Bridging the Gap between EU Non-Discrimination Law and AI, 2020, S. …). Wegener, Bernhard W., Der geheime Staat, 2006, Göttingen (Zitiert: Wegener, Der geheime Staat, 2006, S. …). Wei, Yanhao/Yildirim, Pinar/Van den Bulte, Christophe/Dellarocas, Chrysantho, Credit Scoring with Social Network Data, in: Marketing Science 2015, 35 (2), 234–258. http://dx.doi.org/10.1287/mksc.2015.0949 (Zitiert: Wei/Yildirim/Van den Bulte/ Dellarocas, Marketing Science 2015, 35 (2), 234–…). Wieder, Clemens, Datenschutzrechtliche Betroffenenrechte bei der Verarbeitung von personenbezogenen Daten mittels künstlicher Intelligenz, DSRIBT 2018, 505–518 (Zitiert: Wieder, DSRITB 2018, 505, …). Wischmeyer, Thomas/Rademacher, Timo, Regulating Artificial Intelligence, 2020, Schweiz (Zitiert: Bearbeiter, in: Wischmeyer/Rademacher, Regulation Artificial Intelligence, 2020, S. …). Wittpahl, Volker, KI ohne Grenzen?, 2019, Berlin, Heidelberg (Zitiert: Bearbeiter, in: Wittpahl, KI ohne Grenzen, S. …). Youyou, Wu/Kosinski, Michal/Stillwell, David, Computer based personality judgements are more accurate than those made by humans, PNAS 2015, Vol. 112, No. 4, 1036–1040 (Zitiert: Youyou/Kosinski et al., Computer based personality judgements are more accurate than those made by humans, PNAS 2015, 1036, …). Zarsky, Tal Z., Incompatible: The GDPR in the Age of Big Data, Seton Hall Law review, 2017, 995–1018 (Zitiert: Zarsky, Seton Hall Law review, 2017, 995, …). Zaumseil, Peter, Die Modernisierung des Besteuerungsverfahrens, NJW 2016, 2769– 2774 (Zitiert: Zaumseil, NJW 2016, 2769, …).

Literaturverzeichnis271 Zuboff, Shoshana, Das Zeitalter des Überwachungskapitalismus, 2018, Frankfurt/New York (Zitiert: Zuboff, Das Zeitalter des Überwachungskapitalismus, 2018, S. …). Zweig, Katharina A., Algorithmische Entscheidungen: Transparenz und Kontrolle, 2019 Konrad Adenauer Stiftung, in: Analysen & Argumente, Nr. 338, Januar 2019 (Zitiert: Zweig, Algorithmische Entscheidungen: Transparenz und Kontrolle S. …).

Stichwortverzeichnis AI-Effect  43 Alan Turing  46 Algorithmus  45, 61 ff., 71 f., 75, 120, 124, 134, 198, 201, 216 f., 231 f. Anker-Effekt  57 ff., 60, 88, 92, 97 f. Anonyme Daten  50, 191 ff., 195 f. Assistenzsysteme  33, 219 Assistierend  48, 85, 98 ff., 113, 144, 185, 207, 219, 233, 254

Entscheidungssystem  21, 32, 37, 51, 65, 122, 135, 158, 190

Bias  74, 79, 87, 115 f., 125, 135, 207, 222, Big Data  24, 42, 48, 79, 102, 104, 107, 171 f., 183, 192, 194, 197, 202, 211, 213, 236, 239 ff. Blackbox  25, 72, 74, 96, 126, 134, 136 f., 157 f., 161, 180, 226

Halo-Effekt  56

Chatbot  22, 31, 48, 65, 81, 85 Clustering  69 f.,, 190 COMPAS  39 f., 58 f., 85 ff., 95 f. , 98 ff., 183, 251 Datafizierung  20, 40, 194 Datenstrategie  38, 244 Deep Learning  48, 73 ff., 79 Demokratieprinzip  32, 105, 132 f., 139 f., 142, 162, 166 f., 251, 254 Digitalisierung  20, 32, 40, 62, 106, 131, 235 Diskriminierung  24 f., 27, 32, 35, 51, 76, 78, 80, 87, 89, 91, 94 f., 99, 124 ff., 130 f., 135 f., 169, 170 ff., 196 f., 204, 210 ff., 219 f., 227, 240, 251, 253 f. Effizienz  19, 23 f., 27 f., 48, 94, 101, 104, 109, 131, 234 Entscheidungsbäume  60, 72 f., 234

Fairness  38, 89, 94 ff., 101, 123, 129, 151, 173, 179 f., 182 ff., 225 ff., 240 ff., 244, 253 False positive  88 f., 94, 108, 117, 121, 129, 215 Gefahrenverdacht  112

Intersektionalität  211 f. Kausalität  44, 76, 78, 90, 119, 126 KI-System  21 f., 24 ff., 46 ff., 50 ff., 56 ff., 63 ff., 68, 76 ff., 89 f., 92 f., 95 ff., 105 ff., 110 f., 113, 115 f., 119, 121 f., 124 ff.,157 ff., 161 ff., 172 ff., 177 ff., 183 ff., 192 ff., 197 f., 200 ff., 204 f., 207, 211 ff., 215 ff., 222 ff., 227 f., 230, 233, 235 ff., 243, 245 ff. Klassifikation  46, 67, 70, 72 f., 93, 105, 174, 180, 185, 190, 195, 197 f., 201, 211 f., 215, 238 Konkrete Gefahr  111 f. Korrelation  27, 30, 44, 55, 60, 64, 71, 76 ff., 93, 108, 119, 125 f., 131, 133, 170, 177 ff., 183, 193, 195, 197 f., 201 f., 208, 211 f., 216, 220, 239 Künstliche Intelligenz  19, 24, 42 ff., 49, 180, 192, 231, 246, 250 Law by design  145 ff., 150 ff., 252 Machine Learning  44, 48, 60 f., 63 ff., 72, 79, 182, 215 Maschinelles Lernen  22, 44, 49 f., 192, 250

Stichwortverzeichnis273 Mustererkennung  40, 49, 60, 73, 98, 178 Neuronale Netze  73, 79, 95 Predictive Policing  23, 39 f., 87, 102 ff., 106 ff., 131, 174, 251 Priming  57, 59 Profiling  85, 94, 113, 175, 201 ff., 205 f., 208 ff., 227, 237, 239, 240 Rechtsstaatsprinzip  32, 91, 99 f., 133, 139 ff., 155, 160, 163, 166, 169, 242, 251, 253 f. Regression  25, 66, 68 f., 77 f., 93, 180, 190, 198, 215 Schuld  59, 85, 87, 90 ff., 101, 121, 154 f., 198

Schwache KI  46, 48 f. Selbstlernende Algorithmen  39, 250 Starke KI  46 f. Superintelligenz  46 f. Trainingsdaten  25, 27, 34, 48, 50, 66, 68 f., 75, 79 f., 96, 108, 115, 118, 120, 124 ff., 135 f., 180, 183, 198, 227, 239, 241 Transparenz  23 f., 32 f., 72 f., 76, 95, 100, 102, 105, 116, 120, 124, 130 f., 134 f., 141, 157 f., 164 ff., 180, 186, 188, 190, 221 f., 225, 227 ff., 232 ff., 242, 246, 251, 253 Vorhersagen  20, 25, 27, 30, 39, 60, 119, 125, 185, 198, 201, 203, 238, 241, 247