Künstliche Intelligenz und Vorschläge zu einer EU-Regulierung [1 ed.] 9783428582617, 9783428182619

Citation preview

Recht und Politik

Beiheft 6

Zeitschrift für deutsche und europäische Rechtspolitik

Künstliche Intelligenz und Vorschläge zu einer EU-Regulierung Herausgegeben von Oliver Lücke

Duncker & Humblot · Berlin

Künstliche Intelligenz und Vorschläge zu einer EU-Regulierung

Recht und Politik Zeitschrift für deutsche und europäische Rechtspolitik

Begründet von Dr. jur. h. c. Rudolf Wassermann (1925–2008) Redaktion: Hendrik Wassermann (verantwortlich) Heiko Holste Robert Chr. van Ooyen

Beiheft 6

Künstliche Intelligenz und Vorschläge zu einer EU-Regulierung

Herausgegeben von Oliver Lücke

Duncker & Humblot  ·  Berlin

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abruf bar.

Alle Rechte, auch die des auszugsweisen Nachdrucks, der fotomechanischen Wiedergabe und der Übersetzung, für sämtliche Beiträge vorbehalten © 2021 Duncker & Humblot GmbH, Berlin Satz: 3w+p GmbH, Rimpar Druck: CPI buchbücher.de gmbh, Birkach Printed in Germany ISSN 2567-0603 ISBN 978-3-428-18261-9 (Print) ISBN 978-3-428-58261-7 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706 Internet: http://www.duncker-humblot.de

Vorwort Von Frank Maschmann Künstliche Intelligenz ist weltweit eines der zentralen Zukunftsthemen. Würde die „Corona-Pandemie“ nicht derzeit die Schlagzeilen beherrschen, wäre es gewiss das Thema „künstliche Intelligenz“. Prima vista sind damit vor allem technische Fragen verbunden. Doch die Technologie entwickelt sich so rasant, dass sie unser künftiges Leben ähnlich tiefgreifend verändern wird, wie es der Siegeszug der Elektrizität im 19. und die elektronische Datenverarbeitung im 20. Jahrhundert getan haben. Die deutsche Öffentlichkeit nimmt das Thema KI derzeit vor allem bei der Debatte um die ethischen und juristischen Probleme des „autonomen Fahrens“ wahr, die die Dringlichkeit gesetzgeberischen Handelns besonders plakativ demonstriert. Künstliche Intelligenz hat aber schon jetzt eine derart herausragende Bedeutung, dass der Gesetzgeber ihr nicht mehr nur sektoral durch Spezialvorschriften begegnen kann, sondern den mit ihrem Einsatz verbundenen Problemen ganz grundsätzlich Rechnung tragen muss. Die rechtspolitische und rechtsdogmatische Diskussion wird bislang aber nur in Teilbereichen geführt. Es ist das Verdienst Oliver Lückes, die Bedeutung der künstlichen Intelligenz für die Gesamtgesellschaft und deren rechtliche Grundlagen im Rahmen des rechtspolitischen Diskurses zusammenfassend dargestellt zu haben. Besonders interessant ist dabei der von ihm präsentierte Vorschlag für eine „KI-Grundverordnung“ der EU (KI-GVO), über den sicher noch zu diskutieren sein wird und der auch für den deutschen Gesetzgeber wertvolle Anregungen enthält, sollte die EU hier nicht – wie aktuell angekündigt – vorangehen.

Recht und Politik, Beiheft 6 (2021), 5

Duncker & Humblot, Berlin

Inhalt Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? Problembeschreibung und Regulierungsvorschlag Oliver Lücke

9

Der Einsatz von KI in der und durch die Unternehmensleitung Oliver Lücke

64

Geschlechtergerechte Regulierungsansätze im EU-Weißbuch zur Künstlichen Intelligenz Wiebke Fröhlich, Lisa Meltendorf und Anne Reiher

85

BUCHBESPRECHUNG „Prinzip Mensch“: Eine umfassende Einführung in die politische Dimension der Künstlichen Intelligenz Johannes S. Stuve

89

Autoren dieses Heftes

91

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? Problembeschreibung und Regulierungsvorschlag Von Oliver Lücke

I. Problemaufriss Man kann es nicht mehr übersehen: die fortschreitende Entwicklung künstlicher Intelligenz ist eines der zentralen Themen unserer Zeit.1 Google-Chef Sundar Pichai erklärte, KI sei für die Menschheit wichtiger als Feuer oder Elektrizität.2 Astrophysiker Stephan Hawkins meinte dagegen, KI sei möglicherweise das „Schlimmste, was der Menschheit passieren kann“.3 Selbst Elon Musk sah die KI als die größte Bedrohung, der wir als Zivilisation gegenüberstehen“.4 Das ist im Zweifel übertrieben, aber es sind beispielhafte Belege für die unzweifelhaft (sehr) große Bedeutung von KI für die weitere Entwicklung von Mensch und Gesellschaft. Die rechtliche Auseinandersetzung mit künstlicher Intelligenz auf verschiedenen betroffenen Rechtsgebieten steckt noch „in den Kinderschuhen“. Sie reicht vom Urheberrecht über andere Schutzrechte an KI bis hin zur Patentierbarkeit5. Zudem ergeben sich datenschutzrechtliche Fragestellungen bei der Nutzung von Trainings- und auch Echtdaten durch die KI während der Trainingsphase, aber auch der späteren Betriebsphase. Weiter stellen sich Fragen nach Schutzrechten an den Arbeitsergebnissen von KI. Schon dieser Teilbereich ist herausfordernd. Es geht aber weiter bei der „Integration“ von KI in das allgemeine Zivil- und dort vor allem in das Vertragsrecht etwa bei der Beteiligung von KI am Vertragsschluss sowie in das bestehende Haftungssystem bei Fehlfunktionen von KI oder sonstiger Schädigung Dritter durch KI. Last but not least stellen sich hier natürlich auch grundlegende verfassungsrechtliche Fragen. Ju1 2 3 4 5

So zuteffend auch Hacker, NJW 2020, 2142. Pinchai, Zitat aus einem NBC-Interview vom 20. 01. 2018, vgl. etwa https://www.vdi.de/ themen/kuenstliche-intelligenz-ki. Hawkins, zitiert nach Beitrag vom 12. 03. 2016 im businessinsider, vgl. www.businessinsider. de/tech/stephen-hawking-warnt-vor-den-folgen-kuenstlicher-intelligenz-2018-3/). Zitat von Elon Musk in Euro vom 01. 07. 2018. Vgl. dazu den Beitrag aus dem EPA von Ménière/Pihlajamaa, GRUR 2019, 332 ff.

Recht und Politik, Beiheft 6 (2021), 9 – 63

Duncker & Humblot, Berlin

Oliver Lücke

ristische Fachbeiträge, die einzelne Themenfelder aufgreifen, finden sich in nennenswertem Umfang erst in diesem Jahr und im Vorjahr. Hacker hat Mitte dieses Jahres einen ersten überblicksartigen Beitrag zu den bestehenden Regulierungsnotwendigkeiten veröffentlicht.6 Angesichts der exponentiellen Dynamik der technischen Entwicklung in diesem Bereich gerät der Gesetzgeber – in der Regel nicht ganz so dynamisch – quasi automatisch unter Zugzwang. Künstliche Intelligenz – Menschliche Dummheit – Gesetzgeberische Vernunft – ein weder unproblematischer noch ungefährlicher Dreiklang – bei näherer Betrachtung könnte man auch von einem „gesellschaftspolitischen Bermuda-Dreieck“ sprechen. Aus rechtlicher und vor allem rechtspolitischer Sicht stellt sich die Kernfrage, ob und ggf. wie das Recht, also zuvörderst der Gesetzgeber, bei dieser technisch-digitalen Entwicklung gestaltend eingreifen soll, kann oder gar muss, um die damit für Bürger und Gesellschaft verbundenen Chancen und Risiken angemessen steuern und ausgestalten zu können. Diese Frage wird in der Gesellschaft und der juristischen Fachwelt noch zu selten und ohne den gebotenen Nachdruck aufgeworfen, geschweige denn in der nötigen Breite und Tiefe diskutiert, teilweise sogar in kaum nachvollziehbarer Weise einer abwartenden Haltung das Wort geredet.7 Die hier stattfindende technische Entwicklung und ihre besondere Dynamik sind zwar grundsätzlich weithin bekannt, einschlägige Gesetze für „das“ gesellschaftspolitische Thema der Gegenwart sind jedoch nicht vorhanden. Zutreffend hat die Datenethikkommission der Bundesregierung dazu schon 2018 auf die besondere Verantwortung des Staates hingewiesen und angemerkt, dass die „staatliche Verantwortung für die Gestaltung von Rahmenbedingungen und deren Einhaltung sowie die Freiheit, Autonomie und Verantwortung der Nutzenden, Anwendenden und anderen Betroffenen der neuen Technologien einerseits und die Steuerung des Marktes und des Wettbewerbs andererseits abgewogen und im Lichte der Veränderungen gesellschaftlich diskutiert und bestimmt werden (müssen)“.8 Künstliche Intelligenz bietet die Möglichkeit, die Innovationskraft in sehr vielen Bereichen zu beschleunigen und damit ein enormes ökonomisches Wachstumspotenzial zu erzeugen.9 Deshalb soll nach der Vorstellung der EU-Kommission Europa auch „zur attraktivsten, sichersten und dynamischsten datenagilen Wirtschaft der Welt (…) werden …“.10 Die Politik hat das Thema demnach zwar als regulierungsbedürftiges Phänomen erkannt11, scheut – aus welchen Gründen auch immer – aber feste gesetzliche Vorgaben

6 Hacker, NJW 2020, 2142 ff. 7 Wagner, VersR 2020, 717. 8 Empfehlungen der Datenethikkommission für die Strategie Künstliche Intelligenz der Bundesregierung – 9. 10. 2018, S. 4. 9 Vgl. statt vieler: Ménière/Pihlajamaa, GRUR 2019, 332. 10 Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, S. 3. 11 Vgl. dazu etwa Zypries, ZRP 2019, 33. 10

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

und weicht auf „soft law“-Ansätze12 und auf eine Debatte um „Ethik-Richtlinien“ für KI aus. Der Verordnungsentwurf des Rechtsausschusses des Europäischen Parlaments legt seinen legislativen Überlegungen sogar ausdrücklich das „Try and Error-Prinzip“ zugrunde, wenn er ausführt, dass vor allem „am Anfang des Lebenszyklus von neuen Produkten und Dienstleistungen (…) ein gewisser Risikograd für den Benutzer sowie für Dritte (besteht), dass etwas nicht ordnungsgemäß funktioniert.“ und entschuldigt dies damit, dass der Prozess von Versuch und Irrtum ein wichtiges Instrument des Fortschritts sei.13 Der inzwischen Jahrzehnte lange Umgang der Bevölkerung (und der Politiker) mit regelmäßig nicht ausentwickelter Software, die schon als „Beta-Version“ auf den Markt gebracht wird, um die Feststellung von Fehlern insoweit bewusst den Nutzern zu überlassen, die Fehlfunktionen melden, scheint hier schon „Früchte zu tragen“. Diese Erwägung ist für den Entwicklungsprozess von Produkten sicher richtig, hat aber im Bereich von fertig entwickelten und auf den Markt gebrachten Produkten nichts verloren. Das ist nach Ansicht des Autors der falsche Weg, denn für eine derartige „Privilegierung“ neuer Technologien besteht grds. weder Anlass noch Rechtfertigung, da gesamtgesellschaftlich (und darauf kommt es bei der vorliegenden Fragestellung an) eine Innovation – wie Wagner zu Recht hervorhebt – kein Selbstzweck ist, sondern nur dann wünschenswert, wenn der Nutzen einer bestimmten Neuerung ihre Gesamtkosten, einschließlich der Schadenskosten, übersteigt und dieser Saldo größer ist als bei der besten herkömmlichen Technologie.14 Diese grundlegende Erkenntnis kommt in Zeiten zunehmend kurzfristiger und technikgetriebener Innovationszyklen leider mitunter „unter die Räder“. 1. Künstliche Intelligenz – ein „Game-Changer“ „Künstliche Intelligenz“ markiert unzweifelhaft eine Zeitenwende in der sich rasch (bis unkontrolliert) ausbreitenden Digitalisierung, sie ist bzw. wird unzweifelhaft ein disruptiver „game changer“. Das Entwicklungs- und Chancenpotential „künstlicher Intelligenz“ ist riesig und kaum absehbar. Die positiven Möglichkeiten des Einsatzes von künstlicher Intelligenz im weiteren Sinne sind bereits vielfach beschrieben, worauf hier verweisen werden darf. Dieser Beitrag will sich auf Basis (verfassungs‐)rechtlicher Grundlagen mit den absehbar auch negativen Folgen bzw. Risiken des Einsatzes von KI für die Bürger und ihre Grundrechte befassen: Pars pro toto soll hier der Einsatz von Gesichtserkennungs- und inzwischen auch bereits Emotionserkennungssoftware angesprochen werden oder als besonders irritierendes und abschreckendes Beispiel das in China vor seiner flächendeckenden Einführung stehende Sozialpunktesystem „Citizen Score“ (Bonus-/Malus-System) zur tendenziell vollständigen Bevölkerungsüberwa12 So auch in der vorläufigen Folgenabschätzung der EU-Kommission gemäß dem „Summary Report on the open public consultation on the White Paper on Artificial Intelligence“. 13 Entwurf eines Berichts des Rechtsausschusses des EU Parlaments mit Empfehlungen an die Kommission zu zivilrechtlicher Haftung beim Einsatz künstlicher Intelligenz (2020/ 2014(INL)) vom 27. 04. 2020. 14 Wagner, VersR 2020, 717 ff. (719). Recht und Politik, Beiheft 6

11

Oliver Lücke

chung (einschließlich der Erziehung zu „good citizen“)15, das im Westen natürlich starke Kritik erfährt, aber bei dem einen oder anderen wohl auch Begehrlichkeiten wecken dürfte. Dies dürfte u. a. daran liegen, dass man die Digitalisierung, insbesondere die künstliche Intelligenz und deren neue Möglichkeiten zur massenhaften, technisch im Ergebnis nicht mehr begrenzten Erfassung, Speicherung und gezielten Auswertung massenhafter Daten immer auch mit einem angeblich oder tatsächlich „guten“ gemeinschaftsförderlichen Zweck oder Motiv wie insbesondere der in diesem Zusammenhang gerne herangezogenen „Sicherheit“ verbinden und vor diesem Hintergrund die technischen Möglichkeiten weiter vorantreiben kann. Menschen sind aber nicht nur in China, sondern auch in Deutschland und Europa zunehmend von künstlicher Intelligenz betroffen, die das tägliche Leben immer mehr durchdringt, dieser Prozess verläuft hier aber nicht staatlich gefördert und gesteuert, sondern durch die Wirtschaft getrieben, eher schleichend, aber dennoch mit großem Nachdruck. Nichtsdestotrotz beobachtet auch in Europa der Staat aufmerksam die technische Entwicklung und ihre Möglichkeiten, wie entsprechend interessierte Äußerungen von Innenministern etwa zu biometrischer Gesichtserkennungs-Software16 oder zu auch in Deutschland schon im Einsatz befindlichen „predictive policing“-Systemen17 zeigen. Last, but not least sei das „autonome Fahren“ angesprochen, ein Paradeanwendungsfall künstlicher Intelligenz. Hier wird für jedermann offensichtlich, dass der Einsatz 15 Selbstredend: Nur zum Besten aller und im besten Interesse aller friedliebenden Bürger Chinas etwa an Sicherheit durch verbesserte Kriminalitätsbekämpfung und unterhalb der Kriminalitätsschwelle an sozialverträglichem Verhalten Aller (was sozialverträglich ist und was nicht, sowie wie sehr die Sozialverträglichkeit verfehlt wird und mit welchen Sanktionen etwaiges nicht sozialverträgliches Verhalten pönalisiert wird, entscheidet die Kommunistische Partei Chinas). 16 Vgl. etwa die derzeit wohl allenfalls „ruhenden“ Pläne von Bundesinnenminister Seehofer zum Einsatz von Kameras und biometrischer Gesichtserkennungs-Software an Flughäfen und Bahnhöfen nach einem entsprechenden Testlauf am Berliner Bahnhof Südkreuz im Frühjahr 2020. Dabei können die Live-Bilder der Kameras mit einer umfangreichen Fotodatenbank abgeglichen werden (vgl. dazu die in den USA entstandene Mega-Fotodatenbank der Firma „Clearview AI“, die wohl über 3 Milliarden Fotos aus dem Internet gesammelt hat). Der Einsatz sollte im Bundespolizeigesetz geregelt werden; auch der Bayerische Innenminister Herrmann möchte Gesichtserkennung in Bayern ausweiten, Bericht vom 01. 12. 2017, https:///www.welt. de/regionales/bayern/article171154096/Bayern-will-biometrische-Gesichtserkennung-auswei ten.html. 17 „Der Einsatz softwaregestützter Prognosetechnologien im Rahmen der Verbrechensvorhersage („Predictive Policing“) spielt eine wachsende Rolle in der Arbeit deutscher Polizeibehörden. Ein Schwerpunkt der Nutzung entsprechender Prognosesoftware lag bis dato insbesondere im Bereich des Wohnungseinbruchsdiebstahls. Die Landeskriminalämter (LKA) in Bayern und Baden-Württemberg nutzen die kommerzielle Prognosesoftware „PreCobs“ (Pre Crime Observation System), während die Landeskriminalämter in Berlin, Hessen, Niedersachsen und Nordrhein-Westfalen mit selbst erstellten Systemen arbeiten. Hessen setzt seine Prognosesoftware „KLB-operativ“ mittlerweile im gesamten Bundesland ein. Das LKA NordrheinWestfalen beabsichtigt, das Programm „Skala“ ab 2018 landesweit zu nutzen“ (Vorbemerkung der kleinen Anfrage von FDP-Abgeordneten an die Bundesregierung (BT-Drs. 19/ 1513). 12

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

künstlicher Intelligenz wichtige Haftungsfragen mit sich bringt, dem Juristen wird klar, dass es schwierig werden könnte, durch künstliche Intelligenz verursache Schäden mit dem bestehenden deutschen haftungsrechtlichen Instrumentarium (Deliktsrecht, Produkthaftungsrecht, Verschuldenshaftung, Gehilfenhaftung etc.) interessengerecht zu erfassen und zu lösen. Neben den Chancen beinhaltet die fortschreitende Entwicklung künstlicher Intelligenz also unzweifelhaft ggf. sehr relevante Gefahren für die Gesellschaften und die Freiheiten und die Selbstbestimmung ihrer Bürger. Dazu braucht man nicht wie etwa der Philosoph Richard David Precht – was aber insbesondere wegen dessen „Öffentlichkeitswirksamkeit“ hilfreich ist – eine (zumindest denkbare) Zukunft der Menschen als eine Art Haustier von Systemen künstlicher Intelligenz an die Wand malen18, es reicht eigentlich aus, wenn man mit offenen Augen durch das Leben geht. 2. Künstliche Intelligenz – Erscheinungsformen a) Die Anfänge der Forschung zu künstlicher Intelligenz finden sich schon Mitte des letzten Jahrhunderts19, als Marvin Minsky damals den ersten Neurocomputer SNARC (Stochastic Neural Analog Reinforcement Computer) mit nur 40 Synapsen baute20 und etwas später John McCarthy einen Förderantrag für eine wissenschaftliche Konferenz in Darthmouth, USA, stellte, bei der es darum ging, wie Maschinen Sprache nutzen, Abstraktionen und Konzepte erstellen, Probleme lösen, die bisher nur durch Menschen lösbar sind, und sich selbst verbessern können.21 Der Computer Mark I des Psychologen und Informatikers Frank Rosenblatt war aufgrund des Prinzips von Versuch und Irrtum (trial and error) lernfähig, womit der Grundstein für neuronale Netzwerke gelegt war.22 Später folgten spektakuläre Siege von Computern mit immer größerer Rechenleistung in komplexen Spielformaten gegen Weltmeister und Champion, etwa im Schach (Deep Blue), bei Jeopardy (IBM Watson) und im Brettspiel Go. Spätestens seit Beginn dieses Jahrhunderts ist „künstliche Intelligenz“ im allgemeinen gesellschaftlichen Diskurs angekommen und in den letzten Jahren produziert sie regelmäßig Schlagzeilen. b) Einfache Algorithmen, die lediglich vom Programmierer vorgegebene Befehle in einer ebenfalls vorgegebenen Reihenfolge umsetzen bzw. repetieren (deduktiv-logisch), 18 Precht, Spiegel-Streitgespräch, Heft 36/2020, vom 31. 08. 2020. 19 Vgl. dazu etwa Ménière/Pihlajamaa, GRUR 2019, 332 m.w.N. in Fn. 1. 20 Wiedergegeben nach „10 Meilensteine in der Künstlichen-Intelligenz-Forschung, National Geographic vom 08. 11. 2017, https://www.nationalgeographic.de/wissenschaft/2017/07/10meilensteine-in-der-kuenstlichen-Interlligenz-forschung. 21 Wiedergebenen nach Kuss/Sassenberg in: Sassenberg/Faber, Rechtshandbuch Industrie 4.0 und Internet of Things, §2. Aufl. 2020, § 13 Rn. 1 unter Hinweis auf McCarthy/Minsky/Rochester/Shannon, http://www-formal.stanford.edu/jmc/history/dartmouth.pdf. 22 Zitiert nach „10 Meilensteine in der Künstlichen-Intelligenz-Forschung, National Geographic vom 08. 11. 2017, https://www.nationalgeographic.de/wissenschaft/2017/07/10-meilenstei ne-in-der-kuenstlichen-Interlligenz-forschung. Recht und Politik, Beiheft 6

13

Oliver Lücke

also der Basissystematik „wenn – dann“ folgen, sind weder technisch noch rechtlich spannend oder ein nennenswertes Problem. c) Spannender und problematischer zugleich sind sog. „selbstlernende“ Algorithmen, die in großen Datenmengen Regelmäßigkeiten und Muster aufspüren können und aus dem Datenabgleich lernen („maschine learning“). Je umfangreicher das Datenmaterial, je qualitativ hochwertiger das Datenmaterial und je öfter der Rechenvorgang vorgenommen werden kann, desto mehr „lernt“ der Algorithmus aus der repetitiven Ausführung der Aufgaben und der jeweiligen Rückmeldung (Erfolg/Misserfolg) und optimiert sich so laufend. Algorithmen erweitern so selbständig ihren Wissens- und Erfahrungsschatz und können damit auch qualitativ bessere Ergebnisse erzielen und auf Basis der erkannten Muster auch bessere Prognosen für andere Datenkonstellationen („predictive analytics“) ableiten.23 Bereits hier beginnt die Besonderheit, dass die Programmierer, geschweige denn die späteren Nutzer, teilweise nicht mehr in der Lage sind, die Prozesse, die zu den Ergebnissen der KI geführt haben, vollständig nachvollziehen zu können.24 Darin dürfte bereits eine rechtliche Problematik liegen.25 Diese Form von Algorithmen wird als (schwache) „künstliche Intelligenz“ bezeichnet und ist heute auch in der Unternehmensrealität schon relativ weit verbreitet.26 d) Rechtlich problematisch wird es, wenn sich KI vom Willen ihrer Schöpfer, also von den Vorgaben der Programmierer zu lösen beginnt und sich nicht mehr (nur) im vorgegebenen Rahmen selbst fortentwickelt, der Mensch damit Schritte und Ergebnisse KI-gestützter Prozesse nicht mehr gesichert vorhersagen und auch im Nachhinein kaum mehr nachvollziehen kann27 und damit die (volle) Kontrolle über Handlungen der KI verliert. In diesem Zusammenhang ist oftmals von einer „Blackbox“ die Rede. Besonders leistungsstarke KI-Systeme basieren auf künstlichen neuronalen Netzen.28 Die technische Entwicklung ermöglicht es bereits heute, Algorithmen bzw. KI-Systeme zu schaffen, die mit Hilfe neuronaler Netzwerke menschliche Denkmuster nachbilden („deep learning“) und auch lernen an auftretenden Problemen in Richtung einer „Lösung“ zu arbeiten29 (starke KI). Eine zentrale Schwierigkeit dieser Entwicklung besteht aus haftungsrechtlicher Sicht schon heute in der „Konnektivität zwischen einem KI-System und anderen KI-Syste23 Vgl. zu den technischen Zusammenhängen Bilski/Schmid, NJOZ 2019, 657 ff. 24 Allg. Ansicht, vgl. dazu statt vieler etwa: Spindler, DB 2018, 41 (48) unter Hinweis auf Kim/ Müller-Hengstenberg, MMR 2014, 205 ff. (228); Eul/Molitor, DSRTIB 2018, 591 (592). 25 So auch Strohn, ZHR 182, (2018), S. 374; ebenso Eul/Molitor, DSRTIB 2018, 591 (592) unter Hinweis auf Brunotte, CR 2017, 583 (584); a.A. wohl Zetzsche, a.a.O., S. 7. 26 Mit den Anforderungen an die Unternehmensleitungen beim Einsatz von KI in der Unternehmenspraxis hat sich der Autor bereits vergangenes Jahr in einem Fachbeitrag befasst: Lücke, Der Einsatz von KI in der und durch die Unternehmensleitung, BB 2019, 1986 ff. 27 Fälschlicherweise sieht Zetzsche darin augenscheinlich kein Problem. 28 Linardatos, ZIP 2019, 504. 29 So auch Grapentin, NJW 2019, 181 (184). 14

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

men und Nicht-KI-Systemen, der Abhängigkeit von externen Daten, Schwachstellen gegen Cybersicherheitsverletzungen sowie der zunehmenden Autonomie von KI-Systemen, die durch maschinelles Lernen und Deep-Learning-Fähigkeiten ausgelöst wird, …“30 („Black-Box-Effekt“), der sich daraus ergebenden Komplexität von KIAnwendungen in der (Rechts‐)Praxis sowie der Nachvollziehbarkeit von Ergebnissen und deren rechtliche Erfassung und Regulierung. Der problematischen Nachvollziehbarkeit wird durch die Schaffung der Transparenz dienender Dokumentationspflichten entgegenzuwirken sein, deren Umfang über den in Art. 30 DS-GVO vorgesehenen Umfang übersteigen müssen wird.31 e) Allerdings wird es die Entwicklung künftig wohl auch ermöglichen, dass KI eine Art von Bewusstsein entwickelt und sich selbständig Ziele setzen und diese mit geeigneten Schritten/Maßnahmen „bestmöglich“ (noch nach vorgegebenen oder später ggf. nach selbstentwickelten Parametern) verfolgen kann und damit in eine heute noch verschlossene Dimension vordringen könnte. Das ist das Ziel der Entwicklung.32 Die heutige Welt der Algorithmen und sog. schwacher KI wird dann endgültig verlassen. 2017 zeigten die Facebook-Bots Bob und Alice im Ansatz schon, dass KI ein Eigenleben entwickeln kann: sie begannen eine eigene Sprache zu entwickeln und wurden vorsorglich abgeschaltet.33 Der „weibliche“ Android „Ava“ aus dem durchaus sehenswerten Science Fiction Thriller „Ex Machina“ zeigt die (noch potentiellen) Möglichkeiten und ihre Auswirkungen anschaulich auf.34 Das ist bislang noch Fiktion, aber auch diese Entwicklung erscheint nur als eine Frage der Zeit (wenn auch noch einiger Zeit).35 Der lapidare Hinweis auf ein immer mögliches „Abschalten“ solcher KI greift dann zu kurz.36 Die Fragestellung ist also auch über 50 Jahre alt, die Antworten aber nach wie vor unklar.

30 Auszug aus dem Bericht des Rechtsausschusses des Europäischen Parlaments an die Kommission vom 12. 05. 2020. 31 Nach Hacker, NJW 2020, 2142 (2143) müssen die Dokumentationspflichten sogar „deutlich“ über das DS-GVO-Niveau hinausgehen. 32 So auch Kuss/Sassenberg in: Sassenberg/Faber, Rechtshandbuch Industrie 4.0 und Internet of Things, 2. Aufl. 2020, § 13 Rn. 3. 33 Bericht in der Welt vom 28. 07. 2017. 34 (Starke) Künstliche Intelligenz in Form eines Androiden aus dem Science-Fiction Thriller „Ex Machina“ (2014) von Alex Garland. 35 A.A.: Spindler, DB 2018, 41 ff. (48), der die angedeutete Entwicklung nicht für möglich hält. 36 So aber Zetzsche, AG 2019, 1 ff. (10); die stetige Abschaltmöglichkeit wie hier kritischer betrachtend: Möslein, ZIP 2018, 201 ff. (211); vgl. dazu auch den Sci-Fi-Klassikers „2001 – Odyssee im Weltraum“ von Stanley Kubrick aus dem Jahr 1968, in dem der Bordcomputer HAL9000 ein unberechenbares Eigenleben entwickelt und ähnlich einem „Überlebensinstinkt“ Versuche in ihn abzuschalten zu vereiteln sucht. Recht und Politik, Beiheft 6

15

Oliver Lücke

3. Verhältnis von Technik und Recht Recht gerät durch die Dynamik der Technik unter Druck. Bislang hat das Recht neue gesellschaftliche Entwicklungen in aller Regel hinreichend erfassen und damit für das Gemeinwesen und ein gedeihliches Zusammenleben hinreichend gestalten und bewältigen können, sei es durch richterliche Rechtsfortbildung und/oder ggf. folgende Gesetzesänderungen. Aber: Nicht erst dann, wenn es unübersehbar ist, steht der Geltungs- und Gestaltungsanspruch des Rechts(staats) in Frage37, sondern das ist bereits jetzt der Fall. Der scheinbar nicht domestizierbare menschliche Forschungsdrang nach immerwährender Verbesserung der Welt hat uns hierhin geführt und Zetzscheʹs Hinweis darauf, dass es bei dieser „Optimierungs-Rallye“ auch um die „Substitution der Hauptfehlerquelle im Unternehmen geht: den Menschen“.38 ist stringent, was aber im Großen und Ganzen niemanden zu stören scheint. Nachdem der Einsatz künstlicher Intelligenz aber nicht auf Unternehmen beschränkt ist, sondern nahezu das gesamte gesellschaftliche Leben erfassen und durchdringen wird, sind m. E. gerade Juristen aufgerufen, wenn das Recht und seine Gestaltungsmacht in Gefahr gerät, dem zuvörderst entgegentreten. Also: Nachdem der Mensch nicht nur in Unternehmen vermutlich die „Hauptfehlerquelle“ ist, sollte höchstvorsorglich aus gesamtgesellschaftlicher Sicht in Betracht gezogen werden, dass der Mensch, die angebliche Krönung der Schöpfung, wenn auch vielleicht nicht „substituiert“, so doch jedenfalls „entmachtet“ werden könnte. Der heute nur in der Bremer Landesverfassung vorzufindende Satz „Der Mensch steht höher als Technik und Maschine“39 stammt offensichtlich von Menschenhand, ließe sich aber ohne allzu viel Intelligenz, gleich welcher Provenienz, auch umgestalten in: „Maschine und Technik stehen höher als der Mensch“, vermutlich jedenfalls dann, wenn Maschinen die Regeln setzen würden … Auch wenn die rasante technologische Entwicklung wie ein Automatismus anmutet, wie eine Naturgesetzlichkeit, sie ist (noch) menschengetrieben und damit – zumindest denk- und trotz allen technischen „Drive’s“ – noch menschenbeherrschbar und -steuerbar und so ist es ebenso zutreffend und zentral wie banal zugleich, wenn Robert Habeck zu der (neuen) Innovations- und Technikaffinität der Grünen zumindest den Satz hinzufügt: „Aber wir wissen, dass nicht alles was möglich ist, auch gemacht werden darf.“40 Dieser scheinbar triviale Befund bedarf beim Thema „Künstliche Intelligenz“ allerdings der Bestätigung und Vergewisserung, denn die technische Entwicklung auf diesem Gebiet bewegt sich mit exponentiell zunehmender Geschwindigkeit auf einen „point of no return“ zu, auf einen Scheidepunkt, an dem die menschlichen Treiber der Ent37 38 39 40 16

Vgl. zu Letzterem etwa Pieper, DSRITB 2017, 555 ff. Zetzsche, AG 2019, 1 ff. (5 f.). Art. 12 (1) Landesverfassung Freien Hansestadt Bremen. Vgl. Fn. 1. Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

wicklung die Kontrolle über die künftige Entwicklung zu verlieren drohen, ja – am Ende – auch verlieren werden. Um die weitere Entwicklung in menschengerechte bzw. -kompatible Bahnen zu lenken ist daher der Gesetzgeber gefordert und zwar jetzt! Dabei gilt es mit Roßnagel zu beachten, dass „Freiheitssicherung durch Begrenzung von Macht (…) eine vornehmsten Aufgaben des Rechts“ (ist) und dass die „Macht der Technik (…) deshalb besonders groß (ist), weil man ihr den Machtcharakter nicht mehr ansieht, weil sie so neutral wirkt. Sie erscheint den Machtunterworfenen als Sachzwang. Gegenüber der Macht der Technik unterbleibt die natürliche Aversion gegen Machtausübung und es entsteht kein Druck, sie zu legitimieren.“41 4. Rechtsrahmen und Gesetzgeber An großen Zielen fehlt es also weder der Politik noch dem Recht. Der europäische Weg im globalen Wettlauf des „Igels“ Europa mit den „Hasen“ USA, China oder Indien um die Standardsetzung im Bereich der KI ist in der EU im Rechtsbereich – zwangsläufig – geprägt durch eine Ausrichtung an der Charta der Grundrechte der Europäischen Union (GR-Ch) und der Europäischen Menschenrechtskonvention (EMRK). a) In Europa muss der Fokus auf der Entwicklung eines grundrechtskompatiblen Rechtsrahmens für diese bedeutende Zukunftstechnologie stehen. Das gilt umso mehr, wenn man bedenkt, dass die „Hochrangige Expertengruppe der Europäischen Kommission für Künstliche Intelligenz (…) die Notwendigkeit von Ethik-Leitlinien für KI mit der fundamentalen Bedeutung von KI für die Gesellschaft“ begründet. Sie zählt die KI zu den „revolutionärsten Kräften unserer Zeit“ und geht davon aus, dass KI „das Gefüge unserer Gesellschaften verändern“ wird.42 Dabei gilt nach Ansicht der von der deutschen Bundesregierung eingesetzten Datenethik-Kommission „unverrückbar, dass Technik dem Menschen dient und nicht der Mensch der Technik unterworfen wird. Dieses Menschenverständnis vom Menschen liegt unserer Verfassungsordnung zugrunde und steht in der Tradition der europäischen Kultur- und Geistesgeschichte.“43 Auch die Bundesregierung führt zu KI zutreffend aus, dass bereits aus dem Grundgesetz folge, „dass der Mensch nicht zum bloßen Objekt von Maschinen-Entscheidungen werden darf.“ Andererseits nehmen die rein technischen „Möglichkeiten durch BigData-Analysen Prognosen über zukünftiges menschliches Verhalten zu erstellen, (…) stetig zu. Dadurch steigt das Risiko weitreichender Vorfestlegungen und von ungerechtfertigten Benachteiligungen. Dieses Risiko ist umso problematischer, je sensibler der betroffene Lebensbereich ist, z. B. bei Entscheidungen zur privaten Lebensgestaltung oder zu gesundheitlichen oder beruflichen Fragen.“44 Dem ist im Wesentlichen nichts hinzufügen.

41 42 43 44

Roßnagel, MMR 2020, 222. Dettling/Krüger, MMR 2019, 711. Gutachten der Datenethik-Kommission der Bundesregierung vom 23. 12. 2019, S. 14. Antwort der Bundesregierung auf eine kleine Anfrage, BT-Drs. 19/11351 vom 03. 07. 2019.

Recht und Politik, Beiheft 6

17

Oliver Lücke

b) Die technische Entwicklung ist dem Gesetzgeber seit Jahrzehnten, mindestens aber seit einem Jahrzehnt bekannt, er befasst sich aber erst seit vergleichsweiser kurzer Zeit mit Überlegungen zu einer Regulierung: auf Bundesebene liegt erst seit Oktober 2018 eine KI-Strategie45 und seit Dezember 2019 ein Gutachten der Datenethikkommission der Bundesregierung46 vor. Die Bundesregierung verfolgt mit der nationalen KI-Strategie das Ziel, Deutschland und Europa zu einem führenden KI-Standort zu machen und so zur Sicherung der künftigen Wettbewerbsfähigkeit beizutragen.47 Auf EUEbene liegen seit Mitte 2019 ebenfalls Ethik-Richtlinien48 vor. Im Februar 2020 wurden ein Bericht zu den Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung49 sowie ein Weißbuch50 veröffentlicht. Inzwischen hat die Bundesregierung in einer Stellungnahme zum Weißbuch der EU ihr fehlendes eigenes Regulierungsinteresse bestätigt und sich für eine EU-weite Regelung auf EU-Ebene ausgesprochen.51 Der Rechtsausschuss des EUParlaments hat einen ersten Verordnungsvorschlag zur Haftung bei KI-Systemen erarbeitet.52 Zuletzt hat sich auch der Europarat mit KI und ihren Auswirkungen auf die Freiheitsrechte nach der Europäischen Menschenrechtskonvention befasst.53 c) Bei diesem Thema sind Grundrechte auf nationaler und supranationaler Ebene betroffen: Auf den ersten Blick scheint der Grundrechtskatalog sprachlos vor den neuen

45 Strategie Künstliche Intelligenz der Bundesregierung, https://www.bmbf.de/files/Nationale_ KI- Strategie.pdf. 46 Gutachten der Datenethikkommission der Bundesregierung vom 23. 12. 2019, https://www. bundesregierung.de/breg-de/service/publikationen/gutachten-der-datenethikkommissionlangfassung-1685238. 47 Stellungnahme der Bundesregierung der Bundesrepublik Deutschland zum Weißbuch Künstliche Intelligenz – ein europäisches Konzept für Excellenz und Vertrauen er Europäischen (COM (2020) 65 final. 48 https://ec.europa.eu/germany/news/20190626-ethische-leitlinien-fuer-kuenstliche-intelli genz-vorgelegt_de. 49 Europäische Kommission, zu den Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung, COM (2020) 64 final, S. 1. 50 Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, https://ec. europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_de. pdf. 51 Stellungnahme der Bundesregierung zum Weißbuch zur Künstlichen Intelligenz COM (2020) 64 final. 52 Vgl. Entwurf eines Berichts des Rechtsausschusses des EU-Parlaments vom 27. 04. 2020 mit Empfehlungen an die Kommission zu zivilrechtlicher Haftung beim Einsatz künstlicher Intelligenz (2020/2014(INL)). 53 Vgl. Recommendation CM/REC (2020)1 of the Committee of the Minsters to the Member States on the human rights impacts of algorithmic systems (Adopted by the Committee of Ministers on 8 April 2020 at the 1372nd meeting of the Ministers Deputies), abrufbar unter https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154. 18

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

digitalen Herausforderungen zu stehen.54 „Digital-Grundrechte“ oder sonstige Aussagen zur Digitalisierung finden sich nicht. Allerdings: Zu den in der Charta der Grundrechte der Europäischen Union enthaltenen Grundrechten zählen u. a. die in den Artikeln 7 und 8 der Charta verankerten Grundrechte auf Privatsphäre und zum Schutz personenbezogener Daten und neben der durch Art. 2 Abs.1 GG gewährleisteten allgemeinen Handlungsfreiheit hat das Bundesverfassungsgericht auf Basis des Grundgesetzes und des darin zum Ausdruck kommenden Wertesystems das Recht auf informationelle Selbstbestimmung55 und das Recht auf Gewährleistung der Vertraulichkeit und Integrität informationstechnischer Systeme56 entwickelt. Auch der Europarat geht von erheblichem Regulierungsbedarf aus, wenn er u. a. ausführt: „States should ensure that algorithmic design, development and ongoing deployment processes incorporate safety, privacy, data protection and security safeguards by design, with a view to preventing and mitigating the risk of human rights violations and other adverse effects on individuals and society.“ Zuletzt hat der Europäische Rat eine Empfehlung zum Thema „Künstliche Intelligenz und Menschenrechte“ veröffentlicht und darin die Gefahren von Algorithmen für Bestand und vor allem Durchsetzung von Menschenrechten hervorgehoben: „However, there are also significant human rights challenges attached to the increasing reliance on algorithmic systems in everyday life, such as regarding the right to a fair trial; the right to privacy and data protection; the right to freedom of thought, conscience and religion; the right to freedom of expression; the right to freedom of assembly; the right to equal treatment; and economic and social rights. … In addition to the intrusion on individuals’ privacy and the increasing potential of highly personalised manipulation, tracking at scale can have a serious adverse effect on the exercise of human rights, which must be considered throughout the entire life cycle of an algorithmic system, from the proposal stage onward.“57 Allerdings handelt es sich im vorliegenden Kontext um multipolare Grundrechtskonstellationen, da sich die Hersteller und Nutzer von KI ihrerseits auf grundrechtliche geschützte Rechtspositionen, insb. aus den Art. 13, 15 – 18 GR-Ch bzw. aus den Art. 2 Abs.1 , 5 Abs. 3 , 12 Abs.1 und/oder 14 Abs.1 GG berufen können. Näher zu dem hier bestehenden Spannungsverhältnis und somit dem gebotenen Ausgleich der teilweise widerstreitenden Grundrechtspositionen später unter V.

54 So Schliesky, NVwZ 2019, 693 ff. (698). 55 Vgl. dazu aus jüngerer Zeit etwa: BVerfG, Beschluss vom 6. 11. 2019 – 1 BvR 16/13 NJW 2020, 300 ff. („Recht auf Vergessen I“); Beschluss vom 6. 11. 2019 – 1 BvR 276/17, NJW 2020, 314 ff. („Recht auf Vergessen II“). 56 Vgl. dazu BVerfG, Urteil vom 20. 4. 2016 – 1 BvR 966/09, 1 BvR 1140/09, NJW 2016, 1781 ff. 57 Ziff. A.4. der Recommendation CM/REC (2020)1 of the Committee of the Minsters to the Member States on the human rights impacts of algorithmic systems (Adopted by the Committee of Ministers on 8 April 2020 at the 1372nd meeting of the Ministers Deputies), abrufbar unter https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154. Recht und Politik, Beiheft 6

19

Oliver Lücke

Auf einfachgesetzlicher Ebene stellen sich im Zusammenhang mit dem Einsatz von KI neben Datenschutz- und Vertragsrechts- vor allem Haftungsfragen, die sich nicht ohne Weiteres in das bisherige Haftungssystem, gleich ob auf deutscher oder europäischer Normenebene, integrieren lassen. Erstaunlich ist es aber schon, dass selbst die vergleichsweise moderne DS-GVO und das neue BDSG keinerlei ausdrückliche Bestimmungen zum Thema KI beinhalten, dass es dazu bis heute – vom Sonderfall des § 80 WpHG („Hochfrequenzhandel“ an der Börse) abgesehen – in Deutschland überhaupt keine expliziten gesetzlichen Vorgaben gibt und das Thema bislang nur in Expertenkreisen und dort auch erst in Ansätzen diskutiert wird. Das verwundert umso mehr, wenn man bedenkt, welch zentrale Fragen sich hier stellen: Pfeil fragt etwa, ob wir ein neues Grundrecht zum Schutz vor KI benötigen58 und Boehme-Nießler stellt sogar die Frage: „Stehen wir am Anfang vom Ende des Rechts?59 Beide Fragen haben durchaus ihre Berechtigung und zeigen auf, dass die anstehende – nicht sach-, sondern menschengerechte – Integration des technischen Phänomens „Künstliche Intelligenz“ in unser Werte- und Rechtssystem an Wichtigkeit und Schwierigkeit einer „Operation am offenen Herzen“ gleicht. In der Zukunft, die bereits begonnen hat, drohen ungeachtet der angesprochenen grundrechtlichen Positionen und trotz der Regelung des Art. 22 Abs.1 DS-GVO zunehmend Entscheidungen, die mit Hilfe von oder durch Algorithmen oder KI getroffen oder zumindest maßgeblich vorbereitet und damit de facto präjudiziert werden, selbst wenn die Entscheidungen – formal/materiell – noch von einem Menschen getroffen werden („human in the loop“, vgl. Art. 22 Abs.3 DS-GVO). Auch Prognosen über menschliches Verhalten und menschliche Potentiale werden immer mehr auf der Basis von KI („people analytics“) getroffen werden. Diese neuen, immer mehr verfügbaren technischen Möglichkeiten nähern das „Subjekt“ Mensch immer mehr dem vom Grundgesetz verbotenen „Objektstatus“ an. Das gilt erst recht, wenn man die Fortschritte in der Neurowissenschaft, etwa im Bereich der kognitiven Neuroergonomie berücksichtigt, die mit inzwischen kleinen mobilen EEG-Geräten die Informationsverarbeitung im menschlichen Gehirn messen daraus multiple Rückschlüsse auf der (psychischen) Zustand des Menschen ziehen kann.60 5. Exkurs: Verhältnis von Technik und Mensch Der Mensch ist – neutral bzw. emotionslos betrachtet – seit langem auf dem Weg zum „Cyborg“, ein Zwitterwesen aus Mensch und Maschine. „Wir kennen sie als Helden und Fieslinge aus großen Hollywoodstreifen. Eine technische Vision, die uns die Zukunft weist. Tatsächlich gehören Cyborgs schon lange nicht mehr allein der ScienceFiction-Welt an. Längst leben sie unter uns. Denn als Cyborgs gelten Menschen, in deren Körpern technische Geräte als Ersatz oder Unterstützung nicht ausreichend 58 Pfeil, InTer 2020, 82 ff. 59 Boehme-Nießler, NJW 2017, 3031 ff. 60 Vgl. dazu Lindner, NJOZ 2020,321 ff. 20

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

leistungsfähiger Organe integriert sind. So definiert es zumindest der Duden.61 Das ist schon richtig, wenn man nur an einfache mechanische Hilfen wie Gehstock oder Rollstuhl und schon weniger einfachere Hilfsmittel wie Brillen über körperintegrierte mechanische Ersatzteile wie Arm- und Beinprothesen, künstliche Hüften, Bypässe, Stents bis hin zu Herzschrittmachern und Organen denkt. Verstärkt wird dieser Trend, wenn solche „körperlichen“ Optimierungsmaßnahmen mit „optischen“ Optimierungsmaßnahmen wie der Implantation optimierter Linsen oder dem Tragen von Datenbrillen wie Google Glass oder Samsung Gear Blink und mit „sensitiven“ Optimierungsmaßnahmen, insbesondere Sensoren, die die Umwelt wahrnehmen und analysieren können, ergänzt werden. Er erreicht wohl in überschaubarer Zeit einen – vorläufigen – Höhepunkt, wenn die zuvor genannten kleinen mobilen EEG-Geräte oder sonstige auch implantierbare „Schnittstellen“ zum menschlichen Gehirn (Brain-Computer-Interface, kurz: BCI) Realität werden. So hat Tesla-Gründer Elon Musk u. a. das Neurotech-Startup „Neuralink“ gegründet, dass Mini-Sensoren erfolgreich in das Gehirn von Ratten eingesetzt und so Daten aus deren Gehirn ausgelesen hat. Die Schnittstellen zwischen Hirn und Maschine sollen schon bald auch am Menschen getestet werden.62 Erst Ende August 2020 stellte Neuralink einen Prototyp eines Implantats vor, das Informationen zwischen Neuronen und einem Smartphone übermitteln kann.63 Natürlich der Weg von Ratten und Schweinen zum Menschen ist noch ein weiter, aber die Menschheit ist auf dem Weg und Neil Jacobstein von der Singularity Universität etwa schätzt, dass der Mensch schon 2035 das gesamte Google-Wissen im Kopf haben könnte, wenn sich das Gehirn mit der Cloud verbinden lässt.64 Die Tatsache, dass diese Überlegungen schon heute bis ins Arbeitsrecht „vorausstrahlen“, zeigt der Beitrag von Lindner über kognitive Neuroergonomie.65 Ging es zunächst idR nur darum, z. B. durch Unfälle oder Krankheiten verlorene menschliche Fähigkeiten möglichst zu ersetzen oder zu kompensieren, war also der Mensch das Ziel, geht es inzwischen nicht mehr um „Substitution“ verlorengegangener menschlicher Fähigkeiten, sondern um „Optimierung“ des an und für sich gesunden Menschen, um einen „Mensch 2.0“ könnte man also sagen. Als exponiertes Beispiel kann der OculusGründer Palmer Luckey dienen, der verkündet hat, einen Teil seiner hunderte Mil61 Landes, Cyborgs – Wann ist ein Mensch kein Mensch mehr? MDR Wissen, Beitrag vom 26. 06. 2018 (https://www.mdr.de/wissen/faszination-technik/wenn-mensch-und-technik-verschmel zen-100.html). 62 Gründerszene, Artikel vom 19. 07. 2019, https://www.gruenderszene.de/technolgie/elonmusks-hirnimplementate. 63 Handelsblatt vom 30. 08. 2020 und 31. 08. 2020. 64 Funke, Euro vom 01. 07. 2018. 65 Lindner, Kognitive Neuroergonomie als Problem des Arbeitsrechts, NJOZ 2020, 321 ff., in dem die neuronal-digitale Vermessung des Arbeitnehmers, die Erfassung und Auswertung mentaler Zustände der Arbeitnehmer unter dem Aspekt der dadurch erreichbaren Verbesserung des Arbeitsschutzes behandelt (und trotz erkannter Grundrechtsproblematik eines derart tiefgreifenden Eingriffs jedenfalls nicht ausgeschlossen) wird. Recht und Politik, Beiheft 6

21

Oliver Lücke

lionen US-Dollar dafür einzusetzen, um noch zu Lebzeiten zu einem „übermenschlichen Cyborg“ zu werden. Landes stellt in einem Beitrag für MDR Wissen die hier zentrale Frage: „Wann ist ein Mensch kein Mensch mehr?66 6. Regulierungserfordernis Roßnagel gebührt besonderer Dank dafür, vergangenes Jahr in seiner Abschlussvorlesung an der Universität Kassel, auf die jedenfalls auch freiheits- und demokratiegefährdende, weil tendenziell machtverstärkende und freiheitsbegrenzende Wirkung von Technik hingewiesen zu haben.67 Nicht oft genug können zentrale seiner Aussagen wiederholt werden: „Freiheitssicherung durch Begrenzung von Macht ist eine der vornehmsten Aufgaben des Rechts. … Die Macht der Technik ist deshalb besonders groß, weil man ihr den Machtcharakter nicht mehr ansieht, weil sie so neutral wirkt. Sie erscheint den Machtunterworfenen als Sachzwang. Gegenüber der Macht der Technik unterbleibt die natürliche Aversion gegen Machtausübung und es entsteht kein Druck, sie zu legitimieren.“68 Über das Erfordernis und insbesondere über den Umfang gesetzlich gebotener Regulierung besteht Streit. So war etwa Prof. Dr. Simon Hegelich von der TU München Mitte 2018 der Ansicht: „Ein allgemeines Algorithmusgesetz ist Irrsinn“.69 Aber das Gegenteil ist mindestens so gut vertretbar: „Kein Gesetz ist Irrsinn“. Die Wahrheit liegt – wie so oft – zwischen „Heilsbringer-Utopien“ und „Unheils-Dystopien“. Auch die Vorschläge der Datenethikkommissionen gehen in Richtung eines differenzierten Regulierungsansatzes: es wird – moderner Regulierungsdogmatik zum legislativen Umgang mit tatsächlicher Ungewissheit folgend – ein „risikobasierter“ Ansatz vorgeschlagen70, bei dem die zu regulierenden Themen zwar grundsätzlich geregelt, aber die Regelungsintensität/-tiefe bei unterschiedlichen Schadenspotentialen auch unterschiedlich ausgerichtet wird. Dieser Regulierungsansatz vermag nicht nur einzelne technische Großrisiken wie z. B. die Atomkraft71 zu erfassen, sondern auch Risiko-

66 Landes, Cyborgs – Wann ist ein Mensch kein Mensch mehr? MDR Wissen, Beitrag vom 26. 06. 2018 (https://www.mdr.de/wissen/faszination-technik/wenn-mensch-und-technik-verschmel zen-100.html). 67 Roßnagel, Technik, Recht und Macht, MMR 2020, 222 ff. 68 Roßnagel, MMR 2020, 222. 69 Prof. Dr. Simon Hegelich, zitiert nach Handelsblatt vom 21. 08. 2018, S. 11; einen Bedarf für eine eigene gesetzliche Regulierung sieht – wenig überraschend – auch Andrea Martin, Leiterin des IBM Watson Center, München, in FAZ vom 12. 10. 2020, nicht; Gerberding/Wagner, ZRP 2019, 116 sprechen davon, dass ein übergreifendes „Algorithmengesetz“ dysfunktional wäre und eine angemessene Regulierung sachspezifischer erfolgen müsse. 70 Sog. „Kritikalität“, vgl. 5-Stufen-Modell der Datenethikkommission, Gutachten (Kurzfassung), S. 17 ff. 71 AtomG (Gesetz über die friedliche Verwendung der Kernenergie und der Schutz gegen ihre Gefahren). 22

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

produkte. So gilt etwa das Arzneimittelrecht72 als typische Referenzmaterie des produktund stoffbezogenen Risikoregulierungsrechts.73 Letztlich ist dieser risikobasierte Regulierungsansatz eine konkretisierende Ausprägung des Verhältnismäßigkeitsgrundsatzes, den der Gesetzgeber im Rahmen seiner Gesetzgebung zu beachten hat. Danach muss ein Gesetz geeignet, erforderlich und angemessen sein, um grundrechtlich geschützte Rechte Dritter oder andere mit Verfassungsrang ausgestattete Belange nicht zu verletzen. Auch die verfassungsrechtlich begründeten Schutzpflichten des Staates gegenüber seinen Bürgern bestehen nicht umfassend, sondern haben sich am Verhältnismäßigkeitsgrundsatz und damit u. a. auch an dem Schadenspotential und der Eintrittswahrscheinlichkeit zu orientieren.74 Die Berücksichtigung von Schadenspotential und Eintrittswahrsceinlichkeit sind daher wesentliche Aspekte des Gebots der Erforderlichkeit und damit der Verhältnismäßigkeit beim legislativen Umgang mit Ungewissheit. Summa summarum kann mit Roßnagel festgehalten werden: „Auf rechtliche Regelungen für gesellschaftliche Probleme – insbesondere im Umgang mit Technik – zu verzichten, heißt, Macht anderen überlassen, die für die Fortentwicklung der Gesellschaft nicht demokratisch legitimiert sind.“ Das ist entschieden abzulehnen, es bedarf zumindest einer Rahmengesetzgebung für die weitere Entwicklung der künstlichen Intelligenz. Daher sind alle, denen der Rechtsstaat am Herzen liegt, gut beraten, der technischen Entwicklung nicht nur „hinterher zu blicken“, sondern den Geltungsanspruch des Rechts auch gegenüber neuen technologischen Entwicklungen durchzusetzen. Denn der ehemalige Richter am Bundesverfassungsgericht Hoffmann-Riem führte dazu aus: „Das Recht allein hat nicht die Kraft, das Notwendige (im Sinn des Schutz der Grundrechte) zu erreichen.“75 Das Recht muss insoweit auch die notwendige Unterstützung erhalten. In Bezug auf die bislang fehlende Definition verbindlicher Zielvorgaben, Leitplanken und Grenzen für Design, Entwicklung, Training, Dokumentation und Einsatz, Wartung, Gewährleistung und Haftung von Algorithmen und künstlicher Intelligenz ist angesichts der rasanten technischen Entwicklung schleunigst ein verbindlicher rechtlicher Rahmen zu schaffen, der das Allgemeinwohl und die Grundrechte der Individuen schützt, aber dennoch technische Entwicklung (nicht zwangsläufig: Fortschritt) ermöglicht. Der „europäische“ Weg einer menschengerechten KI76 könnte die Lösung sein, wenn er konsequent verfolgt würde und es sich bei dem „Slogan“ von der men72 Vgl. zum Zweck des Arzneimittelgesetzes § 1 AMG (Gesetz über den Verkehr mit Arzneimitteln). 73 Gassner, MPR 2020, 162. 74 Zur Bedeutung der Schutzpflichten noch unter V., eingehend dazu etwa Klein, Grundrechtliche Schutzpflicht des Staates, NJW 1989, 1633 ff. 75 Hoffmann-Riem, Innovationen im Recht, 2016, S. 693, zitiert nach Graf von Westfalen, ZIP 2020, 737 ff. 76 Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, S. 1. Recht und Politik, Beiheft 6

23

Oliver Lücke

schengerechten KI nicht nur um positives „Framing“ handelt. Das ist keineswegs klar, denn das kürzlich von der EU-Kommission vorgelegte Weißbuch benennt zwar sich aufdrängende Probleme, verfolgt dann aber wohl aus Furcht vor dem Verlust von Wachstum (und einem weiteren Zurückfallen hinter die USA und China) bzw. in Verfolgung wirtschaftlicher Ziele eine zu innovationsfreundliche, mithin zu lockere Regulierungslinie.77 Hier muss der Gesetzgeber daran erinnert werden, dass nicht alles technisch Machbare auch realisiert werden darf und muss. Just to be very clear: Dies gilt auch unter Berücksichtigung der Verfolgung grds. legitimer wirtschaftlicher Ziele.

II. Künstliche Intelligenz – wie viel und warum? 1. Solange komplexe Algorithmen und/oder künstliche Intelligenz als „nützliche Assistenten“ nur in einzelne überschaubare Teilbereiche des menschlichen Lebens, vorund eindrangen, war das unter dem Aspekt des Grundrechtsschutzes nicht so kritisch. Mit den neuen Internetgiganten und ihren schon zahl- und umfangreich mit Komponenten künstlicher Intelligenz arbeitenden Tools wie z. B. „Alexa“ (die weibliche Namensgebung für ein derartig devotes „Servicetool“ erscheint übrigens frauenfeindlich) oder „Siri“ (Name eher gendergerecht) und dem damit verbundenen Eindringen in die nach der Verfassung besonders geschützte Wohnung des Einzelnen (vgl. auch die zunehmenden „smart-home“-Anwendungen) ist sowohl im Einzelfall, aber auch bei einer Gesamtbetrachtung der Entwicklungen der Rubicon überschritten. Denn schon längst geht es nicht mehr um einzelne verbesserte Hilfsmittel, es ergibt sich eine (fast) umfassende digitale Vermessung des Menschen und seines Lebensumfelds78, umfassend verknüpfbar und ubiquitär verfügbar. Diese großen Datenmengen sind das „Gold“ der Zukunft und die KI ist sozusagen die moderne, multifunktionale „Schaufel der Goldgräber“. Wem das als übertriebene Darstellung erscheint, möge sich die nachfolgend geschilderte Wirklichkeit vergegenwärtigen, die Menschen bereits heute bereit sind zu leben: „Amazon, weiß, was wir bestellen (Prime), weiß, was wir zuhause sprechen (Alexa), was wir lesen (Kindle), weiß, was wir sehen (Fire Stick), Google weiß, was wir suchen, wofür wir uns interessieren (RankBrain), weiß wie wir wohnen (StreetView), Facebook kennt unsere Freunde (facebook), weiß mit wem wir kommunizieren (WhatsApp), Microsoft 77 „Das nachhaltige Wirtschaftswachstum und das gesellschaftliche Wohlergehen in Europa stützen sich schon jetzt und auch in Zukunft zunehmend auf die Wertschöpfung durch Daten…. Die europäische Datenstrategie, die zusammen mit diesem Weißbuch vorgelegt wird, soll Europa in die Lage versetzen, zur attraktivsten, sichersten und dynamischsten datenagilen Wirtschaft der Welt zu werden, indem Europa durch Daten befähigt wird, bessere Entscheidungen zu treffen und das Leben aller seiner Bürgerinnen und Bürger zu verändern.“ (Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, S. 1 f.). 78 Genau das verbietet sich aber: Im Gutachten der Datenethik-Kommission der Bundesregierung – Kurzfassung – heißt es dazu auf S. 6: „Die Würde des Menschen, die für den unbedingten Wert jedes menschlichen Lebewesens steht, verbietet etwa die digitale Totalvermessung des Individuums …“. 24

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

weiß, was wir arbeiten (Windows 10, Office 365, Teams), iRobot (und andere Saugroboterhersteller) kennt die Ausmaße unserer Wohnung, Apple (und andere MusikStreamingdienste) wissen, welche Musik wir hören (Apple Music), Apple weiß, wo wir uns bewegen (iphone – Ortung), Tesla (und andere Autohersteller) wissen, wohin (und zunehmend) wie wir fahren, Huawei (und andere Fitnesstrackerhersteller) messen Puls, Herzfrequenz etc. und kennen unsere Fitness (Activity Tracker Band 3), Microsoft erkennt unsere Stimmung, kennt unsere Gefühle (Azure Face API) und Google, Amazon und Microsoft erkennen uns anhand von Bildern (Gesichtserkennungssoftware, z. B. Rekognition oder Azure Face) usw. … Amazon weiß, was wir essen (HelloFRESH) usw.. Regelmäßig telefonieren wir inzwischen mit Sprachcomputern, interagieren zunehmend mit Chatbots (Telekom – FragMagenta), erhalten beim Streaming Musikvorschläge (Spotify), nutzen Übersetzungstools (DeepL). Nachrichten stammen nicht mehr von Menschen, sondern werden z. B. bei Bloomberg bereits etwa zu 30 % von KI generiert.79 Weitere Beispiele sind Kreditscoring und die medizinische, insb. bildgestützte Diagnostik sowie die Personalauswahl. Selbst die Partnersuche erfolgt bereits KI-gestützt in Form von Matching-Algorythmen, etwa bei Parship, Elitepartner oder Ok Cupid. 2. All diese – nur beispielhaften und lange nicht abschließenden – digitalen Tools enthalten mehr oder weniger komplexe Algorithmen oder KI-Komponenten. Anyway, das ist ein freies Land und jeder kann im Rahmen der Gesetze so leben, wie er möchte … und die Mehrheit scheint das auch zu wollen, zumindest aus Bequemlichkeit hinzunehmen und damit zu akzeptieren. Dies hängt offensichtlich mit der jüngst von Roßnagel80 problematisierten vermeintlichen Neutralität von Technik zusammen, deren „Macht“ sich Menschen scheinbar leichter unterwerfen. Man könnte insoweit in Anlehnung an Jellinek81 auch von der „normativen Macht des Technischen“ sprechen. M. E. ist es aber unter dem Aspekt der Schutzpflicht auch Sache des Staates darauf zu achten, dass Bürger ihre Grundrechte, u. a. das auf informationelle Selbstbestimmung wahrnehmen und es nicht allzu leicht per Einwilligung preisgeben können. Zutreffend führt der Europarat dazu aus: „Deliberate efforts by individuals or groups to make themselves, their physical environment or their activities illegible to automation or other forms of machine reading or manipulation, including through obfuscation, should be recognised as a valid exercise of informational self-determination, subject to possible restrictions necessary in a democratic society and provided for by law.“82

79 Auskunft des Bloomberg-Chefredakteurs auf der DLD 2019 in München, vgl. https://t3n.de/ news/bloomberg-chefredakteur-eine-textsoftware-schreibt-an-drittel-der-inhalte-mit1139105/. 80 Vgl. oben Fn. 14. 81 Vgl. dazu etwa Anter, „Die normative Kraft des Faktischen – Das Staatsverständnis Georg Jellineks, Nomos, 2004. 82 Vgl. Recommendation CM/REC (2020)1 of the Committee of the Minsters to the Member States on the human rights impacts of algorithmic systems (Adopted by the Committee of Recht und Politik, Beiheft 6

25

Oliver Lücke

Ob vor diesem Hintergrund das Bonmon von Yuval Noah Harari zutrifft, dass nicht künstliche Intelligenz, sondern natürliche (menschliche) Dummheit die größere Gefahr darstellt83, wird die Zukunft zeigen, beide scheinen über fast unbegrenztes Potential zu verfügen. Man könnte bei dem Vergleich vorsichtiger auch von menschlicher (oder vielleicht auch gesetzgeberischer) „Blauäugigkeit“ sprechen, der in diesem Kontext jedenfalls nicht zu viel Raum gelassen werden darf. Denn es spricht Einiges dafür, dass es in der Entwicklung von künstlicher Intelligenz und deren Weiterentwicklung in der Zukunft einen „point of no return“ geben wird, von dem an selbst die intellektuelle Elite die Entwicklung der künstlichen Intelligenz wird nicht mehr nachvollziehen, nicht mehr wird steuern und ggf. nicht mehr beherrschen können. Allein diese Gefahr rechtfertigt eine gesetzliche Steuerung dieser technischen Entwicklung. Diese Situation erinnert durchaus an Goethe’s Zauberlehrling: „Herr, die Not ist groß! Die ich rief, die Geister, werd’ ich nun nicht los.“84

III. Künstliche Intelligenz als (Rechts‐)Begriff 1. Der Begriff „künstliche Intelligenz“ ist ein schillernder Begriff zwischen „Science Fiktion“ und Realität. Allgemein wird unter künstlicher Intelligenz die Ausführung menschlicher oder menschenähnlicher Intelligenzleistungen durch Computer verstanden85, wobei menschliche Intelligenzleistungen übertroffen werden sollen und jedenfalls in zahlreichen abgrenzbaren Gebieten auch tatsächlich bereits übertroffen werden. Künstliche Intelligenz beinhaltet regelmäßig „komplexe Berechnungsmethoden und Algorithmen, die in der Lage sind, auf der Grundlage von Trainingsdaten zu „lernen“.86 Die Datenethikkommission der Bundesregierung verstand unter künstlicher Intelligenz einen „Sammelbegriff für diejenigen Technologien und ihre Anwendungen, die durch digitale Methoden auf der Grundlage potenziell sehr großer und heterogener Datensätze in einem komplexen und die menschliche Intelligenz gleichsam nachahmenden maschinellen Verarbeitungsprozess ein Ergebnis ermitteln, das ggf. automatisiert zur Anwendung gebracht wird.“87 Um sich mit der künstlichen Intelligenz aus rechtlicher Sicht auseinandersetzen zu können, insb. die ggf. nötige Regulierung derselben vorantreiben zu können, bedarf es begrifflicher Klarheit, zumindest einer belastbaren Annäherung an diese Klarheit.88 In

88

Ministers on 8 April 2020 at the 1372nd meeting of the Ministers Deputies), abrufbar unter https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154. Vgl. Wirtschaftswoche vom 15. 07. 2018. Goethe, Der Zauberlehrling, 1827. In diesem Sinne auch Ménière/Pihlajamaa, GRUR2019, 332. Ménière/Pihlajamaa, GRUR2019, 332 ff. (334). So in den „Empfehlungen der Daten-Ethik-Kommission für die Strategie Künstliche Intelligenz der Bundesregierung“ vom 09. 10. 2018, S. 1. In diesem Sinne auch Hacker, NJW 2020, 2142 ff.

26

Recht und Politik, Beiheft 6

83 84 85 86 87

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

Anlehnung an Hacker liegt das Problem der Begriffsbildung darin, dass der Begriff sowohl in technischer Hinsicht hinreichend „entwicklungsoffen“ als auch für die Rechtspraxis hinreichend „operationalisierbar“ sein muss: Nach Jackl’s eher weitem Begriffsverständnis geht es um „die umfassende Sammlung und Nutzung von Daten, die unter dem Begriff der Künstlichen Intelligenz einem weiten Spektrum von computergestützten, nach Algorithmen geordneten Anwendungen zugeführt werden können, das bis zu autonom fungierenden Systemen reichen kann“.89 M. E. ist für die Diskussion über den gesetzgeberischen Regulierungsbedarfs ein engeres Begriffsverständnis von Nöten, das jedenfalls einfache Algorithmen von künstlicher Intelligenz abgrenzt und erstere aus dem Begriff der KI ausgrenzt: „An sich und in einem engeren Sinne beschreiben Algorithmen Verfahren, welche gegebene Eingabeinformationen (sog Input) in einer Folge von Anweisungen und Befehlen in Ausgabeinformationen (sog Output) umformen. Bei Algorithmen geht es also im Kern um die Verarbeitung von Informationen zur schrittweisen Lösung eines Problems entsprechend einer Reihe von Anweisungen und Befehlen.“90 Vereinfacht gesagt geht es bei Algorithmen um wiederholt hintereinandergeschaltete „Wenn-Dann“-Entscheidungen. Derartige im Grundsatz einfach-strukturierte Algorithmen bewegen sich uneingeschränkt im vorgegebenen Rahmen ihrer Programmierung und erfordern daher keinen besonderen gesetzlichen Regelungen. Regulierungsbedürftig erscheinen aber darüberhinausgehende Formen sog. schwacher und starker künstlicher Intelligenz, die sich – heute – im Wesentlichen durch die Nutzung von „Machine- oder Deep-Learning“ sowie die Nutzung „neuronaler Netze“ auszeichnen.91 Der letzte Halbsatz der Jacklʹschen Definition, der auf Möglichkeit und Potential der Autonomie von KI hinweist, trifft den Kern der Problematik: Die Hochrangige Expertengruppe der Europäischen Kommission für Künstliche Intelligenz definiert KI demnach auch als „systems designed by humans that, given a complex goal, act in the physical or digital world by perceiving their environment, interpreting the collected structured or unstructured data, reasoning on the knowledge derived from this data and deciding the best action(s) to take (according to pre-defined parameters) to achieve the given goal“, berücksichtigt dabei aber nicht, dass sich KI – ganz oder teilweise – auch selbst „designed“ und sich künftig womöglich autonom (Teil‐)Ziele wird setzen können. Der deutsche Gesetzgeber spricht – wenn er sich mit dem Thema befasst (dazu sogleich unter IV.) – über „nichtmenschliche, zerebrale Prozesse auf mindestens menschenähnlichem, menschen-gleichem oder sogar menschenübertreffenden Niveau“.92 Die EU-Kommission spricht zu stark abstrahierend und damit zu

89 Jackl, MMR 2019, 711 (713). 90 von Lewinski/de Barros Fritz, NZA 2018, 620. 91 Nach Kretzschmar, Geschäftsführer der TÜV Informationstechnik GmbH, nutzen ca. 98 % der KI-Ansätze Machine- bzw. Deep-Learning, zitiert nach Willecke, MMR-Aktuell 2020, 425656. 92 BT-Drs. 19/3255, S. 2. Recht und Politik, Beiheft 6

27

Oliver Lücke

vereinfachend dazu aus, „KI sei ein Bestand an Technologien, die Daten, Algorithmen und Rechenleistung kombinieren“.93 2. Eine in der Rechtswissenschaft anerkannte Begriffsdefinition gibt es bislang ebenfalls nicht. Realistischer Weise wird man wegen der dynamischen Entwicklung im Bereich der KI eher von einem Typusbegriff auszugehen haben bzw. einen solchen zu formen haben. Der fundamentale Unterschied von KI zu „einfachen“ Algorithmen ist, dass KI nicht nur programmierte und daher dem Algorithmus unausweichlich von Programmierern vorgegebene „Wenn dann“-Entscheidungen trifft. Je nach Qualität der KI kann sie neben den programmierten Befehlen und Abläufen mit der zunehmenden Vielzahl an Test- oder Echtdaten, die Systeme künstlicher Intelligenz über Schnittstellen zu ihrer Umwelt aufnehmen und dann auswerten, mit ihren regelbasierten Selbstlernprozessen ihre „Wissensgrundlage“ verbessern und weitere Analysen anstellen und verbesserte Prognosen und Entscheidungsvorschläge entwickeln. Der Einsatz neuronaler Netzwerke, die sich das menschliche Gehirn als Vorbild nehmen und dessen Funktionsweise nachahmen94, hat dabei den Vorteil, dass die Programmierer – anders als bei Algorithmen – nicht jeden einzelnen Schritt vorgeben müssen. Letztlich wird sich starke KI in der Zukunft vermutlich selbständig weitere und ggf. auch andere (Teil‐)Ziele setzen können (unklar bleibt, ob das lediglich „technisch-rational“ oder auch „bewußtseinsgetrieben“ und damit in einer gewissen Art und Weise „ich-bezogen“ erfolgen wird).95 In der Fähigkeit enorme Datenmengen erfassen, Muster darin zu erkennen, Korrelationen zwischen den Daten herstellen und dann Schlüsse daraus ableiten zu können sowie in der ihr wesensimmanenten, auf Deep-Learning- und/oder Neuronale Netzkomponenten beruhenden „Selbstlernkompetenz“ liegt das enorme Potential von KI ebenso wie die Gefahr, dass KI sich der Kontrolle durch ihre Programmierer entziehen wird und das mit steigender Qualität der KI tendenziell immer mehr. Dieses als „Black Box“ bezeichnete Phänomen ist auch begriffsbildend. Angesichts von Vielzahl und Breite der Definitionsversuche sowie der Dynamik der technischen Prozesse kann es hier nur um den Versuch einer typologischen Begriffsbestimmung gehen. Für die Zwecke dieses Beitrages werden insbesondere „einfache“ Algorithmen aus dem Begriff der KI ausgeschlossen und folgende Definition zugrunde gelegt:

93 Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, S. 2. 94 Kuss/Sassenberg, in: Sassenberg/Faber § 13 Rd. 5 mit weitergehenden Informationen über neuronale Netze in Rd. 6 ff. 95 Vgl. dazu etwa das Forschungsprojekt „Abklärung des Verdachts aufsteigenden Bewusstseins in der Künstlichen Intelligenz“ (Technologie-Vorausschau-Projekt des Bundesministeriums für Bildung und Forschung (BMBF) am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) am Karlsruher Institut für Technologie (KIT), vorgestellt auf dem ITAFORUM 2019, Berlin von Prof. Dr. Wendland oder den Bericht des Deutschlandfunks vom 18. 04. 2019; für die „Sci-Fi“-Fangemeinde sei hier auf „Ava“ (Alicia Vikander) aus dem Film „Ex machina“ (GB, 2014) von Alex Garland verwiesen. 28

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

„IT-technische Systeme, die entweder mittels Machine-/Deep-Learning-Methoden, künstlichen neuronalen Netzen und/oder ähnlichen Methoden und umfangreichen Trainings- und/oder „Echt“-Daten, die über Schnittstellen zugeführt und/oder autark aufgenommen und danach mannigfaltig autark („Black Box“) analysiert und ausgewertet werden, um komplexe Probleme einer Lösung zuzuführen, die von Menschen Intelligenz erfordern würde oder von Menschen nicht oder nicht in angemessener Zeit gelöst werden könnten.“ Die Datenethikkommission geht sehr zu Recht davon aus, dass KI dem Menschen zu dienen hat und daher von diesen auch kontrolliert werden können muss.96 Diese auf Basis des westlich-freiheitlichen Menschenbildes nicht in Frage stellbare Ausgangsprämisse erzwingt m. E. zeitnah eine verbindliche Rahmengesetzgebung, bei freiwillig einzuhaltenden Ethik-Richtlinien und zudem vergleichsweise „weich“ formulierten Richtlinien kann es bei einem derart zentralen Thema für die Zukunft sowohl der Gesellschaft als Ganzes und der Bürger im Einzelnen nicht bleiben. Um mit der Datenethikkommission zu sprechen: Auf Basis der risikoorientierten Kritikalität von Systemen künstlicher Intelligenz ist ein zwingender gesetzlicher Rahmen für die Entwicklung von KI dringend erforderlich.

IV. Gesetzgeber, wo bist du!? Gesetzgeber und EU-Verordnungsgeber befassen sich erst seit vergleichsweise kurzem mit Überlegungen zu einer Regulierung von KI: Auf Bundesebene liegt erst seit Oktober 2018 eine KI-Strategie97 und seit Dezember 2019 ein Gutachten der Datenethikkommission der Bundesregierung98 vor. Auf EU-Ebene liegen seit Mitte 2019 ebenfalls Ethik-Richtlinien99 vor. Im Februar 2020 wurde ein Weißbuch100 veröffentlicht. Ein Update der e-Commerce-Richtlinie in Form eines „Digital Services Act“ ist in Planung101 und der Rechtsausschuss des EU-Parlaments hat einen ersten Verord-

96 Gutachten der Datenethikkommission der Bundesregierung (Kurzfassung); S. 6, 18. 97 Strategie Künstliche Intelligenz der Bundesregierung, https://www.bmbf.de/files/Nationale_ KI-Strategie.pdf. 98 Gutachten der Datenethikkommission der Bundesregierung vom 23. 12. 2019, https://www. bundesregierung.de/breg-de/service/publikationen/gutachten-der-datenethikkommissionlangfassung-1685238. 99 https://ec.europa.eu/germany/news/20190626-ethische-leitlinien-fuer-kuenstliche-intelli genz-vorgelegt_de. 100 Weißbuch zur künstlichen Intelligenz der EU-Kommission vom 19. 02. 2020, https://ec. europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_de. pdf. 101 Vgl. zuletzt etwa Empfehlung des Kommittees für den Binnenmarkt und Verbraucherschutz des Parlaments 2020/2018(INL) vom 24. 04. 2020. Recht und Politik, Beiheft 6

29

Oliver Lücke

nungsvorschlag zur Haftung bei KI-Systemen erarbeitet.102 Letztlich hat sich auch der Europarat mit KI und ihren Auswirkungen auf die Freiheitsrechte nach der Europäischen Menschenrechtskonvention befasst.103 KI wird das Leben aller Bürger und Bürgerinnen verändern, so die EU-Kommission in ihrem Weißbuch104. Das ist ebenso richtig, wie bar jeden neuen Erkenntniswerts. Nur „verändern“ wie es im Weißbuch der EU-Kommission heißt, ist zudem der falsche, rein faktisch-rezeptive Ansatz, denn KI verändert unser aller Leben bereits heute, es fehlt das „Logos“, das Ziel. Es müsste hier „verbessern“ heißen, um aus „passivem“ Erdulden in eine „aktive“ Handelsform zu gelangen und den entscheidenden qualitativen Aspekt in die künftige Entwicklung von KI einzubringen. Denn die „besonderen Merkmale vieler KI-Technologien wie Opazität („Blackbox-Effekt“), Komplexität, Unvorhersehbarkeit und teilautonomes Verhalten können die Prüfung der Vereinbarkeit und die wirksame Durchsetzung von EU-Rechtsvorschriften zum Schutz der Grundrechte erschweren“.105 Neben diesen Merkmalen und den potenziellen Schwachstellen im Hinblick auf Cyberangriffe „könnten KI-Systeme auch eingesetzt werden, um schwere Schäden zu verursachen, wie die Gefährdung unserer Werte und Freiheiten durch Nachverfolgung von Einzelpersonen gegen ihren Willen, durch die Einführung von Sozialkreditsystemen oder die Errichtung von tödlichen Waffensystemen“.106 Dennoch kann die Wirtschaft bislang im Wesentlichen unbehelligt durch gesetzliche Vorgaben entwickeln, was sie für ökonomisch zweckmäßig hält. Die Erkenntnis, dass der Gesetzgeber schnell und deshalb keineswegs zugleich auch schlecht handeln kann, wenn er will, hat die COVID-19 „Corona“-Krise 2020 in Deutschland gezeigt: Quasi binnen 14 Tagen gab es wesentliche gesetzliche Regelungen, mit noch nie dagewesener Schnelligkeit.107 Der Schluss daraus kann nur lauten: sowohl der deutsche Gesetzgeber als auch der europäische Verordnungsgeber sehen seit geraumer Zeit keine Notwendigkeit, jedenfalls aber keine Dringlichkeit, in die technisch dynamische Entwicklung des Bereichs der künstlichen Intelligenz reglementierend einzugreifen, diese Entwicklung proaktiv zu steuern und in demokratisch abge102 Vgl. Entwurf eines Berichts des Rechtsausschusses des EU-Parlaments vom 27. 04. 2020 mit Empfehlungen an die Kommission zu zivilrechtlicher Haftung beim Einsatz künstlicher Intelligenz (2020/2014(INL)). 103 Vgl. Recommendation CM/REC (2020)1 of the Committee of the Minsters to the Member States on the human rights impacts of algorithmic systems (Adopted by the Committee of Ministers on 8 April 2020 at the 1372nd meeting of the Ministers Deputies), abrufbar unter https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154. 104 So auch die EU-Kommission in ihrem Weißbuch zur künstlichen Intelligenz vom 19. 2. 2020, S. 3. 105 EU-Kommission in ihrem Weißbuch zur künstlichen Intelligenz vom 19. 2. 2020, S. 12 f. 106 Entwurf eines Berichts des Rechtsausschusses des EU-Parlaments vom 27. 04. 2020 mit Empfehlungen an die Kommission zu zivilrechtlicher Haftung beim Einsatz künstlicher Intelligenz (2020/2014(INL)). 107 So auch Eckart, DStR 2020, 987 ff. 30

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

sicherte, allgemeinwohl-kompatible und individuelle Rechtspositionen schützende Bahnen zu lenken und in gewissem Umfang auch schlicht zu verbieten, um menschengerechtes Leben auch im Zeitalter zunehmender Digitalisierung und Robotisierung zu ermöglichen. Gesetzgeber sowie Verordnungsgeber sind in Verzug, ein kaum akzeptabler Vorgang, der – mindestens so bedenklich – kaum Aufmerksamkeit oder gar nennenswerten Widerspruch erfährt. Die gesetzliche Regelung von künstlicher Intelligenz ist vielschichtig und schwierig, aber wie Hacker meint „lohnenswert“108 oder wie hier vertreten wird, nicht nur lohnenswert, sondern dringend und unverzichtbar! Inzwischen begrüßt die Bundesregierung grundsätzlich den von der EU skizzierten Ansatz für einen EU-Rechtsrahmen zur künstlichen Intelligenz, der den im KI-Weißbuch beschriebenen Chancen und Risiken von KI angemessen begegnen, Innovation fördern, Interessen fair ausgleichen und Überregulierung vermeiden soll. Dieser sollte, wie von der Europäischen Kommission vorgeschlagen, für Produkte und Dienstleistungen gelten, bei denen KI zum Einsatz kommt, und sowohl den Einsatz von KI durch staatliche Stellen als auch durch Privatpersonen und Unternehmen erfassen.109

V. Verfassungsrechtlicher Hintergrund 1. „Disruptive Technology Creates Disrupted Law“ titelte Graf von Westfalen, um zum Ausdruck zu bringen, dass die disruptiven Veränderungen in unserer Lebensrealität (unter Einschluss der digitalen Welt) auch Auswirkungen auf unsere Normen und das Recht haben.110 Allerdings ist es gerade eine besondere Qualität des Rechts, dass es insb. aufgrund der ihm innewohnenden Abstraktion nicht statisch ist, sondern in der Lage ist neue gesellschaftliche Entwicklungen zu erfassen und abzubilden. Dies erfolgt in der Regel im Wege der (ergänzenden) Auslegung der Normen und durch die einzelfallbezogene Anwendung der dazu ergangenen konkretisierenden Rechtsprechung. Insoweit bestehen mannigfache Interdependenzen zwischen Recht und Lebenswirklichkeit, beide beeinflussen sich wechselseitig. Wegen des „Wechselspiel(s) zwischen dem programmatischen Gehalt der Norm und den kulturellen, sozialen, politischen, ökonomischen, technologischen, ökologischen u. a. Rahmenbedingungen“ ist nicht nur, aber gerade im Hinblick auf die Grundrechte zu fragen, „wie die jeweiligen Verfassungsnormen ausgelegt werden müssen, damit die ihnen zugrunde liegenden Prämissen des Freiheitsschutzes in der konkreten Problemsituation wirkmächtig werden können“.111 Die Verfassung hat zwar bewahrenden, man könnte sogar sagen „konservativen“ Charakter, weil sie bestimmte Grundrechte „festschreibt“, manchen sogar eine „Ewig108 Hacker, NJW 2020, 2142 ff. (2146). 109 Stellungnahme der Bundesregierung der Bundesrepublik Deutschland zum Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen COM (2020) 65 final, S. 9. 110 Graf von Westfalen, ZIP 2020, 737 ff. 111 Härtel, LKV 2019, 49 (52) unter Bezug auf Hoffmann-Riem, in: Vieweg/Gerhäuser, Digitale Daten in Geräten und Systemen, 2010, S. 41 (42). Recht und Politik, Beiheft 6

31

Oliver Lücke

keitsgarantie“ zuspricht, sie ist aber dennoch zugleich hinreichend „entwicklungsoffen“112, um neue gesellschaftliche Entwicklungen „aufzugreifen“, m.a.W. abbilden und jedenfalls tendenziell im Rahmen des Verfassungsgefüges steuern zu können. Das steht im Einklang mit der ständigen Rechtsprechung des BVerfG, das hierzu beispielhaft schon 1987 ausgeführt hat: „Auch wenn dieser Begriff (hier: „Rundfunk“ iSv Art. 5 II GG) nicht in jeder Hinsicht festgestellt ist, sondern wie der übrige Inhalt der Verfassung ,in die Zeit hinein offen‘ bleiben muß, um die Lösung von zeitbezogenen und damit wandelbaren Problemen zu gewährleisten (v. Campenhausen, aaO), verbietet sich eine Veränderung des Rechts in seiner besonderen Prägung, also in seinem verfassungsrechtlich bestimmten Kern.“113 Für Gesetze gilt insoweit, dass eine grundrechtsfreundliche Auslegung zu erfolgen hat, die bewirkt, dass bei verschiedenen Auslegungsmöglichkeiten die Variante zu wählen ist, die verfassungskonform ist und bei der der dem jeweiligen Grundrecht zugrundeliegende Schutzzweck auch im Einzelfall realisiert werden kann.114 „Lässt eine Norm – vor allem bei der Auslegung von Generalklauseln und unbestimmten Rechtsbegriffen – verschiedene Interpretationen zu, so gebührt jener der Vorzug, die den in der Verfassung verankerten Wertentscheidungen am besten zur Geltung verhilft (verfassungsfreundliche Auslegung).“115 Nur der Vollständigkeit halber sei hier darauf hingewiesen, dass die Grundrechte selbst völkerrechtsfreundlich auszulegen sind, wie das BVerfG vor kurzem wieder in einem Leitsatz hervorgehoben hat: „Die Bestimmungen des Grundgesetzes sind völkerrechtsfreundlich auszulegen. Der Text der EMRK und die Rechtsprechung des EGMR dienen auf der Ebene des Verfassungsrechts als Auslegungshilfen für die Bestimmung von Inhalt und Reichweite von Grundrechten und rechtsstaatlichen Grundsätzen des Grundgesetzes….“.116 Das Thema „Künstliche Intelligenz“ kann vor dem skizzierten Hintergrund als „mehrdimensionales verfassungsrechtliches Querschnittsthema“ bezeichnet werden, da zunächst die vertikale und die horizontale Grundrechtswirkungsebene betroffen ist. Zudem ist eine Vielzahl von im Grundgesetz (und auch in der Grundreche-Charta der Europäischen Union sowie der Europäischen Menschenrechtskonvention) vorgesehenen und geschützten Grundrechtspositionen betroffen.117 Letztlich kann sie aufgrund ihrer dynamischen Entwicklung, der raschen Verbreitung in verschiedensten Einsatz112 Vgl. dazu etwa schon BVerfG, NJW 1987, 1873; NJW 1987, 2987 ff. (2993); aus jüngerer Zeit: BVerfG, NJW 2020, 300 ff. (Rn. 90) zum Recht auf informationelle Selbstbestimmung. 113 BVerfG, NJW 1987, 1873 (18XX); NJW 1987, 2987 ff. (2993); aus jüngerer Zeit: BVerfG, NJW 2020, 300 ff. (Rn. 90) zum Recht auf informationelle Selbstbestimmung. 114 Das rechtfertigt sich schon aus der Normenpyramide und der Bindung auch der Judikatur an die Verfassung in Art. 1 Abs.1, 20 Abs. 3 GG, so zutreffend Schäfers, JUS 2015, 875 ff. (878); vgl. zur Bedeutung der Unionsgrundrechte unter Privaten eingehend Jarrass, ZEuP 2017, 310 ff. 115 Schäfers, JUS 2015, 875 ff. (878). 116 BVerfG, Urt. v. 12. 06. 2018 (Leitsatz 3a), NJW 2018, 2695. 117 In diesem Sinne auch Härtel. LKV 2019, 49 ff. (52). 32

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

bereichen im Leben von immer mehr Menschen auch als „Massenphänomen“ angesehen werden. Dieses „Setting“ führt gleichsam zu einer sich potenzierenden Bedeutung der Thematik und unterstreicht das vorbeschriebene dringende Regelungsbedürfnis. Selbstredend kann die verfassungsrechtliche Situation an dieser Stelle allenfalls grob skizziert werden: Die berechtigten Interessen aller Beteiligten, also die Interessen aus Wissenschaft und Wirtschaft, hinter denen ebenfalls grundrechtlich geschützte Positionen natürlicher und juristischer Personen stehen sowie die der Allgemeinheit und jedes einzelnen mit Grundrechten ausgestatteten Bürgers, der von KI-Anwendungen betroffen wird, müssen in unserem Staatsgefüge, einem demokratischen Rechts- und Sozialstaat (Art. 20 Abs.1 GG) mit einem – aus der Gesamtschau der Grundrechte (Art. 2 Abs.1, 12 Abs. 1, 14 Abs. 1,2 GG) abgeleiteten marktwirtschaftlichen Wirtschaftssystem, seit jeher zu einem angemessenen Ausgleich gebracht werden, sog. praktische Konkordanz. Nach der vom Bundesverfassungsgericht in Jahrzehnte langer Rechtsprechung zur Kollision von Grundrechten entwickelten und vertretenen „Richtschnur“, der Verpflichtung zur Herstellung praktischer Konkordanz118 müssen dem wissenschaftlichen und wirtschaftlichen Streben und Handeln Einzelner (oder mehrerer in Unternehmensform) rechtliche Grenzen im Sinne eines allgemeinwohlund individualwohlverträglichen Rahmens gesetzt werden, innerhalb dessen sich die wissenschaftliche wie auch wirtschaftliche Betätigung bewegen kann (und muss). Da es weder im Grundgesetz noch in der EU-Grundrechte-Charta ein „Super-Grundrecht“ gibt (auch wenn der „heilige Gral“ der EU, der Binnenmarkt, manchmal einen solchen Eindruck erweckt, gibt es auch keinen Rechtssatz der im Zweifel eine Art „Vorfahrtregelung“ für wirtschaftliche Interessen vor anderen grundrechtlich geschützten Positionen gebieten würde, auch das hat die Corona-Krise gezeigt. Wo die Grenzen liegen bestimmt zunächst der Gesetz- und Verordnungsgeber, dessen Gesetze und Verordnungen qua der Grundrechtsbindung der Legislative grundrechtskonform zu erlassen sind, was der Kontrolle der Judikative bis hin zum Bundesverfassungsgericht und dem EuGH sowie bei Grundrechten nach der Europäischen Menschenrechtskonvention dem Europäischen Gerichtshof für Menschenrechte unterliegt. Der EuGH legt bei der Überprüfung der Einhaltung der Grundrechte der GrCh einen vergleichbaren Maßstab an, strebt einen „Ausgleich“ an, die Grundrechte sind unter Wahrung des jeweiligen Wesensgehalts gegeneinander abzuwägen und in Einklang zu bringen.119 Von besonderer Bedeutung erscheint im vorliegenden Kontext der Frage nach notwendiger gesetzlicher Regulierung der verfassungsrechtliche Grundsatz, dass den Staat gegenüber seinen Bürgern eine Schutzpflicht, insbesondere für deren Leben und Gesundheit trifft, die ihn bei seiner Gesetzgebung zu leiten hat.120 Die Schutzpflicht „gebietet dem Staat, sich schützend und fördernd vor (das) Leben zu stellen; d. h. 118 Vgl. dazu jüngst BVerfG, NJW 2020, 300 ff., Rn. 76; BVerfG, NJW 2018, 1667 ff., Rn. 32 mwN. zur BVerfG-Rechtsprechung. 119 Vgl. dazu Jarrass, ZEuP 2017, 310 ff. (324) mit zahlreichen nachweisen zur EuGH-Rspr. 120 Vgl. dazu BVerfG, Beschl.v. 28. 02. 2002, 1 BvR 1676/01. Recht und Politik, Beiheft 6

33

Oliver Lücke

vor allem, es auch vor rechtswidrigen Eingriffen von seiten anderer zu bewahren. Da das menschliche Leben einen Höchstwert darstellt, muss diese Schutzverpflichtung besonders ernst genommen werden.“121 Dieselben Gesichtspunkte gelten für die körperliche Unversehrtheit, nur dass die Intensität des Schutzes in Relation zur Intensität des Eingriffs geringer ausgeprägt sein kann. Wegen „der aus Art. 1 I 2 GG folgenden objektiv-rechtlichen Verpflichtung aller staatlichen Gewalt, die Würde des Menschen zu schützen, (ist diese) gehalten, alle Anstrengungen zu unternehmen, um mögliche Gefahren frühzeitig zu erkennen und ihnen mit den erforderlichen, verfassungsmäßigen Mitteln zu begegnen.“122 Die staatliche Schutzpflicht wird vom Staat insbesondere durch den Erlass von Gesetzen und Verordnungen ausgeübt, mit der bestimmte gefahrträchtige Aktivitäten der Bürger mehr oder weniger eingeschränkt werden. Grundlegender Regelungsmechanismus und damit Dreh- und Angelpunkt ist insoweit die Dichotomie der die Freiheit des Einzelnen in den Vordergrund stellenden „Erlaubnis mit Verbotsvorbehalt“ einerseits und dem repressiveren „Verbot mit Erlaubnisvorbehalt“, welches den Schutz der Allgemeinheit vor Gefahren schwerer Rechts(gut) verletzungen quasi vorverlegt, andererseits. Neben dieser grundsätzlichen Wahl der Regulierungstechnik gebietet es die staatliche Schutzpflicht, „rechtliche Regelungen so auszugestalten, daß auch die Gefahr von Grundrechtsverletzungen eingedämmt bleibt“.123 Zentrale Mittel der Umsetzung der staatlichen Schutzpflicht sind etwa strafrechtliche und zivilrechtliche Sanktionen, wie die Schaffung von Straftatbeständen und Unterlassungs- sowie Schadensersatzansprüchen. Im Bereich des Betriebs gefährlicher Einrichtungen kommt dem Zulassungsverfahren und den Anforderungen an die Zulassung, insbesondere die Festlegung bestimmter Sicherheitsanforderungen besondere Bedeutung zu. Bei der Bestimmung der Reichweite der Schutzpflicht hat der Gesetzgeber allerdings einen beachtlichen Gestaltungsspielraum, wobei das „Untermaßverbot“ zu beachten ist, Art und Umfang des Schutzes sind „im Blick auf die Bedeutung und Schutzbedürftigkeit des zu schützenden Rechtsguts … einerseits und mit ihm kollidierender Rechtsgüter andererseits zu bestimmen“.124 Das Bundesverfassungsgericht hat seine Rechtsprechung zur staatlichen Schutzpflicht zwar anhand des Lebens und der Gesundheit entwickelt, sie ist darauf aber keineswegs beschränkt, sondern kommt grds. auch bei anderen grundrechtlich verbürgten Rechtspositionen zur Anwendung, wie etwa beim allgemeinen Persönlichkeitsrecht und seinen Ausprägungen wie dem Recht auf informationelle Selbstbestimmung und dem Datenschutz. Die staatliche Schutzpflicht wird demnach immer dann relevant, wenn sich die Frage stellt, ob und ggf. in welchem Umfang der Staat seine Bürger vor vorhersehbaren, nicht, jedenfalls nicht sicher beherrschbaren Gefahren/Risiken zu schützen hat. Dabei geht es grob gesagt um die Reichweite der Verantwortung des 121 BVerfGE 46, 160 (164). 122 BVerfG, NJW 1979, 359 ff. („Schneller Brüter“). 123 BVerfG, NJW 1979, 359 ff. („Schneller Brüter“). 124 Sachs/Murswiek/Rixen, GG, 8. Aufl. 2018.Art. 2 Rn. 33. 34

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

Staates für das friedliche Zusammenleben der Menschen125. Die staatliche Schutzpflicht ist dabei abzugrenzen vom sog. „allgemeinen Lebensrisiko“ der Menschen. Denn – selbstverständlich – gibt es keine „absolute Sicherheit“, eine solche ist weder möglich noch verfassungsrechtlich geboten, worauf Graf von Westfalen bei der Diskussion um die Digitalisierung jüngst zu Recht unter Verweis auf einen grundlegenden Leitsatz der „Kalkar-Entscheidung“ des BVerfG hingewiesen hat: „Vom Gesetzgeber im Hinblick auf seine Schutzpflicht eine Regelung zu fordern, die mit absoluter Sicherheit Grundrechtsgefährdungen ausschließt, die aus der Zulassung technischer Anlagen und ihrem Betrieb möglicherweise entstehen können, hieße die Grenzen menschlichen Erkenntnisvermögens verkennen und würde weithin jede staatliche Zulassung der Nutzung von Technik verbannen. Für die Gestaltung der Sozialordnung muss es insoweit bei Abschätzungen anhand praktischer Vernunft bewenden. Ungewissheiten jenseits dieser Schwelle praktischer Vernunft sind unentrinnbar und insofern als sozialadäquate Lasten von allen Bürgern zu tragen.“126 Dementsprechend hat das BVerfG 2002 dazu ausgeführt, dass die verfassungsrechtliche Schutzpflicht es nicht gebietet, alle nur denkbaren Schutzmaßnahmen zu treffen, sondern dem Staat bei der Frage der zum Schutz der Bürger zu ergreifenden gesetzlichen Maßnahmen ein weiter Beurteilungsspielraum zusteht.127 Eine Verletzung der staatlichen Schutzpflicht „kann nur festgestellt werden, wenn die öffentliche Gewalt Schutzvorkehrungen überhaupt nicht getroffen hat oder die getroffenen Maßnahmen gänzlich ungeeignet oder völlig unzulänglich sind, das gebotene Schutzziel zu erreichen oder erheblich dahinter zurückbleiben (vgl. BVerfGE 56, 54 [81]; 77, 381 [405]; 79, 174 [202]; stRspr).“128 Vom Gesetzgeber ist daher ein die Art, Größe und die Eintrittswahrscheinlichkeit des Risikos, die Bedeutung der jeweils betroffenen Rechtsgüter und damit das Schadenspotential der Gefahrenquelle angemessen berücksichtigendes Maß an Schutz zu erwarten, nicht mehr, aber eben auch nicht weniger! Die Einschätzung und Prognose der dem Einzelnen oder der Allgemeinheit drohenden Gefahren ist nach der Rechtsprechung des BVerfG darauf zu überprüfen, ob sie auf einer hinreichend gesicherten Grundlage beruhen (vgl. BVerfGE 123, 186 [241] = NJW 2009, 2033). Je nach Eigenart des in Rede stehenden Sachbereichs, der Bedeutung der auf dem Spiel stehenden Rechtsgüter und den Möglichkeiten des Gesetzgebers, sich ein hinreichend sicheres Urteil zu bilden, kann die verfassungsgerichtliche Kontrolle dabei von einer bloßen Evidenzkontrolle über eine Vertretbarkeitskontrolle bis hin zu einer intensivierten inhaltlichen Kontrolle reichen (vgl. BVerfGE 50, 290 [332 f.] = NJW 1979, 699

125 So Klein, NJW 1989, 1633. 126 BVerfG Urt.v. 08. 08. 1978 – 2 BvL 8/77, zitiert nach Graf von Westfalen, ZIP 2020, 222 (224). 127 Zuletzt bestätigt von BVerfG Urt.v. 26. 02. 2020, NJW 2020, 905 ff. (909), Rn. 224 („Einschätzungs-, Wertungs- und Gestaltungsraum“). 128 BVerfG Beschl.v. 28. 02. 2002 – 1 BvR 1676/01. Recht und Politik, Beiheft 6

35

Oliver Lücke

mwN; BVerfGE 123, 186 [241] = NJW 2009, 2033; BVerfGE 150, 1 [89] = NVwZ 2018, 1703 Rn. 173).129 Angesichts der Rechtsprechung zur staatlichen Schutzpflicht und dem vorstehend skizzierten tatsächlichen Entwicklungen im Bereich der künstlichen Intelligenz und deren schon fast gesellschaftsweiter Verbreitung kann kaum ein Zweifel daran bestehen, dass die bislang fehlende gesetzliche Regelung, zumindest Rahmengesetzgebung, eine Unterschreitung des Beurteilungs- und Ausgestaltungsspielraums des Gesetzgebers darstellt. Pointiert scheint das Ganze vergleichbar mit dem fiktiven Fall, dass der Gesetzgeber beim damaligen Aufkommen des Automobils und des damit einhergehenden Verkehrs darauf verzichtet hätte, das StVG (1909) und des StVO (1934) zu erlassen. 2. Innerhalb des von den Grundrechten und zwingenden (grundrechtskonformen) Gesetzen/Verordnungen gezogenen rechtlichen Handlungsfeldes der Bürger, in dem Handlungen nicht rechtswidrig sind, bleiben noch Ethik, Moral, weltanschauliche Grundsätze und Gepflogenheiten als „weichere“ Mittel der Verhaltenssteuerung. Hier sind wohl abgewogene Versuche, durch Richtlinien etc. zu einer Konkretisierung und Verallgemeinerung anzulegender ethisch-moralischer Maßstäbe beizutragen, zu begrüßen. Allerdings steuern bislang weder die aktuelle Gesetzeslage noch Ethik-Richtlinien die Forschung und Entwicklung von künstlicher Intelligenz und Produkten mit KI-Komponenten, nicht einmal die Entwicklung von zur Tötung von Menschen bestimmten Kampfdrohnen und -robotern wird verhindert.130 Der grundsätzlichen „Dual-Use“-Problematik technischer Entwicklungen sind nicht nur Moral und Ethik entgegenzusetzen, sondern klare gesetzliche Regelungen einschließlich bestimmter – ebenso klarer – Verbote.131 3. Der einzige derzeit vorhandene Ansatz zu einer gewissen Beschränkung der Entwicklung und des Einsatzes von KI im Hinblick auf die Betroffenen ist das Datenschutzrecht, als gesetzliche Ausprägung des EU-Grundrechts auf Datenschutz in Art 8 GRCh und des vom Bundesverfassungsgericht als grundrechtsgleiches Recht etablierten Rechts auf informationelle Selbstbestimmung. Allerdings kann und muss man zwei Jahre nach Inkrafttreten der weltweit als „Vorreiter“ angesehenen DS-GVO sagen, dass deren Regelungen jedenfalls für den Zweck der Regulierung von KI, für die sie ja nicht vorgesehen war/ist, nicht ausreichend sind. Die in der DS-GVO und auch im BDSG vorgesehenen gesetzlichen Erlaubnistatbestände sind eher zu weit gefasst. Hier besteht 129 BVerfG Urt.v. 26. 02. 2020, NJW 2020, 905 ff. (910), Rn. 237. 130 Experten der UN-Konvention zur Kontrolle „bestimmter konventioneller Waffen“ (CCW) haben im Herbst begonnen, über eine Ächtung mit künstlicher Intelligenz versehener Autonomer Waffensysteme zu beraten. Bei der jährlichen Staatenkonferenz der VN-Waffenkonvention (CCW) im November 2019 einigten sich 125 Staaten erstmals darauf, Leitprinzipien für den Umgang mit Letalen Autonomen Waffensystemen festzulegen. Es bleibt aber noch ein langer Weg, da diese Leitprinzipien die Staaten nicht rechtlich, sondern nur „politisch“ binden. 131 Erfreulicherweise schlägt auch die Bundesregierung für die anstehende EU-Rechtssetzung den Einschluss bestimmter Verbote vor (vgl. Stellungnahme der Bundesregierung zum Weißbuch der EU COM (2020) 64 final, S. 11). 36

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

Reformbedarf, einerseits in Richtung einer gewissen „Entbürokratisierung“ im Bereich des formalen Datenschutzrechts in den Art. 13 ff DS-GVO, andererseits aber materiellrechtlich im Sinne einer Verstärkung des Schutzes personenbezogenen Daten, insbesondere das für den Einzelnen besonders gefährliche und freiheitsgefährdende „Profiling“ (Art. 22 DS-GVO) müsste (weiter) beschränkt werden, da dieser – systemwidrig – in der Praxis zu einer grds. Zulässigkeit von Profiling führt, das nur ausnahmsweise verboten ist. Die Evaluierung der DS-GVO, die in ihrem Art. 97 erstmalig für 2020 vorgesehen ist, hat laut Bericht der EU-Kommission einen überwiegend positiven Tenor und wird als entwicklungsoffen gelobt: „Die DSGVO wurde technologieneutral ausgearbeitet und stützt sich auf Grundsätze; sie ist daher geeignet, auch neue, in der Entwicklung befindliche Technologien abzudecken.“132 Änderungen der DS-GVO werden hier nicht angedeutet und im Hinblick auf das Thema DS-GVO und künstliche Intelligenz will die EU-Kommission weiter nur „überwachen“.133

VI. Künstliche Intelligenz und Haftung 1. Auch wenn es in der rechtspolitischen Debatte primär um die Gestaltung einer menschenzentrierten, besser: menschengerechten künstlichen Intelligenz geht, so steht noch „in den Sternen“, ob und inwieweit das gelingen wird. Selbst wenn es ansatzweise gelingt, wird der zunehmende Einsatz komplexer Algorithmen und Systeme künstlicher Intelligenz in allen Bereichen des Lebens, insbesondere in Wirtschaft unweigerlich auch zu Fehlfunktionen und/oder nicht intendierten „Nebenwirkungen“ und damit auch zu Verletzungen von Rechten der Nutzer und sonst betroffener Dritter, seien es natürliche Personen und Unternehmen, und entsprechenden Schäden kommen. Koch ist der Ansicht, dass es künftig beim Einsatz von autonomen Robotern eher zu einer Zunahme von Sach- und Personenschäden kommen wird.134 Die Rechtsgutverletzungen führen zu materiellen Schäden, ggf. auch zu immateriellen Beeinträchtigungen, so dass sich auch auf dem traditionellen Gebiet des Zivilrechts die Frage stellt, ob das deutsche, ggf. europäische Haftungsrecht angemessen „aufgestellt“ ist, um die neuen und künftigen technischen Entwicklungen im Bereich der künstlichen Intelligenz und ihre Beiträge zu den jeweiligen Schadenseintritten angemessen regeln zu können. Seine grundsätzliche Fähigkeit künftige Entwicklungen zu erfassen und sachgerecht zu regeln hat unser Rechtssystem, bestehend aus abstrakter Normgebung und zur Interpretation der gesetzlichen Grundlagen insbesondere durch Auslegung berufene Gerichte, schon länger unter Beweis gestellt. Berechtigterweise fügt Wagner noch die Unterstützung der Rechtswissenschaft hinzu, die zuarbeitet und Lösungsoptionen

132 Evaluierungsbericht der EU-Kommission zur DS-GVO vom 24. 06. 2020, S. 10. 133 Evaluierungsbericht der EU-Kommission zur DS-GVO vom 24. 06. 2020, S. 22. 134 Koch, VersR 2020, 741 ff. (755). Recht und Politik, Beiheft 6

37

Oliver Lücke

anbietet.135 Auch der Beitrag der Anwaltschaft soll hier nicht vergessen werden. Nichtsdestotrotz führten größere gesellschaftliche Neuerungen auch in der Vergangenheit immer wieder zur Änderung von Gesetzen oder zur gänzlichen Neuschaffung von Gesetzen, man denke beispielhaft an die technischen Entwicklungen, die zum Erlass des Straßenverkehrsgesetzes136 oder des Atomgesetzes137 oder zur Änderung des Luftverkehrsgesetzes und der Luftverkehrsordnung und dem Erlass der „DrohnenVerordnung“ für die Nutzung von Flugdrohnen geführt haben.138 Neben einer in der Literatur weitgehend als „vorschnell“ und jedenfalls derzeit weder erforderlich noch erstrebenswert bezeichneten Schaffung einer eigenen digitalen Rechtspersönlichkeit („e-person“), die dann als neu geschaffenes Haftungssubjekt dienen könnte139, geht es in der aktuellen Diskussion um den gesetzlichen Rahmen um die klassische Frage der Diskussion eines Änderungsbedarfs an sich (das „ob“) und bejahendenfalls der Ermittlung der konkret bestehenden Änderungsoptionen (das „wie“): 2. Im Hinblick auf den Ausgleich materieller Schäden und auch immaterieller Beeinträchtigungen ist das europäische wie auch das deutsche Recht mit möglichen vertraglichen und gesetzlichen Anspruchsgrundlagen, insbesondere Schadenersatzansprüchen und Ansprüchen aus dem Produkthaftungsgesetz grundsätzlich gut aufgestellt: a) Die Regelungen zur vertraglichen Haftung einschließlich der Gehilfenhaftung nach § 278 BGB sind in diesem Kontext aber weitgehend unergiebig, da diese Regelungen von den beteiligten Unternehmen (Hersteller, Inverkehrbringer und Betreiber) vertraglich – z. B. in sog. „Service-Level-Agreements“ – gerade im „b-to-b-Bereich“ weitgehend abgedungen werden können.140 b) Wagner hat im Ausgangspunkt zutreffend darauf hingewiesen, dass die Frage nach Verantwortlichkeit im Zeichen digitaler Techniken im Grunde leicht zu beantworten sei: „Das allgemeine Deliktsrecht, in Deutschland seit dem Inkrafttreten des BGB in §§ 823 ff BGB kodifiziert, ist technikneutral. Es gilt für jede Aktivität, ob gefährlich oder ungefährlich, und ohne Zweifel auch für den Einsatz von technischen Apparaten und Anlagen, gleichviel, ob sie analog oder digital gesteuert werden.“141 Träfe das auch im Ergebnis so zu, so bestünde weder eine Gesetzeslücke noch bedürfte es einer ge135 Wagner, VersR 2020, 717. 136 StVG, in Kraft getreten 1909. 137 Atomgesetz, in Kraft getreten am 31. 07. 1976. 138 § 1 Abs. 2 Satz 3 Luftverkehrsgesetz (12. 05. 2012); § 20 Abs. 3 Nr. 7 Luftverkehrsordnung; Drohnen-Verordnung, in Kraft getreten am 30. 03. 2017. 139 So etwa Entschließung des Europäischen Parlaments vom 16. 02. 2017 zu zivilrechtlichen Regelungen im Bereich der Robotik (2015/2103 (INL)) – P8_TA(2017)0051 (2018/C 252/ 25), ABlEU v. 18. 7. 2018, dazu auch Wendehorst, NJW 2016, 2609. 140 Darauf hat bereits Krug (beck.digitax 2020, 74 (76) zutreffend hingewiesen. 141 Wagner, VersR 2020, 717. 38

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

setzlichen Neuregelung der Haftung für KI, noch wäre das Deliktsrecht anpassungsbedürftig. Zu schön um wahr zu sein: Auch wenn das Deliktsrecht in § 840 BGB dem Gedanken Rechnung trägt, dass im Einzelfall (bei KI wohl eher idR) mehr als ein Verantwortlicher für die Rechtsgutverletzung/Schadensentstehung vorhanden sein kann, fragt es sich, ob die Deliktstatbestände insbesondere mit den Aspekten der haftungsbegründenden und haftungsausfüllenden Kausalität hinreichend geeignet sind, komplexe auch digitale Werke und Prozesse mit zahlreichen Algorithmen oder Systemen künstlicher Intelligenz zu erfassen. Problematisch erscheint im vorliegenden Kontext vor allem auch die Exkulpationsmöglichkeit des § 831 BGB. Das Deliktsrecht in seiner aktuellen Fassung ist m. E. nicht die Lösung, sondern nur eine interimistische Behelfslösung, mit der – nolens volens – bis zu einer gesetzlichen Regelung gearbeitet werden muss. 3. Nachdem es de lege lata keine die KI repräsentierende „e-person“ als Haftungssubjekt gibt und diese auch de lege ferenda zu Recht nicht in Sicht ist, kommen als Haftungsschuldner vor allem der/die Hersteller und/oder der Betreiber/Anwender als Nutzer von KI-Systemen in Betracht, aber auch Dritte, wie z. B. Lieferanten im Rahmen der KI-Herstellung, etwa Unternehmen, die die Trainingsdaten für die KI-Systeme geliefert haben. Gäbe es – wie derzeit (noch) nicht142 – entsprechend anerkannte Zertifizierungen, könnten sich auch Ansprüche gegen die zertifizierenden Stellen, z. B. TÜV-Gesellschaften ergeben oder zumindest Regressansprüche der Hersteller oder Betreiber/Anwender. M. E. spricht bei Schäden im Zusammenhang mit dem Einsatz oben dargestellter KISysteme („black-box“‐) vieles für ein Eingreifen des Gesetzgebers, um eine zumindest hinreichende und damit bessere Rechtssicherheit zu schaffen. Als beste Option erscheint mir eine Kombination von verschuldensunabhängiger Produkthaftung des (End‐)Herstellers, ergänzt bzw. flankiert durch eine verschuldensabhängige Betreiber-/ Anwenderhaftung, die sich an KI-spezifischen Verkehrssicherungspflichten ausrichtet143, da die Haftung des (End‐)Herstellers andere Beteiligte (weder „downstream“ (Absatzkette) noch „upstream“ (Zulieferer)) nicht von jeder, ggf. bestehenden eigenen Haftung befreit.144 a) (End‐)Hersteller und Betreiber/Anwender drängen sich als Haftungssubjekte auf, weil beide über erheblichen Einfluss auf schadensbegründende Vorgänge haben. Der (End‐)Hersteller konzipiert und programmiert das KI-System und legt insbesondere die Lernverfahren fest. Ferner legt er in aller Regel auch Umfang, Auswahl und der Qualität der wichtigen Trainingsdaten fest. Der Betreiber / Anwender hat ebenfalls 142 Krezschmar, MMR-Aktuell 2020, 425656. 143 In diesem Sinne auch Riehm, zitiert nach Biller-Bomhardt/Kunz, VersR 2020, 755 ff. (760), wenn auch in Verbindung mit der m. E. gewagten These, dass 99 % der Haftungsfälle auf ein „Nutzerversagen“ zurückzuführen sei und nur 1 % auf technisches Versagen; ähnlich auch Wagner, zitiert nach Biller-Bomhardt/Kunz, VersR 2020, 755 ff. (761). 144 Vgl. statt vieler: MüKo/Wagner, § 823 BGB, Rn. 786 m.w.N. Recht und Politik, Beiheft 6

39

Oliver Lücke

erheblichen Einfluss, insbesondere auf das Einsatzgebiet und den konkreten Einsatz des Systems.145 „In einer Zeit, in der technische Systeme immer unabhängiger vom Menschen agieren und die menschliche Einflussnahme sowie Kontrolle stetig geringer wird, nimmt die Bedeutung des Produkthaftungsrechts spiegelbildlich zu.“146 Produkte mit Software-Komponenten sind ohne Weiteres Produkte im Sinne des Produkthaftungsrechts. Bekanntermaßen ist die Produkteigenschaft von reiner Software umstritten, wird inzwischen aber überwiegend bejaht.147 Ungeachtet dieses Streits kann die Produkthaftung des (End‐)Herstellers aber jedenfalls de lege ferenda – wie bereits seit einiger Zeit diskutiert – durch entsprechende Klarstellung des Produktbegriffs nach der EU-Produkthaftungs-Richtlinie und nach dem Produkthaftungsgesetz erreicht werden. Das sollte unzweifelhaft geschehen. Erwägenswert ist auch die zum Teil vertretene Ansicht, zur Absicherung der möglicherweise existenzgefährdenden Schadenssummen eine Pflicht-Haftpflichtversicherung für Hersteller von KI-Systemen vorzusehen.148 b) Die Betreiber- bzw. Anwenderhaftung ist gerechtfertigt, weil Betreiber / Anwender den Einsatz von KI-Systemen dem Grundsatz der Arbeitsteilung folgend in aller Regel zur Unterstützung des von ihnen betriebenen Unternehmens einsetzen, letztlich als Hilfsmittel ähnlich anderer sachlicher und auch personeller Ressourcen. Wer aber die Vorteile der Arbeitsteilung nutzt, hat grundsätzlich auch die damit verbundenen Risiken zu tragen.149 Da KI im Ergebnis Mitarbeiter des Unternehmens, also Erfüllungs-/ Verrichtungsgehilfen des Unternehmens ersetzt (ohne KI müssten die Arbeitsaufgaben von anderen sächlichen und/oder personellen Ressourcen wahrgenommen werden), kann und darf mit dem KI-Einsatz jedenfalls kein Haftungsvorteil verbunden sein150, auch „Haftungslücken“ dürfen nicht entstehen. Zugleich liegt es vor diesem Hintergrund nahe, zu versuchen die sich aus dem Einsatz von KI ggf. ergebenden Risiken für bzw. Gefährdungen von geschützten Rechtsgütern Dritter über die Bestimmungen zur Haftung für Gehilfen- bzw. Verrichtungsgehilfen (§§ 278, 831 BGB) oder Analogien hierzu zu erfassen. § 278 BGB regelt die Zurechnung des Verschuldens von vom Vertragspartner bewusst in die Erfüllung/Abwicklung des Vertragsverhältnisses eingeschalteten Erfüllungsgehilfen innerhalb einer bestehenden Vertragsbeziehung. Eine analoge Anwendung des § 278 BGB auf künstliche Intelligenz ist in der Sache angezeigt und rechtsdogmatisch möglich, weil die Voraussetzungen einer Analogie hier gegeben sind: Erfüllungsgehilfe ist, wer nach den tatsächlichen Umständen mit dem Willen des Schuldners bei der Erfüllung einer diesem obliegenden Verbindlichkeit als seine Hilfsperson tätig wird. 145 So zutreffend Etzkorn, MMR 2020, 360 ff. (364 f.). 146 Etzkorn, MMR 2020, 360. 147 HM, vgl. dazu etwa Wagner, VersR 2020, 717 ff. (726); MüKo/Wagner, § 2 ProdHaftG, Rn. 21 ff. m.w.N.; zur Produkthaftungs-Richtlinie insoweit jüngst Hacker, NJW 2020, 2145 ff. 148 So Armbrüster, zitiert nach Biller-Bomhardt/Kunz, VersR 2020, 755 ff. (759). 149 MüKo/BGB/Grundmann, § 278, Rn. 3 m.w.N. 150 MüKo/BGB/Grundmann, § 278, Rn. XX m.w.N. 40

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

Entscheidend ist – neben dem hier unkritischen Tätigwerden im Pflichtenkreis des Schuldners – die Einschaltung mit dem Willen des Schuldners als dessen Hilfsperson.151 Da es sich bei KI aber um keine „Person“, also auch keine Hilfsperson handelt, müsste und könnte eine Analogie bemüht werden. Deren Voraussetzungen und ihr Vorliegen kann und soll an dieser Stelle jedoch nicht vertieft werden, da dies selbst bei einer analogen Anwendung des § 278 BGB auf KI wegen der zuvor schon angesprochenen Abbedingbarkeit der vertraglichen Haftung, also auch des § 278 BGB, letztlich nicht zielführend im Sinne eines gesicherten Haftungsregimes für die von KI Betroffenen wäre. § 831 BGB regelt nicht die Haftung für Verschulden eines sog. Verrichtungsgehilfen, sondern die Haftung für eigenes Verschulden des Geschäftsherrn bei Auswahl und Beaufsichtigung des Verrichtungsgehilfen sowie in Bezug auf die Beschaffung von Vorrichtungen und Gerätschaften. Ein Verschulden des Verrichtungsgehilfen selbst ist hier gar nicht erforderlich. Jedenfalls im Hinblick auf den Teilbereich der Produkte mit KI-Komponenten könnte an eine direkte oder analoge Anwendung des § 831 BGB gedacht werden und so zumindest eine Haftung des Geschäftsherrn für das sog. Auswahlverschulden realisiert werden. Bei einer analogen Anwendung ließen sich uU auch noch Dienstleitungen mit KI-Komponenten erfassen. Im Hinblick auf die deliktische Verrichtungsgehilfenhaftung bestehen allerdings erhebliche Zweifel, ob KI selbst, also Algorithmen und Systeme künstlicher Intelligenz als Verrichtungsgehilfen im Sinne des § 831 Satz 1 BGB eingeordnet werden können. Diese Zweifel ergeben sich aus der eingeschränkten oder gar fehlenden Abhängigkeit der KI („black-box“), denn nach der BGH-Rechtsprechung kann dem Geschäftsherrn (hier: Hersteller, Inverkehrbringer oder Betreiber) eine Ersatzpflicht für die von einem Dritten (hier: KI) verursachten Schäden nur dann aufgebürdet werden, wenn er auf dessen Verhalten auch tatsächlich Einfluss nehmen kann: „Entscheidend für die Verrichtungsgehilfeneigenschaft ist aber, dass die Tätigkeit in einer abhängigen Stellung vorgenommen wird und der Geschäftsherr die Tätigkeit des Handelnden jederzeit beschränken oder entziehen oder nach Zeit und Umfang bestimmen kann…. Die Qualifikation als Verrichtungsgehilfe setzt Abhängigkeit und Weisungsgebundenheit voraus. Der Geschäftsherr haftet für einen Verrichtungsgehilfen deshalb, weil er auf Grund eines objektiven Abhängigkeitsverhältnisses befugt ist, auf das Verhalten des Dritten tatsächlich Einfluss zu nehmen und gegebenenfalls auch das Verhältnis zu diesem zu beenden. Bestehende Zweifel gehen zu Lasten des Anspruchstellers, dem grundsätzlich der Beweis dafür obliegt, dass ihm der geltend gemachte Schaden von einem Verrichtungsgehilfen des Geschäftsherrn zugefügt worden ist.“152 Danach spricht Einiges dafür, dass § 831 BGB auf KI nicht anwendbar ist. Dieses Argument würde zudem auch gegen die Anwendbarkeit von § 831 BGB auf die zuvor besprochenen Produkte oder Dienstleistungen mit KI-Komponenten sprechen. 151 BeckOGK/Schaub, § 278 BGB, Rn. 34. 152 BGH NJW 2014, 2797 ff. (2798). Recht und Politik, Beiheft 6

41

Oliver Lücke

Sollte dagegen von einer direkten oder analogen Anwendbarkeit des § 831 BGB auf KI auszugehen sein, so bedürfte es – national betrachtet – einer Änderung des § 831 Abs.1 BGB: Die Anwendung des Satz 2 könnte durch einen speziell auf Algorithmen, Systeme künstlicher Intelligenz und Produkte oder Dienstleistungen mit KI-Komponenten abzielenden weiteren Satz 3: „Satz 2 findet keine Anwendung auf Fälle, in denen der Geschäftsherr Algorithmen, Systeme künstlicher Intelligenz und Produkte oder Dienstleistungen mit KI-Komponenten zum Einsatz bringt.“ ergänzt werden, um die Exkulpationsmöglichkeit für derartige KI-Unterstützung auszuschließen. Soll die Exkulpation nicht ausgeschlossen werden, so müssten die Anforderungen an eine Exkulpation nach Satz 2 für KI alternativ verschärft werden, etwa wie folgt: „Die Ersatzpflicht tritt nicht ein, wenn der Geschäftsherr bei der Auswahl der bestellten Person oder bei der Auswahl der zum Einsatz gebrachten künstlichen Intelligenz und, sofern er letztere oder Vorrichtungen oder Gerätschaften zu beschaffen oder die Ausführung der Verrichtung zu leiten hat, bei der Beschaffung oder der Leitung die im Verkehr erforderliche Sorgfalt beachtet oder wenn der Schaden auch bei Anwendung dieser Sorgfalt entstanden sein würde. Beim Einsatz von künstlicher Intelligenz gilt die im Verkehr erforderliche Sorgfalt als erfüllt, wenn die künstliche Intelligenz von einer dazu autorisierten Stelle zertifiziert ist oder bei Auswahl der künstlichen Intelligenz der Stand von Technik und Wissenschaft beachtet wurden.“ Auch der EU-Verordnungsgeber sollte bei der Regelung dieser neueren Technologien das Gebot der Begrenzung etwaiger Exkulpationsmöglichkeiten im Rahmen der Haftung beachten, zumal die Exkulpationsmöglichkeit des deutschen Deliktsrechts rechtvergleichend betrachtet eher eine Ausnahme des unter den europäischen Rechtsordnungen darstellt153, so dass in einer EU-Verordnung zur KI u. U. auf sie auch verzichtet werden könnte.

VII. Marktortprinzip Nicht nur nach Ansicht des Autors ist der EU-Verordnungsgeber gefordert, einen EUweiten Rechtsrahmen zu schaffen, am besten in Form in einer EU-Grundverordnung. Um die Wirksamkeit des künftigen Schutzregimes einer „KI-GVO“ zu gewährleisten, müssen die darin zum Schutz von Allgemeinheit und Einzelnen vorgesehenen Maßgaben und Grenzen für künstliche Intelligenz und die Schutz- und Abwehrrechte auch gegenüber außerhalb der EU sitzenden Unternehmen Geltung haben, wenn diese innerhalb der EU unternehmerisch tätig werden, insbesondere KI oder Produkte sowie Dienstleistungen mit KI-Komponenten anbieten. Dies setzt die Festschreibung des sog. „Markortprinzips“ wie in Art. 3 Abs.2 DS-GVO auch in dieser Verordnung über Algorithmen und Systeme künstlicher Intelligenz voraus (so auch Art. 3 Abs. 3 des in Teil 2 dieses Beitrags vorgelegten Verordnungsentwurfs).

153 Lorenz, JuS 2007, 983 (985). 42

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

VIII. Erwägungen zu einem Regulierungsvorschlag – Entwurf einer „KI-GVO“ Auf Basis der vorstehenden Problembeschreibung soll ein Entwurf einer EU-Verordnung vorgestellt werden: Dazu bedarf es in Übereinstimmung mit Art. 296 Abs. 2 AEUV auch einer Begründung für diesen Rechtsakt. Die Begründung wird dem Verordnungstext regelmäßig in Form sog. „Erwägungsgründe“ vorangestellt. Trotz der jüngsten Kritik von Junker an diesen Erwägungsgründen, sie seien jedenfalls wenn zu umfangreich ausgestaltet, „mehr Unkraut als Nutzpflanze auf dem Feld der europäischen Normsetzung“154, soll hier auf diese nicht verzichtet werden. Die Erwägungsgründe zeigen – in einem besseren Fall – zusammenfassend Gegenstand und Motive der Regelungen. VERORDNUNG (EU) 2021/XXX DES EUROPÄISCHEN PARLAMENTS UND DES RATES zu Entwicklung, Inverkehrbringen und Einsatz von Algorithmen und Systemen künstlicher Intelligenz (Künstliche Intelligenz-Grundverordnung) DAS EUROPÄISCHE PARLAMENT UND DER RAT DER EUROPÄISCHEN UNION – gestützt auf den Vertrag über die Arbeitsweise der Europäischen Union, insbesondere auf Artikel 114, auf Vorschlag der Europäischen Kommission, nach Zuleitung des Entwurfs des Gesetzgebungsakts an die nationalen Parlamente, nach Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses, nach Stellungnahme des Ausschusses der Regionen, nach Stellungnahme des Europäischen Datenschutzbeauftragten, gemäß dem ordentlichen Gesetzgebungsverfahren in Erwägung nachstehender Gründe: (1) in der Erwägung, dass in den Bereichen komplexer Algorithmensysteme, künstliche Intelligenz (KI) und automatisierte Entscheidungsfindungsprozesse rasch enorme technologische Fortschritte erzielt werden und diese Technologien zahlreiche Anwendungen, Chancen und Herausforderungen bieten und praktisch alle Bereiche des Binnenmarkts betreffen, (2) in der Erwägung, dass das Design, die Entwicklung, das Inverkehrbringen und die Nutzung von komplexen Algorithmen, künstlicher Intelligenz (KI) und automatisierten Entscheidungsfindungsprozessen auch Herausforderungen im Hinblick auf das Vertrauen und das Wohl der Nutzer und Verbraucher mit sich bringt, insbesondere wenn es darum geht, die Nutzer und Verbraucher in

154 Junker, EuZW 2020, 141 f. Recht und Politik, Beiheft 6

43

Oliver Lücke die Lage zu versetzen, solche Prozesse zu erkennen, zu verstehen, wie sie funktionieren, fundierte Entscheidungen über ihre Nutzung zu treffen oder sich dagegen zu entscheiden; (3) in der Erwägung, dass die Nutzer und Verbraucher bei der Interaktion mit einem System zur automatisierten Entscheidungsfindung angemessen darüber informiert werden sollten, wie es funktioniert, wie entscheidungsbefugte Personen erreicht werden können und wie sich die Entscheidungen des Systems überprüfen und korrigieren lassen; (4) in der Erwägung, dass der bestehende Rechtsrahmen für Dienstleistungen, der aus der Dienstleistungsrichtlinie, der Richtlinie über Berufsqualifikationen, der Richtlinie über eine Verhältnismäßigkeitsprüfung, der Richtlinie über den elektronischen Geschäftsverkehr und der Datenschutz-Grundverordnung (DSGVO) besteht, bereits zahlreiche politische Aspekte ab-deckt, die für Dienstleistungen relevant sind, die automatisierte Entscheidungsfindungs-prozesse mittels Algorithmen oder Systemen künstlicher Intelligenz nutzen, einschließlich Vorschriften über Verbraucherschutz, Ethik und Haftung; in der weiteren Erwägung, dass diese Vorschriften sowohl für herkömmliche Dienste als auch für Dienste gelten sollten, die automatisierte Entscheidungsfindungsprozesse, Algorithmen oder Systemen künstlicher Intelligenz beinhalten; (5) in der Erwägung, dass der EU-Rahmen für Produktsicherheit die Unternehmen verpflichtet, dafür zu sorgen, dass nur sichere und konforme Produkte in Verkehr gebracht werden; (6) in der Erwägung, dass ethische Leitlinien wie die von der hochrangigen Expertengruppe der Kommission für künstliche Intelligenz angenommenen Grundsätze einen Ausgangspunkt darstellen; (7) in der Erwägung, dass das die Forschung aber auch Entwicklung von neuen Produkten und Dienstleistungen stützende Prinzip von Versuch und Irrtum für den technischen Fortschritt von großer Bedeutung ist, aber dieses Prinzip für den Einsatz neuer Produkte und Dienstleistungen nicht maßgebend sein kann; (8) in der Erwägung, dass das Aufkommen von Produkten mit Algorithmen oder Systemen künstlicher Intelligenz, die über Möglichkeiten der automatisierter Entscheidungsfindung verfügen, neue Herausforderungen mit sich bringt, da sich solche Produkte weiterentwickeln und in einer Art und Weise handeln können, die beim ersten Inverkehrbringen nicht vorge-sehen ist und daher die Produktsicherheit erhöht werden muss› um sicherzustellen, dass die Nutzer und Verbraucher angemessen vor Schäden geschützt sind; (9) in der Erwägung, dass die Haftung für Personen-, Sach- und Vermögensschäden eine in zweierlei Hinblick wichtige Rolle spielt, nämlich „repressiv“ für den Ersatz entstandener Schäden durch den oder die Verantwortlichen zu sorgen und „präventiv“ für eine von vornherein möglichst solide Entwicklung von Produkten zu sorgen, die die mit dem Inverkehrbringen neuer Produkte oder Dienstleistungen verbundenen Haftungsrisiken der Unternehmen möglichst reduziert; (10) in der Erwägung, dass der derzeitige Rechtsrahmen der EU, einschließlich des Besitzstands im Bereich des Verbraucherrechts, der Produktsicherheit und der Rechtsvorschriften zur Marktüberwachung, dennoch angepasst werden muss, um damit angemessen auf das Entstehen von Algorithmen, KI und automatisierter Entscheidungsfindung zu reagieren und insbesondere, aber nicht nur ein hohes Verbraucherschutzniveau zu gewährleisten, wie es in Artikel 38 der Charta der Grundrechte der EU gefordert wird; (11) in der Erwägung, dass Algorithmen oder Systeme künstlicher Intelligenz die Effizienz und Genauigkeit von Dienstleistungen verbessern können, dass jedoch der Mensch letztlich für Entscheidungen verantwortlich und in der Lage sein muss, sich über Entscheidungen hinwegzusetzen, 44

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? die insbesondere, aber nicht nur im Zusammenhang mit freiberuflichen Dienstleistungen wie den medizinischen, juristischen und Buchhaltungsberufen sowie für den Bankensektor getroffen werden; (12) in der Erwägung, dass Algorithmen oder Systeme künstlicher Intelligenz, die insb. für automatisierte Entscheidungsprozesse genutzt werden, auf der Erhebung großer Datenmengen beruhen, und die Verordnung über den freien Verkehr nicht-personenbezogener Daten dazu beiträgt, mehr Daten in der gesamten EU verfügbar zu machen und so die Schaffung innovativer datengesteuerter Dienste zu ermöglichen; wird das diesbezügliche Potenzial des Datenaustauschs nicht nur aus öffentlichen, sondern auch aus privaten Quellen anerkannt, jedoch unterstrichen, dass personenbezogene Daten im Rahmen der Datenschutz-Grundverordnung geschützt werden müssen und betont, wie wichtig es ist, nur hochwertige und tendenzfreie Datensätze zu verwenden, um die Leistung von Algorythmen und Systemen künstlicher Intelligenz zu verbessern und das Vertrauen und die Akzeptanz der Nutzer und Verbraucher zu stärken; (13) in der Erwägung, dass die Erfassung und Auswertung biometrischer Daten zum Zweck der Identifikation von natürlichen Personen, insbesondere durch Einsatz von Gesichtserkennungstechnik im öffentlichen Raum, sowohl durch private wie auch durch öffentliche Stellen, einen massiven Eingriff in die Grundrechte der Betroffenen darstellt und zugleich auch erhebliche Risiken für das Allgemeinwohl, insbesondere für die die Demokratie tragenden Grundrechte der Versammlungs-, Vereinigungs- und Meinungsfreiheit bergen und daher nur sehr eingeschränkt zugelassen werden dürfen; (14) in der Erwägung, dass im Rahmen von Geschäftsprozessen Überprüfungsstrukturen erforderlich sind, um mögliche Fehler bei automatisierten Entscheidungen mittels Algorithmen oder Systemen künstlicher Intelligenz feststellen und beheben zu können, und dass es den Nutzern und Verbrauchern möglich sein sollte, eine Überprüfung endgültiger und dauerhafter automatisierter Entscheidungen durch Menschen zu initiieren sowie gegebenenfalls eine Entschädigung zu erhalten; (15) in der Erwägung, dass der bestehende EU-Rechtsrahmen zur Haftung für Schäden im Zusammenhang mit Produkten und Dienstleistungen, die Algorithmen oder Systeme künstlicher Intelligenz nutzen, unzureichend erscheint und ausgebaut werden muss; (16) in der Erwägung, dass die Wahrung des Rechts in der digitalen Welt nicht nur eine wirksame Durchsetzung der Rechte erfordert, sondern insbesondere auch die Sicherstellung des Zugangs zur Justiz für jedermann; (17) in der Erwägung, dass ein gemeinsamer Ansatz der EU für die Entwicklung komplexer Algorithmen, künstlicher Intelligenz und automatisierter Entscheidungsfindungsprozesse dazu beitragen wird, die Vorteile dieser Technik zu sichern und die Risiken in der gesamten EU zu mindern, eine Fragmentierung des Binnenmarkts zu vermeiden und es der Union zu ermöglichen, ihren Ansatz und ihre Werte weltweit besser zu fördern HABEN FOLGENDE VERORDNUNG ERLASSEN:

KAPITEL I Allgemeine Bestimmungen Artikel 1 Gegenstand und Ziel (1) Diese Verordnung enthält Vorschriften zu menschengerechtem und grundrechtskonformem Design sowie zu menschengerechter und grundrechtskonformer Entwicklung von Algorithmen

Recht und Politik, Beiheft 6

45

Oliver Lücke und Systemen künstlicher Intelligenz, zum Inverkehrbringen und menschengerechten und grundrechtskonformen Einsatz von Algorithmen und Systemen künstlicher Intelligenz sowie zu Haftungsfragen in diesem Zusammenhang. (2) Diese Verordnung schützt die Grundrechte und Grundfreiheiten natürlicher Personen im Zusammenhang mit Algorithmen und/oder Systemen künstlicher Intelligenz, sie schützt insbesondere vor umfassender, aber auch weitgehender Erfassung der menschlichen Persönlichkeit durch algorithmus- bzw. KI-basiertes Profiling und vor algorithmus- bzw. KI-basierter Diskriminierung oder sonst unangemessener Behandlung. (3) Diese Verordnung dient auch dem Schutz von Grundrechten und Grundfreiheiten von Personenmehrheiten und Unternehmen vor unangemessener Behandlung durch den Einsatz von Algorithmen und/oder Systemen künstlicher Intelligenz. (4) Weder der freie Verkehr von Daten gemäß Verordnung (EU) 2018/1807 des Europäischen Parlaments und des Rates, der freie Verkehr von personenbezogenen Daten gemäß Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates in der Union noch der Schutz personenbezogenen Daten gemäß Verordnung (EU) 2016/678 des Europäischen Parlaments und des Rates werden durch diese Verordnung beschränkt. Artikel 2 Sachlicher Anwendungsbereich (1) Diese Verordnung gilt für das Design, die Entwicklung, das Inverkehrbringen und den Einsatz von Algorithmen und Systemen künstlicher Intelligenz in der Europäischen Union sowie für die Anforderungen an Algorithmen und Systeme künstlicher Intelligenz, die aus Drittstaaten in die Europäische Union eingeführt werden. (2) Diese Verordnung findet auch Anwendung auf den Einsatz von Algorithmen und Systemen künstlicher Intelligenz auf Personen, die sich in der Union befinden, durch eine nicht in der Union wohnhafte natürliche oder niedergelassene juristische Person, wenn der Einsatz im Zusammenhang damit steht a) Personen in der Union Waren oder Dienstleistungen anzubieten, unabhängig davon, ob von diesen betroffenen Personen eine Zahlung zu leisten ist; b) das Verhalten von Personen zu beobachten und/oder zu analysieren und/oder zu bewerten, soweit ihr Verhalten in der Union erfolgt. (3) Diese Verordnung findet keine Anwendung auf das Design, die Entwicklung, das Inverkehrbringen und den Einsatz von Algorithmen und Systemen künstlicher Intelligenz a) im Rahmen einer Tätigkeit, die nicht in den Anwendungsbereich des Unionsrechts fällt, b) durch die Mitgliedstaaten im Rahmen von Tätigkeiten, die in den Anwendungsbereich von Titel V Kapitel 2 EUV fallen. (4) Diese Verordnung findet auch keine Anwendung auf das Design, die Entwicklung und den Einsatz von Algorithmen und Systemen künstlicher Intelligenz durch Organe, Einrichtungen, Ämter und Agenturen der Union. Soweit für Design, Entwicklung und Einsatz von Algorithmen und Systemen künstlicher Intelligenz durch die Organe, Einrichtungen, Ämter und Agenturen der Union Vorschriften bestehen, sind diese bis zum Inkrafttreten dieser Verordnung an die Grundsätze und Vorschriften der vorliegenden Verordnung anzupassen, soweit solche Vorschriften noch nicht bestehen, sind entsprechende Regelungen im Einklang mit den Grundsätzen und Vorschriften der vorliegenden Verordnung zu schaffen.

46

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? Artikel 3 Räumlicher Anwendungsbereich (1) Diese Verordnung gilt auf dem Gebiet der Europäischen Union. Sie findet Anwendung auf Design, Entwicklung, Inverkehrbringen und Einsatz von Algorithmen und Systemen künstlicher Intelligenz, soweit diese durch eine natürliche oder juristische Person in der Union erfolgt, unabhängig davon, ob Design und Entwicklung in der Union stattgefunden hat oder stattfindet. (2) Diese Verordnung findet letztlich Anwendung auf Design, Entwicklung, Inverkehrbringen und den Einsatz von Algorithmen und Systemen künstlicher Intelligenz durch eine nicht in der Union niedergelassene natürliche oder juristische Person an einem Ort, der aufgrund Völkerrechts dem Recht eines Mitgliedstaats unterliegt. Artikel 4 Begriffsbestimmungen Im Sinne dieser Verordnung bezeichnet der Ausdruck: 1. „Algorithmus“ ist ein software-basierter Prozess, bei dem durch Zuführung von Daten und programmgemäßer Verarbeitung dieser Daten ein bestimmtes Ergebnis generiert wird (einfacher Algorithmus) wie auch ein software-basierter Prozess, bei dem durch Zuführung von Daten und programmgemäßer Auswertung dieser Daten dadurch verbesserte Ergebnisse generiert werden, dass der software-basierte Prozess durch Erkennen von Mustern und Korrelationen in der zunehmenden Datenmenge fortlaufend neue Datenlagen schafft und sich so innerhalb des vorprogrammierten Rahmens selbst optimieren kann (starker Algorithmus). 2. „Systeme künstlicher Intelligenz“ im Sinne dieser Verordnung sind von Menschen entworfene informationstechnologische Systeme, die angesichts eines komplexen Ziels in der physischen und/ oder digitalen Welt agieren, indem sie ihre physische und/oder digitale Umgebung mittels technischer Schnittstellen wahrnehmen und speichern, die gespeicherten strukturierten oder unstrukturierten Daten insb. in Abgleich mit ihrem System aus Trainings- und Echtdaten beruhenden zugriffsfähigen Wissen interpretieren, Schlussfolgerungen daraus ziehen und Entscheidungen zu den situativ besten Maßnahmen treffen, um das vorgegebene Ziel zu erreichen; Systeme künstlicher Intelligenz können dabei rein softwaregestützt sein und in der virtuellen Welt arbeiten oder in Hardwarevorrichtungen oder sonstigen Produkten integriert sein und physische und/oder virtuelle Wirkungen sowohl in der physischen als auch in der digitalen Welt initiieren oder nach sich ziehen. 3.“Produkte mit KI-Komponenten“ sind bewegliche körperliche Gegenstände, die Algorithmen oder Systeme künstlicher Intelligenz enthalten oder mit ihnen verbunden sind, so dass die Produkte ihre Funktionen ohne diese KI-Komponenten nicht in der vertragsgemäßen Qualität ausführen könnten; 4. „Dienstleistungen mit KI-Komponenten“ sind Dienstleistungen, die Algorithmen oder Systeme künstlicher Intelligenz enthalten oder mit ihnen verbunden sind, so dass die Dienstleistungen ihre wesentlichen Funktionen ohne die KI-Komponenten nicht in der vertragsgemäßen Qualität erfüllen könnten; 5. „Design“ im Sinne dieser Verordnung ist die Bestimmung der wesentlichen, für die Entwicklung des Algorithmus, Systems künstlicher Intelligenz, Produkts mit KI-Komponenten oder der Dienstleistung mit KI-Komponenten maßgeblichen Struktur, Logik, Funktionalitäten und Gestaltungsparameter; 6. „Hersteller“ im Sinne dieser Verordnung ist, wer einen Algorithmus oder ein System künstlicher Intelligenz, eine darin zum Einsatz kommende Software oder ein sonstiges Teilprodukt entwickelt oder sonst hergestellt hat. Als Hersteller gilt auch jeder, der sich durch das Anbringen seines

Recht und Politik, Beiheft 6

47

Oliver Lücke Namens, seiner Marke oder eines anderen unterscheidungskräftigen Kennzeichens als Hersteller ausgibt. Als Hersteller gilt ferner, wer einen Algorithmus oder ein System künstlicher Intelligenz oder eine darin zum Einsatz kommende Software oder ein sonstiges Teilprodukt zum Zweck des Verkaufs, der Vermietung oder einer anderen Form des Vertriebs mit wirtschaftlichem Zweck im Rahmen seiner geschäftlichen Tätigkeit in den Geltungsbereich des Abkommens über den Europäischen Wirtschaftsraum einführt oder verbringt. Kann der Hersteller eines Algorithmus oder eines Systems künstlicher Intelligenz nicht festgestellt werden, so gilt jeder Lieferant eines Teilprodukts als dessen Hersteller, es sei denn, dass er dem Geschädigten innerhalb eines Monats, nachdem ihm dessen diesbezügliche Aufforderung zugegangen ist, den Hersteller benennt; 7. „Inverkehrbringen“ ist die Bereitstellung eines Algorithmus, eines Systems künstlicher Intelligenz, eines Produkts oder einer Dienstleistung mit KI-Komponenten durch Verkauf, Vermietung oder eine andere Form der wirtschaftlichen Verwertung einschließlich der Gewinnung von Daten im Gebiet der Union; 8. „Importeur“ bezeichnet jede natürliche oder juristische Person, die einen Algorithmus, ein System künstlicher Intelligenz, ein Produkt oder eine Dienstleistung mit KI-Komponenten aus einem Drittland in die EU einführt; 9. „Einsatz“ ist jede unmittelbare oder mittelbare Nutzung von Algorithmen, Systemen künstlicher Intelligenz, Produkten oder Dienstleistungen mit KI-Komponenten als eigenständiges Produkt bzw. als eigenständige Dienstleistung oder als Teil eines anderen Produkts oder einer anderen Dienstleistung durch natürliche oder juristische Personen, die keine Endverbraucher sind; 10. „Profiling“ ist jede Art der automatisierten Verarbeitung personenbezogener Daten, um bestimmte persönliche Aspekte einer natürlichen Person, insbesondere zu Arbeitsleistung, wirtschaftlicher Lage, Gesundheit, persönlichen Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel dieser Person zu analysieren und/oder vorherzusagen; 11. „Daten“ bezeichnet Daten im Sinne des Artikels 3 Nummer 1 der Verordnung (EU) 2018/1807 sind; 12. „Personenbezogene Daten“ bezeichnet Daten im Sinne des Artikels 4 Nummer 1 der Verordnung (EU) 2016/679; 13. „Anonymisierte Daten“ bezeichnet vormals personenbezogene Daten, die technisch dergestalt anonymisiert sind, dass sie nach dem jeweils bestehenden Stand der Technik nicht de-anonymisiert werden können; 14. „Unternehmen“ ist eine natürliche und juristische Person, die eine wirtschaftliche Tätigkeit ausübt, unabhängig von ihrer Rechtsform, einschließlich Personengesellschaften oder Vereinigungen, die regelmäßig einer wirtschaftlichen Tätigkeit nachgehen; 15. „Unternehmensgruppe“ ist eine Gruppe, die aus einem herrschenden Unternehmen und den von diesem abhängigen Unternehmen besteht; 16. „Betreiber“ ist jede natürliche oder juristische Person, die Algorithmen oder Systeme künstlicher Intelligenz als eigenständiges Produkt bzw. eigenständige Dienstleistung oder als Teil eines Produkts bzw. einer Dienstleistung oder in sonstiger Weise unmittelbar oder mittelbar nutzt und kein Endverbraucher ist; 17. „Betroffene“ ist jede natürliche oder juristische Person, die von Aussagen, Prognosen oder Entscheidungen oder sonstigen Ergebnissen von Algorithmen, Systemen künstlicher Intelligenz oder von Produkten oder Dienstleistungen mit KI-Komponenten betroffen ist; 48

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? 18. „Dienstleister“ ist jede natürliche oder juristische Person, die Dienstleistungen mit KI-Komponenten auf dem Binnenmarkt anbietet; 19. „Überwachung nach dem Inverkehrbringen“ bezeichnet alle Tätigkeiten, die Hersteller ggf. in Zusammenarbeit mit Dritten durchführen, um ein Verfahren zur proaktiven Erhebung und Überprüfung von Erfahrungen, die mit den von ihnen in Verkehr gebrachten, auf dem Markt bereitgestellten oder eingesetzten Algorithmen oder Systemen künstlicher Intelligenz, Produkten oder Dienstleistungen mit KI-Komponenten gewonnen werden, einzurichten und auf dem neuesten Stand zu halten, mit dem ein etwaiger Bedarf an unverzüglich zu ergreifenden Fehlerbeseitigungs- oder Präventivmaßnahmen festgestellt werden kann; 20. „Aufsichtsbehörde“ ist eine von einem Mitgliedstaat gemäß Artikel 28 eingerichtete unabhängige staatliche Stelle; 21. „Risiko“ ist die Kombination der Schwere des Schadens und der Wahrscheinlichkeit des Schadenseintritts; 22. „Haftpflichtversicherung“ ist eine privatrechtliche Versicherung, die mögliche Schäden im Zusammenhang mit dem Einsatz von Algorithmen und Systemen künstlicher Intelligenz entstehen und die Hersteller und Betreiber aufgrund der rechtlichen Verpflichtung aus dieser Verordnung abschließen und aufrecht erhalten müssen; 23. „Gefährdungshaftung“ ist eine verschuldensunabhängige Schadensersatzverpflichtung, die den Hersteller, den Inverkehrbringer und den Betreiber trifft, wenn Algorithmen oder Systeme künstlicher Intelligenz mit nach Maßgabe einer Entscheidung der Aufsichtsbehörden großes Risikopotential für die Betroffenen aufweisen.

KAPITEL II Grundsätze Artikel 5 Grundsätze für Design, Entwicklung, Inverkehrbringen und Einsatz von Algorithmen und Systemen künstlicher Intelligenz (1) Algorithmen und Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KIKomponenten dürfen nur a) für festgelegte rechtmäßige Zwecke entwickelt, in Verkehr gebracht und eingesetzt werden („Zweckbindung“); b) auf der Basis des jeweiligen Standes der Technik und in einer für Fachleute reproduzierbaren und nachvollziehbaren Weise entwickelt werden („Stand der Technik, Reproduzierbarkeit und Nachvollziehbarkeit“); c) mit im Hinblick Blick auf ihren Zweck sachgerecht ausgewählten Daten trainiert werden („Trainingsdatenqualität“); d) diskriminierungsfrei arbeiten („Diskriminierungsfreiheit“); e) vor Inverkehrbringung angemessen auf zweckgerechte Funktionalität und Stabilität getestet werden („Validierung“) und f) die Funktion(en) müssen, soweit nicht anders möglich, zumindest die Prinzipien der Funktion(en) einschließlich der Programm-Codes angemessen dokumentiert („Dokumentationspflicht“) werden. (2) Ferner müssen Algorithmen und Systeme künstlicher Intelligenz sowie KI-Komponenten von Produkten und Dienstleistungen nach Inverkehrbringung a) angemessen beobachtet werden, um etwaige Fehler oder sonstige Fehlentwicklungen zeitnah feststellen zu können („Marktbeobachtung“); b) festgestellte Fehlentwicklungen den Betreibern und Betroffenen mitgeteilt werden („Informations-/Warnpflicht“) und c) die Behebung von Fehlern und Fehlentwicklungen, soweit keine gesetzlichen Gewährleistungsrechte mehr bestehen, unverzüglich gegen angemessene Vergütung angeboten werden („Updateverpflichtung“).

Recht und Politik, Beiheft 6

49

Oliver Lücke (3) Hersteller, Inverkehrbringer und Betreiber sind für die Einhaltung der sie betreffenden Pflichten der Absätze 1 und 2 verantwortlich und müssen deren Einhaltung gegenüber den Aufsichtsbehörden nachweisen können („Rechenschaftspflicht“). Artikel 6 Haftungsgrundätze für Algorithmen und Systeme künstlicher Intelligenz (1) Algorithmen und Systeme künstlicher Intelligenz gelten unabhängig davon, ob sie in ein Produkt integriert sind oder nicht als Produkt im Sinne der Richtlinie 85/374/EWG und der diese in nationales Recht umsetzenden nationalen gesetzlichen Regelungen zur Produkthaftung. Dies gilt entsprechend, wenn Algorithmen oder Systeme künstlicher Intelligenz als Dienstleistung oder Teil einer Dienstleistung zum Einsatz kommen und daher kein Produkt sind. Die Haftungsregeln nach dieser Verordnung gelten auch entsprechend, wenn Algorithmen und Systeme künstlicher Intelligenz oder Produkte mit KI-Komponenten bei der Herstellung oder dem Inverkehrbringen oder dem Erwerb durch den Betreiber nicht fehlerhaft gewesen sind, jedoch später trotz ordnungsgemäßer Nutzung durch den Betreiber aufgrund ihrer Selbstlern- und Selbstfortentwicklungskomponenten fehlerhaft werden. (2) Wird bei dem Einsatz von Algorithmen, Systemen künstlicher Intelligenz, Produkten oder Dienstleistungen mit KI-Komponenten ein Mensch getötet, der Körper oder die Gesundheit eines Menschen verletzt und haftet dafür nach Art 6 (1) dieser Verordnung nicht der Hersteller, so trifft den Inverkehrbringer eine verschuldensunabhängige Gefährdungshaftung. (3) Hersteller und Inverkehrbringer haben im Hinblick auf ihre Haftung nach den vorstehenden Absätzen eine angemessene Haftpflichtversicherung mit einer Mindestversicherungssumme für jeden Einzelfall in Höhe von XXX Mio EUR vorzuhalten. (4) Wird bei dem Einsatz von Algorithmen, Systemen künstlicher Intelligenz, Produkten oder Dienstleistungen mit KI-Komponenten ein Mensch getötet oder verletzt, eine Sache beschädigt oder entsteht ein Vermögensschaden, so haftet der Betreiber unbeschadet von Regressansprüchen gegenüber Hersteller und/oder Inverkehrbringer für den entstandenen Schaden verschuldensabhängig. (5) Betreiber haben im Hinblick auf ihre verschuldensabhängige Haftung nach dem vorstehenden Absatz eine angemessene Haftpflichtversicherung mit einer Mindestversicherungssumme für jeden Schadensfall in Höhe von YY Mio EUR vorzuhalten. Artikel 7 Rechtmäßige Zwecke (1) Algorithmen, Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KIKomponenten dürfen nur für bestimmte rechtmäßige Zwecke im Sinne dieser Bestimmung entwickelt, in Verkehr gebracht und eingesetzt werden. (2) Für die Zweckbestimmung gilt, dass die jeweiligen Zwecke zu Beginn der Entwicklung festgelegt werden müssen, während der Entwicklung noch angepasst werden können und schließlich am Ende dieses Prozesses hinreichend bestimmt dokumentiert werden müssen. (3) Im Rahmen der Entwicklung ist technisch sicherzustellen, dass eine systemimmanente Weiterentwicklung nicht zweckwidrig erfolgt, soweit dies nach dem jeweiligen Stand der Technik möglich ist. (4) Eine Änderung der Zwecke hat Art. 7 Abs.1 – 3 zu entsprechen, auch eine neue Risikofolgenabschätzung gemäß Art. 13 dieser Verordnung ist bei einer Zweckänderung erforderlich.

50

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? (5) Rechtsprechung ist kein zulässiger Zweck des Einsatzes von Algorithmen, Systemen künstlicher Intelligenz oder Produkten bzw. Dienstleistungen mit KI-Komponenten. Etwas Anderes gilt nur im Bereich der Vorbereitung der justiziellen Tätigkeit der Gerichte, wenn und soweit Gegenstand lediglich Recherchezwecke einschließlich der Vorauswertung von Rechercheergebnissen sind. Die Mitgliedsstaaten können von diesem Verbot für dort ggf. zum Einsatz kommende automatisierte außergerichtliche Streitbeilegungsverfahren, deren Streitwert 1.000.– EUR nicht übersteigt, abweichen. (6) Die Erfassung und Auswertung biometrischer Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkten bzw. Dienstleistungen mit KI-Komponenten zum Zwecke der Fernidentifikation einzelner Personen im öffentlichen Raum durch private juristische oder natürliche Personen ist kein rechtmäßiger Zweck im Sinne dieser Verordnung. Auch die Erfassung und Auswertung biometrischer Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkten bzw. Dienstleistungen mit KI-Komponenten zum Zwecke der Fernidentifikation im öffentlichen Raum durch die EU, ihre Mitgliedsstaaten oder hoheitliche Untergliederungen derselben ist grundsätzlich unzulässig. Nur zum Zwecke der Terrorbekämpfung und zur Verhinderung und/ oder Aufklärung von schweren Straftaten gegen den Staat, das Leben und die körperliche Unversehrtheit von Menschen kann sie ausnahmsweise zulässig sein. Die Mitgliedstaaten sind berechtigt, den Katalog der vorgenannten schweren Straftaten unter Berücksichtigung der grds. Unzulässigkeit gemäß vorstehenden Sätzen festzulegen. (7) Die Erfassung und Auswertung biometrischer Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkte bzw. Dienstleistungen mit KI-Komponenten zum Zwecke der Fernidentifikation im nicht-öffentlichen, mithin privaten Raum durch die EU, ihre Mitgliedsstaaten oder hoheitliche Untergliederungen ist grundsätzlich unzulässig. Nur zum Zwecke der Terrorbekämpfung und zur Verhinderung und/oder Aufklärung von schwersten Straftaten gegen den Staat, das Leben und die körperliche Unversehrtheit von Menschen kann sie ausnahmsweise zulässig sein, wobei Art 7 EU-GRCh zu beachten und auf die Prüfung der Verhältnismäßigkeit im jeweiligen Einzelfall besonderes Augenmerk zu legen ist. Die Mitgliedstaaten sind berechtigt, den Katalog der vorgenannten schwersten Straftaten unter Berücksichtigung der grds. Unzulässigkeit gemäß vorstehenden Sätzen festzulegen. (8) Die Erfassung und Auswertung biometrischer Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkte bzw. Dienstleistungen mit KI-Komponenten zum Zwecke der Fernidentifikation im nicht-öffentlichen, mithin privaten Raum durch private juristische oder natürliche Personen ist nur nach vorheriger hinreichender Belehrung, die zu dokumentieren ist, und informierter freiwilliger Einwilligung der Betroffenen zulässig. (9) Die Inanspruchnahme von Dienstleistungen und sonstigen Angeboten dürfen nicht von einer vorherigen Einwilligung in die Erfassung biometrischer Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkten bzw. Dienstleistungen mit KI-Komponenten abhängig gemacht werden. Eine solchermaßen erwirkte Einwilligung ist unwirksam. (10) Betroffene dürfen bei der Nutzung von Produkten, der Inanspruchnahme von Dienstleistungen, einer Vereinbarung oder einer Maßnahme nicht benachteiligt werden, weil sie in zulässiger Weise ihre Rechte, insb. ihre Grundrechte nach der EU-GRCh oder nach der Verordnung (EU) 2016/679 ausüben, insbesondere ihre Einwilligung in die Verarbeitung personenbezogener Daten durch Algorithmen, Systeme künstlicher Intelligenz oder Produkte oder Dienstleistungen mit KIKomponenten nicht erteilen. Die Gewährung des Zugangs zu Produkten und Dienstleistungen mit oder ohne KI-Komponenten gegen Preisgabe personenbezogener Daten, alternativ gegen Zahlung eines angemessenen Entgelts, dessen Höhe aber keinen unangemessenen mittelbaren Druck auf die

Recht und Politik, Beiheft 6

51

Oliver Lücke Preisgabe der personenbezogenen Daten entfalten darf, stellt keine Benachteiligung im Sinne dieses Absatzes dar. Artikel 8 Stand der Technik, Nachvollziehbarkeit und Reproduzierbarkeit (1) Algorithmen und Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KIKomponenten müssen beim Inverkehrbringen dem „Stand der Technik“ entsprechen. Das ist der Fall, wenn diese dem in der Fachwelt überwiegend anerkannten Erkenntnisstand von Wissenschaft und Technik („Stand von Wissenschaft und Technik“) entsprechen und diese Techniken in der Praxis in ausreichendem Maß zur Verfügung stehen, ohne dass dafür unverhältnismäßige Kosten aufgewandt werden müssen. (2) Die Gesamtfunktionalität wie auch die einzelnen Teilfunktionen von Algorithmen und Systemen künstlicher Intelligenz sowie Produkten und Dienstleistungen mit KI-Komponenten müssen vom Hersteller dokumentiert werden und müssen durch den Hersteller jederzeit nachvollzogen und reproduziert werden können. Ist die Reproduzierbarkeit nur mit unverhältnismäßigem Aufwand möglich oder nicht möglich, so müssen ersatzweise zumindest die diesen zugrundeliegenden Prinzipien, Logiken und Trainingsdaten dokumentiert werden, nachvollziehbar und reproduzierbar sein. Artikel 9 Trainingsdatenqualität (1) Vor dem Inverkehrbringen von Algorithmen, Systemen künstlicher Intelligenz oder Produkten bzw. Dienstleistungen mit KI-Komponenten müssen diese in einem dem jeweiligen Stand der Technik nach angemessenen Umfang mit nach Absatz (2) geeigneten Trainingsdaten oder Echtdaten in angemessener Menge trainiert worden sein, also die systemimmanenten Lernprozesse mit Daten hinreichend erprobt und optimiert werden, um das vorgegebene Ziel bestmöglich zu erreichen. (2) Die Daten, mit denen Algorithmen, Systemen künstlicher Intelligenz oder Produkte bzw. Dienstleistungen mit KI-Komponenten in, während oder nach der Entwicklungsphase gemäß Absatz (1) trainiert werden („Trainingsdaten“) sowie etwa genutzte Echtdaten, müssen für den vorgesehenen Zweck geeignet und gemäß Art. 10 dieser Verordnung diskriminierungsfrei sein. Artikel 10 Diskriminierungsfreiheit Trainingsdaten, aber auch Design, Prinzipien und Logiken der Entwicklung von Algorithmen, Systemen künstlicher Intelligenz und Produkte sowie Dienstleistungen mit KI-Komponenten müssen frei von Diskriminierung im Sinne der EU-Richtlinie 2000/43/EG sein und den diese Richtlinie in den jeweiligen Mitgliedstaaten umsetzenden nationalen Normen entsprechen. Artikel 11 Systemsicherheit Algorithmen, Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KIKomponenten sind unter Berücksichtigung ihrer Einsatzzwecke, ihrer Gefährdungspotentiale für Rechtsgüter Dritter, des Stands der Technik und der dadurch entstehenden Kosten angemessen gegen unauthorisierte Zu- und Eingriffe zu schützen. Artikel 12 Validierung Ergebnisse von Algorithmen, Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KI-Komponenten müssen vor dem erstmaligen Inverkehrbringen bzw. vor dem erstmaligen Angebot angemessen auf zweckgerechte Funktionalität, Diskriminierungsfreiheit, Systemsicherheit und Stabilität getestet werden. Durchgeführte Tests gelten als angemessen in diesem Sinne, wenn sie

52

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? den einschlägigen EN-Normen oder – soweit noch nicht vorhanden – entsprechender nationaler Normierung entsprechen. Die zu diesem Zweck durchgeführten Tests sind samt ihren Ergebnissen zu dokumentieren. Artikel 13 Risikofolgenabschätzung (1) Vor dem Einsatz von Algorithmen oder Systemen künstlicher Intelligenz und Produkten bzw. Dienstleistungen mit KI-Komponenten hat der Betreiber bzw. Dienstleister eine auf die Art, den Umfang, die Umstände, insb. die Rechtsgüter der Betroffenen und das entsprechende Gefährdungspotential sowie die Zwecke des Einsatzes ausgerichtete Risikofolgenabschätzung vorzunehmen und die dabei zugrunde gelegten Parameter, insbesondere die Annahmen und Ergebnisse derselben nachvollziehbar zu dokumentieren. Die Anforderungen an die Risikofolgenabschätzung sind von dem Risikopotential des jeweiligen Algorithmus, System künstlicher Intelligenz, Produkts oder der Dienstleistung mit KI-Komponenten abhängig, das in drei Stufen „gering“, „mittel“ und „groß“ eingeteilt ist. (2) Das Risikopotential von Algorithmen, Systemen künstlicher Intelligenz, Produkten und Dienstleistungen mit KI-Komponenten wird nach Maßgabe nachfolgender Kritikalitätsstruktur kategorisiert: (a) Geringe Risiken: Algorithmen und/oder Systeme künstlicher Intelligenz und/oder Produkte bzw. Dienstleistungen mit KI-Komponenten bergen geringe Risiken für die Grundrechte und Grundfreiheiten und Rechtsgüter natürlicher Personen, Personengruppen und Unternehmen, wenn ihr Einsatz nach Maßgabe der im Einklang mit Art. 13 (1) dieser Verordnung durchgeführten Risikofolgenschätzung mit hoher Wahrscheinlichkeit zu keinen oder nur geringen Verletzungen von geschützten Rechtsgütern der Nutzer oder Betroffenen und damit allenfalls zu geringfügigen materiellen und/oder immateriellen Schäden führen. (b) Mittlere Risiken: Algorithmen und/oder Systeme künstlicher Intelligenz und/oder Produkte bzw. Dienstleistungen mit KI-Komponenten bergen mittlere Risiken für die Grundrechte und Grundfreiheiten und Rechtsgüter natürlicher Personen, Personengruppen und Unternehmen, wenn ihr Einsatz nach Maßgabe der im Einklang mit Art. 13 (2) dieser Verordnung durchgeführten Risikofolgenschätzung mit hinreichender Wahrscheinlichkeit nicht nur zu geringen Verletzungen von geschützten Rechtsgütern der Nutzer oder Betroffenen und damit nicht nur zu geringfügigen, sondern erheblichen materiellen und/oder immateriellen Schäden führen. (c) Große Risiken: Algorithmen und/oder Systeme künstlicher Intelligenz und/oder Produkte bzw. Dienstleistungen mit KI-Komponenten bergen große Risiken für die Grundrechte und Grundfreiheiten und Rechtsgüter einzelner natürlicher Personen, Personengruppen und Unternehmen, wenn nicht ausgeschlossen werden kann, dass ihr Einsatz nach Maßgabe der im Einklang mit Art. 13 (3) dieser Verordnung durchgeführten erweiterten Risikofolgenschätzung zu schweren Verletzungen von geschützten Rechtsgütern der Nutzer oder Betroffenen und damit zu ganz erheblichen materiellen und/oder immateriellen Schäden führen kann. (3) Für den Einsatz von Algorithmen, Systemen künstlicher Intelligenz, Produkten und Dienstleistungen mit KI-Komponenten bei denen aufgrund der Art, des Umfangs, der Umstände, insb. der Rechtsgüter der Nutzer und/oder Betroffenen und des entsprechenden Gefährdungspotentials und der Zwecke des Einsatzes offensichtlich ein nur geringes Risiko für die Rechte und Freiheiten natürlicher Personen und/oder die Allgemeinheit im Sinne von Absatz 2 (a) gegeben ist, ist keine Risikofolgenabschätzung erforderlich.

Recht und Politik, Beiheft 6

53

Oliver Lücke (4) Vor jeder Form des Einsatzes von Algorithmen oder Systemen künstlicher Intelligenz, Produkten und Dienstleistungen mit KI-Komponenten bei denen aufgrund der Art, des Umfangs, der Umstände, insb. der Rechtsgüter der Nutzer und/oder Betroffenen und des entsprechenden Gefährdungspotentials und der Zwecke des Einsatzes offensichtlich nicht nur ein geringes Risiko für die Rechte und Freiheiten natürlicher Personen und/oder die Allgemeinheit im Sinne von Absatz 2 (a) gegeben ist, hat der Betreiber vorab eine nachvollziehbare, strukturierte Abschätzung der Folgen und Risiken des vorgesehenen Einsatzes für die Rechte und Freiheiten natürlicher Personen und/ oder die Allgemeinheit durchzuführen, die den aktuellen Erkenntnissen in der Wissenschaft angemessen Rechnung trägt (Risikofolgenabschätzung). (5) Vor jeder Form des Einsatzes von Algorithmen oder Systemen künstlicher Intelligenz, Produkten und Dienstleistungen mit KI-Komponenten bei denen aufgrund der Art, des Umfangs, der Umstände, der Umstände, insb. der Rechtsgüter der Nutzer und/oder Betroffenen und des entsprechenden Gefährdungspotentials und der Zwecke des Einsatzes ein großes Risiko für die Rechte und Freiheiten natürlicher Personen und/oder die Allgemeinheit im Sinne von Absatz 2 (c) gegeben ist, hat der Betreiber vorab eine erweiterte Abschätzung der Folgen und Risiken des vorgesehenen Einsatzes für die Rechte und Freiheiten natürlicher Personen und/oder die Allgemeinheit durchzuführen, die den aktuellen Erkenntnissen in der Wissenschaft angemessen Rechnung trägt (erweiterte Risikofolgenabschätzung). (6) Für die Risikofolgenabschätzung mehrerer ähnlicher Einsatzformen mit ähnlichen Risiken ist eine Risikofolgenabschätzung ausreichend. (7) Der Betreiber holt bei jeder Durchführung einer Risikofolgenabschätzung den Rat des KIBeauftragten ein, sofern ein solcher benannt wurde. (8) Die Aufsichtsbehörden erstellen Listen beispielhaften Einsatzformen von Algorithmen, Systemen künstlicher Intelligent sowie Produkte und Dienstleistungen mit KI-Komponenten, für die keine Risikofolgenabschätzung durchzuführen ist, und veröffentlicht diese. Sie veröffentlichen des Weiteren Handreichungen zu den Anforderungen an die „Risikofolgenabschätzung“ und die „erweiterte Risikofolgenabschätzung“. Artikel 14 Dokumentationspflicht (1) Die Struktur, die Logiken, der Code und sämtliche weiteren wesentlichen Aspekte von Algorithmen und Systemen künstlicher Intelligenz sowie von Produkten und Dienstleistungen mit KIKomponenten einschließlich ihrer Zwecke im Sinne des Art. 7 (1), (2) dieser Verordnung, sind vom Hersteller dem jeweiligen Stand der Technik gemäß zu dokumentieren. Dies gilt entsprechend für Fortentwicklungen und bei Zweckänderungen nach Art. 7 (4) dieser Verordnung. (2) Die Dokumentationspflicht erstreckt sich insbesondere auch auf die Trainingsdatenqualität nach Art. 9, die Systemsicherheit gemäß Art. 11, die Validierung gemäß Art. 12 sowie auf die Risikofolgenabschätzung gemäß Art. 13 dieser Verordnung. Weitere in dieser Verordnung genannte Dokumentationspflichten bleiben unberührt. (3) Art und Umfang der Dokumentation sind am Zweck der Dokumentation der Sicherstellung der Nachvollziehbarkeit der Ergebnisse von Algorithmen, Systemen künstlicher Intelligenz sowie Produkten oder Dienstleistungen mit KI-Komponenten auszurichten. Die Qualität der Dokumentation hat dem jeweiligen Stand der Technik zu entsprechen und schriftlich oder in elektronischer Form zu erfolgen. Die Dokumentation ist mindestens 5 Jahre nach erstmaligem Inverkehrbringen aufzubewahren.

54

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? Artikel 15 Kennzeichnungs-/Hinweispflicht Betreiber von Algorithmen, Systemen künstlicher Intelligenz sowie von Produkten und Anbieter von Dienstleistungen mit KI-Komponenten haben diese so zu kennzeichnen und Betroffene darauf hinzuweisen, dass Betroffene stets vor einer Interaktion mit Algorithmen, Systemen künstlicher Intelligenz Produkten und Dienstleistungen mit KI-Komponenten oder vor einem sonstigen „Betroffensein“ bei Anwendung der verkehrsüblichen Sorgfalt erkennen können, dass sie mit Algorithmen oder Systemen künstlicher Intelligenz, Produkten oder Dienstleistungen mit KIKomponenten in Berührung kommen. Artikel 16 Produktsicherheit Algorithmen, Systeme künstlicher Intelligenz gelten unabhängig davon, ob sie in ein Produkt integriert sind oder nicht oder als Dienstleistung oder Teil einer Dienstleistung Verwendung finden, als Produkt im Sinne der Richtlinie 2001/95/EG über die allgemeine Produktsicherheit und der diese in nationales Recht umsetzenden nationalen gesetzlichen Regelungen zur Produktsicherheit. Artikel 17 Technische und organisatorische Maßnahmen (1) Unter Berücksichtigung des jeweiligen Stands der Technik, der Art, des Umfangs und der Zwecke des Einsatzes von Algorithmen oder Systemen künstlicher Intelligenz sowie der betroffenen Rechte und Freiheiten natürlicher Personen, von Personengruppen oder Unternehmen und der Schadenspotentiale sowie der unterschiedlichen Wahrscheinlichkeit einer Rechtsverletzung treffen der Hersteller und der Betreiber in ihrem jeweiligen Machtbereich geeignete technische und organisatorische Maßnahmen, um ein dem Risiko angemessenes Schutzniveau zu gewährleisten; diese Maßnahmen schließen gegebenenfalls unter anderem Folgendes ein: a) die Fähigkeit, zur Anonymisierung und Pseudonomisierung personenbezogener Daten; b) die Fähigkeit, die Vertraulichkeit, Integrität, Verfügbarkeit und Belastbarkeit der Algorithmen und Systeme künstlicher Intelligenz im Zusammenhang mit deren Einsatz möglichst auf Dauer sicherzustellen; c) die Fähigkeit, die Verfügbarkeit der Algorithmen und Systeme künstlicher Intelligenz und den Zugang zu ihnen bei einem physischen oder technischen Zwischenfall rasch wiederherzustellen; d) ein Verfahren zur regelmäßigen Überprüfung, Bewertung und Evaluierung der Wirksamkeit der technischen und organisatorischen Maßnahmen zur Gewährleistung der Sicherheit des Einsatzes der Algorithmen und Systeme künstlicher Intelligenz vorzusehen. Diese Maßnahmen sind zu dokumentieren und regelmäßig zu überprüfen und ggf. anzupassen. Artikel 18 Marktbeobachtungspflicht Für Algorithmen und Systeme künstlicher Intelligenz sowie Produkte und Dienstleistungen mit KIKomponenten gelten die Regelungen der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates v. 20. 6. 2019 über Marktüberwachung und die Konformität von Produkten sowie der Änderung der RL 2004/42/EG und der VO (EG) 765/2008 und VO (EU) 305/2011. Die sich aus diesen Vorgaben ergebenden Pflichten treffen den Hersteller und Inverkehrbringer. Artikel 19 Informations-/Warnpflicht (1) Stellen Hersteller und/oder Inverkehrbringer im Rahmen ihrer Marktbeobachtung fest, dass von ihnen entwickelte und/oder in Verkehr gebrachte Algorithmen oder Systeme künstlicher Intelligenz oder Produkte mit KI-Komponenten sicherheitsrelevante Fehlfunktionen zeigen, so sind sie ver-

Recht und Politik, Beiheft 6

55

Oliver Lücke pflichtet, die Betreiber und Nutzer über diese Fehlfunktionen umgehend zu informieren, etwa über ihre Internetseite. (2) Stellen Hersteller im Rahmen ihrer Marktbeobachtung fest, dass von ihnen entwickelte Algorithmen oder Systeme künstlicher Intelligenz funktions- und/oder ergebnisrelevante Fehlfunktionen zeigen, so sind diese verpflichtet, die Betreiber zeitnah über diese Fehlfunktionen zu informieren. (3) Art. 19 (1) und (2) lassen etwa bestehende Rückrufverpflichtungen unberührt. Artikel 20 Updateverpflichtung (1) Hersteller von Algorithmen und Systemen künstlicher Intelligenz sowie Produkten mit KIKomponenten sind nicht nur verpflichtet, sicherheitsrelevante Updates zur Verfügung zu stellen, sondern auch funktionsrelevante Updates. Dies hat im Rahmen ggf. bestehender gesetzlicher Gewährleistungsrechte oder sonst getroffener vertraglicher Vereinbarungen zu erfolgen. (2) Steht einem Betreiber kein Anspruch auf Updates nach Absatz (1) zu, so ist der Hersteller/ Entwickler verpflichtet, dem Betreiber ein Update zu angemessenen Bedingungen anzubieten. (3) Die Verpflichtung zu sicherheitsrelevanten wie auch funktionsrelevanten Updates endet – vorbehaltlich abweichend vereinbarter längerer Fristen – 3 Jahre nach vom Hersteller öffentlich bekannt gemachter Supporteinstellung für das Produkt. Artikel 21 Rechenschaftspflicht (1) Hersteller und Inverkehrbringer von Algorithmen und Systemen künstlicher Intelligenz sowie von Produkten und Dienstleistungen mit KI-Komponenten sind jeweils für die Einhaltung der sie nach dieser Verordnung treffenden Pflichten im Hinblick auf Design und Entwicklung bzw. Inverkehrbringen verantwortlich und müssen deren Einhaltung nachweisen können. (2) Betreiber sind für die Einhaltung der sie nach dieser Verordnung beim Einsatz von Algorithmen und Systemen künstlicher Intelligenz treffenden Pflichten verantwortlich und müssen deren Einhaltung nachweisen können. Artikel 22 Betroffenenrechte (1) Werden von Algorithmen, Systemen künstlicher Intelligenz und Produkten mit KI-Komponenten oder im Rahmen von Dienstleistungen mit KI-Komponenten personenbezogene Daten verarbeitet, gelten die Vorgaben der Verordnung (EU) 2018/1807. (2) Betroffene haben gegen den Betreiber einen Anspruch auf Auskunft über Struktur, Logik und Entscheidungsprinzipien der ihnen gegenüber zum Einsatz gekommenen oder kommenden Algorithmen, Systeme künstlicher Intelligenz oder KI-Komponenten von Produkten oder Dienstleistungen. Kann der Betroffene seinen Auskunftsanspruch gegen den Betreiber – gleich aus welchem Rechtsgrund – nicht durchsetzen, so steht ihm der Auskunftsanspruch subsidiär gegen den Inverkehrbringer und wiederum subsidiär gegen den Hersteller zu. (3) Gesetzlich geschützte Geschäftsgeheimnisse müssen zu Zwecken der Auskunftserteilung nicht offengelegt werden. (4) Die Auskunft ist nachvollziehbar und in einfacher Sprache in Schriftform oder Textform zu erfüllen.

56

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? Artikel 23 Profiling (1) Betroffene haben das Recht, weder einer umfassenden noch auch nur einer weitgehenden Erfassung, Analyse und Bewertung ihrer Persönlichkeit durch algorithmus- bzw. KI-basiertes Profiling unterworfen zu werden. Dies ist bei berechtigtem Interesse nur im Hinblick auf einzelne Aspekte der menschlichen Persönlichkeit zulässig. (2) Auch soweit eine teilweise Erfassung, Analyse und Bewertung der menschlichen Persönlichkeit durch algorithmus- bzw. KI-basiertes Profiling nach Absatz (1) zulässig ist, haben Betroffene Anspruch gegen den Betreiber, nicht einer ausschließlich algorithmus- bzw. KI-basierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Auf Verlangen des Betroffenen ist eine solche Entscheidung unverzüglich, spätestens aber binnen drei Wochen durch den Betreiber zu überprüfen und bei gegebenem Anlass zu berichtigen. Art und Umfang der Überprüfung, der/die Name(n) der für die Überprüfung verantwortlichen Mitarbeiter sowie das Ergebnis der Überprüfung sind dem Betroffenen mit einer kurzen Begründung schriftlich oder in Textform mitzuteilen. Artikel 24 Gefährdungshaftung (1) Wird infolge des Einsatzes eines Algorithmus, eines Systems künstlicher Intelligenz, eines Produkts oder einer Dienstleistung mit KI-Komponenten ein Mensch getötet oder der Körper oder die Gesundheit eines Menschen nicht unerheblich verletzt, so haben Hersteller und Inverkehrbringer dem Geschädigten den daraus entstandenen Schaden gesamtschuldnerisch zu ersetzen. Ein Verschulden ist nicht erforderlich. Die Ersatzpflicht besteht nicht, wenn von dem Algorithmus, dem System künstlicher Intelligenz, dem Produkt oder der Dienstleistung mit KI-Komponenten nicht bestimmungsgemäßem Gebrauch gemacht wird. Der bestimmungsgemäße Gebrauch ergibt sich aus der Gebrauchsinformation des Herstellers. Unklarheiten gehen zulasten von Hersteller und Inverkehrbringer. (2) Im Verhältnis von Hersteller und Inverkehrbringer gilt der Hersteller/Entwickler als Hauptverantwortlicher, so dass in der Regel eine Haftungsteilung von 75 % Hersteller und 25 % Inverkehrbringer geboten ist. Der Hersteller haftet im Verhältnis von Hersteller und Inverkehrbringer allerdings stets mindestens zu 50 %. (3) Die Ersatzpflicht des Unternehmens nach Absatz 1 ist ausgeschlossen, wenn nach den Umständen davon auszugehen ist, dass die schädlichen Wirkungen des Algorithmus, des Systems künstlicher Intelligenz, des Produkts oder der Dienstleistung mit KI-Komponenten ihre Ursache nicht im beherrschbaren Bereich des Designs, der Entwicklung oder der Herstellung haben. Dies wird widerleglich vermutet, wenn der Hersteller den Algorithmus, das System künstlicher Intelligenz, die KI-Komponenten des Produkts oder der Dienstleistung einer von der EU-Aufsichtsbehörde zugelassenen Zertifizierungsstelle hat prüfen lassen und ein entsprechendes „Sichere KI“Zertifikat erlangt hat. Dieses Zertifikat ist alle 2 Jahre erneut zu beantragen. Artikel 25 Subsidiäre Verschuldenshaftung des Betreibers (1) Wird infolge des Einsatzes eines Algorithmus, eines Systems künstlicher Intelligenz, eines Produkts oder einer Dienstleistung mit KI-Komponenten ein Mensch getötet oder der Körper oder die Gesundheit eines Menschen nicht unerheblich verletzt oder das Eigentum Dritter beeinträchtigt und besteht eine Haftung von Hersteller und/oder Inverkehrbringer – gleich aus welchem Grund – nicht, so ist der Betreiber verpflichtet, dem Verletzten den daraus entstandenen Schaden zu ersetzen, wenn ihn ein Verschulden an dem Schaden trifft.

Recht und Politik, Beiheft 6

57

Oliver Lücke (2) Der Betreiber haftet zudem für Schäden am Eigentum Betroffener und Vermögensschäden, wenn ihn ein Verschulden an dem Schaden trifft. (3) Als Verschulden gilt auch der Fall einfacher Fahrlässigkeit. Es kann auch in der Form des Auswahl- oder Überwachungsverschulden vorliegen. Artikel 26 KI-Beauftragter (1) Hersteller und Betreiber haben einen KI-Beauftragten zu benennen, wenn die Algorithmen oder Systeme künstlicher Intelligenz von einer Behörde oder öffentlichen Stelle eingesetzt werden, die Algorithmen oder Systeme künstlicher Intelligenz von natürlichen oder juristischen Personen, insbesondere Unternehmen zu unternehmerischen Zwecken entwickelt oder angewendet werden oder (2) Eine Unternehmensgruppe kann einen gemeinsamen KI-Beauftragten ernennen. (3) Falls es sich bei dem Hersteller oder dem Betreiber um eine Behörde oder öffentliche Stelle handelt, kann für mehrere solcher Behörden oder Stellen unter Berücksichtigung ihrer Organisationsstruktur und ihrer Größe ein gemeinsamer KI-Beauftragter benannt werden. (4) Der KI-Beauftragte wird auf der Grundlage beruflicher Qualifikation und insbesondere des Fachwissens benannt, das er auf dem Gebiet der Informationstechnologie, der Robotik und/oder künstlicher Intelligenz besitzt, sowie auf der Grundlage seiner Fähigkeit zur Erfüllung der in Artikel 27 genannten Aufgaben. (5) Der KI-Beauftragte kann Beschäftigter des Herstellers oder des Betreibers sein oder seine Aufgaben auf der Grundlage eines Dienstleistungsvertrags erfüllen. (6) Der Hersteller oder der Betreiber veröffentlicht die Kontaktdaten des KI-Beauftragten und teilt diese Daten der Aufsichtsbehörde mit. Artikel 27 Aufgaben des KI-Beauftragten (1) Dem KI-Beauftragten obliegen zumindest folgende Aufgaben: 1. Unterrichtung und Beratung des Herstellers bzw. des Betreibers hinsichtlich ihrer Pflichten nach dieser Verordnung sowie nach sonstigen in diesem Zusammenhang relevanten Vorschriften der Union bzw. der Mitgliedstaaten; 2. Überwachung der Einhaltung dieser Verordnung, anderer in diesem Zusammenhang relevanter Vorschriften der Union bzw. der Mitgliedstaaten sowie der Strategien des Herstellers oder des Inverkehrbringers für den Schutz der Grundrechte von Betroffenen einschließlich der Zuweisung von Zuständigkeiten, der Sensibilisierung und Schulung der an den Entwicklungsvorgängen beteiligten Mitarbeiter und der diesbezüglichen Überprüfungen; 3. Beratung – auf Anfrage – im Zusammenhang mit der Risikofolgenabschätzung und Überwachung ihrer Durchführung gemäß Artikel 13 dieser Verordnung. 4. Zusammenarbeit mit der Aufsichtsbehörde gemäß Artikel 29 dieser Verordnung; 5. Anlaufstelle für die Aufsichtsbehörde in mit den Algorithmen und/oder Systemen künstlicher Intelligenz zusammenhängenden Fragen. (2) Der KI-Beauftragte trägt bei der Erfüllung seiner Aufgaben den mit Algorithmen und Systemen künstlicher Intelligenz verbundenen Risiken im Sinne dieser Verordnung gebührend Rechnung,

58

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? wobei er die Art, den Umfang, die Umstände und die Zwecke des Einsatzes von Algorithmen und Systemen künstlicher Intelligenz berücksichtigt. Artikel 28 Ergänzende Bestimmungen für systemrelevante und wertekritische Bereiche (1) Für bestimmte von der Union als systemrelevant und/oder werterelevant angesehene Sektoren oder Bereiche in der Union, die in Anlage 1 zu diesem Artikel 28 definiert sind, ist es bereits in der Phase des Designs und der Entwicklung von Algorithmen oder Systemen künstlicher Intelligenz von Anfang an verpflichtend, dass die Software, insb. ihr Quellcode sowie die für das Training der Algorithmen oder Systeme künstlicher Intelligenz verwandten Trainingsdaten ausschließlich auf Servern innerhalb der Union gespeichert und bereit gehalten werden. (2) Die Mitgliedstaaten können zum Schutz von system- und werterelevanten Sektoren oder Bereichen im Sinne von Absatz (1) konkretisierende und auch ergänzende, insb. weitere Verpflichtungen von Herstellern, Inverkehrbringern und Betreibern begründende Rechtsvorschriften für das Design, die Entwicklung, das Inverkehrbringen und den Einsatz von Algorithmen und Systemen künstlicher Intelligenz sowie Produkten bzw. Dienstleistungen mit KI-Komponenten erlassen. Artikel 29 Aufsichtsbehörde (1) Zumindest für bestimmte von der Union als system- oder werterelevant angesehene Sektoren oder Bereiche von Verwaltung und Wirtschaft wird auf europäischer Ebene eine eigenständige Behörde als Aufsichtsbehörde geschaffen. Die Zuständigkeit dieser Aufsichtsbehörde werden im Rahmen ihrer Gründung geregelt werden. (2) Die Mitgliedsstaaten der Union schaffen jeweils nationale Aufsichtsbehörden. Jeder Mitgliedstaat stellt sicher, dass jede Aufsichtsbehörde mit den personellen, technischen und finanziellen Ressourcen, Räumlichkeiten und Infrastrukturen ausgestattet wird, die sie benötigt, um ihre Aufgaben und Befugnisse auch im Rahmen der Amtshilfe, Zusammenarbeit und Mitwirkung im Ausschuss effektiv wahrnehmen zu können. Jedes Mitglied einer Aufsichtsbehörde muss über die für die Erfüllung der Aufgaben und Ausübung der Befugnisse erforderliche Qualifikation, Erfahrung und Sachkunde insbesondere im Bereich der Informatik, Algorithmik oder künstlicher Intelligenz verfügen. (3) Jede Aufsichtsbehörde handelt bei der Erfüllung ihrer Aufgaben und bei der Ausübung ihrer Befugnisse gemäß dieser Verordnung unabhängig. Die Mitglieder jeder Aufsichtsbehörde unterliegen bei der Erfüllung ihrer Aufgaben und der Ausübung ihrer Befugnisse gemäß dieser Verordnung weder direkter noch indirekter Beeinflussung von außen und ersuchen weder um Weisung noch nehmen sie Weisungen entgegen. Artikel 30 Bußgelder (1) Die nationalen Aufsichtsbehörden stellen sicher, dass die Verhängung von Geldbußen gemäß diesem Artikel für Verstöße gegen diese Verordnung in jedem Einzelfall wirksam, verhältnismäßig und abschreckend ist. (2) Bei der Entscheidung über die Verhängung einer Geldbuße und über deren Betrag wird in jedem Einzelfall Folgendes gebührend berücksichtigt: 1. Art, Schwere und Dauer des Verstoßes unter Berücksichtigung der Art, des Umfangs oder des Zwecks des betreffenden Einsatzes sowie der Zahl der von dem Einsatz betroffenen Personen und des Ausmaßes des von ihnen erlittenen Schadens; 2. Vorsätzlichkeit oder Fahrlässigkeit des Verstoßes;

Recht und Politik, Beiheft 6

59

Oliver Lücke 3. jegliche von dem Hersteller oder dem Inverkehrbringer getroffenen Maßnahmen zur Minderung des den Betroffenen entstandenen Schadens; 4. Grad der Verantwortung des Herstellers oder des Inverkehrbringers unter Berücksichtigung der von ihnen gemäß den Artikel 17 getroffenen technischen und organisatorischen Maßnahmen; 5. etwaige einschlägige frühere Verstöße des Herstellers, des Inverkehrbringers oder des Betreibers; 6. Umfang der Zusammenarbeit mit der Aufsichtsbehörde, um dem Verstoß abzuhelfen und seine möglichen nachteiligen Auswirkungen zu mindern; 7. Art und Weise, wie der Verstoß der Aufsichtsbehörde bekannt wurde, insbesondere ob und gegebenenfalls in welchem Umfang der Hersteller, Inverkehrbringer oder Betreiber den Verstoß mitgeteilt hat; 8. jegliche anderen erschwerenden oder mildernden Umstände im jeweiligen Fall, wie unmittelbar oder mittelbar durch den Verstoß erlangte finanzielle Vorteile oder vermiedene Verluste. (3) Verstößt ein Hersteller, Inverkehrbringer oder Betreiber bei gleichen oder miteinander verbundenen Verstößen gegen diese Verordnung vorsätzlich oder fahrlässig gegen mehrere Bestimmungen dieser Verordnung, so übersteigt der Gesamtbetrag der Geldbuße nicht den Betrag für den schwerwiegendsten Verstoß. Artikel 31 Gegenseitige Amtshilfe (1) Die Aufsichtsbehörden übermitteln einander maßgebliche Informationen und gewähren einander Amtshilfe, um diese Verordnung einheitlich durchzuführen und anzuwenden, und treffen Vorkehrungen für eine wirksame Zusammenarbeit. Die Amtshilfe bezieht sich insbesondere auf Auskunftsersuchen und aufsichtsbezogene Maßnahmen, beispielsweise Ersuchen um vorherige Genehmigungen und eine vorherige Konsultation, um Vornahme von Nachprüfungen und Untersuchungen. (2) Jede Aufsichtsbehörde ergreift alle geeigneten Maßnahmen, um einem Ersuchen einer anderen Aufsichtsbehörde unverzüglich und spätestens innerhalb eines Monats nach Eingang des Ersuchens nachzukommen. Dazu kann insbesondere auch die Übermittlung maßgeblicher Informationen über die Durchführung einer Untersuchung gehören. (3) Amtshilfeersuchen enthalten alle erforderlichen Informationen, einschließlich Zweck und Begründung des Ersuchens. Die übermittelten Informationen werden ausschließlich für den Zweck verwendet, für den sie angefordert wurden. (4) Die ersuchte Aufsichtsbehörde lehnt das Ersuchen nur ab, wenn a) sie für den Gegenstand des Ersuchens oder für die Maßnahmen, die sie durchführen soll, nicht zuständig ist oder b) ein Eingehen auf das Ersuchen gegen diese Verordnung verstoßen würde oder gegen das Unionsrecht oder das Recht der Mitgliedstaaten, dem die Aufsichtsbehörde, bei der das Ersuchen eingeht, unterliegt. (5) Die ersuchte Aufsichtsbehörde informiert die ersuchende Aufsichtsbehörde über die Ergebnisse oder gegebenenfalls über den Fortgang der Maßnahmen, die getroffen wurden, um dem Ersuchen nachzukommen. Die ersuchte Aufsichtsbehörde erläutert gemäß Absatz 4 die Gründe für die Ablehnung des Ersuchens. (6) Die ersuchten Aufsichtsbehörden übermitteln die Informationen, um die von einer anderen Aufsichtsbehörde ersucht wurde, in der Regel auf elektronischem Wege unter Verwendung eines standardisierten Formats. (7) Ersuchte Aufsichtsbehörden verlangen für Maßnahmen, die sie aufgrund eines Amtshilfeersuchens getroffen haben, keine Gebühren. Die Aufsichtsbehörden können untereinander Regeln

60

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!? vereinbaren, um einander in Ausnahmefällen besondere aufgrund der Amtshilfe entstandene Ausgaben zu erstatten. (8) Erteilt eine ersuchte Aufsichtsbehörde nicht binnen eines Monats nach Eingang des Ersuchens einer anderen Aufsichtsbehörde die Informationen gemäß Absatz 5, so kann die ersuchende Aufsichtsbehörde eine einstweilige Maßnahme im Hoheitsgebiet ihres Mitgliedstaats ergreifen. (9) Die Kommission kann im Wege von Durchführungsrechtsakten Form und Verfahren der Amtshilfe nach diesem Artikel und die Ausgestaltung des elektronischen Informationsaustauschs zwischen den Aufsichtsbehörden festlegen. Artikel 32 Europäischer KI-Ausschuss (1) Der Europäische KI-Ausschuss (im Folgenden „Ausschuss“) wird als Einrichtung der Union mit eigener Rechtspersönlichkeit eingerichtet. (2) Der Ausschuss wird von seinem Vorsitz vertreten. (3) Der Ausschuss besteht aus dem Leiter einer Aufsichtsbehörde jedes Mitgliedstaats und dem Europäischen KI-Beauftragten oder ihren jeweiligen Vertretern. (4) Ist in einem Mitgliedstaat mehr als eine Aufsichtsbehörde für die Überwachung der Anwendung der nach Maßgabe dieser Verordnung erlassenen Vorschriften zuständig, so wird im Einklang mit den Rechtsvorschriften dieses Mitgliedstaats ein gemeinsamer Vertreter benannt. (5) Die Kommission ist berechtigt, ohne Stimmrecht an den Tätigkeiten und Sitzungen des Ausschusses teilzunehmen. Die Kommission benennt einen Vertreter. Der Vorsitz des Ausschusses unterrichtet die Kommission über die Tätigkeiten des Ausschusses. Artikel 33 Meldung von Verstößen und Schutz von Hinweisgebern Für die Meldung von Verstößen gegen diese Verordnung und für die Personen, die solche Verstöße melden, gilt die Richtlinie (EU) 2019/1937. Artikel 34 Berichterstattung, Bewertung und Überprüfung Die Mitgliedstaaten stellen der Kommission alle relevanten Informationen betreffend die Umsetzung und Anwendung dieser Verordnung zur Verfügung. Auf der Grundlage der vorgelegten Informationen wird die Kommission bis zum… [drei Jahre nach Inkrafttreten dieser Verordnung] dem Europäischen Parlament und dem Rat einen Bericht über die Durchführung und Anwendung dieser Verordnung vorlegen und prüfen, ob zusätzliche Maßnahmen, gegebenenfalls einschließlich Änderungen dieser Verordnung, erforderlich sind. Artikel 35 Überprüfung der Verordnung (1) Am 1. Januar 202X [5 Jahre nach dem Datum des Anwendungsbeginns dieser Verordnung] und danach alle drei Jahre legt die Kommission dem Europäische Parlament, dem Rat und dem Europäischen Wirtschafts- und Sozialausschuss einen detaillierten Bericht zur Über-prüfung dieser Verordnung vor dem Hintergrund der Weiterentwicklung der künstlichen Intelligenz vor. (2) Während der Ausarbeitung des im ersten Unterabsatz genannten Berichts holt die Kommission relevante Informationen von Mitgliedstaaten in Bezug auf Fallrecht, gerichtliche Vergleiche sowie Unfallstatistiken u. a. mit Anzahl der Unfälle, verursachtem Schaden, involvierten KI-Anwendungen, von Versicherungsgesellschaften bezahlten Entschädigungen ein. (3) Die Kommission fügt ihrem Bericht gegebenenfalls Legislativvorschläge bei.

Recht und Politik, Beiheft 6

61

Oliver Lücke

IX. Fazit, das nur ein Zwischenfazit sein kann Über die Zweckmäßigkeit und Verhältnismäßigkeit der hier vorgeschlagenen Regelungen mag man diskutieren, man mag um das richtige Verhältnis von Schutz der Bürger einerseits und Offenheit für Innovationen andererseits noch streiten, aber über das Erfordernis eines gesetzlichen Rahmens für Design, Entwicklung, Inverkehrbringen und Einsatz künstlicher Intelligenz sowie für die Haftung für durch KI verursachte Schäden Dritter sollte Einvernehmen bestehen. Daher bleibt dem Autor nur die Hoffnung, dass die Aktivitäten des europäischen Verordnungsgebers und/oder des deutschen Gesetzgebers bald über das Stadium von Ethik-Richtlinien hinauskommen und anstelle „weicher“ Ethik-Richtlinien „harte“ gesetzliche Rahmenvorgaben folgen, einschließlich „roter Linien“. Künstliche Intelligenz und ihrem wirtschaftlichen Potential soll zum Nutzen der Menschen durchaus weiter Raum gewährt werden, dies aber ohne die Menschen zum Objekt künstlicher Intelligenz zu degradieren, auch ohne sie diesem Zustand unangemessen nahezubringen. Alles andere wäre mit dem Menschenbild des Grundgesetzes und der Würde des Menschen nicht in Einklang zu bringen. Das gilt es durch zwingende gesetzliche Vorgaben auch gegen die Eigendynamik der technisch-digitalen Entwicklung und gewichtige wirtschaftliche Interessen durchzusetzen. Nach Finanz-, Flüchtlings- und Corona-Krise droht im Kontext der technischen Entwicklung künstlicher Intelligenz noch weitgehend unerkannt eine weitere Krise, eine Krise des Rechts in Form eines schleichenden Bedeutungsverlusts qua steigender „Technifizierung“ nicht nur der analogen, sondern vor allem der digitalen Lebenswirklichkeit. Dem gilt es entgegenzutreten und mit klaren legislativen (nicht administrativen) Vorgaben (gegen‐)zusteuern und dabei die drei großen „Grundlinien“ zu berücksichtigen: (1.) Anerkennung von individuellen Grundrechten ohne ein vorrangiges „Super-Grundrecht“, sei es selbst Leben und Gesundheit (geschweige denn die hier manchmal angeführte „Sicherheit“, immerhin überhaupt kein Grundrecht) und ohne unverhältnismäßige Gemeinwohlbeeinträchtigung, (2.) Streben nach praktischer Konkordanz und Verhältnismäßigkeit und (3.) funktionierender Rechtsstaat mit seinem Rechtsschutzsystem. So könnte das Recht den ihm immanenten und ihm in den europäischen Demokratien auch zustehenden Geltungsanspruch verdeutlichen, behaupten und seine Bedeutung zum Wohle der Menschen auch in der Zukunft bewahren. Last but not least soll im Zusammenhang mit der begrenzenden oder „einhegenden“ Regelung des Versordnungs- und/oder Gesetzgebers noch auf einen anderen – keineswegs unerheblichen – Aspekt hingewiesen werden, auf den dankenswerterweise die Datenethikkommission der Bundesregierung aufmerksam hat: Es gilt bei aller Fortschrittsorientierung (um nicht -gläubigkeit zu sagen), auch die ggf. negativen Auswirkungen der zunehmenden Digitalisierung auf das menschliche Wissen und die menschlichen Fähigkeiten/Kompetenten im Blick zu haben: „Nachhaltigkeit ist auch gefordert, was die Ressource menschlichen Wissens und menschlicher Kompetenz betrifft: In dem Maße, wie sich digitale Technologien

62

Recht und Politik, Beiheft 6

Künstliche Intelligenz: wo bleibt eine europäische Grundverordnung!?

entwickeln und dem Menschen Aufgaben abnehmen, werden nicht nur neue Kompetenzen hinzugewonnen, sondern es gehen auch Kompetenzen des Menschen verloren. Dies erfordert eine Diskussion, welche Verantwortlichkeit gegenüber der nächsten Generation besteht, und Maßnahmen, bestimmte Kompetenzen und Unabhängigkeiten zu bewahren und zu entwickeln.“155 Der Autor ist vorsorglich geneigt hinzuzufügen: insbesondere das eigenständige (Nach‐)Denken und als Pflichtlektüre Goethe’s Zauberlehrling.156

155 Gutachten der Datenethikkommission der Bunderegierung, S. 48. 156 Goethe, Der Zauberlehrling, 1827. Recht und Politik, Beiheft 6

63

Der Einsatz von KI in der und durch die Unternehmensleitung* Von Oliver Lücke Animiert durch die rasante Entwicklung von Algorithmen auf dem Weg hin zu „künstlicher Intelligenz“ und Jugenderinnerungen an Raumschiff Enterprise befasst sich dieser Beitrag mit der Frage, ob Unternehmensleitungen, gleich ob Vorstand oder Geschäftsführung, verpflichtet sind, künstliche Intelligenz im Unternehmen und – weitergehend – sogar in der Unternehmensleitung einzusetzen oder ob die Algorithmen bald sogar die Organe teilweise oder vollständig substituieren werden?1 Die erste Frage erscheint schon fast rhetorisch, die zweite erscheint spannender, die dritte geht zu weit, aber vielleicht trügt der Schein ja!?

I. Einleitung und Problemaufriss 1. Algorithmen2 und „künstliche Intelligenz“ (KI)3 sind schon seit langem in den Schlagzeilen, seit ein paar Jahren dominieren sie die Schlagzeilen der Republik.4 „Handlungen informationstechnischer Systeme basieren gerade nicht auf menschlichem, aktivem Tun, sondern sind das Ergebnis einer Abfolge von Algorithmen. … Die künstliche Intelligenz ermöglicht es, dass Systeme geschaffen werden, die menschenähnliche Entscheidungen durch Nachbildung menschenähnlicher Entscheidungs* 1 2

3

4

Zuerst in: Betriebs-Berater 2019, 1986 ff. Diese etwas provokante Frage hat Zetzsche, AG 2019, 1 ff. (5) gestellt. „IT-technische Verfahren, die Eingabeinformationen (sog. Input) in einer Folge von Anweisungen und Befehlen in Ausgabeinformationen (sog. Output) umformen“; zitiert nach von Lewinski/de Barros Fritz, NZA 2018, 620 m.w.N. in Fn. 2. Eine allgemein anerkannte Begriffsbestimmung gibt es (noch) nicht; nach den OECDGrundsätzen für den Umgang mit künstlicher Intelligenz“ (KI) vom 22. 05. 2019 ist KI ein „maschinenbasiertes System, das für bestimmte Menschen definierte Ziele Voraussagen machen, Empfehlungen abgeben oder Entscheidungen treffen kann, die das reale oder virtuelle Umfeld beeinflussen kann“, abrufbar unter www.oecd.org/berlin/presse/Empfehlung-desRats-zu-kuenstlicher-Intelligenz.pdf; kritisch zum Begriff „künstliche Intelligenz“, vgl. Herberger, NJW 2018, 2825 ff. Erinnert sei nur an den Sieg des IBM-Computers „Deep Blue“ über Garry Kasparow 1996 im Schach, den Sieg des IBM-Computers „Watson“ bei der Quizsendung „Jeopardy!“ 2011 und den Sieg des Google-Computers „AlphaGo“ gegen einen Spitzenspieler im Brettspiel „Go“, Ereignisse zitiert nach Pieper, DSRITB 2017, 555 (561).

Recht und Politik, Beiheft 6 (2021), 64 – 84

Duncker & Humblot, Berlin

Der Einsatz von KI in der und durch die Unternehmensleitung

strukturen treffen und somit menschliches Denken in einer Maschine abbilden“.5 Die Schlagworte sind beispielhaft: Autonomes Fahren, Kampfdrohnen, Profiling von Verbrauchern, Algorithmic Pricing, Scoring bei Kreditvergaben, automatisierte Bild-, Text- und Spracherkennung, algorithmus-gesteuerte Geldanlagestrategie bzw. Aktienauswahl, „Predictive Policing“ bei der Polizeieinsatzplanung, Chatbots im Kundenservice, Personalauswahl per digitaler Sprachanalyse und Gesichtserkennungssystemen. Algorithmen gestalten auch zunehmend mehr Bereiche unseres Lebens, so fungieren Roboter in der Arbeitswelt z. T. schon als Vorgesetzte und im Privatbereich liegen „Smart Home“-Anwendungen wie z. B. „Alexa“ oder „Siri“ im Trend. Algorithmen, die lediglich vom Programmierer vorgegebene Befehle / Rechenvorgänge in einer ebenfalls vorgegebenen Reihenfolge umsetzen bzw. repetieren, also der Basissystematik „Input=Output“ folgen, sind weder spannend noch ein nennenswertes Problem. Spannender sind sog. „selbstlernenden“ Algorithmen, die in großen Datenmengen („Big Data“) Regelmäßigkeiten und Muster aufspüren können, die aus dem Datenabgleich lernen („maschine learning“). Je umfangreicher das Datenmaterial, je qualitativ hochwertiger das Datenmaterial und je öfter der Rechenvorgang vorgenommen werden kann, desto mehr „lernt“ der Algorithmus aus der repetitiven Ausführung der Aufgaben und der jeweiligen Rückmeldung (Erfolg/Misserfolg). Algorithmen erweitern so selbständig ihren Wissens- und Erfahrungsschatz und können damit auch qualitativ bessere Ergebnisse erzielen oder und auf Basis der erkannten Muster auch bessere Prognosen für andere Datenkonstellationen („predictive analytics“) ableiten.6 Bereits hier beginnt die Besonderheit, dass die Programmierer, geschweige denn die Organmitglieder, zumindest teilweise nicht mehr in der Lage sind, die Prozesse, die zu den Ergebnissen der KI geführt haben, vollständig nachvollziehen zu können.7 Darin dürfte bereits eine rechtliche Problematik liegen.8 Diese Form von Algorithmen verlässt die Basissystematik „Input=Output“ schon und wird als (schwache) „künstliche Intelligenz“ bezeichnet. Diese ist heute auch in der Unternehmensrealität schon relativ weit verbreitet. Inzwischen erhalten Algorithmen bzw. KI auch bereits „Körper“, z. T. sogar in menschlicher Gestalt, sodass humanoide Roboter, sog. Androiden, entstehen. Der scheinbar nicht domestizierbare menschliche Forschungsdrang nach immerwährender Verbesserung der Welt und der Menschen hat uns hierhin geführt. Zutreffend ist Zetzsche’s Hinweis darauf, dass es bei dieser „OptimierungsRallye“ auch um die „Substitution der Hauptfehlerquelle im Unternehmen geht: den Menschen“9! Beispielhaft sei dazu auf Volkswagen verwiesen: VW wird in den nächsten 5 6 7 8 9

Eul/Molitor, DSRITB 2018, 591. Vgl. zu den technischen Zusammenhängen Bilski/Schmid, NJOZ 2019, 657 ff. Allg. Ansicht, vgl. dazu statt vieler etwa: Spindler, DB 2018, 41 (48) unter Hinweis auf Kim/ Müller-Hengstenberg, MMR 2014,205 ff. (228); Eul/Molitor, DSRTIB 2018, 591 (592). So auch Strohn, ZHR 182, (2018), S. 374; ebenso Eul/Molitor, DSRTIB 2018, 591 (592) unter Hinweis auf Brunotte, CR 2017, 583 (584); a.A. wohl Zetzsche, a.a.O., S. 7. Zetzsche, AG 2019, 1 ff. (5 f.).

Recht und Politik, Beiheft 6

65

Oliver Lücke

4 Jahren ca. 4 Milliarden in Digitalisierungsprojekte investieren und zugleich 4.000 Stellen in der Verwaltung abbauen und 2.000 neue IT-Stellen schaffen.10 Das macht unterm Strich 2.000 Arbeitsplätze weniger. Richtig spannend und rechtlich sehr problematisch wird der – allerdings noch bevorstehende – epochale Schritt, wenn sich KI vom Willen ihrer Schöpfer, also von den Vorgaben der Programmierer löst und sich nicht mehr (nur) im vorgegebenen Rahmen selbst fortentwickelt und der Mensch damit die Schritte der KI nicht mehr vorhersagen und auch kaum mehr nachvollziehen kann11 und damit die Kontrolle über Handlungen der KI verliert. In diesem Zusammenhang ist oftmals von einer „Blackbox“ die Rede: Die Ausgangsprogrammierung ist noch transparent, intransparent werden dann jedoch die Trainings- und Lernprozeese, wenn und soweit diese von der KI selbst initiiert werden.12 Die technische Entwicklung ermöglicht es – wie gesagt – bereits, Algorithmen bzw. KI-Systeme zu schaffen, die mit Hilfe neuronaler Netzwerke menschliche Denkmuster nachbilden und lernen auch an ggf. auftretenden Problemen in Richtung einer „Lösung“ zu arbeiten13 (starke KI). Zutreffend ist dabei (noch) die Aussage von Bilski/Schmid: „Dabei muss man sich bewusst machen, dass kein Denken im menschlichen Sinne vorliegt. Die Maschine leitet allein Gesetzmäßigkeiten und Wahrscheinlichkeiten nach mathematischen Methoden ab, ohne ein näheres Verständnis für die analysierten Daten, deren Bedeutung oder die Tragweite der getroffenen Entscheidungen zu entwickeln. Das System kann zwar klassifizieren, aber nicht die hinter den Zahlen stehenden Bedeutungen erfassen.“14 Allerdings wird es die Entwicklung künftig wohl auch ermöglichen , dass KI eine Art von Bewusstsein entwickelt und sich selbständig Ziele setzen und diese mit geeigneten Schritten/Maßnahmen „bestmöglich“ (noch nach vorgegebenen oder schon nach selbstentwickelten Parametern) verfolgen kann und damit in eine heute noch verschlossene Dimension vordringen könnte. Die Ursprungssystematik „Input = Output“ wird dabei endgültig verlassen. Der Android „Ava“ aus dem Science Fiction Thriller „Ex Machina“ zeigt diesen Prozess und seine Auswirkungen, anschaulich auf.15 Das ist bislang noch nicht der Fall16, erscheint aber nur als eine Frage der Zeit (wenn auch noch einiger Zeit). Der lapidare Hinweis auf ein immer mögliches „Abschalten“ solcher KI greift dann ggf. zu

10 Bericht aus dem Handelsblatt vom 06. 06. 2019, S. 16 f. 11 Fälschlicherweise sieht Zetzsche darin augenscheinlich kein Problem. 12 Dieser Intransparenz müsste mit einer entsprechend in den Ursprungscode implementierten Auto-Protokollierungsfunktion begegnet werden. Die Protokollierung des Entwicklungsprozesses könnte dann u. U. die Basis für die IT-Fachleute bilden, die KI und ihre Entscheidungen nachvollziehen zu können. 13 So auch Grapentin, NJW 2019, 181 (184). 14 So für heute zutreffend: Bilski/Schmid, NJOZ 2019, 657 (658). 15 (Starke) Künstliche Intelligenz in Form eines Androiden aus dem Science Fiction Thriller „Ex Machina“ (2014) von Alex Garland. 16 So Spindler, DB 2018, 41 ff. (48), der die angedeutete Entwicklung nicht für möglich hält. 66

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

kurz.17 Spätestens dann steht der Geltungs- und Gestaltungsanspruch des Rechts(staats) in Frage.18 Stehen wir – wie Boehme-Nießler fragt – am Anfang vom Ende des Rechts?19 Das aber kann rechtlich, darf ethisch und wird künftig nicht der Fall sein. Künftig wird das durch die unmittelbare Implementierung wesentlicher gesetzlicher Rahmenbedingungen in den Code erfolgen müssen.20 Der technische Fortschritt treibt zwar den Gesetzgeber in der Regel vor sich her, nichtsdestotrotz gilt (oder muss gelten), dass nicht die Technik die Regeln bestimmt, sondern die Regeln die Technik.21 Recht erfüllt wichtige Funktionen: Es stiftet Frieden, sichert Freiheit und stabilisiert Vertrauen.22 Auch die EU-Kommission plant trotz aller Wirtschaftsfreundlichkeit einen Rechtsrahmen für einen Einsatz von KI.23 2. Wie sieht es nun heute in den Unternehmensleitungen mit dem Einsatz von Algorithmen und KI aus? „Mr. Spok“ von der Enterprise brillierte schon in den 60er-Jahren des letzten Jahrtausends mit fast übermenschlichem Wissen und „übermenschlicher“ Intelligenz und Ende der 80er-Jahre verkörperte dann der Android „Lieutenant Commander Data“ von der USS Enterprise-D künstliche Intelligenz.24 Damals war es immer gut, Spok oder Lieutenant Commander Data „auf der Brücke“ zu haben. Man musste kein „Trekkie“ sein, um ihren Wert für die Crew zu erkennen, er war – jedenfalls aus Sicht der damals jungen Fangemeinde, heute zum Teil selbst Führungskräfte in Vorständen und Geschäftsführungen deutscher Unternehmen – offenkundig. Mit dem „Beamen“ sind wir offenkundig noch nicht so weit wie „Scotty“ von der Enterprise oder „Gordie LaForge“ von der USS-Enterprise-D, wir fahren bisher nur E-Autos und jüngst E-Tretroller und üben bei Flugtaxis und dementsprechend hat auch noch kein deutsches Unternehmen einen Lieutenant Commander Data „an Bord“, sprich: in Vorstand oder Geschäftsführung! 17 So aber Zetzsche, AG 2019, 1 ff. (10); die stetige Abschaltmöglichkeit wie hier kritischer betrachtend: Möslein, ZIP 2018, 201 ff. (211). 18 Vgl. zu Letzterem etwa Pieper, DSRITB 2017, 555 ff. 19 Boehme-Neßler, Die Macht der Algorithmen und die Ohnmacht des Rechts – Wie die Digitalisierung das Recht relativiert, NJW 2017, 3031 ff. 20 So etwa auch Grapentin, NJW 2019, 181 (183 f). 21 Vgl. dazu etwa Art. 22 DS-GVO, der zum Ausdruck bringt, dass natürliche Personen nicht „ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung von Algorithmen oder KI unterworfen (zu) werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt“. 22 Katzenmeier, MedR 2019, 259 (261) unter Hinweis auf Rehbinder, Rechtssoziologie, 8. Aufl. 2014, Rdnrn. 96 ff. 23 Ethics Guidelines for Trustworthy AI der EU – High Level Expert Group on Artificial Intelligence, abrufbar unter https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelin es#Top. 24 Aufgrund der historischen Bezüge der genannten Figuren sind die „Hauptdarsteller“ prima vista „männlich“, vielleicht aber auch „divers“, so exakt konnte das nicht recherchiert werden. Die Leserinnen des Beitrages mögen das wertfrei entschuldigen. Recht und Politik, Beiheft 6

67

Oliver Lücke

Aber angesichts der noch bevorstehenden massiven Umwälzungen in der Unternehmenswelt, die künstliche Intelligenz (KI), sich noch dynamisch selbst verstärkend, mit sich bringen wird, sollten Vorstände und Geschäftsführer diesem Thema im Unternehmensinteresse (noch) mehr Aufmerksamkeit widmen und die Optionen zur Nutzung neuer Formen künstlicher Intelligenz im Unternehmen und auch in der Unternehmensleitung prüfen. Hierzu will der Beitrag ermuntern und den rechtlichen Handlungsrahmen für die Organmitglieder skizzieren.

II. Algorithmen oder KI in Vorstand und Geschäftsführung – möglich oder noch Science-Fiction? 2014 berichteten die Medien über ein Venture-Capital-Unternehmen aus Hongkong, die Deep Knowledge Ventures, das einen Algorithmus namens „Vital“ („Validating Investment Tool for Advancing Life Sciences“) mit vollem Stimmrecht in seinen Vorstand berufen habe. Grund der ungewöhnlichen Vorstandsberufung war Vital’s Fähigkeit „to automate due diligence and use historical data-sets to uncover trends that are not immediately obvious to humans surveying top-line data“.25 Es ist unbestritten, dass Algorithmen Menschen bereits heute bei der Erfassung, Analyse und systematischen Auswertung von größeren Datenmengen eines bestimmten thematischen Bereichs klar überlegen sind.26 Dagegen ist dies bei einzelnen zu treffenden Entscheidungen, die auch Wertungen erfordern oder Ermessensspielräume gewähren (entscheidende Algorithmen), wohl noch nicht der Fall27 und schon gar nicht, wenn die KI – wie ein Organmitglied – auf verschiedensten Gebieten komplexe wertungsbezogene Entscheidungen treffen müsste. Letztlich war die Nachricht über „Vital“ als „normalem“ Vorstandsmitglied auch nur ein „PR-Gag“, denn tatsächlich hatte der Vorstand nur beschlossen, „Vital“ als Berater für eine bestimmte Aufgabenstellung in das Gremium zu integrieren. Ungeachtet der technischen Möglichkeiten, werden diese in Deutschland durch den bestehenden rechtlichen Rahmen begrenzt. Mitglieder des Vorstands einer AG oder der Geschäftsführung einer GmbH müssen nach geltendem deutschen Recht natürliche Personen sein.28 Eine im Rechtsverkehr anerkannte „KI“, etwa in Form einer „digitalen Person“ oder „E-Person“ mit eigener Rechtsfähigkeit und eigenem Vermögen gibt es weder im deutschen noch im EU-Recht. Bis auf Weiteres würden entsprechende Bestellungsbeschlüsse des Aufsichtsrats (AG) oder der Gesellschafterversammlung (GmbH) gegen die Bestimmungen der §§ 76 III AktG bzw. 6 II GmbHG verstoßen und wären damit gesetzeswidrig und nichtig. Eine Eintragung ins Handelsregister käme nicht in Betracht, da das zuständige Registerge25 Zitiert nach Möslein, ZIP 2018, 204 (206) m.w.N. in Fn. 33. 26 Vgl. beispielhaft nur die Bereiche der „Bilderkennung“, der „Spracherkennung“ oder des „Übersetzens“. 27 Ebenso Möslein, ZIP 2018, 205 ff. (207). 28 Vgl. dazu § 76 III AktG und § 6 II GmbHG. 68

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

richt im Rahmen einer nach § 81 AktG bzw. § 39 GmbHG zur Eintragung in das Handelsregister angemeldeten Bestellung zum Vorstand oder zum Geschäftsführer die Formalien prüft, u. a. auch, ob der oder die Berufene eine natürliche Person ist.29 Algorithmen oder welche Form künstlicher Intelligenz auch immer können daher de lege lata nicht Mitglied eines Unternehmensleitungsorgans sein. Das EU-Parlament hat allerdings 2017 von der EU-Kommission für den Bereich der Robotik eine solche „E-Person“ („e-personhood“) gefordert.30 Nach eher zurückhaltender Reaktion der EU-Kommission ist ein Vorschlag für eine EU-Richtlinie oder EUVerordnung zwar nicht absehbar31, aber auch wenn der Gesetzgeber künftig eine „digitale Person“ oder „E-Person“ als neues Rechtssubjekt schaffen und AktG und GmbHG entsprechend für diese neue Form einer Rechtspersönlichkeit öffnen sollte, so wäre eine Gleichstellung mit natürlichen Gremienmitgliedern in verschiedener Hinsicht sehr problematisch. Denn Algorithmen oder andere Formen künstlicher Intelligenz sind für wesentliche gesetzliche Mechanismen, die das Verhalten von Vorstandsmitgliedern und Geschäftsführern im deutschen Recht herkömmlicherweise steuern (sollen), nicht „empfänglich“. Zumindest noch für eine längere Zeit (wenn auch nicht zwangsläufig für immer) gilt: Sie „fürchten“ ihre Abberufung nicht, sie haben kein Privatvermögen, mit dem sie haften und dessen Verlust sie fürchten könnten, und – last but not least – sie müssten im Fall strafbarer Entscheidungen / Handlungen nicht ins Gefängnis und würden auch diese schärfste staatliche Sanktionsmöglichkeit nicht fürchten. Aus diesem Grund ist eine bloße Versicherungslösung zwecks Schaffung einer zivilrechtlichen Haftungsmasse als vermeintliche Lösung des Problems zu kurz gesprungen. Die Berufung von Algorithmen oder andere Formen von KI als „echtes“ Mitglied der gesetzlich vorgesehenen Unternehmensleitung ist daher derzeit ausgeschlossen und auch auf längere Sicht „nicht in Sicht“ und ohne sachgerechte Lösung der vorgenannten Inkompatibilität auch abzulehnen.

III. Die Rechtsnatur von Algorithmen und KI 1. Nachdem Algorithmen oder KI, gleich welcher Form, nach heutigem Recht offensichtlich weder natürliche noch juristische Personen sind und auch weder Forderungen noch Rechte, kommt zur rechtlichen Erfassung die „Sache“ oder das urheberrechtliche „Werk“ als gesetzlich vorgesehene Kategorie in Betracht.32 Sachen sind nach § 90 BGB 29 Vgl. zur umfassenden Prüfung der Formalien durch das Regsitergericht vor der Eintragung eines Organmitglieds etwa MüKo/Stephan/Tiewes, § 39 GmbHG, Rn. 37 f. m.w.N. 30 Entschließung des Europäischen Parlaments vom 16. 02. 2017 zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103 (INL)) – P8_TA (2017)0051, Nr. 59 Buchst. f.. Zur Diskussion in Deutschland etwa: „Klarheit und Kontrolle bei Algorithmen“, Artikel der Bundesregierung vom 3. 7. 2017, abrufbar unter https://www.bundesregierung.de/Content/DE/ Artikel//2017/07/2017/-03 - 07-maas-algorithmen.html; vgl. dazu Günther, DB 2017, 651 ff. 31 So auch Mitterer/Weidemann/Zwissler, BB 2019, 3 (5). 32 Zu diesem Begriffspaar: Redeker, IT-Recht, 6. Aufl. 2017, Teil B., Rn. 278 ff. Recht und Politik, Beiheft 6

69

Oliver Lücke

nur „körperliche Gegenstände“. Soweit Algorithmen oder KI in einem „Gegenstand“ gespeichert bzw. enthalten sind, etwa in einer Art Datenträger oder sonstiger Hardware bis hin zu einem Androiden, könnten Algorithmen und KI und Datenträger u. U. – wie nach der früheren BGH-Rechtsprechung zu Standard-Software33 – als Sache angesehen werden. Abstrahiert man aber die Algorithmen/KI, also die Software, von einem solchen Datenträger, fehlt es ihr an jeglicher „Verkörperlichung“ und so ist eine Einordnung als Sache nicht mehr möglich. Die Einordnung als Werk ist wegen der darin liegenden geistigen Leistung im Sinne der §§ 2, 69a UrhG naheliegender.34 Redeker schrieb daher zutreffend: „Hätte der BGH Recht, wäre der Traum vieler ,Trekkies‘ Wirklichkeit. Wird die ,Sache‘ Software per Funkwellen übertragen (Einschub des Verfassers: ,download‘) wird eine Sache gebeamt.“35 Bei Algorithmen und KI (per se) handelt es daher nicht um „Sachen“, sondern es ist von einem urheberrechtlich geschützten Werk auszugehen.36 Liegt eine Verkörperlichung von Algorithmen oder KI vor, etwa ein Android, so verbleiben Algorithmen und KI ein urheberrechtlich geschütztes Werk und der „Körper“ ist eine Sache.37 2. De lege ferenda müsste es demnach zur Schaffung einer neuen Rechtspersönlichkeit, einer „digitalen Person“ oder „E-Person“ kommen, wenn Algorithmen und KI eine (zumindest partielle) Rechtsfähigkeit und damit eine gesicherte Teilnahme am Rechtsverkehr ermöglicht werden soll. Zugleich könnte damit Rechtssicherheit für die natürlichen und juristischen Personen im Umgang mit diesen neuen technologischen Entwicklungen geschaffen werden, die nicht nur in das Wirtschaftsleben, sondern auch sonst in immer mehr Lebensbereiche vordringen. Konkrete Gesetzesvorhaben, die das in absehbarer Zeit bewirken könnten, sind aber weder auf EU-Ebene noch in Deutschland in Sicht. 3. Die rechtliche Einordnung von Algorithmen oder KI kann für diesen Beitrag aber letztlich auch dahingestellt bleiben, da es unzweifelhaft keine natürlichen Personen sind.38 Auch wenn die Erwartung fast der Hälfte der beim World Economic Forum 2015 befragten Top-Manager, bis 2025 durch künstliche Intelligenz ersetzt werden zu

33 Rechtsprechung des BGH seit 1987, vgl. BGH, Urt. v. 4. 11. 1987, NJW 1988, 406 ff.; BGH, Urt.v. 22. 12. 1999, NJW 2000, 1415 ff.; BGH, Urt.v. 15. 11. 2006, NJW 2007, 2349 ff.; aus jüngerer Zeit etwa BGH, Urt.v. 13. 10. 2015, NJW 2016, 1094 ff. 34 Vgl. zu dieser Diskussion etwa Redeker, a.a.O., Rn. 278 ff.; MüKo/Busche, 7. Aufl. 2018, § 631 BGB, Rn. 142 m.w.N. in Fn. 379; auch Herberger, NJW 2018, 2825 (2827) spricht von einem „Gebilde des menschlichen Geistes“. 35 Redeker, a.a.O, Rn. 283. 36 Ebenso MüKo/Stresemann, § 90 BGB, Rn. 25; Beck-Online-Großkommentar/Mössner, § 90 BGB, Rn. 80 ff. m.w.N. 37 So auch die inzwischen h.M., vgl. MüKo/Stresemann, § 90 BGB, Rn. 25 m.w.N. zur h.L. und unter Verweis auf BGH Urt. v. 13. 10. 2015, NJW 2016, 1094 ff. 38 Vgl. Fn. 6. 70

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

können39, wohl doch zu selbstkritisch und/oder zu KI-gläubig ist (das dürfte frühestens im Lauf der 30er-Jahren zu erwarten sein), fehlt ungeachtet der etwaigen technischen Möglichkeiten jedenfalls auf Sicht auch noch der gesetzliche Rahmen dafür. Die Entwicklung entsprechender Regulierungsansätze läuft auch erst langsam an, auf internationaler Ebene etwa durch OECD-Grundsätze40 und EU-Guidelines41. Scheidet eine formale Bestellung von Algorithmen oder KI zum Vorstandsmitglied oder Geschäftsführungsmitglied also demnach aus, fragt es sich, ob diese digitalen „Tools“ auf andere Weise in Vorstand oder Geschäftsführungsgremium eingebunden werden können und ggf. wie. Auch ist die Frage zu klären, ob dazu eine Pflicht besteht oder nicht (dazu unter IV. und VI.).

IV. Recht und/oder Pflicht zum Einsatz von Algorithmen und KI in Vorstand und Geschäftsführung Ein Einsatz von Algorithmen wie „Vital“ als Vorstand oder Geschäftsführer scheidet aus (dazu oben unter II.). Ein Einsatz als Berater oder als „informelles“, nur beratendes Vorstandsmitglied wäre auch in einer deutschen Aktiengesellschaft (und bei unterstellter Abwesenheit von dem entgegenstehenden Weisungen der Gesellschafterversammlung) auch in einer deutschen GmbH schon heute möglich. Gleiches gilt für sonstige Formen von KI: 1. Mangels konkreter gesetzlicher Vorgaben zur Art und Weise der Unternehmensführung durch den Vorstand einer AG oder die Geschäftsführung einer GmbH und in aller Regel mangels entsprechender Vorgaben in der Unternehmenssatzung, liegt es grundsätzlich in der dem Vorstand zugewiesenen Leitungsmacht (§ 76 I AktG) und – mangels einer entsprechenden Leitungsmacht der Geschäftsführung nach dem GmbHG – in deren Geschäftsführungsbefugnis (§ 37 GmbHG) begründet, dass beide Organe grds. autonom entscheiden können, wie sie die Geschäfte der Gesellschaft leiten bzw. führen.42 2. Verbindliche Leitplanken der Unternehmensführung sind insoweit lediglich der satzungsgemäße Unternehmensgegenstand, die Rechtmäßigkeit des Vorstands-/Geschäftsführerhandelns, die Zweckmäßigkeit des Vorstands-/Geschäftsführerhandelns 39 World Economic Forum, Deep Shift – Technology Tipping Points and Societal Impact, Survey Report, Sept. 2015, abrufbar unter www3.weforum.org/docs/WEF_GAC15_Technological_Tipping_Points_report_2015.pdf, S. 21, zitiert nach Möslein, ZIP 2018, 204 (206), Fn. 25. 40 OECD – Grundsätze für den Umgang mit „Künstlicher Intelligenz“ (KI) vom 22. 05. 2019, abrufbar unter www.oecd.org/berlin/presse/Empfehlung-des-Rats-zu-kuenstlicher-Intelligenz. pdf. 41 Ethics Guidelines for Trustworthy AI der EU – High Level Expert Group on Artificial Intelligence, abrufbar unter https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelin es#Top. 42 Solange der Geschäftsführer keine andere Weisung erhält. Recht und Politik, Beiheft 6

71

Oliver Lücke

im Sinne des Unternehmensinteresses und die Einhaltung der Sorgfalt eines ordentlichen und gewissenhaften Geschäftsmannes. Im weiten Bereich der unternehmerischen Entscheidungen bedeutet das – auch zum „Selbstschutz“ der Organmitglieder – die Einhaltung der Voraussetzungen der sog. Business Judgement Rule, also insb. eine angemessene Aufbereitung der Entscheidungsgrundlagen und eine darauf beruhende Abwägung der für und gegen die Maßnahme, hier also den Einsatz von KI, sprechenden Gründe aus Unternehmenssicht. 3. Aus diesen Rahmenbedingungen ergibt sich zunächst ohne Weiteres das Recht zum Einsatz von Algorithmen und KI im Unternehmen allgemein und damit auch im Vorstand oder in der Geschäftsführung im Besonderen, wenn und soweit der Einsatz keine Pflichtverletzung darstellt, sich also im Rahmen des insoweit bestehenden unternehmerischen Ermessensspielraumes bewegt. Zetzsche weist insoweit richtig darauf hin, dass der indirekte Zugriff von Organmitgliedern auf technischen Support (schon lange) der Realität entspricht.43 Das mag simpel mit dem Einsatz des Taschenrechners begonnen haben, hat sich über den Einsatz von Computern fortgesetzt und gilt heute auch für die Heranziehung von algorithmus- oder KI-basierten Erkenntnissen in verschiedenen Unternehmensbereichen.44 4. Zu den unternehmerischen Entscheidungen gehört neben der Entscheidung, ob und ggf. welche Informationstechnologie wie Software, Datenbanken, Algorithmen bis hin zu KI zur Erreichung der Unternehmensziele in welchen Unternehmensbereichen in welchem Umfang eingesetzt wird, auch die Entscheidung, ob KI unmittelbar im Vorstand bzw. in der Geschäftsführung zum Einsatz kommen soll. Dabei handelt es sich um zwei grundlegend andersartige Entscheidungen: Für bestimmte (einzelne) Aufgaben oder Gruppen ähnlich gelagerter Aufgabenstellungen ist die Entwicklung von auch selbst-lernenden Algorithmen (schwache KI) bereits vergleichsweise weit fortgeschritten und menschlichen Erkenntnismöglichkeiten partiell schon überlegen, z. B. bei der schon angesprochenen Bilderkennung etwa in der Radiologie, sodass ein partieller, eben auf bestimmte Aufgabenstellungen beschränkter Einsatz von KI u. U. schon derzeit angezeigt sein kann. Die Organmitglieder sind also im Fall einer geeigneten unternehmerischen Aufgabenstellung und Zugriff auf einen Algorithmus bzw. ein KI-Tool auf Basis der Sorgfalt eines ordentlich und gewissenhaft arbeitenden Geschäftsmannes verpflichtet, den konkreten Einsatz von zur zweckmäßigen Aufgabenerfüllung vermeintlich geeigneten Algorithmen oder geeigneter KI im Rahmen ihres unternehmerischen Ermessensspielraums zu prüfen (zu den Anforderungen hierbei unten unter V.). Gegen den Einsatz von KI bei der Informationsbeschaffung bestehen keine Bedenken.45 43 Ebenso Zetzsche, AG 2019, 1 ff. (6). 44 Vgl. PwC-Studie: „Auswirkungen der Nutzung von künstlicher Intelligenz in Deutschland, Juni 2018, abrufbar: https://www.pwc.de/de/business-analytics/sizing-the-price-final-juni2018.pdf /Stand: 3. 9. 2018. 45 Ebenso Weber/Kiefner/Jobst, NZG 2018, 1131 (1132). 72

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

Eine Pflicht zum Einsatz von Algorithmen und/oder KI als Teil der Entscheidungsgrundlage unternehmerischer Entscheidungen kommt allerdings derzeit nur ausnahmsweise in Betracht, wenn der gegebene weite unternehmerische Handlungs- und Entscheidungsspielraum durch den „Nichteinsatz“ von Algorithmen bzw. KI deutlich überschritten würde.46 Das kann nur angenommen werden, wenn die Abwägung der für und gegen den Einsatz von KI in der jeweiligen konkreten Unternehmenssituation sprechenden Umstände, die zum Unterlassen des KI-Einsatzes geführt hat, nicht mehr vertretbar ist. Das dürfte erst dann der Fall sein, wenn es für die konkrete Anwendung bereits qualitätsgesicherte und erprobte Algorithmen bzw. KI-Anwendungen am Markt gibt und diese zu angemessenen Preisen verfügbar ist. Ob die Investition für einen solchen KI-Einsatz angemessen ist, hängt wiederum vor allem von der Bedeutung der Aufgabenstellung, dem jeweiligen Leistungsvermögen der KI, den Alternativen zum KIEinsatz, der Zeit und den Kosten ab und ist ihrerseits eine Bewertung, bei der dem Organ erneut ein Beurteilungs- und Entscheidungsspielraum zuzugestehen ist.47 Der Einsatz von selbstlernenden Algorithmen und sonstigen Formen von KI für bestimmte (begrenzte) Aufgabenstellungen kann bereits heute als „Stand der Technik“ angesehen werden, so dass Vorstände und Geschäftsführungen gut beraten sind, deren Einsatz für ihr Unternehmen zumindest ernsthaft zu prüfen (und periodisch wiederholend erneut zu prüfen) sowie die ggf. für oder gegen den Einsatz bestimmter Algorithmen bzw. KI sprechenden Gründe zu dokumentieren. Anders sieht es aus, wenn es um KI geht, die – ähnlich einem menschlichen Mitglied des Vorstands oder der Geschäftsführung – bei verschiedenartig(st)en Aufgaben, insb. an komplexen Entscheidungen auf verschiedenen Gebieten mitwirken soll, die multiple Bewertungen und Abwägungsprozesse erfordern („starke KI“). Nach Kenntnis des Verfassers vom Stand der technischen Entwicklung ist diese bei der sog. „starken KI“ aber noch nicht so weit. Dementsprechend scheidet ihr Einsatz in Vorstand und Geschäftsführung als (wenn auch nur beratendes, aber sonst „vollwertiges“) Gremienmitglied derzeit und auch auf einige Jahre (wohl ein Jahrzehnt) noch aus. 5. In der Sache handelt es sich bei einer Entscheidung über den Einsatz von Algorithmen oder KI zur Erledigung bestimmter unternehmerische Aufgabenstellungen um einen „mehrstufigen“ unternehmerischen Entscheidungsprozess, wobei jeweils mehrere Faktoren als Entscheidungsgrundlage heranzuziehen und zu bewerten sind: Nach (1.) der Auswahl der jeweiligen unternehmerischen Aufgabenstellung, bei der der Einsatz von Algorithmen oder KI zur Optimierung der internen Entscheidungsprozesse angedacht wird, bedarf es zunächst der (2.) Definition der an die KI als Lösung der Aufgaben zu stellenden Anforderungen. Dann folgt (3.) die Vorbereitung der „Make-orBuy“-Grundsatzentscheidung durch eine Analyse der eigenen KI-Entwicklungspotentiale, des verfügbaren Zeitkorridors und des KI-Markts, um zu klären, ob KI mit hinreichender Entwicklungstiefe und -reife für die intendierte Aufgabenstellung vor46 Pflichtverletzung durch Unterlassen, wenn eine Rechtspflicht zum Einsatz bestanden hat. 47 Ebenso MüKo/Spindler, § 93 AktG Rn. 55 m.w.N. Recht und Politik, Beiheft 6

73

Oliver Lücke

handen ist und Marktverfügbarkeit zu angemessenen Preisen gegeben ist, die einen signifikante Vorteile versprechenden Einsatz der KI möglich erscheinen lässt oder nur eine Eigenentwicklung in Betracht kommt. Danach folgt – je nach Ergebnis dieser Analyse – (4.) die Grundsatzentscheidung des „Make-or-Buy“, also Eigenentwicklung oder Einkauf der KI je nach Bewertung der Entscheidungsparameter, insb. Kosten, Know-How-Ownership, Abhängigkeiten von KI-Lieferanten. Bei diesen Entscheidungen können Vorstand und Geschäftsführung jeweils einen durch die Business Judgement Rule privilegierten unternehmerischen Ermessensspielraum in Anspruch nehmen. Von dieser Grundsatzentscheidung (das „Ob“) zu trennen sind die Anforderungen an den Einsatz des KI (das „Wie“):

V. Pflichten beim Einsatz von Algorithmen und KI durch Vorstand und Geschäftsführung 1. Selbstredend ist beim Einsatz von Algorithmen oder KI – wie bei jeder Geschäftsführungsmaßnahme – die Sorgfalt eines ordentlichen und gewissenhaften Kaufmannes einzuhalten.48 „Leitungsorgane von Kapitalgesellschaften sind insbesondere mit Blick auf die stetig steigende Komplexität der ihren Entscheidungen zugrundeliegenden Sachverhalte und rechtlichen Vorgaben einem erheblichen Haftungsrisiko ausgesetzt.“49 Das gilt für Entscheidungen im Zeitalter der Digitalisierung wegen der mit ihr verbundenen diversen Auswirkungen auf die Unternehmen, ihre Geschäftsmodelle, interne Organisationsstrukturen und Prozesse noch verstärkt. Für die Klärung, welche Sorgfaltspflichten beim Einsatz von Algorithmen oder KI bestehen, ist es hilfreich, einen Blick auf die typischen Entscheidungen zu werfen, die Organmitglieder zu treffen haben: 2. Organmitglieder treffen regelmäßig zwei Arten von Entscheidungen, einerseits rechtlich gebundene Entscheidungen, bei denen – ohne eigenen Handlungs- oder Beurteilungsspielraum – „nur“ gesetzliche oder sonstige Rechtspflichten des Unternehmens umgesetzt werden müssen und sollen und andererseits in die Zukunft gerichtete unternehmerische (betriebswirtschaftliche) Entscheidungen zur Verfolgung des Unternehmenszwecks, bei denen – anders als bei rechtlich gebundenen Entscheidungen – mehrere Handlungsalternativen bestehen und der Erfolg der unternehmerischen Entscheidungen ungewiss ist, die Entscheidung also Prognosecharakter aufweist. Vorstands- oder Geschäftsführerhandeln, gleich, ob rechtlich zur Sicherstellung der Rechtmäßigkeit des Unternehmens oder unternehmerisch zur Verfolgung des Unternehmenszwecks, bringen regelmäßig tatsächliche, fachliche, technische, wirt-

48 Vgl. dazu später unter V. 2. b). 49 Graewe/von Harder, BB 2017, 707. 74

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

schaftliche, wettbewerbliche und/oder (steuer‐)rechtliche Fragen mit sich, die vom Organ pflichtgemäß im Vorfeld der jeweiligen Entscheidung zu klären sind.50 a) Dieses Klärungserfordernis ergibt sich bei Rechtsfragen aus der die Organe treffenden Legalitätspflicht und der oftmals nicht hinreichend klaren Rechtslage. Im Hinblick auf die Rechtspflichten des Unternehmens, für deren Einhaltung die Organe verantwortlich sind, besteht kein Beurteilungsspielraum, insbesondere greift hier die Business Judgement Rule nicht ein51, sondern die Rechtmäßigkeit des Unternehmenshandelns unterliegt der vollen gerichtlichen Überprüfung.52 Demzufolge gehört es zu den Sorgfaltspflichten der Unternehmensleitung in solchen Fällen die Rechtslage zu prüfen (Legalitätspflicht).53 Dies kann – entsprechende fachliche Kompetenz unterstellt – sowohl durch interne Juristen erfolgen oder durch die Beauftragung von externen Rechtsanwälten.54 b) Die andere Art von Entscheidungen sind die sog. unternehmerischen Entscheidungen, die ihrerseits auf einer der Bedeutung der Entscheidung angemessenen Tatsachengrundlage getroffen werden müssen.55 Hierzu ist zunächst klarzustellen, dass Organe nicht nur bei ihrem „nach außen“ gerichteten Verhalten zur Erreichung des Unternehmenszwecks Entscheidungen treffen, sondern auch bei „nach innen“ gerichteten Organisationsentscheidungen wie der Schaffung einer dem Unternehmen, seinem Gegenstand und seiner Größe angemessenen Aufbau- und Ablauforganisation. Dementsprechend handelt es sich bei der Entscheidung, ob und ggf. in welchem Bereich, welche Algorithmen und/oder KI eingesetzt werden auch um unternehmerische Entscheidungen (s. o. III. 4.). Bei unternehmerischen Entscheidungen gewähren Gesetz (§ 93 Abs.1 Satz 2 AktG) bzw. die BGH-Rechtsprechung (für die GmbH) Vorstand bzw. Geschäftsführung einen weiten Handlungsspielraum, ohne den unternehmerisches Handeln nicht möglich ist. Bewegt sich unternehmerisches Handeln innerhalb dieses weiten Handlungsspielraums, liegt eine Pflichtverletzung nicht vor.56

50 Ganz h.M., vgl. etwa BGH Beschl.v. 14. 07. 2008, NJW 2008, 3361 ff.; Baumbach/Hueck/ Zöllner/Noack, § 43 GmbHG Rn 22c; ebenso etwa MüKoAktG/Spindler, § 93 Rn. 55 m.w.N. 51 Roth/Altmeppen/Altmeppen, § 43 GmbHG, Rn 11 m.w.N. 52 Soweit ersichtlich unbestritten, vgl. statt vieler etwa Baumbach/Hueck/Zöllner/Noack, § 43 GmbHG Rn 22b. 53 BGH Urt.v. 20. 09. 2011, NZG 2011, 1271 ff; BGH Urt.v. 28. 4. 2015, NZG 2015, 792 ff.; Michalski u. a./Ziemonis, § 43 GmbHG Rn. 70 ff. 54 Vgl. statt vieler: Michalski u. a./Ziemonis, § 43 GmbHG Rn. 70 ff. 55 MüKoAktG/Spindler, § 93 Rn. 55 m.w.N. 56 So ebenso grundlegend wie zutreffend schon BGH Urt.v. 21. 4. 1997 („ARAG-Garmenbeck“), NJW 1997, 1926 ff. und seither st. Rspr. des BGH sowie seit 2005 verkürzt Inhalt des § 93 I 2 AktG. Recht und Politik, Beiheft 6

75

Oliver Lücke

Um in den Genuss dieses „Haftungsfreiraums“ zu kommen, verlangt die Rechtsprechung vor allem eine sorgfältige Ermittlung der Entscheidungsgrundlagen.57 Denn: „Der Informationsbeschaffung kommt (…) überragende Bedeutung zu. Hierzu gehört auch die Frage, ob sich das Unternehmen dabei eigener Ressourcen bedient oder auf externe Quellen und Unterstützung durch Dritte (etwa Rechts- und Steuerberatung, Controlling) zurückgreift (,make-or-buy-decision‘).“58 Das hier bestehende Klärungsbedürfnis betrifft dabei – wie gesagt – oft tatsächliche, fachliche, technische, wirtschaftliche, wettbewerbliche oder (steuer‐)rechtliche Sachverhalte. 3. Eine lediglich „summarische Prüfung“ der Entscheidungsgrundlagen, wie sie nach einem Teil der Literatur unter Umständen zulässig sein soll59, ist abzulehnen: Zunächst entspricht es der Sorgfalt eines ordentlichen und gewissenhaften Geschäftsmannes, dass er unternehmerische Entscheidungen von Bedeutung grundsätzlich nicht unter unangemessenem Zeitdruck trifft, sondern nur mit einem Zeitvorlauf der eine der Entscheidung angemessene Entscheidungsvorbereitung, insb. Zusammenstellung und Prüfung der Entscheidungsgrundlagen, gestattet. Dabei besteht ein unmittelbarer Zusammenhang zwischen der wirtschaftlichen Bedeutung der Entscheidung und dem Umfang und der Intensität der Entscheidungsvorbereitung und damit dem dafür erforderlichen Zeitvorlauf. Darüber dürfte weitgehend Einigkeit bestehen. Bei erheblicher wirtschaftlicher Bedeutung der Entscheidung liegt es auf der Hand, eine solche Entscheidung kann nicht unter unangemessenem Zeitdruck, der lediglich eine „summarische“ Prüfung der Entscheidungsgrundlagen, ggf. auch noch reduzierter Entscheidungsgrundlagen zulässt, getroffen werden. Ein eine angemessene (und damit sorgfaltsgemäße) Entscheidungsvorbereitung limitierender Zeitdruck führt weder zu einer Absenkung des Sorgfaltsmaßstabs an sich, noch zu einer Reduktion der geschuldeten Prüfungstiefe, sondern relativiert allenfalls den Umfang der in der Zeit noch prüfbaren Entscheidungsgrundlagen. Es bedarf also auch bei massivem Zeitdruck einer sorgfältigen Prüfung der Entscheidungsgrundlagen und nicht nur einer „summarischen“ Prüfung, denn es besteht ein Unterschied zwischen der nicht bestehenden Verpflichtung alle zugänglichen Informationsquellen und -möglichkeiten ausschöpfen zu müssen60 und einer lediglich „summarischen“ Prüfung der Entscheidungsgrundlagen. Das eine betrifft die Quantität der Informationen, das andere betrifft die Qualität ihrer Auswertung. 4. Durch die Entwicklung von Algorithmen bis hin zu KI ist es schon heute mittels Big Data-Analysen deutlich einfacher, große Datenmengen zu analysieren und daraus re57 Vgl. zu dieser Voraussetzung der BJR für die AG § 93 Abs.1 Satz 2 AktG („auf der Grundlage angemessener Information“) und für die GmbH die BGH-Rechtsprechung zum unternehmerischen Ermessen seit der ARAG/Garmenbeck-Entscheidung des BGH Urt.v. 21. 4. 1997, NJW 1997, 1926 ff. 58 Rodewald/Unger, BB 2006, 113 f. 59 MüKoAKtG/Spindler, § 93 Rn. 55 m.w.N. 60 Dazu sogleich m.w.N. unter V. 4. 76

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

levante Informationen für unternehmerische Entscheidungen zu erlangen. Damit vergrößert sich auch die den Organen – jedenfalls theoretisch – zur Verfügung stehende, möglicherweise auch die – praktisch – im Sinne der erforderlichen Entscheidungsgrundlagen heranzuziehende Datenbasis.61 Von der Rechtspflicht zur Nutzung scheint Spindler auszugehen, wenn er ausführt: „Besteht die Möglichkeit, eine umfassende Datenmenge (Big Data) mittels Algorithmen zu sichten und hierdurch die Ermessensentscheidungen stützen zu können, ist der Vorstand schon aufgrund seiner Sorgfaltspflicht hierzu verpflichtet.“62 Demgegenüber ist eine generelle Pflicht zu umfassender Informationsbeschaffung und -auswertung vor jeder unternehmerischen Entscheidung auch in Zeiten von Big Data nach wie vor abzulehnen: „Eine generelle Pflicht zur Beschaffung aller nur denkbaren Informationen besteht ebenso wenig wie ein Gebot bestmöglicher Information, wohl aber eine Pflicht zur gründlichen Entscheidungsvorbereitung und sachgerechten Risikoabschätzung in der konkreten Situation. Im Allgemeinen muss die Informationsgrundlage umso breiter und gefestigter sein, je wichtiger die Entscheidung für den Bestand und Erfolg des Unternehmens ist.“63 Der Umfang der organschaftlichen Informationsbeschaffungs- und Informationsauswertungspflicht ist kein absoluter, sondern ein relativer, relativ im Verhältnis zur Bedeutung der jeweils zu treffenden Entscheidung.64 Als Richtschnur für den Einzelfall gilt wieder das Maß an Vorbereitung, das ein ordentlicher gewissenhafter Geschäftsmann in der Situation gewählt hätte. Eine Rechtspflicht zum Einsatz von Big Data-Analysen mittels Algorithmen kann demnach allenfalls dann angenommen werden, wenn dies nicht nur „möglich“ ist, sondern die Algorithmen bzw. die KI bereits durch qualifizierte externe Stellen oder interne Mitarbeiter hinreichend erprobt sind und die bereits bei Nutzung entstehenden Kosten unter Berücksichtigung der Bedeutung der anstehenden Entscheidung als angemessen anzusehen ist. 5. Ergänzend besagt die Rechtsprechung des BGH zur Informationsbeschaffungspflicht, dass die Leitungsorgane bei fehlender eigener Sachkunde verpflichtet sind, sich das für eine anstehende Entscheidung erforderliche Know-How, falls es unternehmensintern nicht vorhanden ist, extern, insbesondere bei fachlich qualifizierten Beratern zu besorgen.65 Dies gilt bei unklarer Rechtslage auch für externe rechtliche Beratung.66 Diese Rechtsprechung kann ohne Weiteres auch für ggf. fehlendes Know-How im Bereich Algorithmen und KI herangezogen werden. Wird in einer solchen Situation ein unabhängiger, fachlich qualifizierter Berufsträger beauftragt, dieser über sämtliche für die Beurteilung erheblichen Umstände ordnungsgemäß informiert und dessen Rat eingeholt und folgen Vorstand/Geschäftsfüh61 62 63 64 65 66

So zutreffend schon Spindler, DB 2018, 41 ff. (45). MüKoAktG/Spindler, § 93 AktG Rn. 56. Spindler/Stilz/Fleischer, § 93 AktG, Rn. 70 mit zahlreichen weiteren Nachweisen in Fn. 482 f. In diesem Sinne auch Spindler, DB 2018, 41 ff. (45). BGH 20. 9. 2011, BB 2011, 2960 ff; vgl. dazu auch Buck-Heeb, BB 2016, 1347 ff. Vgl. dazu BGH 20. 9. 2011, BB 2011, 2960 ff.

Recht und Politik, Beiheft 6

77

Oliver Lücke

rung nach eigener Plausibilitätskontrolle der Empfehlung des Beraters, so scheidet eine Haftung insoweit aus.67 Ob sich auch diese Rechtsprechung auf den Einsatz von Algorithmen und KI anwenden lässt und welche Qualifikation der insoweit als sachverständig anzuerkennende qualifizierte Berater haben muss, ist ungeklärt, wäre nach Klärung dieser Qualifikationsfrage68 aber zumindest denkbar. 6. Ausgehend von der vorstehend erläuterten Pflichtenlage von Vorstand und Geschäftsführung bei ihren Entscheidungen fragt sich, wie sich diese auf den Einsatz von Algorithmen und KI auswirkt: Soweit ersichtlich liegt zu dieser Fragestellung noch keine Rechtsprechung, jedenfalls keine ober- oder gar höchstrichterliche Rechtsprechung, vor und auch in der Literatur gibt es erst erste Stimmen, die sich hierzu verhalten.69 Allgemein anerkannt ist, dass Vorstand und Geschäftsführung nicht alle im Unternehmen zur Realisierung des Unternehmensgegenstandes anfallenden Arbeitsaufgaben selbst erledigen können, ja nicht dürfen, da darin eine Verletzung der Pflicht zu einer ordnungsgemäßen Unternehmensorganisation läge. Vielmehr können und müssen Arbeitsaufgaben intern an geeignete Mitarbeiter delegiert oder auch Externe beauftragt werden. Es besteht insoweit grundsätzlich eine Pflicht zu angemessener Delegation.70 Weitgehend unstreitig ist auch, dass sog. Leitungsentscheidungen71 nicht delegiert werden können, weil solche Leitungsentscheidungen Vorstand bzw. Geschäftsführung vorbehalten bleiben müssen. Dementsprechend scheidet auch eine Delegation solcher Leitungsentscheidungen auf Algorithmen oder KI grundsätzlich aus.72 Zulässig ist dagegen die Delegation von „Nicht-Leitungsentscheidungen“, also von „normalen“ Geschäftsführungsmaßnahmen und auch die Vorbereitung von und die Ermittlung der Entscheidungsgrundlagen für Leitungsentscheidungen.73 Eine solche Delegation muss aber pflichtgemäß erfolgen, also ohne diesbezügliche Pflichtverletzung des Delegierenden, da andernfalls eine Haftung von Vorstand oder Geschäftsführung droht. 67 BGH Urt. v. 20. 9. 2011, BB 2011, 2960 ff. (zu einem Rechtsgutachten); BGH Urt.v. 14. 05. 2007; NJW 2007, 2118 ff. (zu einem Wirtschaftsprüfergutachten zur Insolvenzreife); BGH Urt.v.27. 03. 2012, NZG 2012, 672 ff. (zu einem Gutachten eines Unternehmensberaters). 68 Denkbar wären staatlich anerkannte Qualifikationen, ähnlich Fachärzten oder Fachanwälten, also etwa z. B. „Certified KI-Specialists“ oder „TÜV-geprüfte KI-Berater“). 69 Vgl. Mößlein, ZIP 2018, 204 ff; Weber/Kiefner/Jobst, NZG 2018, 1131 (1132). 70 HM, in diesem Sinne etwa auch Schulze, NJW 2014, 3484; Schmidt-Husson, in: Hauschka/ Moosmeyer/Lösler, Corporate Compliance, § 6 Rz. 8 71 Nach § 76 Abs.1 AktG leitet der Vorstand die Geschäfte der AG eigenverantwortlich (sog. „Leitungsmacht“). Diese betrifft den aufgrund seiner besonderen Bedeutung für die Gesellschaft herausgehobenen Teil der Geschäftsführung, der dem Vorstand als Gesamtgremium vorbehalten ist und daher vom Vorstand weder an einzelne Vorstandsmitglieder noch an nachgeordnete Mitarbeiter delegiert werden darf. 72 Ganz h.M., vgl. statt vieler: MüKo/Spindler, § 77 AktG, Rn. 15 ff., 63 m.w.N.; für den vorliegenden Kontext ebenso: Zetzsche, AG 2019, 1 (7). 73 Ganz h.M., vgl. statt vieler: MüKo/Spindler, § 76 Rn. 14; § 77 AktG, Rn. 64. 78

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

7. Vor diesem Hintergrund ist die Frage aufzuwerfen, ob und ggf. unter welchen Voraussetzungen eine Delegation von Aufgaben auch auf Algorithmen bzw. KI in Betracht kommt. Vor dem Hintergrund der Verantwortung von Vorstand/Geschäftsführung für eine sachgerechte Organisation des Unternehmens (Organisationsverantwortung) ist es aus rechtlicher Sicht naheliegend eine analoge Anwendung der von der Rechtsprechung entwickelten Grundsätze zur Delegation von Aufgaben an Mitarbeiter (menschliche Ressourcen) auf die Delegation auf Algorithmen / KI zu erwägen74, um in der Rechtspraxis bewährte Regelungsmechanismen für die sachgerechte Lösung dieser neuen Fallkonstellation zu nutzen. Dieser Ansatz ist im Grundsatz zutreffend und zielführend, bedarf m. E. aber noch einer den Besonderheiten des KI-Einsatzes Rechnung tragenden Ergänzung: a) Eine ordnungsgemäße Delegation setzt nach ständiger Rechtsprechung voraus, dass Vorstand/Geschäftsführung (1.) einen fachlich qualifizierten und persönlich geeigneten Mitarbeiter auswählen, (2.) diesen sachgerecht über die zu erledigende Aufgaben und die dabei zu erreichenden Ziele instruieren, (3.) diesen mit den zur Aufgabenerledigung erforderlichen sachlichen, finanziellen, personellen und immateriellen Mitteln ausstatten und schließlich (4.) diesen auch hinreichend überwachen, insbesondere durch regelmäßige Berichterstattung und/oder stichprobenartige Kontrolle der Arbeitsergebnisse und (5.) bei erkennbaren Fehlentwicklungen korrigierend eingreifen.75 Letztere Möglichkeit ergibt sich bei der Delegation ohne Weiteres aus der Unternehmenshierarchie und der Weisungsunterworfenheit der Mitarbeiter gegenüber Vorstand bzw. Geschäftsführung und findet daher bislang keine oder nur untergeordnete Erwähnung. b) Hier fragt sich, ob sich diese Grundsätze der Delegation – mit oder ohne Modifikationen – auf die Delegation von Aufgaben an Algorithmen übertragen werden können. Das ist m. E. nach Maßgabe des Nachstehenden möglich76: Vor dem Hintergrund, dass hier Aufgaben nicht an weisungsgebundene, dem Vorstand/ der Geschäftsführung unterstellte Mitarbeiter erfolgen sollen, sondern an Algorithmen bzw. KI gilt es zunächst zu betonen und sicherzustellen, dass auch die Algorithmen bzw. die KI als sachliches Betriebsmittel dem Zugriff der Unternehmensleitung unterliegen müssen, der Unternehmensleitung muss uneingeschränkt die „Letztentscheidungskompetenz“ über die Arbeitsergebnisse der KI sowohl bei der Bewertung von KI74 So bereits Mößlein, ZIP 2018, 204 ff., (208); Weber/Kiefner/Jobst, NZG 2018, 1131 (1133); auch Zetzsche, AG 2019, 1 ff. (7), wenn auch ohne nähere Auseinandersetzung. 75 Vgl. etwa Schulze, NJW 2014, 3484 (3487); siehe auch die Nachweise bei Hölters, § 93 AktG, Rn. 47; Urban, GWR 2013, 106 ff.; der BGH spricht von ordnungsgemäße Auswahl, Einweisung, Information und Überwachung von Mitarbeitern (Urt. v. 07. 11. 1994, NJW 1995, 326 (329)). 76 Grds. ebenso Mößlein, ZIP 2018, 204 ff. (208 f.), der zusätzlich „algorithmiiche Organisationspflichten“ fordert. Recht und Politik, Beiheft 6

79

Oliver Lücke

gestützten Entscheidungsgrundlagen (Informationsbeschaffung) als auch bei KI-gestützten Entscheidungsvorschlägen verbleiben.77 Die etablierten Voraussetzungen für die Delegation von Aufgaben an Mitarbeiter sind für eine Delegation von Aufgaben an Algorithmen oder KI unzureichend, diese Regelungen bedürfen einer zweckorientierten Fortentwicklung. Mößlein will in diesem Kontext auf die spezialgesetzliche Regelung des § 33 Abs.1a WpHG für den algorithmus-basierten Handel mit Finanzinstrumenten als Ansatzpunkt für die Fortentwicklung der Delegationsvoraussetzungen hingewiesen und insoweit eine Analogie abstellen.78 Der Ansatz dieser Analogie geht m. E. in zweierlei Hinsicht fehl: Er geht zu weit, weil die eher „exotische“ Norm aus einem besonders regulierten Markt für die allg. Wirtschaft nicht analogiefähig sein dürfte, zum Anderen greift er zu kurz, da die in § 80 Abs.2 WpHG vorgesehenen Organisationspflichten nicht weit genug gehen, sondern sich letztlich „nur“ mit dem sicheren IT-Einsatz befassen, ohne die besondere Problematik der (Teil‐)Autonomie von Algorithmen und KI (angemessen) zu adressieren. Die inzwischen in § 80 Abs. 2 WpHG u. a. genannte Stabilität des Systems und ein Notfallplan gehören m. E. heutzutage zu den „Standards“ der Sorgfaltspflichten von Unternehmensleitungen beim Betrieb von IT-Systemen, soweit diese – wie inzwischen die Regel – für den Unternehmensbetrieb von erheblicher Bedeutung sind. Die „Ausfallsicherheit“ zählt – unabhängig von Algorithmen und KI – zu den Grundanforderungen an die Unternehmensleitung und bedarf daher an dieser Stelle keiner besonderen Erwähnung. Auch Vorkehrungen gegen einen möglichen Missbrauch der Systeme sind heute generell geboten, etwa über physische Zugangsbeschränkungen und elektronische Zugriffsberechtigungssysteme und zählen – jedenfalls in Maßen – ebenfalls zur allgemeinen Sorgfalt. Die besondere Hervorhebung im Bereich des WpHG ist der besonderen Sensibilität des Handels mit Finanzprodukten geschuldet. Eine Orientierung an § 80 WpHG ist daher wegen der Besonderheiten des intensiver Regulierung unterliegenden Finanzmarkts weder geboten, noch in der Sache „zielführend“. Mangels passender gesetzlicher Grundlagen als Anknüpfungstatbestand hat die Fortentwicklung der bisherigen Voraussetzungen an die Delegation von Aufgaben an Mitarbeiter für eine Übertragbarkeit auf die Aufgabendelegation an Algorithmen oder KI im Wege einer an Sinn und Zweck orientierten Rechtsfortbildung zu erfolgen: c) Unter Berücksichtigung von Sinn und Zweck der Delegation und ihrer Voraussetzungen im Kontext einer zweckmäßigen Unternehmensleitung und -organisation sowie der Haftung(sbegrenzung) der Unternehmensleitung ist m. E. die Modifikation und Ergänzung der bisherigen, oben genannten fünf Voraussetzungen einer Delegation an Mitarbeiter um weitere algorithmen- bzw. KI-spezifische Zusatzanforderungen geboten, so dass sich nachstehender „10-Punkte-Pflichtenkanon“ ergibt: 77 Soweit ersichtlich unbestritten, in diesem Sinne auch Mößlein, ZIP 2018, 204 ff. (208 f.); Weber/Kiefner/Jobst, NZG 2018, 1131 (1134). 78 Mößlein, ZIP 2018, 204 ff. (211). 80

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

Bei der Planung des Einsatzes von Algorithmen bzw. KI besteht die Verpflichtung der Unternehmensleitung (1.) zu einer sorgfältigen Auswahl geeigneter Algorithmen bzw. KI für die jeweilige Aufgabenstellung, d. h. es ist zu entscheiden, welche von mehreren geeigneten Algorithmen / KI zum Einsatz kommen soll (dies schließt die Entscheidung „make or buy“, also Kauf oder Eigenentwicklung, ein). Sodann sind (2.) die Algorithmen bzw. die KI sachgerecht zu instruieren, was in diesem Fall zu programmieren heißt, damit der Algorithmus die zur Erreichung der Aufgabenstellung geeigneten Rechenvorgänge vornimmt, (3.) ist den Algorithmen / der KI qualitativ geeignetes Datenmaterial in möglichst großer Menge zugänglich zu machen, um „machine-learning“ oder „Deep Learning“ zu ermöglichen. Die große Bedeutung der Verwendung geeigneten Datenmaterials kann neben der Programmierung nicht genug betont werden, denn bei der Qualität der Ergebnisse des „machine learning“ von KI gilt auch das Prinzip „Input = Output“79 oder pointierter: „shit in – shit out“. Des Weiteren (4.) ist die Funktionsfähigkeit der Algorithmen / KI durch eine der Bedeutung der zu bewältigenden Aufgabenstellung angemessene Anzahl von Testläufen zu verifizieren, (5.) sind die Arbeitsschritte bzw. Rechenprozesse der Algorithmen bzw. der KI auch im Echtbetrieb weiter zumindest stichprobenartig zu überwachen. Diese technische Überwachung hat (6.) zwingend durch dafür hinreichend qualifizierte Personen (z. B. durch den CDO80 und sein Team) zu erfolgen, die (7.) ggf. eingreifen, um Rechenvorgänge der Algorithmen / KI anzupassen, also ggf. die bisherige Instruktion (Programmierung der Aufgaben/Ziele) ändern können, ggf. Algorithmus bzw. KI „abzuschalten“81. Diese Prüfung ist daher regelmäßig nicht durch den Vorstand/die Geschäftsführung vorzunehmen, da diesen oftmals das dafür erforderliche IT- und KI-Verständnis („Algorithmusbehrrschung“)82 fehlt.83 (8.) Bei regelmäßigen Einsatz von KI wird entweder im Vorstand bzw. in der Geschäftsführung oder auf der Ebene unter Vorstand/Geschäftsführung ein CDO, ein „Chief Digital Officer“ mit einem entsprechend qualifizierten Team zu etablieren sein. Unabhängig von der technischen Überprüfung obliegt Vorstand/Geschäftsführung dagegen (9.) auf der Basis anderer (analoger und/oder außerhalb der KI-Anwendung gewonnener) Erkenntnisse und Erfahrungen die „Verplausibilisierung“ und – weitergehend – kritische „Hinterfragung“ der Ergebnisse der 79 Barth, Algorithmik für Einsteiger, 2. Aufl. 2014, S. 8. 80 CDO = Chief Digital Officer; oder durch den IT-Leiter. 81 Zetzsche (AG 2019, 1 ff. (10) weist richtig darauf hin, dass KI, die den „Abschaltvorgang“ umgehen oder verhindern kann, nicht zum Einsatz kommen darf, wobei schon der die KI „HAL 9000“ aus dem Sci-Fi-Klassiker „2001 – Odyssee im Weltall“ von Stanley Kubrick aus dem Jahr 1968 gezeigt hat, dass es „die“ Frage sein wird, ob es gelingt, dies gesichert zu verhindern. 82 Unter Hinweis auf Möslein, ZIP 2018, 204 (210) und Wagner, BB 2018, 1092 (1098 f.) in Fn. 27 sprechen Weber/Kiefner/Jobst, NZG 2018, 1131 (1132) von „Algorithmusbeherrschung“. 83 A.A.: Weber/Kiefner/Jobst, NZG 2018, 1131 (1132), deren Begründung dafür, der Verweis auf die BGH-Rechtsprechung zum Experten-Rat jedoch nicht, schon gar nicht ohne Weiteres auf Algorithmen und sonstige Formen von KI angewandt werden kann. Recht und Politik, Beiheft 6

81

Oliver Lücke

Algorithmen und KI (human intelligence challenges artificial intelligence).84 Letztlich wird man jedenfalls bei sich selbst fortentwickelnder KI (10.) verlangen müssen, dass die verantwortlichen Programmierer (letztlich der CDO) den jeweiligen Status Quo des Codes der KI in regelmäßig wiederkehrenden Abständen analysieren und die festgestellten Änderungen am Code protokollieren85.

VI. Fazit 1. Vorstandsmitglieder und Geschäftsführer müssen neben einer allgemeinen Digitalisierungsstrategie auch eine Strategie für den Einsatz von Algorithmen und KI entwickeln und regelmäßig der dynamischen Entwicklung der Technik und Möglichkeiten anpassen, sie müssen die Strategien auch konkretisieren und in konkrete Vorgaben für die betroffenen Unternehmensbereiche umwandeln. 2. Dabei ist die Rechtmäßigkeit der Ergebnisse der KI – wie die Rechtsmäßigkeit jedes anderen Unternehmenshandeln – sicherzustellen, insbesondere im Hinblick auf die EUGrundrechts-Charta und die DSGVO. 3. Je nach Art, Größe und Branche des Unternehmens hat es auch die Frage zu entscheiden, ob es der Schaffung eines Chief Digital Officer’s (CDO) bedarf. 4. Diese Themen sind wegen der enormen Bedeutung der Digitalisierung, der neueren Entwicklung von Algorithmen, über machine-learning bis zu künstlicher Intelligenz für das Wohl und Wehe des Unternehmens Leitungsaufgaben des Vorstands bzw. auch der Geschäftsführung und daher vom Gesamtvorstand bzw. von der gesamten Geschäftsführung wahrzunehmen und nicht – auch nicht innerhalb des Gremiums – delegationsfähig. 5. Aktionäre und Gesellschafter könnten prüfen, ob sie in der Satzung ihrer Gesellschaft ausdrücklich die Möglichkeit vorsehen wollen, Algorithmen und KI im Vorstand bzw. in der Geschäftsführung einen „Beraterstatus“ (zwingend ohne Stimmrecht) einräumen zu können. Näheres zur Einbindung könnte dann in der Geschäftsordnung für Vorstand bzw. Geschäftsführung geregelt werden. Dem Verfasser erscheint das – vielleicht von Unternehmen mit besonders IT-/KI-affinem Unternehmensgegenstand abgesehen – (noch) verfrüht. 6. KI kann aktuell mittels Big Data-Analysen vor allem bei der Sammlung, Ordnung und Auswertung von für unternehmerische Entscheidungen erforderlichen, meist tatsächlichen Entscheidungsgrundlagen gewinnbringend, d. h. die Tatsachenbasis unternehmerischer Entscheidungen verbessernd, eingesetzt werden. Allgemein wird gesagt werden können, dass je leistungsstärker und – unter Berücksichtigung angemessener Kosten – 84 Fries fordert im Fall des Einsatzes von KI auch eine über die bloße „Plausibilitätsprüfung“ hinausgehende kritische Hinterfragung der Ergebnisse der KI, vgl. NJW 2016, 2860 (2863). 85 So auch § 33 Abs.1a WpHG für den Sonderfall des algorithmus-basierten Handel mit Finanzinstrumenten, vgl. dazu die weiteren Nachweise in Fn. 88 bei Mößlein, ZIP 2018, 204 ff. (211). 82

Recht und Politik, Beiheft 6

Der Einsatz von KI in der und durch die Unternehmensleitung

je verfügbarer Formen künstlicher Intelligenz werden, desto eher werden sie in einem ersten Schritt zum „Stand der Technik“ werden und sodann sukzessive in die grds. dynamisch ausgestaltete Sorgfalt eines ordentlichen Kaufmannes „hineinwachsen“. Dann wird sich durch das Unterlassen des Einsatzes von dem Unternehmen, seinem Gegenstand und seinen Zielen dienender KI bei vertretbaren Kosten im Unternehmen eine Verletzung der Vorstand bzw. Geschäftsführung obliegenden Pflicht zur sachgerechten Unternehmensorganisation ergeben.86 7. Vorstand und Geschäftsführung sind berechtigt, Algorithmen und KI im Unternehmen einzusetzen, haben dabei aber neben den allg. Anforderungen an die vertikale Delegation von Aufgaben an Mitarbeiter modifizierte und zusätzliche KI-bezogene Anforderungen zu beachten. 8. Eine Rechtspflicht zum Einsatz von Algorithmen oder KI besteht derzeit nur ausnahmsweise, wenn durch den „Nicht-Einsatz“ die Grenzen des unternehmerischen Ermessens überschritten werden. 9. Soweit Algorithmen oder sonstige KI auf Basis der ihr verfügbaren Entscheidungsgrundlagen – weitergehend – Handlungsempfehlungen aussprechen bzw. bestehende Handlungsalternativen nach vorgegebenen Parametern bewerten und priorisieren können, erfordert die Sorgfalt eines gewissenhaften Geschäftsmannes, dass diese von Vorstand bzw. Geschäftsführung bei der Entscheidung des Vorstands / der Geschäftsführung angemessen berücksichtigt werden. Das bedeutet: a) In Bezug auf die Handlungsempfehlungen der KI besteht für das Leitungsgremium – selbstverständlich – keine Folgepflicht. Handlungsempfehlungen der KI können m. E. alleine nicht Grundlage unternehmerischer Entscheidungen sein, unternehmerische Entscheidungen, die ausschließlich auf einer KI-Empfehlung beruhen, wären pflichtwidrig und damit für die verantwortlichen Organmitglieder haftungsbegründend.87 b) Auch für eine irgendwie geartete „Im Zweifel-Regel“ im Sinne einer Folgepflicht fehlt es an einer gesetzlichen Grundlage und eine solche wäre daher auch abzulehnen. c) Die Handlungsempfehlung der KI ist vom Leitungsgremium anhand der sonstigen Entscheidungs-grundlagen stets zu verplausibilisieren und anhand anderer Erkenntnisquellen in Frage zu stellen („Natural intelligence challenges artificial intelligence“) d) In Frage verplausibilierte und gestellte Handlungsempfehlungen sind sodann mit angemessenem Gewicht in die Entscheidungsgrundlagen für die unternehmerische Entscheidung einzustellen. e) Erfolgt eine der KI-Empfehlung folgende Entscheidung durch die Unternehmensleitung, ist neben der zu dokumentierenden KI-Empfehlung auch das Ergebnis der positiven Verplausibilisierung und der Infragestellung festzuhalten.

86 Ebenso Spindler, DB 2018, 41 ff. (45). 87 Ebenso Weber/Kiefner/Jobst, NZG 2018, 1131 (1132). Recht und Politik, Beiheft 6

83

Oliver Lücke

f) Erfolgt eine von der KI-Empfehlung abweichende Entscheidung durch die Unternehmensleitung, wird dies jeweils zu begründen sein, also die Gewichtung des KI-Vorschlags im Verhältnis zu anderen Entscheidungsgrundlagen zu bestimmen und zu begründen sein. Nur dann wird sich das Gremium weiter im Bereich der Business Judgement Rule bewegen. Ausblick: Entsprechend dem weiteren Fortschritt, der weiteren Qualitätssteigerung der KI und ihrer Ergebnisse werden sich die Anforderungen an diese Begründung der Unternehmensleitung für eine Abweichung von KI-Empfehlungen bzw. bei einem „Overruling“ der KI-Empfehlung durch das Gremium bei unternehmerischen Entscheidungen qualitativ weiter verdichten und vertiefen. 10. Das Unterlassen des Einsatzes von dem Unternehmen, seinem Gegenstand und seinen Zielen angemessener KI im Unternehmen bei angemessenen Kosten kann eine Verletzung der Vorstand bzw. Geschäftsführung obliegenden Pflicht zur ordnungsgemäßen Unternehmensführung in Form der sachgerechten Unternehmensorganisation darstellen. Dies kann – Schadenseintritt beim Unternehmen in der Folge einmal unterstellt – entsprechende Schadensersatzansprüche gegen Vorstand bzw. Geschäftsführung begründen. 11. Gerade bei bedeutenderen unternehmerischen Maßnahmen wie strategischen Weichenstellungen oder Großinvestitionen kommt bereits heute – und künftig verstärkt – der Einsatz von Algorithmen und KI auch als Berater von Vorstand und Geschäftsführung in Betracht.

84

Recht und Politik, Beiheft 6

Geschlechtergerechte Regulierungsansätze im EU-Weißbuch zur Künstlichen Intelligenz* Von Wiebke Fröhlich, Lisa Meltendorf und Anne Reiher In dem „Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“1 von Februar 2019 hat die EU-Kommission ihren Regelungsansatz für neue Technologien vorgestellt und zur weiteren Diskussion der Thematik eingeladen. Der Deutsche Juristinnenbund e.V. (djb) beteiligt sich hieran mit einer Stellungnahme und fordert eine geschlechtergerechte Regulierung von Künstlicher Intelligenz (KI).2

I. Chancen und Risiken von KI Vereinfachend zusammengefasst versteht man unter KI einen Teilbereich der Informatik, der auf der Grundlage hoher Rechenkapazitäten und Big Data Computer befähigt selbstlernend menschliches Verhalten nachzuahmen. Wegen der Vielseitigkeit ihrer Anwendungsmöglichkeiten, beherbergt KI das Potential viele unterschiedliche Lebensbereiche zu revolutionieren. Die Kommission sieht in KI einen wesentlichen Wirtschaftsfaktor und prognostiziert u. a. für die Gesundheitsfürsorge, Industrie, Klimaschutz und Sicherheit ein erhebliches Verbesserungspotential.3 Gleichzeitig warnt die Kommission vor Risiken, die sich aus den Eigenschaften von KI ergeben.4 Diese Gefahren basieren vor allem auf der Undurchsichtigkeit von algorithmischen Entscheidungsprozessen („Blackbox-Effekt“) und nicht neutralen Datensätzen, die von KI-Systemen zur Entscheidungsfindung herangezogen werden. Diese Eigenschaften von KI können zur (geschlechterbezogenen) Diskriminierung führen. Zwar ist auch menschliches Handeln nicht vorurteilsfrei. Wegen der leichten Skalierbarkeit von KI, ist das Diskriminierungspotential durch KI-Systeme jedoch höher. Beispielhaft verweist die Kommission auf KI-Systeme zur Gesichtserkennung und * 1 2 3 4

Zuerst in: RuP 3/2020, 423 – 426. Europäische Kommission, „Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“, COM(2020) 65 final. Pressemitteilung des Deutschen Juristinnenbunds e.V. (djb) vom 15. 06. 2020, https://www. djb.de/verein/Kom-u-AS/ASDigi/pm20-28/. COM(2020)65 final, S. 1. COM(2020)65 final, S. 1, 12 ff.

Recht und Politik, Beiheft 6 (2021), 85 – 88

Duncker & Humblot, Berlin

Wiebke Fröhlich, Lisa Meltendorf und Anne Reiher

Vorhersage der Rückfälligkeit von Straftäter*innen, die nachweislich die Betroffenen auf Grund ihres Geschlechts und ihrer Rasse diskriminierten.5 Vor diesem Hintergrund beabsichtigt die Kommission auf europäischer Ebene ein Regelungsregime für KI zu etablieren, dass zum einen die Potentiale von KI für europäische Unternehmen fördert, während gleichzeitig europäische Werte bewahrt bleiben.

II. Regelungsbedarf für eine geschlechtergerechte Gestaltung von KI In dem Weißbuch stellt die Kommission politische Optionen vor, die Chancen und Risiken in einen fairen Ausgleich bringen sollen. Hinsichtlich der geschlechtergerechten Gestaltung von KI sieht die Kommission Handlungsbedarf in den Aspekten Haftung, erwägt spezifische Vorgaben für eine KI-Regulierung und fordert die Förderung von Frauen. Im Falle der Diskriminierung durch ein KI-System erschwert die Opazität dieser Systeme es den Betroffenen Verstöße von Rechtsvorschriften aufzudecken und gegen diese Verstöße vorzugehen.6 Ein effektiver Rechtsschutz ist somit nicht gewährleistet. Die Kommission schlägt vor, durch Maßnahmen sicherzustellen, dass KI-Systeme anhand von Daten trainiert werden, bei denen „die Werte und die Regeln der EU eingehalten werden“.7 Datensätze müssten ausreichend repräsentativ sein.8 Es solle sichergestellt werden, dass das „Geschlecht“ und andere mögliche Gründe für verbotene Diskriminierung in diesen Datensätzen angemessen berücksichtigt werden.9 Zudem sollen die für eine algorithmenbasierte Entscheidung relevanten Daten und die Methodik der Datenanalyse gespeichert werden, um Entscheidungen einer nachträglichen Kontrolle unterziehen zu können.10 Schließlich sollen Entscheidungen besonders risikorelevanter KI-Systeme der menschlichen Kontrolle unterliegen, bevor sie wirksam werden.11 Weiterhin fordert die Kommission, dass mehr Frauen im Bereich KI ausgebildet werden.12

5 6 7 8 9 10 11 12 86

COM(2020)65 final, S. 13. COM(2020)65 final, S. 16. COM(2020)65 final, S. 22. COM(2020)65 final, S. 22 f. COM(2020)65 final, S. 22. COM(2020)65 final, S. 23. COM(2020)65 final, S. 25. COM(2020)65, S. 7. Recht und Politik, Beiheft 6

Geschlechtergerechte Regulierungsansätze im EU-Weißbuch KI

III. Position des djb In seiner Stellungnahme begrüßt der djb ausdrücklich den grundrechtsorientierten Ansatz der Kommission. KI-Systeme sind am Maßstab europäischer Grundwerte, insbesondere der Menschenwürde und dem Recht auf Privatsphäre, zu entwickeln. Der djb begrüßt ferner, dass die Kommission ausdrücklich das Diskriminierungsrisiko wegen des Geschlechts durch den Einsatz von KI thematisiert. Datensätze können bestehende geschlechtsspezifische Ungleichheiten widerspiegeln. Bei der Verwendung dieser Datensätze durch Algorithmen, werden diese Ungleichheiten fortgeschrieben. Gemäß dem Diskriminierungsverbot sind Benachteiligungen durch algorithmische Entscheidungen erst nach dem Eintritt der Benachteiligung justiziabel. Der djb vertritt deswegen die Auffassung, dass Diskriminierungsverbote allein keinen ausreichenden Rechtsschutz bieten. Der djb weist zudem daraufhin, dass bereits die Kategorisierung eines Individuums nach seinem Geschlecht in das Recht auf informationelle Selbstbestimmung nach Art. 1 Abs. 1, 2 Abs. 1 GG, und das Recht auf Datenschutz, Art. 7 bzw. Art. 8 EU-GRCh, eingreift. Der Einzelne wird so pauschal anhand von Durchschnittswerten beurteilt. Gleichzeitig ist jedoch anzumerken, dass eine geschlechterbasierte Kategorisierung helfen kann, strukturelle Ungleichbehandlungen auf Grund des Geschlechts zu identifizieren und abzubauen. Die Vor- und Nachteile einer geschlechtsspezifischen Kategorisierung sollten daher gegeneinander abgewogen werden. Hinsichtlich der Haftungsfragen teilt der djb die Auffassung der Kommission, dass wegen der Opazität von KI-Systemen die bestehenden Regelungsregime entsprechend anzupassen sind, sodass Ersatz- und Beseitigungsansprüche bei (Grund‐)Rechtsverletzungen effektiv durchsetzbar sind. Denkbare Regelungsansätze sind unter anderem ein Recht auf Einsichtnahme in den der algorithmischen Entscheidung zu Grunde liegenden Datensatz, die Offenlegung der KI-Methodik und eine Beweislastumkehr zu Gunsten der betroffenen Person. Ferner unterstützt der djb die Forderung, dass Daten und die Entscheidungsmethodik für einen bestimmten Zeitraum aufbewahrt werden müssen, damit einzelne Entscheidungen nachvollzogenen werden können. Auch der Anforderung, dass Datensätze vorab darauf überprüft werden, ob sie hinsichtlich des Geschlechts ausreichend repräsentativ sind, und diese gegebenenfalls zu bereinigen, stimmt der djb zu. Um Entscheidungen nachvollziehen zu können, sollten Betroffene außerdem einen Anspruch auf eine Erklärung der Entscheidung haben. Der djb begrüßt auch den Vorschlag, besonders risikoreiche Entscheidungen der menschlichen Kontrolle zu unterziehen. Der djb stimmt mit der Kommission überein, die Ausbildung von Frauen in dem Bereich KI zu fördern. KI-Systeme sind nicht neutral, sondern bergen das Risiko geschlechterbezogener Diskriminierung. Es ist daher von zentraler Bedeutung, dass sich Männer und Frauen gleichermaßen an der Entwicklung von KI-Systemen beteiligen und durch entsprechende Bildungsangebote für die Genderrelevanz von KI sensibilisiert werden. Recht und Politik, Beiheft 6

87

Wiebke Fröhlich, Lisa Meltendorf und Anne Reiher

IV. Fazit Der djb begrüßt die Überlegungen der Kommission im Weißbuch zur Regulierung von KI. Dies gilt insbesondere für die Risiken der geschlechterbezogenen Diskriminierung durch KI-Systeme sowie die vorgeschlagenen Regelungsansätze, den Gefahren von Diskriminierung entgegen zu wirken. Von den Regelungen sollten Systeme mit geringem Diskriminierungspotential ausgenommen sein.

88

Recht und Politik, Beiheft 6

BUCHBESPRECHUNG „Prinzip Mensch“: Eine umfassende Einführung in die politische Dimension der Künstlichen Intelligenz Paul Nemitz/Matthias Pfeffer, Prinzip Mensch. Macht, Freiheit und Demokratie im Zeitalter der Künstlichen Intelligenz, Dietz-Verlag Bonn, 2020, 431 S., 26,00 Euro. ISBN 978-3-8012-0565-2

Mit „Prinzip Mensch“ haben die Autoren Paul Nemitz und Matthias Pfeffer ein interdisziplinäres Werk zum Thema Künstliche Intelligenz (KI) im Zusammenspiel von Macht, Freiheit und Demokratie geschrieben. Das Kernanliegen des Buchs ist die Notwendigkeit, KI zu regulieren. Anderenfalls komme es beim nächsten, durch KI ausgelösten Technologiesprung erneut zur Monopolbildung und den damit verbundenen Abhängigkeiten von einzelnen Technologieunternehmen. Die Autoren warnen, dass dies eine immense Gefahr für Staat und Gesellschaft berge. Der Fokus wird dabei auf die Big Five der US-amerikanischen Technologie-Branche (GAFAM) gelegt: Google (Alphabet), Amazon, Facebook, Apple und Microsoft, die mit ihrem Einfluss systematisch Demokratie und Rechtsstaat unterminieren würden. Im Zentrum steht eine scharfsinnige Analyse des im Silicon Valley vorherrschenden Weltbilds – der sog. Kalifornischen Ideologie. Die Bewegung der 1990er Jahre habe sich über die Zeit von ihren ursprünglichen Ideen weit entfernt. Der anfängliche Idealismus – einen staats- und repressionsfreien, sich selbst verwaltenden Cyber-Diskursraum als Gegenentwurf zu den „klassischen“ Massenmedien zu schaffen – sei einem einzigen neoliberalen Ziel gewichen: Es werde die absolute Deregulierung von Technologie angestrebt, also der vollständige Rückzug der Politik aus dem Digitalem. Demokratie und Big Government seien bereits von Beginn an als Widerspruch zur – ursprünglich individuellen, mittlerweile jedoch unternehmerischen – Freiheit verstanden worden. Wer bislang davon ausging, dass sich die Ziele der Techkonzerne auf reine Profitmaximierung reduzieren ließen, wird durch das Buch aufgeklärt: Angestrebt werde die technische Allmacht durch die totale Digitalisierung von Mensch und Natur – Algorithmen statt menschlicher Politik und Software-Entwickler als „gottgleiche“ Schöpfer. Der Leser wäre möglichweise versucht, dieses Selbstbild als schlichten Größenwahn einzelner „Masters of Cyberspace“ abzutun. Jedoch überzeugen die Autoren mit einem bestechenden Argument: Die Anhänger dieser Ideologie sitzen in den Unternehmensleitungen der GAFAM und beeinflussen maßgeblich deren strategische Ausrichtung. Dafür steht ihnen eine außergewöhnliche Marktmacht zur Verfügung, denn die Kapitalisierung eines jeden dieser Unternehmen entspricht in etwa der aller DAX30-Unternehmen zusammen. Vor diesem Hintergrund wird mit dem weitverbreiteten Irrtum aufgeräumt, dass das Internet oder die Technik frei von Regulierung bleiben müsse, damit die individuelle

Recht und Politik, Beiheft 6 (2021), 89 – 90

Duncker & Humblot, Berlin

Buchbesprechung

Freiheit nicht gefährdet werde. Diese rein abwehrrechtliche Betrachtung sei ein Zirkelschluss, da Freiheit nicht durch Regulierung gefährdet werde, sondern durch die Ablehnung von Regeln, die eben diese schützen soll. Die Techgiganten würden die regulatorischen Freiräume gezielt für sich nutzen. Die unregulierte KI als „Machtmittel“ sei besonders besorgniserregend. Denn hätten die GAFAM dieses Potential erst vollständig erschlossen, sei ungewiss, ob der Staat ihnen nachträglich noch gesetzliche Grenzen auferlegen könne. Trotz der düsteren Aussichten haben die Autoren dennoch keine pessimistische Sicht auf die technologische Zukunft. Ganz im Gegenteil – sie sehen großes demokratisches Profilierungspotential der Europäischen Union. Das Ziel müsse sein, Europas digitale Souveränität mithilfe von Technologien mit „Rechtsstaatlichkeit, Demokratie und Menschenrechten by Design“ zurückzugewinnen. Was die Autoren darunter verstehen, zeigt sich an den vielfältigen Vorschlägen für politische Maßnahmen im letzten Teil des Buchs. Besonders hervorzuheben ist dabei die der DSGVO entlehnte Idee, die KI einem Legalitätsprinzip bzw. behördlichem Genehmigungsvorbehalt zu unterwerfen. Zudem solle KI-Entwicklern eine Produktüberwachungspflicht auferlegt werden. Gegen die Machtkonzentration bei großen Digitalkonzernen solle mittels wettbewerbsrechtlicher Regulierung vorgegangen werden. Ab einer Kapitalisierungsschwelle von 500 Mrd. EUR müsse die Plattformneutralität, Interkonnektivität und Trennung von Aktivitäten sichergestellt werden. Im Fazit liest sich das Buch vor dem Hintergrund der aktuellen Rechtsentwicklung auf europäischer Ebene als umfassende Hintergrundlektüre zu den digitalpolitischen Bestrebungen der EU-Kommission. Es legt die philosophischen, politischen und rechtlichen Grundlagen für die weitere Debatte. Es ist aber auch eine Mahnung, die Regulierung des Digitalen nicht auf formell juristisch Aspekte zu beschränken. Die Autoren weisen durchweg ein gutes Gespür für die Vorkenntnisse des digitalpolitisch interessierten Lesers auf und stellen etwa den philosophischen Betrachtungen stets die notwendigen Grundlagen voran. Insgesamt ist „Prinzip Mensch“ ein Bekenntnis zur Europäischen Union, ein starkes Plädoyer für den universellen Schutz von Grund- und Menschenrechten im digitalen Raum und daher uneingeschränkt zu empfehlen. Johannes S. Stuve

90

Recht und Politik, Beiheft 6

AUTOREN DIESES HEFTES Fröhlich, Wiebke, Wissenschaftliche Mitarbeiterin am Lehrstuhl für Öffentliches Recht, Informationsrecht, Umweltrecht und Verwaltungswissenschaft von Prof. Dr. Spiecker gen. Döhmann (LL.M.), Goethe-Universität Frankfurt am Main. Lücke, Oliver, Dr. jur. Rechtsanwalt/Fachanwalt für Arbeitsrecht. Meltendorf, Lisa, Regierungsrätin. Bundesministerium des Innern, für Bau und Heimat. Reiher, Anne, LL.M., Rechtsanwältin. Stuve, Johannes S., Dr. jur., LL.M. (University of Glasgow). Rechtsreferendar am Kammergericht Berlin. Selbstständige Veröffentlichungen: Haftung für Werbung auf urheberrechtsverletzenden Websites, Berlin (Duncker & Humblot) 2021.

Recht und Politik, Beiheft 6 (2021), 91

Duncker & Humblot, Berlin