Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG [1 ed.] 9783428587872, 9783428187874

Citation preview

Abhandlungen zum Deutschen und Europäischen Gesellschafts- und Kapitalmarktrecht Band 209

Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG Von

Marc Telle

Duncker & Humblot · Berlin

MARC TELLE

Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG

Abhandlungen zum Deutschen und Europäischen Gesellschafts- und Kapitalmarktrecht Herausgegeben von Professor Dr. Holger Fleischer, LL.M., Hamburg Professor Dr. Hanno Merkt, LL.M., Freiburg Professor Dr. Gerald Spindler, Göttingen

Band 209

Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG

Von

Marc Telle

Duncker & Humblot · Berlin

Die Juristische Fakultät der Heinrich-Heine-Universität Düsseldorf hat diese Arbeit im Jahr 2022 als Dissertation angenommen.

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

D 61 Alle Rechte vorbehalten

© 2023 Duncker & Humblot GmbH, Berlin Satz: L101 Mediengestaltung, Fürstenwalde Druck: CPI books GmbH, Leck Printed in Germany ISSN 1614-7626 ISBN 978-3-428-18787-4 (Print) ISBN 978-3-428-58787-2 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706

Internet: http://www.duncker-humblot.de

Vorwort Die vorliegende Arbeit wurde im Sommersemester 2022 von der Juristischen Fakultät der Heinrich-Heine-Universität Düsseldorf als Dissertation angenommen. Die mündliche Prüfung fand am 1. September 2022 statt. Lite­ ratur und Rechtsprechung sind bis Ende April 2022 berücksichtigt. Herzlich bedanken möchte ich mich zunächst bei meinem Doktorvater, Herrn Prof. Dr. Ulrich Noack, für die in jeder Hinsicht einwandfreie Betreuung meines Promotionsvorhabens und die rasche Erstellung des Erstgutachtens. Mein Dank gilt darüber hinaus Frau Privatdozentin Dr. Julia Kraft, LL.M. (KU Leuven) für die ebenfalls zügige Erstellung des Zweitgutachtens. Besonderes dankbar bin ich meinem guten Freund, Simon Fischer, für seine wertvollen Anregungen und das Korrekturlesen dieser Arbeit. Mein größter Dank gilt meiner Frau Carina. Ich danke dir für deine bedingungslose und jederzeitige Unterstützung sowie die entgegengebrachte Geduld während meiner rechtswissenschaftlichen Ausbildung und der Zeit der Erstellung dieser Dissertationsschrift. Ohne dich und deinen Rückhalt hätte ich diese Arbeit nicht verfassen können. Nicht mit Worten zu beschreiben ist schließlich der Beitrag meiner Mutter, die mir mein Studium ermöglicht, mich zeitlebens gefördert und zu dem Menschen gemacht hat, der ich heute bin. Dir ist diese Arbeit von ganzem Herzen gewidmet. Wuppertal, im September 2022

Marc Telle

Inhaltsverzeichnis

Einführung 

13

A. Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 B. Anwendungsbeispiele und Aktualität der Thematik . . . . . . . . . . . . . . . . . . . . . I. Anwendungsbereiche im Wirtschaftsleben . . . . . . . . . . . . . . . . . . . . . . . . . II. Politische Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Deutschland . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Europäische Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. USA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Multinationale Kooperationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Rechtsprechung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17 17 19 19 20 21 22 23

C. Terminologie und technisches Verständnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Künstliche Intelligenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Machine Learning & Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . a) Überwachtes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . b) Unüberwachtes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . c) Bestärkendes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. KI-Akteure  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23 24 25 26 27 28 28 28

D. Untersuchungsgegenstand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Teil 1

Recht und Pflicht zur Nutzung eines KI-Systems als „Entscheidungs- und Informationsassistent“ im Leitungsbereich 

31

A. Die Leitungskompetenz des Vorstands und ihre Delegation . . . . . . . . . . . . . . 31 I. Der Begriff der Unternehmensleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 II. Grenzen der Übertragbarkeit von Leitungsaufgaben . . . . . . . . . . . . . . . . . 32 B. Recht zur KI-gestützten Entscheidungsfindung . . . . . . . . . . . . . . . . . . . . . . . . 34 I. Zulässigkeit der Leitungsunterstützung durch KI-Systeme („Legalität“) . 34 1. Das KI-System als vorgeschaltetes Hilfs- und Arbeitsmittel des Vorstands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 a) Übertragung der Grundsätze zur Aufgabendelegation . . . . . . . . . . . 36 aa) Fehlende Nachvollziehbarkeit – das Blackbox-Problem . . . . . 36 bb) Fehlende Eigenhaftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

8 Inhaltsverzeichnis b) Resümee zur Zulässigkeit eines KI-Systems als Hilfsmittel des Vorstands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Nutzung eines externen KI-Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Das KI-System als „Digitales Vorstandsmitglied“ . . . . . . . . . . . . . . . . a) Rechtliche Würdigung de lege lata . . . . . . . . . . . . . . . . . . . . . . . . . b) Rechtliche Würdigung de lege ferenda . . . . . . . . . . . . . . . . . . . . . . 4. Die KI als singuläre Leitungsinstanz . . . . . . . . . . . . . . . . . . . . . . . . . . II. Anforderungen an die abstrakte Einsatzentscheidung . . . . . . . . . . . . . . . . 1. Unternehmerische Entscheidung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Kompetenz und Einfluss der Hauptversammlung . . . . . . . . . . . . . . . . . a) Zustimmungspflicht der Hauptversammlung . . . . . . . . . . . . . . . . . . b) Satzungsmäßige Beschränkungen  . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Zustimmungsvorbehalt des Aufsichtsrats . . . . . . . . . . . . . . . . . . . . . . . 4. Berichtspflicht an den Aufsichtsrat gemäß § 90 Abs. 1 AktG . . . . . . .

41 44 45 45 46 52 53 53 54 54 56 56 58

C. Pflicht zur Nutzung eines KI-Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 I. Herleitung einer KI-Nutzungspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 1. Gesetzliche KI-Nutzungspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 a) Nutzungspflicht resultierend aus einer Analogie zu § 25a Abs. 1 S. 3 Nr. 4 KWG? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 b) Nutzungspflicht resultierend aus der Business Judgement Rule (§ 93 Abs. 1 S. 2 AktG)? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 aa) Dogmatische Einordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 (1) Meinungsstand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 (2) Stellungnahme und Schlussfolgerung . . . . . . . . . . . . . . . . 64 (a) Wortlaut . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 (b) Gesetzeszweck und Historie . . . . . . . . . . . . . . . . . . . . 65 (c) Telos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 (d) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 (e) Konsequenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 bb) Anforderungen an die Informationsgrundlage . . . . . . . . . . . . . 66 c) Nutzungspflicht resultierend aus dem allgemeinen Sorgfaltsmaßstab (§ 93 Abs. 1 S. 1 AktG i. V. m. § 76 Abs. 1 AktG)? . . . . . . . . . 68 d) Nutzungspflicht resultierend aus § 91 Abs. 3 AktG . . . . . . . . . . . . 72 2. Verpflichtung zur KI-Nutzung durch Selbstregulierung . . . . . . . . . . . . 73 a) Nutzungspflicht folgend aus der Satzung der AG . . . . . . . . . . . . . . 73 aa) Reichweite der Satzungshoheit (Satzungsstrenge) . . . . . . . . . . 73 bb) Stellungnahme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 b) Nutzungspflicht folgend aus der Geschäftsordnung des Vorstands . 77 c) Nutzungspflicht folgend aus dem Anstellungsvertrag des jeweiligen Vorstandsmitglieds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 d) Nutzungspflicht folgend aus einer KI-Richtlinie . . . . . . . . . . . . . . . 79 II. Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Inhaltsverzeichnis9 D. Pflicht zur Befolgung der KI-Empfehlungenunter besonderer Betrachtung des Stichentscheids und der Vertragskonzernierung . . . . . . . . . . . . . . . . . . . . . I. Vertragliche Verpflichtung zur Befolgung der KI-Empfehlung . . . . . . . . . II. Die KI-Empfehlung als Mechanismus zur Auflösung von Patt-Situationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Pflicht zur Befolgung der KI-Empfehlungen im Vertragskonzern . . . . . .

80 80 81 82

Teil 2

Das Pflichtenprogramm des Vorstands im Umgang mit entscheidungsunterstützenden KI-Systemen im Leitungsbereich 

85

A. Wahl des Nutzungsweges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 B. Sorgfaltspflichten des Vorstandsim Umgang mit leitungsunterstützenden KI-Systemen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 I. Unternehmensinterner KI-Betrieb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 1. Rechtsdogmatische Einordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 a) Meinungsspektrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 b) Stellungnahme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 aa) Sonderproblem: Anwendbarkeit der ISION-Grundsätze . . . . . 95 (1) Anwendbarkeit auf unternehmerische Entscheidungen?  . 95 (a) Meinungsstand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 (b) Stellungnahme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 (2) Anwendbarkeit auf entscheidungsunterstützende ­KI-Systeme? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 bb) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 2. Die KI-spezifischen Sorgfaltspflichten im Einzelnen . . . . . . . . . . . . . . 101 a) Den Sorgfaltsmaßstab des Vorstands beeinflussende Faktoren . . . . 102 b) KI-spezifische Residualpflichten . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 aa) Make-or-Buy-Entscheidung  . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 bb) Sorgfältige Auswahl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 (1) Auswahlkriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 (a) Funktionalität (technische Zuverlässigkeit) . . . . . . . . . 108 (b) Kompetenz (fachliche Zuverlässigkeit) – das ­KI-System als fachlich qualifizierter Berufsträger i. S. d. ISION-Rechtsprechung? . . . . . . . . . . . . . . . . . . 109 (aa) Die Berufsträgereigenschaft . . . . . . . . . . . . . . . . 109 (bb) Die fachliche Qualifikation . . . . . . . . . . . . . . . . . 110 (c) Neutralität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 (d) Rechenschaftsfähigkeit  . . . . . . . . . . . . . . . . . . . . . . . . 115 (2) Überprüfung der KI-Eigenschaften . . . . . . . . . . . . . . . . . . 118 (a) Zertifikate, Gütesiegel, Standards, Prüfzeichen, Sicherheitskennzeichen und Testate . . . . . . . . . . . . . . 118

10 Inhaltsverzeichnis (aa) Zertifizierungen und Standards nach derzeitigem Stand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 (bb) Zweck und Nutzen der Zertifizierung . . . . . . . . 121 (b) Zulassungspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 (c) Gebrauchsanweisung . . . . . . . . . . . . . . . . . . . . . . . . . . 123 (d) Sachverständige Überprüfung . . . . . . . . . . . . . . . . . . . 124 (e) Funktionstest, Vorführung . . . . . . . . . . . . . . . . . . . . . . 125 (f) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 (3) Weitere Organisationspflichten im Rahmen des KIErwerbsprozesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 (a) Sicherstellung der Rechtskonformität . . . . . . . . . . . . . 127 (b) Implementierung von Grundwerten . . . . . . . . . . . . . . . 129 (c) Implementierung und Kalibrierung der Unternehmensziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 (d) Umgang mit Konflikten . . . . . . . . . . . . . . . . . . . . . . . . 131 cc) Sorgfältige Einweisung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 dd) Hinreichende Ressourcenausstattung . . . . . . . . . . . . . . . . . . . . 133 (1) Gewährleistung der Datenqualität . . . . . . . . . . . . . . . . . . . 135 (2) Gewährleistung ausreichender Datenbestände . . . . . . . . . . 137 ee) Allgemeine Informations- und Fortbildungspflicht . . . . . . . . . 138 (1) Beratung durch den Aufsichtsrat . . . . . . . . . . . . . . . . . . . . 139 (2) Einrichtung eines unterstützenden KI-Rats . . . . . . . . . . . . 140 ff) Fortlaufende Überwachung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 (1) Überwachung der Neutralität und Cybersicherheit . . . . . . 144 (2) KI-Qualitätsmanagement und regelmäßige Audits . . . . . . 147 (3) Einrichtung einer unternehmensinternen KI-Richtlinie . . . 149 gg) Pflicht zur Auseinandersetzung mit der Entscheidungsgrundlage  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 (1) Technischer Funktionalitätscheck . . . . . . . . . . . . . . . . . . . . 151 (2) Technische Herleitungsplausibilisierung . . . . . . . . . . . . . . 152 (3) Sachlich-inhaltliche Plausibilitätskontrolle . . . . . . . . . . . . 154 (a) Sachlich-inhaltliche KI-Plausibilisierung . . . . . . . . . . 155 (b) Entscheidungsplausibilisierung . . . . . . . . . . . . . . . . . . 157 (4) Dokumentationsobliegenheit . . . . . . . . . . . . . . . . . . . . . . . 159 c) Personelle Maßnahmen zu Zwecken der Arbeitsteilung . . . . . . . . . 159 aa) Horizontale Delegation an ein fachkompetentes Vorstandsmitglied . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 bb) Vertikale Delegation an fachkompetente Mitarbeiter . . . . . . . . 161 II. Auslagerung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 1. Wahl des Auslagerungsmodells . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 2. Sorgfältige Auswahl des externen Dienstleisters  . . . . . . . . . . . . . . . . . 163 3. Kautelarjuristische Ausgestaltung des Outsourcing-Vertrages . . . . . . . 164 a) Allgemeine Gestaltungshinweise . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Inhaltsverzeichnis11 b) KI-spezifischer Vertragsinhalt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . aa) Entwicklung des KI-Assistenzsystems . . . . . . . . . . . . . . . . . . . bb) Anforderungen an den Umfang und die Qualität der Daten  . cc) Nutzungs- und Verwertungsrechte . . . . . . . . . . . . . . . . . . . . . . 4. Auslagerungscontrolling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

167 167 168 169 169

Teil 3

Die Haftung des Vorstands im Umgang mit entscheidungsunterstützenden KI-Systemen im Leitungsbereich 

A. Anknüpfungspunkt der Pflichtverletzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I. Zurechnung der fehlerhaften Arbeitsleistung des KI-Systems  . . . . . . . . . 1. Kein Handeln in Erfüllung der Verbindlichkeiten des Vorstands . . . . . 2. Fehlende Verschuldensfähigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Teleologische Begründung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. Verstöße gegen das Delegationsverbot . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. Pflichtverletzung aufgrund unterlassener Aufgabenübertragung an ein KI-System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV. Verletzung von KI-spezifischen Sorgfaltspflichten des Vorstands  . . . . . . V. Keine Zurechnung von Pflichtverletzungen des KI-zuständigen Vorstandsmitglieds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

171 172 172 172 174 176 177 178 178 179 180

B. Kausalität zwischen Pflichtverletzung und Schadenals Voraussetzung der Ersatzpflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 I. Kausalzusammenhang  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 II. Fallgruppe des rechtmäßigen Alternativverhaltens . . . . . . . . . . . . . . . . . . 183

Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen 

185

Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 Stichwortregister  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

Einführung A. Einleitung „Success in creating AI would be the biggest event in human history. Unfortunately, it might also be the last, unless we learn how to avoid the risks.“1

Schon Stephen Hawking beschrieb im Jahre 2014 treffend, dass Künst­liche Intelligenz2 ungeahntes Potenzial besitzt, andererseits aber auch erhebliche Gefahren mit sich bringen kann. Diese These gilt auch und im besonderen Maße für den Einsatz Künstlicher Intelligenz auf Ebene des Unternehmensmanagements einer Aktiengesellschaft.3 KI wird nicht nur am Kapitalmarkt,4 in der Produktion und industriellen Robotersteuerung,5 im Gesundheitswesen,6 in der Smart-Home-Sparte7 oder der Automobilbranche8 Einzug finden. Auch in der operativen Unternehmenssteuerung wird diese Technik aus Gründen progressiver Fortentwicklung und stetig wachsenden Leistungsvermögens auf kurze oder lange Sicht Wettbewerbsvorteile schaffen und dort als integraler Bestandteil an komplexen wirtschaftlichen Entscheidungen mitwirken.9 Fort1  Hawking/Russell/Tegmark/Wilczek, Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?, in: The Independent 2014, abrufbar unter: https://www.independent.co.uk/news/science/stephen-hawkingtranscendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking9313474.html (zuletzt abgerufen am 24.04.2022). 2  Im Folgenden auch „KI“. 3  Im Folgenden auch „AG“. 4  Lehmann, in: Regulierung für Algorithmen und Künstliche Intelligenz, S. 209 ff.; hierzu auch BaFin, Rede zu Big Data und Künstlicher Intelligenz in der Finanzindustrie (10.10.2018), abrufbar unter: https://www.bafin.de/SharedDocs/Veroeffentlichun gen/DE/Reden/re_181010_BCG_Board_Briefing_p.html (zuletzt abgerufen am 24.04. 2022). 5  Wissenschaftliche Gesellschaft für Produktionstechnik, WGP-Standpunkt, KI in der Produktion, S. 9  ff., abrufbar unter: https://wgp.de/wp-content/uploads/WGPStandpunkt_KI-final_20190906-2.pdf (zuletzt abgerufen am 24.04.2022). 6  Allgemein hierzu Steege, GuP 2021, 125; beispielhaft zur algorithmenbasierten Impfpriorisierung im Rahmen der COVID-19-Pandemie Ruschemeier, NVwZ 2021, 750; zum Einsatz von KI in der Pharmaindustrie Dettling/Krüger, PharmR 2018, 513. 7  Skistims, Smart Homes, S. 27 ff. 8  Feldle, in: Digitalisierung, Automatisierung, KI und Recht, S. 199 ff. 9  Ähnlich auch Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 135; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 51; Locke/Bird,

14 Einführung

schrittliche Systeme Künstlicher Intelligenz10 können vielfältige Vorfeldaufgaben im Leitungsbereich einer AG ausführen und auf diese Weise signi­ fikante Effizienzsteigerungen bewirken.11 Vorstandsmitglieder sind keine Universalgelehrten; gerade die Zusammenstellung einer angemessenen Fakten­ basis kann eine für Entscheidungsträger überaus zeitintensive Aufgabe dar­stellen.12 Ein künstlich intelligentes Programm13 könnte diesen Informa­ tionsprozess verkürzen und beispielsweise geplante Investitionsentscheidungen des Vorstands mit analytischer Genauigkeit beurteilen,14 einen Beitrag zur Entwicklung innovativer Geschäftsmodelle und Wettbewerbsstrategien leisten oder dem Management initiativ Handlungsvorschläge zur Einführung neuer Produkte o. ä. unterbreiten15 – vorausgesetzt, die entsprechenden Tätigkeiten lassen sich nach dem Stand der Technik überhaupt algorithmisch abbilden. Die Nutzbarkeit von Echtzeitinformationen, die Geschwindigkeit der Datenverfügbarkeit, die Genauigkeit der KI-Ergebnisse und der Umfang der verwertbaren Informationen werden den Prozess der Entscheidungsfindung des Vorstands von Grund auf verändern und auf lange Sicht nachhaltig verbessern.16 Hierbei geht es nicht um ein „vom Markt drängen“ der Führungsper­ sonen, sondern um eine enge Kollaboration mit der KI-Technologie. Auch der seit langem bestehende Streit um das optimale Corporate-Governance-Modell, insbesondere der Zwiespalt zwischen Shareholder-Value-Konzepten und Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff., abrufbar unter: https://www.researchgate.net/publication/346133054_Perspectives_on_the_current_ and_imagined_role_of_artificial_intelligence_and_technology_in_corporate_govern ance_practice_and_regulation (im Dokument S. 2, zuletzt abgerufen am 24.04.2022); nach Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 4 sei KI „aus Unternehmenssicht ein spannendes Assistenzwerkzeug […], um eigene Entscheidungen zu fundieren“. 10  Im Folgenden auch „KI-System“ genannt. 11  Ähnlich Claus/Szupories, in: CSR und Künstliche Intelligenz, S. 342 f.; Noack, in: FS Windbichler, 947, 951 betont zudem, dass ein entscheidender Vorteil der Künstlichen Intelligenz darin liege, dass die Verwendung der Technik – anders als der Zugriff auf Mitarbeiter – nicht dem arbeitsrechtlichen Restriktionsregime unterliege. 12  So auch Enriques/Zetzsche, ECGI Law WP 457/2019, S. 49. 13  Teilweise wird auch von sog. Expertensystemen gesprochen, so von Stiemerling, CR 2015, 762, 764 f. zur Klassifizierung eines von vier KI-Feldern verwendet; auch Martini, Blackbox Algorithmus, S. 22 spricht von Expertensystemen als „Deepquestion-answering-Verfahren“. 14  Feststellend auch Siebecker, 45 The Journal of Corporation Law 95 (2019), S. 109. 15  Ähnlich Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 4. 16  Hierauf ebenfalls eingehend Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 11, abrufbar unter: https://ssrn.com/abs tract=3874588 (zuletzt abgerufen am 24.04.2022).



A. Einleitung15

Stake­holder-Konzepten (Principal-Agent-Konflikt) könnte mit Hilfe von KI entschärft oder wenigstens abgeschwächt werden.17 Der vorherrschende und vom Kapitalismus geprägte allein anteilseignerorientierte Shareholder-ValueAnsatz wird in der Betriebswirtschaft und Rechtswissenschaft zurecht kritisiert, da dieser lediglich die Steigerung des Unternehmenswertes sowie die Maximierung des Gewinns im Blick hat und in der Tendenz eher auf Kurzfristigkeit ausgerichtet ist.18 Im Vordringen befinden sich deshalb pluralistisch geprägte Ansätze, die neben den Aktionärsinteressen auch die übrigen Interessengruppen berücksichtigen, um ein nachhaltiges und sozial verantwortbares Handeln zu gewährleisten.19 An diesem Scheideweg könnte Künstliche Intelligenz eine integrative Schlüsselrolle einnehmen und eine Verbesserung der menschlich gesteuerten Corporate Governance bewirken.20 Im Programmcode einer dem Vorstand assistierenden KI könnte ein multidimensionaler Interessenansatz hinterlegt werden, der die antagonistischen Bedürfnisse durch angemessene Ausgleichsabwägungen hin zu einer praktikablen Lösung und Konvergenz führt.21 Vor diesem Hintergrund ist es nicht bloß naheliegend, sondern entspricht vielmehr den Prinzipien ordnungsgemäßer Corporate Governance, dass sich der Vorstand in Zukunft mit der Fragestellung befasst, ob Künstliche Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen (auch) im eigenen Unternehmen zum Einsatz kommen soll.22 Oberste Direktive des Vorstands ist das Wohl der Aktiengesellschaft und damit insbesondere deren

17  Ähnlich Armour/Eidenmüller, ZHR 183 (2019), 169, 181, 182 f.; Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 6 ff. (Fn. 16); i. E. auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 24. 18  Hierzu auch Armour/Eidenmüller, ZHR 183 (2019), 169, 178; Fleischer, in: BeckOGK/AktG, § 76 Rn. 32. 19  Dies feststellend auch Schmidt, BB 2021, 1923, 1929 f.; Watson, Viewing Artificial Persons in the AI Age Through the Lens of History (2020), Law Working Paper No. 569/2021, abrufbar unter: https://ssrn.com/abstract=3734009 (zuletzt abgerufen am 24.04.2022). 20  Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 6 (Fn.16). 21  Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 6 f. (Fn. 16). 22  So im Ergebnis auch Lücke, BB 2019, 1986, 1989; so auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 1; Noack, ZHR 183 (2019), 105, 117; Zetzsche, AG 2019, 1, 9; ähnlich Claus/Szupories, in: CSR und Künstliche Intelligenz, S. 348, wonach Führungskräfte verpflichtet seien, die Arbeitsverteilung zwischen menschlicher und künstlicher Intelligenz „regelmäßig zu hinterfragen […], um daraus Wettbewerbsvorteile zu generieren“.

16 Einführung

langfristig gesicherte Rentabilität.23 Um diesem Ziel gerecht zu werden, ist der Vorstand gehalten, den Wettbewerb und technologische Neuerungen stets zu beobachten.24 Zwei Fälle aus dem Jahre 2012 zeigten beispielhaft, wie entscheidend es sein kann, im richtigen Moment auf den „Zug der Digitalisierung“ aufzuspringen. So wurde das US-amerikanische Unternehmen Eastman Kodak Company von seinen Wettbewerbern Nikon und Canon aus dem Markt verdrängt, da es an der Analogfotografie festhielt, anstatt die Produktion auf die zum damaligen Zeitpunkt revolutionäre Digitalfotografie umzustellen.25 Auch das finnische Unternehmen Nokia reagierte zu zögerlich auf den digitalen Fortschritt, als es zur Markteroberung des Smartphones kam. Stattdessen setzte das Unternehmen weiterhin auf seine bisherige Cashcow, das altbewährte Tastaturhandy.26 Infolgedessen verlor Nokia schließlich die Marktführerschaft im Mobilfunkbereich, während Konkurrenten wie Sam­ sung und Apple die Mehrzahl der Marktanteile übernahmen und bis heute erfolgreich in der Smartphone-Sparte vertreten sind.27 Gleichwohl darf sich der Vorstand nicht ausschließlich auf die möglichen Vorteile im Zusammenhang mit der Einführung und Nutzung eines KI-Systems versteifen. Vielmehr ist er gehalten, auch die potenziellen Risikofaktoren in den Blick zu nehmen. Verlässt sich der Vorstand im Rahmen des unternehmerischen Entscheidungsprozesses etwa auf ein fehlerhaft programmiertes und intransparentes KI-System, erleidet das Unternehmen im ungünstigsten Fall beträchtliche materielle und immaterielle Schäden, welche wiederum in einem Organhaftungsprozess gegenüber dem Vorstand geltend gemacht werden könnten.28 Die sorgsame Abwägung des Einsatzes, ein strukturiertes Auswahlverfahren, umfassende Sicherheitsvorkehrungen durch präventive Organisationsmaßnahmen sowie eine nachfassende Plausibilisierung bilden deshalb die Grundlage unternehmerischer Risikobegrenzung.

23  Dauner-Lieb, in: Henssler/Strohn, AktG, § 76 Rn. 11; Koch, in: Koch, AktG, § 76 Rn. 34; Spindler, in: MüKo/AktG, § 76 Rn. 72. 24  Thiel/Nazari-Khanachayi, RDi 2021, 134, 140. 25  Dahm/Thode, Strategie und Transformation im digitalen Zeitalter: Inspirationen für Management und Leadership, S. 14. 26  Kirchner, in: Barton/Müller/Seel, Digitalisierung in Unternehmen: Von den theoretischen Ansätzen zur praktischen Umsetzung, S. 28. 27  Nach einer Studie des Marktforschungsunternehmens Gartner ging der Mobilfunkabsatz von Nokia zwischen dem 3. Quartal 2011 und dem 3. Quartal 2015 um über 70 Prozent zurück, währen Apple seinen Absatz mit Mobiltelefonen im gleichen Zeitraum mehr als verdoppeln konnte, abrufbar unter: https://de.statista.com/statistik/ daten/studie/12715/umfrage/absatz-von-mobiltelefonen-seit-dem-1-quartal-2008nach-hersteller/ (zuletzt abgerufen am 24.04.2022). 28  So auch Enriques/Zetzsche, ECGI Law WP 457/2019, S. 34.



B. Anwendungsbeispiele und Aktualität der Thematik17

B. Anwendungsbeispiele und Aktualität der Thematik I. Anwendungsbereiche im Wirtschaftsleben Künstliche Intelligenz erobert derzeit auf unterschiedlichsten Ebenen die Wirtschaftswelt – sie wird etwa zur Erkennung von Texten, Bildern oder Sprache genutzt;29 auch im Marketing werden zunehmend KI-Systeme eingesetzt, um das Kaufverhalten der Kunden zu analysieren und vorherzu­ sehen.30 Ein benachbartes ebenfalls weites Anwendungsgebiet umfasst sog. wissensbasierte Expertensysteme.31 Hier speichert und ordnet das KI-System erhebliche Mengen von Daten über ein ausgewähltes Fachgebiet, trifft autonom Schlussfolgerungen und erarbeitet nach erfolgter Eingabe konkreter Fragen passgenaue Lösungen (sog. Question-Answering-System).32 Gerade auf diesem Forschungsfeld verspricht man sich perspektivisch eine erhebliche Arbeitserleichterung für die unternehmerische Führungsebene, da Expertensysteme aufgrund ihrer umfangreichen Wissensbasis auf lange Sicht eine Bandbreite besitzen werden, die es ermöglicht, im vielschichtigen Leitungsbereich der AG zumindest einzelne Unterstützungsaufgaben zu bewältigen.33 Beispielsweise arbeitet das US-Unternehmen Blackrock als weltweit größte Vermögensverwaltung bereits seit längerem mit der unternehmenseigenen Risikomanagement- und Datenanalysesoftware „Aladdin“.34 Die von Algorithmen gesteuerte Software sammelt Informationen über Unternehmen und die Wirtschaft, wertet die Daten aus und beurteilt anhand der Ergebnisse die

29  Eine anschauliche Darstellung der derzeit wesentlichen Anwendungsfelder Künstlicher Intelligenz findet sich in der Übersicht von Martini, Blackbox Algorithmus, S.  110 ff. 30  Allgemein hierzu Bünte, KI – Die Zukunft des Marketing, S. 7 ff.; so auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 25. 31  Stiemerling, CR 2015, 762. 32  Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, S. 12; Wittpahl, Künstliche Intelligenz, S. 24; zum Begriff des „Question-Answering-Systems“ vgl. BaFin, Big Data trifft auf künstliche Intelligenz: Herausforderungen und Implikationen für Aufsicht und Regulierung von Finanzdienstleistungen, 2018, S. 35, abrufbar unter: https://www.bafin.de/SharedDocs/Downloads/DE/dl_bdai_studie.html (zuletzt abgerufen am 24.04.2022). 33  Zurecht betonen jedoch Vocelka/Langensiepen/Beismann, in: CSR und Künst­ liche Intelligenz, S. 53, dass gerade im Hinblick auf Leitungsentscheidungen „der menschliche Kontakt, die individuelle Expertise und situationsgerechte Flexibilität sehr wichtig, jedoch von der KI nur deutlich schwer oder unmöglich zu erfassen“ ist. 34  Vertiefend Gara/Baldwin, BlackRock’s Edge, Forbes (26.12.2017), S. 52  ff., abrufbar unter: https://www.forbes.com/sites/antoinegara/2017/12/19/blackrocksedge-why-technology-is-creating-a-6-trillion-amazon-of-wall-street/?sh=18104be56 1bb (zuletzt abgerufen am 24.04.2022).

18 Einführung

Risiken des jeweiligen Anlageprodukts im Portfolio – auf diese Weise sollen Investmententscheidungen unterstützt werden.35 Im Kontext unternehmerischer Entscheidungen der Geschäftsleitung kommen u. a. KI-gestützte Softwareprogramme zur –– Unterstützung bei der Auswahl nachgeordneten Führungspersonals, –– Produkt- und Produktionsoptimierung, –– Planung der Unternehmensfinanzierung, –– Vorbereitung umfangreicher Investment- oder Finanzierungsscheidungen (Marktsondierung, Planung usw.), –– Prognoseerstellung, z. B. im Hinblick auf das Nachfrageverhalten, etwaige Geschäftschancen, zu erwartende Umsätze und Gewinne, –– Vorbereitung und Konzeption eines internen Compliance-Systems oder –– Entwicklung einer internen Cybersicherheitsstrategie in Betracht.36 Ferner können auch künstlich intelligente Systeme im Bereich der Texterkennung – beispielsweise zur Analyse komplexer Transaktionsverträge – hilfreiche Werkzeuge darstellen und die Entscheidungsfindung des Vorstands vereinfachen.37 Bereits gegenwärtig kommen in Vorstandsetagen zunehmend fortschritt­ liche Technologien u. a. als Sitzungsorganisationstools, Wissensspeicher und cloudbasierte Informationspools zum Einsatz.38 Gemeint sind sog. BoardPortale, d. h. Online-Management- und Kollaborationsplattformen für Führungspersönlichkeiten, die passwortgeschützt einen jederzeitigen Zugriff auf die bereitgestellten Daten ermöglichen.39 Die unterstützenden Funktionen dieser Systeme wachsen rasant; bereits heute arbeiten Board-Portale vereinzelt mit KI-Technik in einfachen Gestaltungsformen (Datenanalyse-Tools, Verfügbarkeit bedarfsgerechter Echtzeitinformationen usw.).40 Programme BlackRock’s Edge, Forbes (26.12.2017), S. 52 ff. (Fn. 34). zu den Anwendungsbeispielen von KI auf Ebene des Vorstands der AG auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  26 ff.; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 4; allgemeine Aufzählung von Leitungsaufgaben des Vorstands bei Spindler, in: MüKo/AktG, § 76 Rn. 16. 37  Grub/Krispenz, BB 2018, 235, 237; Hoch, AcP 219 (2019), 648, 649 f.; Noack, in FS Windbichler, 947, 949; Zetzsche, AG 2019, 1, 5. 38  Fischer/Bornhauser, GesKR 2016, 425, 427; Locke/Bird, Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff. (abrufbar: s. Fn. 9 – im Dokument S. 5). 39  Ähnlich Fischer/Bornhauser, GesKR 2016, 425, 426; Hammack, The Private Company Board of Directors Book, S. 124. 40  Locke/Bird, Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff., (abrufbar: s. Fn. 9 – im Dokument S. 5); ähnlich Fischer/Bornhauser, GesKR 2016, 425, 426. 35  Gara/Baldwin, 36  Ausführlich



B. Anwendungsbeispiele und Aktualität der Thematik19

dieser Art können als Vorreiter zur individualisierten Leitungsberatung durch KI-Technologie begriffen werden.

II. Politische Entwicklung Während sich die Digitalisierung des deutschen und europäischen Gesellschaftsrechts in den Jahren 2015 bis 2017 eher auf die Einführung der Online-Gründung von Gesellschaften und die Nutzung elektronischer Kommunikationsmittel beschränkte,41 rückt nunmehr das Thema Künstliche Intelligenz verstärkt in den Fokus. Das politische Engagement wächst in diesem Bereich auf nationaler Ebene ebenso wie in der Europäischen Union, aber auch international. 1. Deutschland Seit 2018 befasst sich der Deutsche Bundestag mit der multidisziplinären Technologie. So wurde am 28. Juni 2018 die Einsetzung einer EnqueteKommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ beschlossen, welche ihren Schlussbericht am 28. Oktober 2020 veröffentlichte.42 Der thematische Umfang des Arbeitsauftrags veranlasste die Enquete-Kommission dazu, parallel arbeitende Projektgruppen, u. a. die Arbeitsgruppe „KI und Wirtschaft (Industrie/Produktion, Finanzen, Dienstleistungen, Innovationen)“43 einzusetzen.44 Das Gremium betont, „dass kaum eine andere Technologie für wirtschaftliche Disruption und Modernisierung unserer Gesellschaft in den nächsten Jahren ein solches Potenzial“45 in sich trage, wie die der Künst­ lichen Intelligenz.

41  So auch feststellend Gassner, in: Digital Law, S. 90 unter Verweis auf ICLEG, Report on digitalisation in company law, März 2016, abrufbar unter: https://ec. europa.eu/info/sites/info/files/icleg-report-on-digitalisation-24-march-2016_en_1.pdf (zuletzt abgerufen am 24.04.2022). 42  BT-Drs. 19/23700 vom 28.10.2020 (Schlussbericht der Enquete-Kommission KI), abrufbar unter: https://dip21.bundestag.de/dip21/btd/19/237/1923700.pdf (zuletzt abgerufen am 24.04.2022). 43  Siehe hierzu BT-Drs. 19/2978 vom 26.06.2018 (angenommener Antrag). Die konstituierende Sitzung der Kommission fand am 27. September 2018 statt, vgl. hierzu https://www.bundestag.de/presse/hib/570662-570662 (zuletzt abgerufen am 24.04.2022). 44  BT-Drs. 19/23700, S. 45 vom 28.10.2020. 45  Kommissionsdrucksache 19(27)92, Projektgruppe „KI und Wirtschaft“, Zusammenfassung der vorläufigen Ergebnisse mit Stand vom 18. Dezember 2019.

20 Einführung

Es bleibt abzuwarten, wie sich die deutsche Politik zukünftig zu dieser Thematik positioniert. Jedenfalls der Koalitionsvertrag der im Dezember 2021 neu konstituierten Bundesregierung verspricht in dieser Hinsicht einiges: „Investitionen in Künstliche Intelligenz (KI), Quantentechnologien, Cybersicherheit, Distributed-Ledger-Technologie (DLT), Robotik und weitere Zukunftstechnologien stärken wir messbar und setzen Schwerpunkte. […] Mit europäischen Partnerländern fördern wir die Zusammenarbeit starker europäischer Forschungsstandorte, insbesondere bei KI, und ermöglichen institutionelle Freiräume. […] Wir unterstützen den europäischen AI Act. Wir setzen auf einen mehrstufigen risikobasierten Ansatz, wahren digitale Bürgerrechte, insbesondere die Diskriminierungsfreiheit, definieren Haftungsregeln und vermeiden innovationshemmende ex-ante-Regulierung.“46

2. Europäische Union Am 25. April 2018 gab die Europäische Kommission mit der Veröffent­ lichung ihres KI-Strategiepapiers „Künstliche Intelligenz für Europa“ den Startschuss für eine EU-weite KI-Politik.47 Zwei Monate später, im Juni 2018, rief die EU-Kommission eine unabhängige Expertengruppe für Künstliche Intelligenz ins Leben, welche den politischen KI-Prozess fortan unterstützen und begleiten sollte. Im April 2019 veröffentlichte die Expertengruppe den finalen Entwurf der „Ethik-Leitlinien für eine vertrauenswürdige KI“,48 welcher seit dem 17. Juli 2020 durch eine detaillierte Bewertungsliste, die „Assessment List for Trustworthy Artificial Intelligence (ALTAI)“ ergänzt wird.49 Die Liste soll KI-Entwicklern und KI-Anbietern eine Unterstützung zur Selbstevaluierung bieten.50

46  Koalitionsvertrag 2021–2025 zwischen der Sozialdemokratischen Partei Deutschlands (SPD), BÜNDNIS 90/DIE GRÜNEN und den Freien Demokraten (FDP), abrufbar unter: https://www.bundesregierung.de/resource/blob/974430/199081 2/04221173eef9a6720059cc353d759a2b/2021-12-10-koav2021-data.pdf?download=1 (zuletzt abgerufen am 24.04.2022). 47  KI-Strategiepapier der Europäischen Kommission vom 25.04.2018, COM(2018) 237 final, abrufbar unter: https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=C ELEX:52018DC0237&from=DE (zuletzt abgerufen am 24.04.2022). 48  Ethics Guidelines for Trustworthy Artificial Intelligence der HEG-KI vom 08.04.2018, abrufbar unter: https://ec.europa.eu/newsroom/dae/document.cfm?doc_ id=60425 (zuletzt abgerufen am 24.04.2022). 49  Assessment List for Trustworthy Artificial Intelligence der HEG-KI vom 17.07.2020, abrufbar unter: https://ec.europa.eu/newsroom/dae/document.cfm?doc_ id=68342 (zuletzt abgerufen am 24.04.2022). 50  Außerdem wurde ein webbasiertes Tool entwickelt, welches ebenfalls der Selbstevaluation dient, abrufbar unter: https://futurium.ec.europa.eu/en/european-ai-



B. Anwendungsbeispiele und Aktualität der Thematik21

Im Februar 2020 wurde das „Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ seitens der EU-Kommission vorgestellt, welches unterschiedliche politische Optionen zur Gewährleistung einer sicheren Entwicklung und Verwendung Künstlicher Intelligenz vorstellte und einen öffentlichen Konsultationsprozess in Gang setzte.51 Als wesentlicher Meilenstein in der EU-KI-Politik gilt schließlich der am 21. ­April 2021 veröffentlichte Entwurfsvorschlag der EU-Kommission für eine Verordnung zur Festlegung von harmonisierten Regeln über Künstliche Intelligenz (im Folgenden auch „VO-E Artificial Intelligence Act“) als weltweit erstes Gesetzeswerk zur Festlegung harmonisierter Vorschriften für Künst­liche Intelligenz.52 3. USA Auch in den USA ist das Thema KI schon seit einer ganzen Weile auf der politischen Agenda. Bereits am 13. Oktober 2016 veröffentlichte die ObamaRegierung in den USA ihren nationalen Strategieplan für Forschung und Entwicklung im Bereich der künstlichen Intelligenz,53 welcher im Juni 2019 durch die Trump-Regierung umfassend aktualisiert und konkretisiert wurde; zu den acht aufgelisteten Strategiepunkten gehören u. a. die langfristige Investition in die KI-Grundlagenforschung, das Verstehen und Bewältigen der ethischen, rechtlichen und gesellschaftlichen Auswirkungen von KI sowie die Arbeit an Verfahren zur Evaluierung von KI-Technologien durch Standards und Richtwerte.54 Am 22. Oktober 2021 gab die US-amerikanische Regierungsbehörde Office of Science and Technology Policy (OSTP) unter Präsident Biden schließlich ihr Vorhaben bekannt, an einer „Bill of Rights“

alliance/pages/altai-assessment-list-trustworthy-artificial-intelligence (zuletzt abgerufen am 24.04.2022). 51  Weißbuch der Europäischen Kommission vom 19.02.2020, COM(2020) 65 final, abrufbar unter: https://ec.europa.eu/info/sites/default/files/commission-white­ paper-artificial-intelligence-feb2020_de.pdf (zuletzt abgerufen am 24.04.2022). 52  Regulierungsvorschlag der Europäischen Kommission zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz vom 21.04.2021, COM(2021) 206 final, abrufbar unter: https://ec.europa.eu/newsroom/dae/redirection/document/75788 (zuletzt abgerufen am 24.04.2022). 53  The National Artificial Intelligence Research and Development Strategic Plan (Oct. 2016), abrufbar unter: https://www.nitrd.gov/pubs/national_ai_rd_strategic_plan. pdf (zuletzt abgerufen am 24.04.2022). 54  The National Artificial Intelligence Research and Development Strategic Plan (Update June 2019), abrufbar unter: https://www.nitrd.gov/pubs/National-AI-RDStrategy-2019.pdf (zuletzt abgerufen am 24.04.2022).

22 Einführung

für KI zu arbeiten, etwa um Diskriminierungen und Datenschutzverletzungen zu verhindern.55 4. Multinationale Kooperationen Der fachliche Austausch findet ebenso wie die Entwicklung von Lösungsansätzen für einen verantwortungsvollen Umgang mit KI auch über Ländergrenzen hinweg statt. Die Organization for Economic Co-operation and Development (OECD) hat als Zusammenschluss aus 38 Mitgliedsstaaten und in Zusammenarbeit mit weiteren Partnerländern am 22. Mai 2019 die „OECDGrundsätze für künstliche Intelligenz“56 veröffentlicht. Ein Gremium aus 50  Experten hat fünf Grundsätze zur verantwortungsvollen Steuerung vertrauenswürdiger KI erarbeitet. Danach sei darauf hinzuwirken, dass –– KI die menschlichen Fähigkeiten verbessert, den Minderheitenschutz berücksichtigt und nachhaltige Entwicklung fördert, –– KI rechtsstaatliche Grundsätze achtet, Menschenrechte wahrt und demokratische Prinzipien berücksichtigt, –– sich die KI-Akteure zu umfassender Transparenz verpflichten, insbesondere um ein generelles Verständnis über KI-Technik zu ermöglichen und die Nachvollziehbarkeit der jeweiligen Ergebnisse zu fördern, –– KI robust und störungsfrei funktioniert und keine Sicherheitsrisiken hervorruft und –– die KI-Akteure, mithin insbesondere KI-Hersteller, KI-Anbieter und Endnutzer, die rechtliche Verantwortung für den ordnungsgemäßen Betrieb der Technik trifft.57 Außerdem hat die Institution diverse Handlungsempfehlungen im Umgang mit KI an die nationalen Regierungen adressiert. Unter anderem sollen Investitionen in die Forschung und Entwicklung von KI gefördert und ein KIgeeignetes Umfeld durch Bereitstellung von Technik und Infrastruktur geschaffen werden.58 55  OSTP, Pressemittelung v. 22.10.2021, abrufbar unter: https://www.whitehouse. gov/ostp/news-updates/2021/10/22/icymi-wired-opinion-americans-need-a-bill-ofrights-for-an-ai-powered-world/ (zuletzt abgerufen am 24.04.2022). 56  Empfehlung des Rates zu künstlicher Intelligenz, abrufbar unter: http://www. oecd.org/berlin/presse/Empfehlung-des-Rats-zu-kuenstlicher-Intelligenz.pdf (zuletzt abgerufen am 24.04.2022). 57  Empfehlung des Rates zu künstlicher Intelligenz (Fn. 56). 58  OECD Pressemitteilung v. 22.05.2019, abrufbar unter: https://www.oecd.org/ berlin/presse/42-laender-einigen-sich-auf-standards-im-umgang-mit-kuenstlicher-in telligenz-22052019.htm (zuletzt abgerufen am 24.04.2022).



C. Terminologie und technisches Verständnis23

Eine ebenfalls länderübergreifende Initiative bildet die „Global Partnership on Artificial Intelligence“ (GPAI), konstituiert am 15. Juni 2020 durch die G7-Staaten, Australien, Indien, Mexiko, Neuseeland, Singapur, Slowenien, Südkorea und die Europäische Kommission.59 Arbeitsprojekte mit denen sich die GPAI beschäftigt, sind u. a. der verantwortungsvolle KI-Einsatz für die Umwelt sowie der Umgang mit KI im Bereich Social Media.60

III. Rechtsprechung Soweit ersichtlich, haben sich die Gerichte mit KI-Technologie – auch international betrachtet – bislang nur vereinzelt, insbesondere im Bereich Intellectual Property befasst.61 Mit wachsendem Nutzen für die Gesellschaft wird es jedoch nur noch eine Frage der Zeit sein, bis sich auch die Justiz vermehrt mit rechtlich anspruchsvollen Fragestellungen im Umgang mit KI zu beschäftigen hat. Die Beurteilung derart gelagerter Fälle wird wiederum häufig auch technisches Hintergrundwissen erfordern, sodass die Organe der Rechtspflege notwendigerweise auf sachverständige Personen zurückgreifen müssen, um die entsprechenden Tatbestände aufzuarbeiten.

C. Terminologie und technisches Verständnis Der Umgang mit Künstlicher Intelligenz steht im Mittelpunkt der wissenschaftlichen Ausarbeitung. Insoweit ist eine Erläuterung der technischen Begrifflichkeiten ebenso wie eine summarische Darstellung der Funktionsweise zum Verständnis der nachfolgenden Untersuchung unverzichtbar. Gleichwohl ist in diesem Zusammenhang darauf hinzuweisen, dass es sich um eine rechtswissenschaftliche Arbeit handelt, die technisch-funktionellen Ausführungen mithin nicht über den unbedingt erforderlichen Umfang zur Vermittlung eines entsprechenden Grundverständnisses hinausgehen werden. 59  Gemeinsame Pressemitteilung des Bundesministeriums für Wirtschaft und Energie und des Bundesministeriums für Arbeit und Soziales v. 15.06.2020, abrufbar unter: https://www.bmwi.de/Redaktion/DE/Pressemitteilungen/2020/20200615-deutsch land-ist-gruendungsmitglied-der-global-partnership-on-artificial-intelligence.html (zuletzt abgerufen am 24.04.2022). 60  GPAI, abrufbar unter: https://gpai.ai/projects/responsible-ai/ (zuletzt abgerufen am 24.04.2022). 61  Vgl. BPatG, Beschl. v. 09.06.2015 – Az.: 17 W (pat) 37/12 = BeckRS 2015, 13810; United States District Court, Eastern District of Virginia, Urt. v. 02.09.21 – Az.: 1:20-cv-903(LMB/TCB), abrufbar unter: https://casetext.com/case/thaler-v-hirsh feld; Federal Court of Australia, Urt. v. 30.07.2021 – Az.: VID 108 of 2021, abrufbar unter: https://artificialinventor.com/wp-content/uploads/2021/08/Thaler-v-Commissio ner-of-Patents-2021-FCA-879.pdf (zuletzt abgerufen am 24.04.2022).

24 Einführung

I. Künstliche Intelligenz Künstliche Intelligenz – der Oberbegriff einer Schlüsseltechnologie, die es vermag, Unmengen von Daten in kürzester Zeit zu ordnen, zu kategorisieren, zu analysieren und auszuwerten. Eine Technologie, die das Potential besitzt, unbekannte Zusammenhänge, Kausalitäten und Muster zwischen Fakten he­ rauszuarbeiten und ihre Aussagen anhand von komplexen Berechnungen und Wahrscheinlichkeiten trifft.62 KI steht für ein Teilgebiet der Informatik.63 Eine einheitlich anerkannte Definition hat sich für den Begriff der Künstlichen Intelligenz gleichwohl noch nicht herausgebildet.64 Selbsttätige nicht-determinierte Arbeitsschritte (Autonomie) sowie die Fähigkeit zur eigenständigen Optimierung (Adaption) bilden zusammengefasst die wesentlichen technischen Eigenschaften und Allein­ stellungsmerkmale eines KI-Systems.65 Nach derzeitiger Entwurfsfassung des VO-E Artificial Intelligence Act der Europäischen Kommission wird ein ­KI-System als Software bezeichnet, die von Menschen definierte Ausgabe­ ergebnisse, wie Informationen, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann und mit Ansätzen des maschinellen Lernens, der Logik oder Statistik, der Bayes’schen Schätzung oder Such- und Optimierungsmethoden entwickelt wurde. Ein weiterer ebenfalls ernstzunehmender Ansatz liegt in dem Vorschlag, Künstliche Intelligenz allein negativ und interpreta­ tionsoffen zu definieren: Danach sei unter dem Begriff der KI nur solche Software zu fassen, „die nicht ausschließlich regelbasiert funktio­niert“.66 Unterschieden wird zudem allgemein zwischen „starker KI“ und „schwacher KI“. Während sich die starke KI dadurch auszeichnet, dass ihre technischen Vorgänge bereichsübergreifend an die intellektuellen Fähigkeiten von Menschen heranreichen oder diese gar übertreffen, ist die schwache KI lediglich auf die intelligente Bearbeitung einer ihr zugewiesenen spezifischen Aufgabe beschränkt.67 Anzumerken ist, dass nach derzeitigem Entwickin: FS Reuter, 127. in: KI – Recht und Praxis automatisierter und autonomer Systeme,

62  Hoerdemann-Napp/Pauli, 63  Regtmeier,

§ 5 A. Rn. 29. 64  Feststellend auch Hoerdemann-Napp/Pauli, in: FS Reuter, 127; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 20 f., der weitere Definitionsansätze in den Blick nimmt. 65  So die Definition des Online-Kurses „Elements of AI“ der IHK und des Bundesministeriums für Wirtschaft und Energie, abrufbar unter: https://course.elementsofai. com/de/ (zuletzt abgerufen am 24.04.2022); wohl auch Dettling/Krüger, MMR 2019, 211, 212; ähnlich zudem Linke, Digitale Wissensorganisation, S. 28 f. 66  Bomhard/Merkle, RDi 2021, 276, 277. 67  Strategiepapier der BReg „Strategie Künstliche Intelligenz der Bundesregierung“, Stand: November 2018, S. 4 f.; Wittpahl, Künstliche Intelligenz, S. 21, welcher



C. Terminologie und technisches Verständnis25

lungsstand ausschließlich Systeme schwacher KI im praktischen Einsatz sind.68 Aufgrund der divergierenden Begriffsbestimmungen ist eine Arbeitsdefinition zur Beschreibung Künstlicher Intelligenz erforderlich, damit die gesamte Untersuchung auf einem einheitlichen Begriffsverständnis aufbaut. Soweit im Rahmen der hiesigen Untersuchung von Künstlicher Intelligenz bzw. von KI-Systemen oder KI-Assistenzsystemen gesprochen wird, ist hierunter aus Gründen der Vereinfachung ein softwarebasiertes selbstlernendes Entscheidungsunterstützungs- und Informationsbeschaffungssystem ohne nähere Spezifizierung nach Arbeitsmethode oder Leistungsspektrum zu verstehen.69 Nachfolgend werden kurzgefasst weitere Termini aus dem Bereich KI erörtert. 1. Machine Learning & Deep Learning Das maschinelle Lernen bildet einen eigenen Forschungsbereich auf dem Gebiet der KI, welcher sich mit der Fähigkeit von Algorithmen befasst, selbstständig anhand bestimmter Beispiele Erfahrungen zu sammeln, Trainingsverfahren zu lernen und das Erlernte auf unbekannte Sachverhalte zu über­tragen.70 Eine besonders prominente Methode des künstlichen Lernens stellt das sog. Deep Learning dar.71 Herzstück eines KI-Systems, das mittels Deep Learning funktioniert, bilden mehrschichtige künstliche neuronale Netze (auch „Layers“ genannt), welche wiederum mit speziellen selbst-adaptiven KI-Algorithmen (künstlichen Neuronen) ausgestattet sind.72 Die erste neuronale Ebene wird als Input-Layer bezeichnet; sie schafft den Zugang für die Ursprungs- bzw. Rohdaten und wird auch als Eingabeschicht bezeichnet.73 die starke KI überdies zu einer sog. Superintelligenz abgrenzt, welche die intellektuellen Fähigkeiten des Menschen „weit übertrifft“. 68  Bitkom, Entscheidungsunterstützung mit Künstlicher Intelligenz, S. 31; Gassner, in: Digital Law, S. 92; Noack, ZHR 183 (2019), 105, 107; Schindler, ZD-Aktuell 2019, 06647. 69  Zur möglichen Funktionsweise eines KI-Systems im Anwendungsfeld unternehmerischer Entscheidungsunterstützung ausführlich Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 30 ff. 70  Ähnlich Haagen, Verantwortung für Künstliche Intelligenz, S. 73 ff.; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 128; ähnlich auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 20 f. 71  So auch Martini, Blackbox Algorithmus, S. 23 ff. 72  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 129; Kreutzer/Sirrenberg, Künst­ liche Intelligenz verstehen, S. 5; Linardatos, ZIP 2019, 504, 505. 73  Linardatos, ZIP 2019, 504, 505.

26 Einführung

Die Ausgabe des finalen Ergebnisses erfolgt über den Output-Layer (auch Ausgabeschicht genannt) als letzte Schicht.74 Zwischen der Ein- und Aus­ gabeschicht befinden sich in der Regel mehrere sog. Hidden-Layers, die verdeckten bzw. tiefen Schichten, in denen Filteroperationen über Gewichte und Schwellenwerte durchgeführt werden – aufgrund der Menge an intransparenten Schichten spricht man hierbei vom sog. Deep Learning.75 Diese nicht sichtbaren und autonom wandelbaren Schichten sind verantwortlich für eine der rechtlichen Herausforderungen im Kontext KI-gestützter Entscheidungsprozesse, die mangelnde Transparenz der internen Verarbeitungsprozesse und die schwierige Erklärbarkeit der Ergebnisse – auch bezeichnet als das Blackbox-Problem.76 Zu unterscheiden sind im Wesentlichen drei maschinelle Lernverfahren, das überwachte Lernen, das unüberwachte Lernen und das bestärkende Lernen.77 a) Überwachtes Lernen Beim überwachten Lernen (sog. supervised learning) ist das korrekte Ergebnis bekannt und wird im Nachhinein automatisiert mit dem über die Ausgabeschicht angezeigten Ergebnis abgeglichen.78 Im Falle eines fehlerhaft angezeigten Ergebnisses erhält das neuronale Netzwerk ein negatives Feedback (sog. Back-Propagation), woraufhin es autonom überprüft, welche der künstlichen Neuronen maßgeblich zur Fehlerhaftigkeit beigetragen haben. Sodann werden die jeweiligen Parameter justiert, bis ein optimal abgestimmter Entscheidungsbaum entstanden ist, der das korrekte Ergebnis ausgibt.79 Es handelt sich hierbei um die gebräuchlichste Arbeitsmethode.80

AcP 219 (2019), 648, 654; Zech, ZfPW 2019, 198, 201. in: FS Reuter, 127, 129; Michalik, Automatisiertes Lernen von Neuronalen Netzen zur Objektklassifikation auf heterogenen Systemen, S.  5 f.; Wittpahl, Künstliche Intelligenz, S. 31 f. 76  Gassner, in: Digital Law, S. 77; Linardatos, ZIP 2019, 504, 505; Lücke, BB 2019, 1986, 1986 f.; Möslein, ZIP 2018, 201, 211; Strohn, ZHR 182 (2018), 371, 374 f.; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132; Zech, ZfPW 2019, 198, 202. 77  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 128; Kreutzer/Sirrenberg, Künst­ liche Intelligenz verstehen, S. 7 f.; Stiemerling, in: Rechts-HdB AI und ML, Kap. 2.1 Rn. 14. 78  Molavi/Erbguth, ITRB 2019, 120, 120. 79  Angerer, Neuronale Netze – Revolution für die Wissenschaft? SdW, 2018, Heft 1, S. 16 f.; Michalik, Automatisiertes Lernen von Neuronalen Netzen zur Objektklassifikation auf heterogenen Systemen, S. 28. 80  Vgl. Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 128. 74  Hoch,

75  Hoerdemann-Napp/Pauli,



C. Terminologie und technisches Verständnis27 (Vereinfachtes) Beispiel zur Veranschaulichung:81 Soll ein KI-System zur Bilderkennung von Tischen eingesetzt werden, muss es zunächst mit Bildern trainiert werden. Der Pool an Trainingsdaten umfasst einerseits Tischbilder, aber auch Fotografien anderer Objekte. Wird nun das Foto eines runden Holztisches mit nur einem Bein über die Eingabeschicht eingefügt und in der Ausgabeschicht das (falsche) Ergebnis „Kein Tisch“ angezeigt, setzt autonom der Fehlerrückführungsprozess ein. In diesem wird nachvollzogen, welche der künstlichen Neuronen (Farb-, Flächen-, Kanten-, Ecken-, Tischbeinparameter usw.) den Ausschlag für das Resultat gaben. Wenn nun die Ecken- und Tischbeinparameter maßgeblich für das Ergebnis verantwortlich waren, weil der abgebildete Tisch keine Ecken und nur ein Tischbein besaß, werden die Gewichte dieser Parameter nach unten reguliert. Auf diese Weise lernt das KI-System, dass auch runde und einbeinige Tische existieren.

b) Unüberwachtes Lernen Im Falle des unüberwachten Lernens (sog. unsupervised learning) werden die Rohdaten ohne ein vordefiniertes Ergebnis in das KI-System eingegeben; Ziel dieser Lernmethode ist, dass das künstliche neuronale Netzwerk eigenständig Muster und Unregelmäßigkeiten mittels Clustering-Algorithmen erkennt.82 Anhand von Parallelitäten zwischen den Eingabedaten werden unterschiedliche Segmente (sog. Cluster) gebildet und auf diese Weise ein Entscheidungsbaum entworfen.83 (Vereinfachtes) Beispiel zur Veranschaulichung (zum Verständnis wird erneut das o. g. Tischbeispiel herangezogen): Auch im Rahmen des unüberwachten Lernens müsste zunächst eine Vielzahl von Tischbildern, allerdings ohne Zielvorgabe, an die Eingabeschicht übermittelt werden. Im nächsten Schritt analysiert das KI-System die Eingabedaten und erkennt idealerweise Ähnlichkeiten zwischen den Tischbildern (Material, Form, Größe, Anzahl der Tischbeine usw.). Um eine Ordnung zu schaffen, werden sukzessive bestimmte Kategorien gebildet und die Tischbilder diesen – ggf. auch mehreren – zugewiesen. Auf diese Weise würde der o. g. einbeinige runde Holztisch beispielsweise den Kategorien Holztische, Rundtische und einbeinige Tische zugeordnet werden.

81  Angelehnt an die beispielhafte Erklärung von Armour/Eidenmüller, ZHR 183 (2019), 169, 173 f. – die Autoren beschreiben treffend, dass auf diese Weise über die Eingangsdaten und das Ergebnis nach und nach eine Regel entwickelt wird. 82  Kreutzer/Sirrenberg, Künstliche Intelligenz verstehen, S. 7; Molavi/Erbguth, ITRB 2019, 120, 120. 83  Kreutzer/Sirrenberg, Künstliche Intelligenz verstehen, S. 7.

28 Einführung

c) Bestärkendes Lernen Das sog. bestärkende Lernen (engl. reinforcement learning) zeichnet sich schließlich dadurch aus, dass der Algorithmus Lernfortschritte über positive oder negative Rückmeldungen der Außenwelt macht.84 Die KI muss selbstständig verschiedene Wege beschreiten und sich über ein Trial-and-ErrorVerfahren fortentwickeln.85 2. Big Data Wissensbasierte KI-Systeme benötigen zur funktionsgerechten Arbeit Zugriff auf einen ausreichenden und qualifizierten Pool an Informationen. „Big Data“ bezeichnet in diesem Zusammenhang einen großen stetig wachsenden Datenbestand, der nicht mehr mit klassischen Datenverarbeitungsprogrammen, sondern bloß noch mit KI-Systemen sachgerecht analysiert und kategorisiert werden kann.86 Eine besondere Herausforderung ist in diesem Zusammenhang die Sicherstellung der Datenqualität. Die Datensätze müssen korrekt, vollständig, widerspruchsfrei und aktuell sein.87 Eine ungeprüfte Verarbeitung von „Fake News“ könnte für ein KI-System wie eine Betankung mit falschem Treibstoff wirken, Folgefehler im Berechnungsprozess auslösen und schließlich zu einer Verfälschung des Arbeitsergebnisses führen.88

II. KI-Akteure Auch die verschiedenen, in den KI-Nutzungsprozess ggf. eingebundenen Dienstleister und sonstige involvierte Akteure müssen voneinander abgegrenzt werden. Auseinanderzuhalten sind insoweit zunächst KI-Hersteller und KI-Anbieter. Während der KI-Hersteller das KI-Produkt konstruiert bzw. entwickelt hat, ist der KI-Anbieter derjenige, der den Einsatz beherrscht re­ spektive die Zugriffsplattform zur Verfügung stellt und diese unterhält/betreibt.89 Von den beiden vorgenannten Dienstleistern abzugrenzen ist schließ84  Martini, Blackbox Algorithmus, S. 25; ebenso Stiemerling, in: Rechts-HdB AI und ML, Kap. 2.1 Rn. 14; ders., CR 2015, 762, 763. 85  Kreutzer/Sirrenberg, Künstliche Intelligenz verstehen, S. 8. 86  Hoch, AcP 219 (2019), 648, 649 f.; Kolany-Raiser, in: MMR-HdB, Teil 15.1 Rn.  1 ff.; Kolany-Raiser/Heil/Orwat/Hoeren, Big Data, S. 4; Stiemerling, CR 2015, 762, 764. 87  Kreutzer/Sirrenberg, Künstliche Intelligenz verstehen, S. 79 f., die detailliert die fünf Dimensionen von Big Data erläutern. 88  Weber/Kiefner/Jobst, NZG 2018, 1131, 1133. 89  So auch Borges, NJW 2018, 977, 980.



D. Untersuchungsgegenstand29

lich die Person, die im Einzelfall die Bedienung des KI-Programms zum eigenen Nutzen übernimmt; diese wird nachfolgend als KI-Nutzer definiert.90

D. Untersuchungsgegenstand Die nachfolgende Arbeit soll einen Beitrag zur juristischen Diskussion um den Umgang mit Künstlicher Intelligenz im Bereich der Unternehmens­ leitung einer AG leisten. Der aktienrechtliche Fokus gründet darauf, dass gerade die AG als „große“ Kapitalgesellschaft regelmäßig erhebliche Datenmengen zu verwalten und – insbesondere im strategischen Leitungsbereich – komplexe Entscheidungen zu treffen hat, wodurch für KI-Technologien ein breites Einsatzfeld geschaffen wird.91 Hat der Vorstand anspruchsvolle Entscheidungen zu treffen, bedient er sich für gewöhnlich verschiedenster interner und/oder externer Berater.92 Diese sollen ihn in die Lage versetzen, die Tragweite anstehender Geschäfte beurteilen zu können. Ein ausentwickeltes KI-System könnte derartige Beratungsleistungen u. U. für den Vorstand übernehmen. Als „leichtere“ Aufgaben kämen beispielsweise das Zusammentragen, Bewerten und Aussortieren von Informationen durch das KI-System in Betracht. Denkbar erscheint jedoch auch die Bewältigung komplexer Tätigkeiten. Hierzu gehören u. a. das Erstellen rechtlicher und analytischer Gutachten, die Entwicklung ausführlich begründeter Entscheidungsempfehlungen und Prognosen sowie das Aufzeigen von alternativen Handlungsstrate­ gien.93 Im ersten Teil der Arbeit wird deshalb zunächst als Vorfrage beleuchtet, ob der Vorstand nach der geltenden Gesetzeslage im Allgemeinen das Recht hat, ein KI-System im Bereich der Unternehmensleitung zur vorbereitenden Unterstützung unternehmerischer Entscheidungen einzusetzen und welche Einschränkungen, Berichtspflichten und Zustimmungsvorbehalte möglicherweise zu beachten sind. Der aus natürlichen Personen zusammengesetzte Vorstand bildet im Rahmen der vorliegenden Forschungsarbeit weiterhin das zentral agierende Leitungsorgan, ist mithin Entscheider und Umsetzer. Nichtsdestotrotz wird im Verlauf des ersten Teils die – ggf. perspektivisch nicht unbedeutende – Frage der rechtlichen Möglichkeit erörtert, das KI-System als koexistentes oder singuläres „Entscheidungsmedium“ einzusetzen. Gänzlich außer Betracht bleibt dagegen der Einsatz autonomer Systeme zur Umsetzung/Ausführung getroffener Beschlüsse. Da Leitungsentscheidungen zu90  Wiederum

Borges, NJW 2018, 977, 980. auch Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 9. 92  Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 24. 93  So i. E. auch Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 17. 91  So

30 Einführung

meist optionalen Charakter besitzen und demnach überwiegend als unternehmerische Entscheidungen zu qualifizieren sind, befasst sich die diesseitige Untersuchung lediglich mit der Fallgruppe der unternehmerischen KI-Beratung. Außer Betracht bleibt der Einsatz von KI-Technik zur Bearbeitung rechtlich gebundener Entscheidungen ebenso wie die Verwendung zur Bewältigung gewöhnlicher Geschäftsführungsaufgaben, die nicht der Unternehmensleitung zuzuordnen sind.94 Vertiefend widmet sich die Untersuchung sodann der Frage, ob den Vorstand im Einzelfall sogar die Pflicht zur Nutzung eines unterstützenden KI-Systems im Leitungsbereich treffen könnte. Abschließend beschäftigt sich der erste Teil mit der möglichen Verpflichtung des Vorstands, den Ratschlag der KI zu befolgen. Arbeitsrechtliche Probleme, insbesondere die Frage einer etwaigen Pflicht zur Beteiligung des Betriebs­ rats,95 sind nicht Teil der wissenschaftlichen Arbeit. Schwerpunkt des zweiten Teils und Mittelpunkt der wissenschaftlichen Betrachtung bildet die Ausarbeitung eines auf das Aktien- und Vorstandsrecht zugeschnittenen Pflichtenprogramms im Zusammenhang mit der Verwendung eines entscheidungsunterstützenden KI-Systems. Die Erarbeitung erfolgt insbesondere im Wege einer rechtsgebietsübergreifenden Analyse der gesetzlichen Vorschriften und unter Beachtung einschlägiger Rechtsprechung. Welche spezifischen Haftungsfragen sich für den Vorstand beim Einsatz eines assistierenden KI-Systems stellen, wird im dritten Teil erörtert. Haftungsauslösende KI-Prozesse mit unmittelbarer Außenwirkung unterfallen nicht der Ausarbeitung. Auch die Regresshaftung von KI-Herstellern oder KI-Anbietern gegenüber der AG ist nicht Gegenstand der rechtlichen Betrachtung. Zum Ende der Arbeit wird im Schlussteil das Gesamtergebnis der Untersuchung in 14 Thesen zusammengefasst.

94  Hierauf ausführlich eingehend insbesondere Hoch, AcP 219 (2019), 648; verhältnismäßig kurz abhandelnd Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 53 ff. 95  Möglicherweise resultierend aus § 111 S. 1, 3 Nr. 4 BetrVG (Einführung neuer Arbeitsmethoden), vgl. vertiefend hierzu Schwarze, in: Rechts-HdB KI und Robotik, § 8 Rn. 17 ff.

Teil 1

Recht und Pflicht zur Nutzung eines KI-Systems als „Entscheidungs- und Informationsassistent“ im Leitungsbereich Die digitale Weiterentwicklung der Entscheidungsprozesse in der Unternehmensführung wirft zahlreiche Rechtsfragen auf: Darf sich der Vorstand einer Aktiengesellschaft überhaupt von einer künstlich intelligenten Software zu Themen informieren bzw. beraten lassen, die die zentrale und grundlegende Führung des Unternehmens betreffen und bejahendenfalls, auf welche Weise? Weitergesponnen: Muss er eine solche Unterstützung durch KI im Einzelfall sogar in Anspruch nehmen, sei es aufgrund seiner organschaft­ lichen Sorgfaltspflicht oder auf korporativ-vertraglicher Grundlage? Solchen und ähnlichen Fragestellungen widmet sich deshalb dieser Teil der Untersuchung.

A. Die Leitungskompetenz des Vorstands und ihre Delegation Eingangs ist zunächst der untersuchungsgegenständliche Begriff der ak­ tienrechtlichen Leitungsentscheidung herauszuarbeiten und zu eruieren, wo die Grenzen einer entsprechenden Kompetenzübertragung auf Dritte verlaufen.

I. Der Begriff der Unternehmensleitung Der Vorstand ist das Geschäftsführungs-, Leitungs- und Vertretungsorgan der Aktiengesellschaft (vgl. §§ 76 Abs. 1, 77 Abs.   S. 1, 78 Abs. 1 S. 1 AktG). Damit obliegt dem Vorstand ein abgrenzbarer und exklusiver Kompetenzbereich, den die übrigen Organe, mithin der Aufsichtsrat und die Hauptversammlung, strikt zu beachten haben.1 Während der Begriff der Geschäftsführung sehr weit zu verstehen ist und nach einhelligem Verständnis jede nach innen oder außen gerichtete tatsächlich-faktische und rechtsgeschäft1  Ähnlich Köritz, Konvergenz und Divergenz der Corporate Governance in Deutschland und Großbritannien, S. 49.

32

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

lich-verbindliche Tätigkeit des Vorstands für die Aktiengesellschaft erfasst,2 wird die (Geschäfts-)Leitung der AG im Schrifttum überwiegend als „he­ rausgehobener Teilbereich der Geschäftsführung“3 bezeichnet. Inhaltlich werden insbesondere solche Führungsaufgaben erfasst, die das AktG explizit dem Vorstand als Kollegialorgan zuweist sowie solche, die den Kernbereich der Unternehmensplanung und -politik, also die grundlegende Marschrichtung der AG, die Unternehmensüberwachung und die Besetzung der Führungspositionen betreffen,4 wobei eine trennscharfe Definition zum übrigen Bereich der Geschäftsführung nicht existiert.5 Unter den Leitungsbegriff fallen aber in jedem Fall nur solche Führungsaufgaben, die sich einerseits im Rahmen des Unternehmensgegenstands bewegen und andererseits weder die Verfassung der AG noch die Mitgliedschaftsrechte der Anteilseigner in tiefgreifender Weise berühren.6

II. Grenzen der Übertragbarkeit von Leitungsaufgaben Geschäftsführungsaufgaben, die nicht dem Leitungsbegriff zuzuordnen sind, lassen sich grundsätzlich ohne weiteres auf Dritte übertragen.7 Die ressortübergreifende Aufgabe der Unternehmensleitung liegt hingegen gemäß § 76 Abs. 1 AktG allein und unabdingbar in der Verantwortung des Gesamtvorstands („unter eigener Verantwortung“) – eine Abgabe der Leitungsmacht an einzelne Vorstandsmitglieder oder Mitarbeiter ist insoweit unzulässig.8 2  Fleischer, in: BeckOGK/AktG, § 77 Rn. 3; Grigoleit, in: Grigoleit, AktG, § 77 Rn. 2; Dauner-Lieb, in: Henssler/Strohn, AktG, § 77 Rn. 2; Koch, in: Koch, AktG, § 77 Rn. 3; Spindler, in: MüKo/AktG, § 77 Rn. 6. 3  Dauner-Lieb, in: Henssler/Strohn, AktG, § 76 Rn. 5; Weber, in: Hölters/Weber, AktG, § 76 Rn. 8; Koch, in: Koch, AktG, § 76 Rn. 8; Spindler, in: MüKo/AktG, § 76 Rn. 17; Müller, NZA-Beilage 2014, 30, 36; Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 14; Weyland, NZG 2019, 1041, 1042. 4  BGH, Urt. v. 25.09.2018 – Az.: II ZR 190/17 = NJW 2019, 219, 220; OLG Brandenburg, Urt. v. 29.08.2018 – Az.: 7 U 73/14 = BeckRS 2018, 35276; Priester, AG 2021, 15, 16; Spindler, in: MüKo/AktG, § 76 Rn. 18; für eine Auflistung gesetzlich vorgeschriebener Leitungsaufgaben vgl. Dörrwächter, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 4 Rn. 15; Mertens/Cahn, in: KK/AktG, § 76 Rn. 45. 5  Koch, in: Koch, AktG, § 76 Rn. 8; ausführlich hierzu Kuntz, AG 2020, 801, 805; ähnlich auch Spindler, in: MüKo/AktG, § 76 Rn. 15, der den Leitungsbegriff in Abhängigkeit vom Unternehmenscharakter versteht. 6  BGH, Urt. v. 26.04.2004 – Az.: II ZR 155/02 = NJW 2004, 1860, 1864 („Gelatine“Entscheidung); BGH, Urt. v. 28.10.1981 – Az.: VIII ZR 302/80 = NJW 1982, 870 („Holzmüller“-Entscheidung); Fleischer, in: BeckOGK/AktG, § 76 Rn. 67. 7  Grigoleit, in: Grigoleit, AktG, § 77 Rn. 3. 8  Kubis, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 1 Rn. 312 f.; Weber, in: Hölters/Weber, AktG, § 77 Rn. 29.



A. Die Leitungskompetenz des Vorstands und ihre Delegation 33

Die Grundregel der eigenverantwortlichen Leitung gilt jedoch nicht uneingeschränkt. Die Bewältigung einer Leitungsentscheidung lässt sich grob in drei Phasen unterteilen: Vorgelagert findet sich die Phase der Entscheidungsvorbereitung (Planungsprozess), im Zentrum des Prozesses liegt die Leitungsentscheidung als solche (Be-/Entschluss) und nachgelagert schließt sich die Phase der Entscheidungsumsetzung an (Ausführung).9 Die exklusive und höchstpersönliche Aufgabenzuweisung an den Vorstand gilt aufgrund des gesetzlich weit gefassten Rahmens nach einhelliger Ansicht lediglich für die finale Leitungs- und Steuerungsentscheidung (sog. Letztentscheidungskompetenz) – die Verantwortung und Entscheidungsgewalt liegt an dieser Stelle allein beim Leitungsorgan, mithin dem Vorstand.10 Außerhalb dieses Kernbereichs können der Leitungsentscheidung dienende Unterstützungs- und Hilfsaufgaben, beispielsweise die Beschaffung und Bewertung von Informationsmaterial, die Erstellung von Gutachten oder Beschlussempfehlungen oder die Ausarbeitung von Handlungsstrategien, durch den Vorstand de lege lata jedenfalls an nachgeordnete Mitarbeiter delegiert (sog. vertikale Delegation)11 und unternehmensfremde Dienstleister ausgelagert (sog. Outsourcing) werden – dem Vorstand steht insoweit ein umfassendes Selbstorganisationsrecht zu.12 Bestätigt wird dieses Ergebnis auch durch die Rechtsprechungslinie des BGH, wonach es dem Vorstand unter Beachtung bestimmter Voraussetzungen erlaubt ist, sich auf die Expertise fachlicher ­ Berater zu verlassen.13 Kuntz weist zurecht darauf hin, dass die Aufgabenübertragung als solche keine a­ktienrechtlichen Kompetenzkonflikte nach sich zieht, solange es nicht zu einer Übertragung von Entscheidungsmacht kommt.14 Ebenso lässt sich das generelle Recht zur Delegation aus einem 9  Die

Begriffe ebenfalls verwendend Möslein, ZIP 2018, 204, 208. in: Grigoleit, AktG, § 76 Rn. 10; Lücke, BB 2019, 1986, 1989; Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 16; Spindler, in: MüKo/AktG, § 76 Rn. 18. 11  BGH, Urt. v. 07.11.1994 – Az.: II ZR 270/93 = NJW 1995, 326, 329 (zum GmbH-Geschäftsführer); LG Stuttgart, Urt. v. 24.10.2018 – Az.: 22 O 101/16 (juris – Rn. 391); von „horizontaler Delegation“ spricht man demgegenüber dann, wenn Geschäftsführungsaufgaben durch den Gesamtvorstand beispielsweise über Geschäftsverteilungsregelungen in der Satzung oder Geschäftsordnung des Vorstands (vgl. hierzu § 77 Abs. 1 S. 2 AktG) an einzelne Mitglieder des Vorstands delegiert werden. 12  Fleischer, ZIP 2003, 1, 6 differenziert insoweit zwischen „decision shaping“ und „decision taking“; Hegnon, CCZ 2009, 57, 58; Hoss, Gesamtschuldnerische Vorstandshaftung, S. 34; Koch, in: Koch, AktG, § 76 Rn. 8; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 60; Linnertz, Die Delegation durch den Vorstand einer AG, S. 109. 13  BGH, Urt. v. 26.01.2016 – Az.: II ZR 394/13 = NZG 2016, 658, 660 f.; BGH, Urt. v. 28.04.2015 – Az.: II ZR 63/14 = NZG 2015, 792, 794; BGH, Urt. v. 27.03.2012 – Az.: II ZR 171/10 = NZG 2012, 672; BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NJW-RR 2011, 1670, 1672. 14  Kuntz, AG 2020, 801, 806. 10  Grigoleit,

34

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

Erst-Recht-Schluss zu § 109 Abs. 1 S. 2 AktG herleiten. Nach dieser Vorschrift hat schon der Aufsichtsrat das Recht, Sachverständige und Auskunftspersonen zur Beratung hinzuzuziehen. Das gleiche Recht muss richtigerweise auch für den Vorstand als Leitungs­organ mit erheblich weitergehendem Aufgabenspektrum und Beratungsbedarf gelten.15 Überdies erscheint eine Aufgabenübertragung auf Dritte in der Mehrzahl der Fälle schon aus praktischen Gründen geboten, da der Vorstand bloß begrenzte Arbeitskapazitäten und oftmals kein entsprechendes Fachwissen besitzt.16 Eine Priorisierung und Delegation der Leitungstätigkeiten ist insofern unvermeidlich und notwendiger Prozess guter Corporate Governance.17

B. Recht zur KI-gestützten Entscheidungsfindung I. Zulässigkeit der Leitungsunterstützung durch KI-Systeme („Legalität“) Der Vorstand ist im Rahmen seiner Leitungstätigkeit verpflichtet, für eine funktionierende Informationsorganisation zu sorgen18 und hat in diesem Zusammenhang gründlich zu prüfen und sorgfältig abzuwägen, ob und wenn ja, wem und auf welche Weise er diese essenzielle Aufgabe überträgt bzw. übertragen darf. Zwar steht außer Frage, dass KI-Technik die Aufgabe der Entscheidungsvorbereitung und damit auch die abschließende Leitungsent­ scheidung des Vorstands in puncto Geschwindigkeit und Qualität maßgeblich verbessern kann, da sich die benötigten Informationen mithilfe selbstlernender Filteroperationen und Suchalgorithmen in wesentlich kürzerer Zeit fokussiert und zielgerichtet darstellen lassen. Übergeordnet muss sich der Vorstand allerdings stets zunächst die Frage stellen, ob die beabsichtigte Nutzung mit seiner Legalitätspflicht in Konflikt steht. Sollte sich der Einsatz eines KI-Systems zum Zwecke der Entscheidungsunterstützung außerhalb des ­ rechtlich erlaubten Rahmens bewegen, stünde dem Vorstand schon kein Entscheidungsfreiraum zu. Dies gilt es im Folgenden zu klären, wobei vorab zu ZGR 2013, 725, 735. in: FS Hefermehl, 263, 273; Koch, in: Koch, AktG, § 76 Rn. 8, welcher den Vorstand als klassisches „Delegationsorgan“ bezeichnet; ähnlich auch Hoch, AcP 219 (2019), 648, 673; Lücke, BB 2019, 1986, 1992; Rodewald/Unger, BB 2006, 113, 114; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 6; Weißhaupt, ZHR 185 (2021), 91, 95. 17  In ähnlicher Weise erläutert Freund, NZG 2021, 579, 583, dass die „Fülle von Geschäftsführungsaufgaben“ eine Priorisierung und Schwerpunktsetzung erforderlich macht. 18  So auch Schneider, in: Habersack/Mülbert/Schlitt, KapMarktInfo-HdB, § 2 Rn. 74. 15  Sander/Schneider, 16  Geßler,



B. Recht zur KI-gestützten Entscheidungsfindung35

eruieren ist, auf welche Weise das KI-System genutzt und mit welchem Einfluss es ausgestattet wird. Ein KI-System lässt sich nämlich im Bereich der Unternehmensführung – jedenfalls theoretisch – auf unterschiedliche Weise einbinden. Einerseits ließe sich ein KI-Assistenzsystem unternehmensintern als technisches Hilfsmittel bzw. personifiziert dargestellt als untergeordneter und bloß im Innenverhältnis tätiger „Künstlicher (e)Mitarbeiter“ implementieren.19 Auch praktikabel erscheint, dass der Vorstand im Namen der AG externe Dienstleister beauftragt und aufgabenspezifisch deren „KI-Knowhow“ in Anspruch nimmt.20 Grundsätzlich vorstellbar ist weiterhin eine Interaktion mit dem KI-Systems als Mitglied der obersten Führungsebene in der Rolle eines „Digitalen Vorstandsmitglieds“, entweder ausschließlich beratend, also stimmrechtslos, oder mitleitend und stimmberechtigt.21 Darüber hinausgehend – nach derzeitigem Stand und auf mittlere Sicht aber allenfalls fiktional – käme als mögliches Einsatzszenario im letzten Schritt sogar die originäre Alleinleitung der Aktiengesellschaft durch eine starke Künstliche Intelligenz in Betracht.22 1. Das KI-System als vorgeschaltetes Hilfs- und Arbeitsmittel des Vorstands KI kann besser als jede andere Technik mit Daten jonglieren. Die Nutzung als bloßes IT-Werkzeug zur Informationsversorgung (Human-in-commandAnsatz)23 kann hierbei als einfachster Weg der Einbindung bezeichnet werden und bietet sich als vertrauensschaffende Interimslösung hin zu einer entscheidungsbefugten KI an. Der Einsatz von KI als Betriebsmittel kommt in den verschiedensten Teilbereichen der Unternehmensleitung in Betracht.24 Im besten Fall lässt sich hierdurch eine Präzisierung, Verkürzung und Verbesserung des Informationsmanagements bewirken. Die nachfolgenden Aus-

19  Hierzu Becker/Pordzik, ZfPW 2020, 334, 344; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132. 20  Allgemein hierzu Uwer, ZHR 183 (2019), 154, 156 f. 21  Lücke, BB 2019, 1986, 1987 f.; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S.  27 f.; Teichmann, ZfPW 2019, 247, 264 f. 22  Angedacht auch von Armour/Eidenmüller, ZHR 183 (2019), 169, 181 ff.: „Der Wettbewerb wird die Unternehmen […] dazu zwingen, ergebnisoptimierend zu handeln und auf menschliche Entscheidungsträger (irgendwann) zu verzichten.“ 23  Zum Begriff Haagen, Verantwortung für Künstliche Intelligenz, S. 199; Peylo, in: Digitalisierung, Automatisierung, KI und Recht, S. 101. 24  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 133 diskutieren zudem auch die Einsetzung einer KI als gesondertes Gremium („Expertenrat“).

36

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

führungen gehen der Frage nach, ob es dem Vorstand prinzipiell gestattet ist, ein KI-System als Hilfsmittel und Informationsquelle zu nutzen.25 a) Übertragung der Grundsätze zur Aufgabendelegation KI-Systeme im Führungsbereich sollen menschliche Fachkräfte zur Unterstützung des Vorstands substituieren. Vor diesem Hintergrund liegt es nahe, die an vorstehender Stelle beschriebene Rechtsprechungslinie zur Delegation von Unterstützungsaufgaben an nachgelagerte Hierarchieebenen und Berater auch auf betriebsinterne KI-Systeme zu übertragen.26 In diesem Falle wäre die KI-Nutzung in der Unternehmensleitung grundsätzlich als zulässig einzustufen, wobei die Letztentscheidungskompetenz auch insoweit unverrückbar beim Vorstand verbliebe. Ob der Weg einer Rechtsprechungsanalogie offensteht, ist nachfolgend zu erörtern. Bislang existiert im deutschen Gesellschaftsrecht keine Regelung, die sich explizit mit der Anwendung von KI auseinandersetzt.27 Auch gerichtliche Entscheidungen sind zu dieser speziellen und fortschrittlichen Thematik noch nicht ergangen. Eine Rezeption der Rechtsprechung zur Vertikaldelegation bzw. zur Konsultation von Beratern setzt allerdings eine Vergleichbarkeit der Fallkonstellationen voraus. Betrachtet man die Gegebenheiten eines KI-Systems in einem ersten Schritt allgemein und ohne Rücksicht auf die nutzungsbedingt einzuhaltenden Organisationspflichten, zeigen sich zwei wesentliche Unterschiede im Vergleich zur menschlichen Assistenz. Zum einen wird das Ergebnis des KI-Systems für gewöhnlich nicht begründet, die algorithmischen Schlussfolgerungen sind schlichtweg nicht nachvollziehbar. Zum anderen fehlt dem KI-System die Rechtssubjektqualität als Grundvoraussetzung für eine eigenständige Haftung. Ob eine der beiden Unzulänglichkeiten eine Andersbehandlung erforderlich macht, wird im Folgenden analysiert. aa) Fehlende Nachvollziehbarkeit – das Blackbox-Problem Ohne jeden Zweifel ist ein KI-System kein gewöhnliches Arbeitsmittel gleich eines Tablets oder einer statisch und regelbasiert programmierten Analysesoftware – Technik der vorgenannten Art könnte selbstredend durch den 25  Erst im zweiten Teil der Untersuchung werden die nutzungsbedingten Sorgfaltspflichten des Vorstands besprochen. 26  So insbesondere auch Lücke, BB 2019, 1986, 1992, wobei dieser die Zulässigkeitsfrage (Ob) zusammenhängend mit der sich anschließenden Frage der Folgepflichten (Wie) abhandelt. 27  Anders im BetrVG (vgl. § 80 Abs. 3 S. 2 BetrVG).



B. Recht zur KI-gestützten Entscheidungsfindung37

Vorstand verwendet werden.28 Die Besonderheit des KI-Systems liegt in der selbstlernenden Fortentwicklung und eigenständigen Ausführung teils oder gänzlich intransparenter Rechenprozesse.29 Die Gewährleistung der Ergebnisnachvollziehbarkeit ist Aufgabe des KI-Entwicklers.30 Nach derzeitigem Stand der Technik scheint ein solch autonom generierter Rechenschafts­ bericht aber noch Zukunftsmusik zu sein – hier zeigt sich das Problem der Opazität der KI-Rechenoperationen. Die Informatik stößt an ihre Grenzen, soweit es darum geht, Transparenz und menschliche Erklärbarkeit in die vielschichtigen Datenverarbeitungsprozesse der KI zu bringen. Allerdings sind Forschungsprojekte und erste Lösungsansätze auf dem Weg, Licht ins Dunkel der Black Box zu bringen. Der Oberbegriff dieses Forschungsfeldes lautet „eXplainable AI“ (Kurzform: XAI), zu Deutsch: erklärbare KI.31 Ob tatsächlich praxistaugliche XAI-Anwendungen für den hier angedachten Tätigkeitsbereich entwickelt werden, bleibt abzuwarten. Stellt man das KI-spezifische Attribut der Opazität den menschlich-kognitiven Eigenheiten gegenüber, zeigt sich aber deutlich, dass auch menschliche Denkprozesse im Kern undurchsichtig sind und sich nicht rekonstruieren lassen. Menschliche Berater stützen ihre Empfehlungen und Prognosen teilweise „intuitiv“ auf eine Reihe unterbewusst vorhandener Präferenzen, ohne erklären zu können, warum und mit welchen Gewichtungen solche latenten Kriterien berücksichtigt wurden.32 Zwischen Mensch und KI-System kann insoweit vorsichtig von einer arbeitsmethodischen Vergleichbarkeit gesprochen werden.33 Freilich können und müssen sich natürliche Personen rechtfertigen und erklären; gleichwohl bleibt auch hier im Unklaren, ob die abgegebene Erklärung die tatsächlichen Beweggründe widerspiegelt.34 Nicht ungesehen bleiben darf in 28  So

wohl auch Lücke, BB 2019, 1986, 1989; Zetzsche, AG 2019, 1, 6. im Ergebnis auch Linardatos, ZIP 2019, 504, 507; zur Blackbox-Problematik siehe bereits Einführung C. I. 1. 30  Haagen, Verantwortung für Künstliche Intelligenz, S. 226. 31  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 137; Müller/Kirchner/Schüßler, in: Intelligente Systeme – Intelligentes Recht, S. 96; Puppe, in: Digitalisierung, Automatisierung, KI und Recht, S. 126; Rai, Journal of the Academy of Marketing Science (2020) 48:137, 137 f. 32  Shrestha/Ben-Menahem/von Krogh, California Management Review Organizational Decision-Making Structures in the Age of Artificial Intelligence, S. 5, abrufbar unter: https://www.researchgate.net/profile/Yash-Shrestha/publication/334447755_Or ganizational_Decision-Making_Structures_in_the_Age_of_Artificial_Intelligence/ links/5fc8a99ca6fdcc697bd84ae1/Organizational-Decision-Making-Structures-in-theAge-of-Artificial-Intelligence.pdf?origin=publication_detail (zuletzt abgerufen am 24.04.2022). 33  Diesen Gedanken auch aufgreifend Becker/Pordzik, ZfPW 2020, 334, 352; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnatio­ nalen Wirtschaftsrecht, Heft 166, September 2019, S. 29. 34  So auch Noack, in: FS Windbichler, 947, 950. 29  So

38

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

diesem Zusammenhang, dass der BGH für den Fall der fachlichen Beratung durch eine natürliche Person ein nachvollziehbares schriftliches Gutachten fordert, es sei denn, es handelt sich um eine einfach gelagerte oder besonders eilbedürftige Fragestellung; eine bloße Mitteilung des Ergebnisses sei unzureichend, da sie eine Plausibilitätsüberprüfung durch das Leitungsorgan nicht zulasse.35 Fraglich ist, ob sich dieser Befund eins zu eins auch auf KI-Leistungen übertragen lässt; setzt die Nutzung und Verwertung von Arbeitsergebnissen der KI zwangsläufig eine überprüfbare Grundlage, mithin eine Art digitales Rechtfertigungsprotokoll voraus?36 Teilweise wird hierzu vertreten, es bedürfe zwangsläufig einer KI-generierten Begründung deshalb, weil der Vorstand gemäß § 90 Abs. 1 S. 1 Nr. 1 AktG verpflichtet sei, dem Aufsichtsrat eine Erklärung über die – ggf. KI-gestützte – Unternehmensplanung und Geschäftspolitik abzugeben – was wiederum, sofern sich die KI nicht selbst erklären könnte, nur eingeschränkt möglich sei.37 Dieser Kontrollüberlegung lässt sich entgegengehalten, dass die Berichtspflicht entsprechend dem Rechtsgedanken des § 275 BGB stets unter dem Vorbehalt der Möglichkeit und Zumutbarkeit steht;38 ist es dem Vorstand also „Blackbox-bedingt“ schlicht nicht möglich, die KI-generierte Lösung zu erklären, steht es ihm frei, sich auf diesen Einwand zu berufen.39 Wohlgemerkt bleibt der Vorstand verpflichtet, zu erklären, aus welchen Gründen er der Handlungsempfehlung der nicht erklärbaren KI dennoch folgt; letzteres könnte beispielsweise derart geschehen, dass er die Verlässlichkeit der KI darlegt, ergänzend eigene Überlegungen anführt oder sich auf die bestätigende und dokumentierte Zweitmeinung einer natürlichen Person beruft. Gegen eine zwingend erforderliche KI-Ergebnisbegründung lassen sich allgemein folgende Überlegungen ins Feld führen: Bereits in der Ausbildung und schulischen Laufbahn wird – etwa im Bereich der Mathematik – zutreffend gelehrt, dass ein korrektes Ergebnis ohne Erläuterung des zugrundeliegenden (Rechen-)Weges im Rahmen der Leistungsbewertung zwar keine 35  BGH, Urt. v. 16.05.2017 – Az.: VI ZR 266/16 = NJW 2017, 2463, 2465; BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271, 1273. 36  So jedenfalls Linardatos, ZIP 2019, 504, 505; auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 17 fordern eine „Begründung für die jeweilige Auskunft“. 37  Ähnlich problematisierend Noack, in: FS Windbichler, 947, 950 unter Verweis auf Strohn, ZHR 182 (2018), 371, 376. 38  So auch Bühler, Berichtspflichten bei Strukturmaßnahmen von Aktiengesellschaften, S. 52 f. für den Fall der Berichtspflicht des Vorstands an die Hauptversammlung. 39  Zu dem gleichen Ergebnis gelangt auch Linardatos, ZIP 2019, 504, 507; auch Noack, in: FS Windbichler, 947, 950 hält Bedenken um die Erklärbarkeit für unbegründet und verweist darauf, dass „auch die menschliche Entscheidung […] im Grunde eine Black Box“ sei.



B. Recht zur KI-gestützten Entscheidungsfindung39

volle Punktzahl rechtfertigt, aber zumindest durch Teilpunkte honoriert wird. Eine ausführliche und nachvollziehbare Begründung ist unzweifelhaft wertvoll und mag wissenschaftlichen Ansprüchen entsprechen, sie ist in der Unternehmenswirtschaft aber kein unabdingbarer Teil der Lösung. Letztlich entscheidend ist und bleibt das Ergebnis.40 Bloß, weil ein System menschlich nicht nachvollziehbare Wege nutzt, kann dies nicht per se zur Folge haben, ihm die Zulässigkeit und den Nutzen als entscheidungsunterstützendes ­Werkzeug abzusprechen. Vielmehr lässt der Mangel an Erklärbarkeit nicht zwingend auf eine ungenügende Qualität des KI-Systems schließen.41 Insofern sind die in der Rechtsprechung aufgestellten Anforderungen an die ­Beratungspraxis nach diesseitiger Auffassung jedenfalls nicht ohne weiteres transferfähig.42 Einerseits lag der häufig zitierten ISION-Entscheidung ein Rechtsberatungsfall zugrunde, sodass die eigene unternehmerische Sachkunde des Vorstands in diesem speziellen Fall nicht – ergänzend oder auch alternativ anstelle der begründeten Stellungnahme des (Rechts-)Beraters – zur Plausibilisierung des Beratungsergebnisses taugte.43 Andererseits gingen die Bundesrichter in dem damals zur Entscheidung anstehenden Fall von anderen Grundvoraussetzungen und Sachgesetzlichkeiten aus. Während natürlich-intelligente Berater schon aufgrund ihrer menschlich angelegten und von der Natur vorgegebenen Reflexionsfähigkeit in der Lage sind, ihre Tätigkeiten zu begründen, ist dies bei KI-Systemen nach ihrem technischen Status Quo gerade nicht der Fall.44

40  Ebenso Noack, in: FS Windbichler, 947, 950, 954, der hierzu den biblischen Vers „An ihren Taten sollt ihr sie erkennen“ (1. Johannes 2, 1–6) zitiert. 41  Konertz/Schönhof, Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, S. 65. 42  A. A. Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 147, wobei sie auch klarstellt, dass die Anforderungen an die Erklärbarkeit nach dem konkreten Einzelfall zu beurteilen sind und „stark vom Kontext und der Tragweite der Konsequenzen eines fehlerhaften oder anderweitig unzutreffenden Ergebnisses“ abhängen. Außerdem führt sie aus, dass „Entscheidungen unternehmerischer Art, die von einem KI-System unterstützt oder erzeugt werden, weniger ethische Bedenken hervorrufen“. 43  Auch nach Hölters/Hölters, in: Hölters/Weber, AktG § 93 Rn. 232 ist die Sachlage anders zu beurteilen, wenn sich der Vorstand „in wirtschaftlichen Fragen beraten“ lässt, da die „wirtschaftliche Beurteilung einer bestimmten Maßnahme gerade seine Aufgabe ist und er damit zur Beurteilung des Sachverhalts besser in der Lage sein müsste als der Berater“. 44  Ähnlich Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 148.

40

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

bb) Fehlende Eigenhaftung Weiterhin ist zu untersuchen, ob der Einsatz menschlicher Hilfspersonen zur Vorbereitung von Leitungsentscheidungen nur deshalb als zulässig erachtet wird, weil die klassischen Delegationsempfänger – teilweise freilich nur in beschränkter Form45 – aufgrund ihrer Rechtsfähigkeit auch als mögliche Haftungssubjekte zur Verfügung stehen. In der Konsequenz würde dies bedeuten, dass ein KI-Einsatz zur Vorstandsberatung mangels Haftbarkeit der Technik ausgeschlossen wäre. Auf diese Überlegung könnte man deshalb kommen, weil der Vorstand als Treuhänder fremden Vermögens verpflichtet ist, hinsichtlich seiner Entscheidungen das Wohl der Gesellschaft zu beachten und deren Liquiditätssituation zu schonen.46 Nach Eufinger darf die ­Geschäftsleitung „auf realisierbare Forderungen grundsätzlich nicht eigenmächtig verzichten“, es sei denn es sprechen gewichtige Gründe des Gesellschaftswohls für ein solches Verhalten.47 Es ergibt in Anbetracht dessen durchaus Sinn, gerade solche Personen in den Prozess der Entscheidungs­ vorbereitung einzubinden, die auch selbst in der Lage sind, für ihre Fehler einzustehen. Mit externen Beratern und Hilfspersonen lassen sich schließlich vertraglich besondere Haftungsmechanismen (Garantien, Freistellungspflichten, Vertragsstrafen etc.) vereinbaren.48 Fiele die Auswahl demgegenüber auf ein KI-System, könnte dies mittelbar als Forderungsverzicht ausgelegt ­werden. Auch das durch den BGH in seiner Rechtsprechung zur Einholung fachlicher Beratung aufgestellte Merkmal der Berufsträgereigenschaft könn­te – jedenfalls zwischen den Zeilen – vermuten lassen, dass ein Verlassen auf Informationen Dritter einen gewissen Haftungsschirm erfordert. Schließlich sind Rechtsanwälte, Wirtschaftsprüfer und Steuerberater, aber auch Finanzanlagevermittler gesetzlich verpflichtet eine Berufshaftpflichtversicherung mit einer bestimmten Deckungssumme abzuschließen.49 Richtigerweise darf die fehlende Rechtsträgereigenschaft des Delegationsempfängers bzw. dessen nicht vorhandene Haftpflicht aber keinen Unterschied machen.50 Entscheidend ist lediglich, dass der Vorstand weiterhin die 45  Linnertz, Die Delegation durch den Vorstand einer AG, S. 146, feststellend, dass die „Haftungsmasse mit der Hierarchieebene im Unternehmen abnimmt“. 46  Eufinger, GWR 2018, 267, 268. 47  Eufinger, GWR 2018, 267, 268. 48  Linnertz, Die Delegation durch den Vorstand einer AG, S. 155. 49  So fordert z. B. Selter, AG 2012, 11, 16 eine gesicherte Haftungsmasse der jeweiligen Berater. 50  Ähnlich auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 66 die darauf hinweist, dass auch die herkömmliche vertikale ­Delegation nicht bloß an einzelne Mitarbeiter erfolgt, sondern Aufgaben zum Teil auch an (gleichfalls nicht rechtsfähige) Betriebsabteilungen delegiert werden.



B. Recht zur KI-gestützten Entscheidungsfindung41

haftungsbewehrte Verantwortung für die Unternehmensleitung trägt, indem er seinen delegationsbedingten Sorgfaltspflichten, die ausführlich im zweiten Teil der Untersuchung behandelt werden, nachkommt.51 Zwar kommen KISysteme de lege lata als Haftungsvehikel nicht in Betracht, während sowohl externe Berater (§§ 280 Abs. 1, 611, 675 BGB) als auch unternehmensinterne Arbeitnehmer (§§ 280 Abs. 1, 611a BGB) im Falle schuldhafter Schlechtleistung auf vertraglicher Grundlage potenziell als ersatzpflichtige Schädiger zur Verfügung stehen. Gleichwohl scheiden Haftungsansprüche auch gegen die vorgenannten Rechtssubjekte häufig aus. Beispielsweise ist die Arbeitnehmerhaftung stets im Lichte der Grundsätze des innerbetrieb­lichen Schadensausgleichs zu betrachten, sodass Regressansprüche jedenfalls dann ausgeschlossen sind, wenn dem Mitarbeiter lediglich leichteste Fahrlässigkeit zum Vorwurf gemacht werden kann.52 Zudem kommen bei Rückgriff auf ein KISystem alternative Haftungsadressaten als Kompensationsäquivalente in Betracht, sofern das mangelhafte Arbeitsergebnisse der KI auf eine fehlerhafte Programmierung oder ungenügende Instruktion zurückzuführen ist und dies nach dem Stand der Wissenschaft und Technik vorhersehbar und vermeidbar war. Insoweit kommen als potentielle Haftungsschuldner einerseits auf vertraglicher Grundlage der KI-Anbieter als Bereitsteller des Systems in Betracht, andererseits der – ggf. personenverschiedene – KI-Hersteller, den im Falle der Verletzung abschließend aufgezählter Rechtsgüter u. U. eine verschuldensunabhängige Gefährdungshaftung trifft.53 b) Resümee zur Zulässigkeit eines KI-Systems als Hilfsmittel des Vorstands Zusammengefasst ist festzustellen, dass die Kriterien der Rechenschaftsfähigkeit und Rechtspersönlichkeit keine unabkömmlichen Vorbedingungen einer zulässigen Delegation darstellen. Für die digitale Aufgabenübertragung an ein KI-System darf insofern nichts anderes gelten als für die betriebliche Ausnutzung menschlicher Ressourcen in Gestalt interner oder externer De­ legation an rechtsfähige Personen – Anschaffung und Nutzung einer KI zur Informationsgewinnung sind dem Grunde nach erlaubt.54 In beiden Fällen, 51  So i. E. auch Weber/Kiefner/Jobst, NZG 2018, 1131, 1132; vergleichbare Überlegungen zur (nicht-)defizitären Haftung aufgrund vertikaler Delegation Linnertz, Die Delegation durch den Vorstand einer AG, S. 146. 52  BAG, Urt. v. 16.02.1995 – Az.: 8 AZR 493/93 = NZA 1995, 565, 566; BAG, Urt. v. 24.11.1987 – Az.: 8 AZR 524/82 = NZA 1988, 579, 580; Schwab, NZA-RR 2016, 173, 174. 53  Veith, Künstliche Intelligenz, Haftung und Kartellrecht, S. 87 ff. 54  So auch Grigoleit, in: Grigoleit, AktG, § 76 Rn. 87; Linardatos, ZIP 2019, 504, 507; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132; Seibt, in: Schmidt/Lutter, AktG, § 76 Rn. 14.

42

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

menschlich wie auch künstlich, ist dem Vorstand verschlossen, welche internen Impulse den konkreten Output bzw. das Ergebnis kausal herbeigeführt haben. Spindler und Seidel betonen, dass der Vorstand auch im Falle klassischer Aufgabenauslagerung weder wissen könne noch Einfluss darauf habe, ob der externe Berater hinter den Kulissen nicht selbst KI zur Unterstützung nutzt.55 Der Mangel an Transparenz des KI-Systems spielt auf Ebene der Zulässigkeit der Delegation („Ob“) keine Rolle; erst soweit es um das „Wie“, also den Pflichtenkanon des Vorstands geht, kommt dem Merkmal der Nachvollziehbarkeit bzw. Erklärbarkeit eine differenzierende Bedeutung zu.56 Darüber hinaus bleibt der Vorstand jeweils „Herr über den Entscheidungsprozess“; Vorschläge und Empfehlungen des KI-Systems entfalten keine rechtliche Bindungswirkung.57 Auch eventuelle Haftungslücken sind hinzunehmen und versperren den Zugriff nicht, weil die Letztverantwortung des Vorstands und dessen einsatzbedingten Sorgfaltspflichten etwaige Defizite überlagern. Schließlich weist Lücke zurecht darauf hin, dass der KI-Einsatz dem Vorstand bereits deshalb nicht verwehrt bleiben dürfe, weil dieser aus Gründen des Selbstschutzes nach § 93 Abs. 1 S. 2 AktG in der Lage sein müsse, sich angemessen und gründlich zu informieren.58 Eine generelle Unzulässigkeit des KI-Einsatzes würde diametral hierzu und ohne vernünftigen Grund ein nützliches wie auch zukunftsträchtiges Informationsmedium aus dem Ermessensrepertoire des Vorstands ausschließen. Es zeigt sich, dass sich die unternehmensinterne Nutzung eines KI-Systems zur vorbereitenden Unterstützung von Leitungsentscheidungen in den bestehenden Rechtsrahmen des Aktiengesetzes einfügt.59 Ungeachtet der vorstehenden Überlegungen zur generell-abstrakten Zulässigkeit, können in der Einzelfallbetrachtung sowohl der Bezug eines KI-Systems als auch dessen Einsatz der gebotenen Geschäftsleitersorgfalt widersprechen, sofern die an nachfolgender Stelle näher bezeichneten Organisationsanforderungen nicht eingehalten werden.60 Im Umkehrschluss bedeutet dies auch: Stellt sich im 55  Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 7. 56  Siehe dazu im Einzelnen unten Teil 2 B. I. 2. b) bb) (1) (d) sowie Teil 2 B. I. 2. b) gg) (3). 57  Ähnlich Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 29; ebenso Zetzsche, AG 2019, 1, 7. 58  Lücke, BB 2019, 1986, 1988. 59  Für UK so auch Lee/Underwood, AI in the boardroom: let the law be in the ­driving seat (26. Juni 2021), S. 20 (s. Einführung Fn. 16). Ob anderweitige gesellschaftsrechtliche Hürden (Zustimmungspflicht des Aufsichtsrats, Beschluss der Haupt­ versammlung) bestehen, wird unter Teil 1 B. II. 2. 3. näher untersucht. 60  Siehe Teil 2 B. I. 2. b).



B. Recht zur KI-gestützten Entscheidungsfindung43

Vorfeld des Erwerbs bereits heraus, dass die nachgelagerten Sorgfaltspflichten aus rechtlichen oder tatsächlichen Gründen nicht eingehalten werden können, ist der KI-Einsatz von vornherein pflichtwidrig und dem Vorstand damit verwehrt.61 In jedem Fall unzulässig und nicht mit dem unveräußerlichen Leitungsrecht des Vorstands (§ 76 Abs. 1 AktG) zu vereinbaren ist die Übertragung von Leitungsmacht auf das KI-System.62 Gleichgültig, wie das Beratungsergebnis der KI ausfällt, es muss von Gesetzes wegen für den Vorstand ohne rechtliche Bindungswirkung bleiben.63 Nicht zu überzeugen vermag insoweit die Überlegung, der Vorstand könne seine Letztentscheidungskompetenz ­antizipiert bereits im Wege der Delegation durch vorweggenommene Fest­ legung vordefinierter Grenzen und Ziele des KI-Systems ausüben.64 Die nicht-determinierte Vorgehensweise einer KI lässt sich gerade nicht mit einer bloßen Botentätigkeit gleichsetzen, zumal dem KI-System ein – wenn auch begrenzter – Ermessensradius zusteht. Auch in einem – durch Programmierung oder Eingabebefehle – vorabgesteckten Rahmen würde der Vorstand daher verbindliche Leitungsbefugnisse aus der Hand geben, was weder mit der Letztverantwortung des Vorstands noch mit der aktienrechtlichen Organisationsverfassung in Einklang zu bringen wäre.65 Die KI-Entschließung könnte dem Vorstand nicht als dessen eigene Entscheidung zugerechnet werden; bei wertender Betrachtung unterbricht das Dazwischentreten einer autonom-entscheidenden Software aufgrund ihres nicht vorhersehbaren und möglicherweise atypischen Verhaltens den Zurechnungszusammenhang.66 Die Übertragung auch nur vereinzelter Führungsentscheidungen auf ein ­KI-System würde mithin faktisch ein weiteres Gesellschaftsorgan mit Steuerungsbefugnis implementieren, was wiederum als korporative Regelung zwingend in der Satzung festzulegen wäre. Eine solche Satzungsbestimmung würde jedoch die gesetzlich vorgegebene Begrenzung des Vorstandsamtes auf natürliche Personen (§ 76 Abs. 3 S. 1 AktG) ebenso wie den aktienrechtlichen Numerus Clausus der Organe torpedieren und verstieße damit in 61  Ebenso – jedoch allgemein gehalten – für den Bereich der Delegation Linnertz, Die Delegation durch den Vorstand einer AG, S. 150, 191 f. („Überwachungspflicht als verkapptes Delegationsverbot“). 62  So auch Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 134. 63  Zur rechtlichen Bindung an die KI-Auskunft vgl. Teil 1 D. 64  So wohl vertreten durch Weber/Kiefner/Jobst, NZG 2018, 1131, 1134 jedenfalls für den Fall, dass sich die KI nicht über die vorab festgelegten Grenzen hinwegsetzen kann; a. A. auch Becker/Pordzik, ZfPW 2020, 334, 345. 65  Hierzu schon Becker/Pordzik, ZfPW 2020, 334, 345 f.; zum Grundsatz der Unveräußerlichkeit der Leitungsmacht Fleischer, in: BeckOGK/AktG, § 76 Rn. 74; ähnlich Mertens/Cahn, in: KK/AktG, § 76 Rn. 49. 66  Ähnlich Becker/Pordzik, ZfPW 2020, 334, 345 f.

44

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

mehrfacher Hinsicht gegen das gesetzliche Gebot der Satzungsstrenge (§ 23 Abs. 5 AktG).67 2. Nutzung eines externen KI-Systems Immer häufiger entscheiden sich Unternehmen auch dafür, IT-Prozesse wie die elektronische Datenverarbeitung, die elektronische Lohnbuchhaltung oder das Online-Marketing auf Dritte zu übertragen (sog. Outsourcing digitaler Funktionen).68 Insofern liegt die Überlegung nahe, auch den Support des Vorstands durch KI-Systeme an unternehmensfremde IT-Dienstleister auszulagern. Auch dieser Durchführungsweg begegnet abstrakt betrachtet und für sich genommen keinen rechtlichen Bedenken.69 Hierzu gelten im Wesent­ lichen die gleichen Erwägungen wie zur unternehmensinternen Verwendung von KI als immaterielles Betriebsmittel, obgleich die letztliche Einsatzgestaltung nicht über das arbeitgeberseitige Direktionsrecht bzw. eine direkte technische Einflussmöglichkeit, sondern über umfassende vertragliche Bestimmungen umzusetzen und abzusichern ist.70 Zur Untermauerung der Zulässigkeit digitaler Auslagerung durch die Geschäftsleitung kann auch auf die finanzsektorspezifische Regelung des § 25b Abs. 2 S. 1 KWG bzw. die zugehörigen, von der Bundesanstalt für Finanzdienstleistungsaufsicht (kurz: BaFin) als normkonkretisierende Verwaltungsvorschrift erlassenen „Mindestanforderungen an das Risikomanagement“ (kurz: MaRisk) mit identischem Regelungsgehalt rekurriert werden. Unter AT 9 Tz. 4 MaRisk hat die BaFin klargestellt, dass eine Auslagerung von Aktivitäten und Prozessen zulässig ist, solange dadurch die „Ordnungsmäßigkeit der Geschäftsorganisation“ nicht beeinträchtigt wird und es nicht zu einer Delegation der Leitungsverantwortung an das Auslagerungsunternehmen kommt. Hieraus lässt sich ein branchenübergreifender Erst-Recht-Schluss (argumentum a minore ad maius) ziehen: Ist die Auslagerung informationstechnischer Prozesse bereits innerhalb des stark regulierten Finanzaufsichtswesens zulässig, dann erst recht auch in den übrigen weniger systemrelevanten Branchen. Auf die Frage der

67  So im Allgemeinen auch Kuntz, AG 2016, 101, 105; zu den körperschaftlichen Satzungsbestimmungen i. E. auch Pentz, in: MüKo/AktG, § 23 Rn. 40; Solveen, in: Hölters/Weber, AktG, § 23 Rn. 4. 68  Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 34; zum Begriff auch Uwer, ZHR 183 (2019), 154. 69  So auch Berberich/Conrad, in: Rechts-HdB KI und Robotik, § 30 Rn. 32. 70  Ihrig/Schäfer, in: Ihrig/Schäfer, Rechte und Pflichten des Vorstands, § 1 Rn. 22; Nolte/Becker, BB Special 5 (zu BB 2008, Heft 25), 23, 25; Spindler, in: MüKo/AktG, § 76 Rn. 18; Uwer, ZHR 183 (2019), 154, 156.



B. Recht zur KI-gestützten Entscheidungsfindung45

Zweckmäßigkeit einer ausgelagerten KI-Verwendung wird erst im zweiten Teil der Untersuchung näher eingegangen.71 3. Das KI-System als „Digitales Vorstandsmitglied“ a) Rechtliche Würdigung de lege lata In der aktienrechtlichen Literatur viel diskutiert wird seit einiger Zeit der Einsatz einer KI als „digitales Vorstandsmitglied“ in Form einer „ePerson“72 in einer hybriden, also zugleich auch menschlich besetzten und geführten Vorstandsetage.73 Mit Blick auf § 76 Abs. 3 S. 1 AktG wird indessen klar, dass es sich gegenwärtig bloß um ein Gedankenexperiment handeln kann, dessen Umsetzbarkeit an den derzeit bestehenden gesetzlichen Grenzen scheitert.74 Die Bestellung eines KI-Systems als Entscheidungsträger in den Vorstand wäre gemäß § 134 BGB nichtig.75 Mitglied des Vorstands kann nach dem AktG nur eine natürliche, unbeschränkt geschäftsfähige Person sein. Rechtsformvergleichend zeigt sich, dass es sich zumindest gegenwärtig um ein gesetzliches Leitbild im Kapitalgesellschaftsrecht handelt. Vergleichbare Regelungen finden sich mithin auch in § 6 Abs. 2 S. 1 GmbHG, der Parallelvorschrift für die GmbH, in § 9 Abs. 2 S. 1 GenG für den Vorstand und Aufsichtsrat der Genossenschaft sowie in § 100 Abs. 1 S. 1 AktG für den Aufsichtsrat der AG.76 Wenn aber bereits juristischen Personen und Personengesellschaften nach dem gesetzgeberischen Willen keinen Platz am Vorstandstisch finden, muss dies erst recht für nicht mit Rechtsfähigkeit ausgestattete KI-Systeme gelten.77 71  Siehe

dazu ausführlicher Teil 2 A. Begriff der „ePerson“ allgemein Riehm, RDi 2022, 42. 73  Becker/Pordzik, ZfPW 2020, 334, 353 ff.; Möslein, ZIP 2018, 204, 208; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 27 f.; Teichmann, ZfPW 2019, 247, 264 f.; Zetzsche, AG 2019, 1, 9 f. 74  So auch Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 129 f.; Linke, Digitale Wissensorganisation, S. 53; Möllmann, GmbHR 2021, 1033, 1036; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 27. 75  Hierzu allgemein Liebscher, in: Beck-HdB AG, § 6 Rn. 23; Spindler, in: MüKo/ AktG, § 84 Rn. 29. 76  Eine offenere Regelung findet sich hingegen für die SE – gemäß Art. 47 Abs. 1 SE-VO kann grundsätzlich auch „eine Gesellschaft oder eine andere juristische Person Mitglied eines Organs sein“. 77  So auch Fleischer, in: BeckOGK/AktG, § 76 Rn. 78; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 130; Möslein, ZIP 2018, 204, 208; Weber/Kiefner/Jobst, NZG 2018, 1131, 1136. 72  Zum

46

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

Gesellschaftsrechtliche Gesetze anderer Staaten lassen hier teilweise weite Auslegungsspielräume und könnten so zumindest nach vereinzelt vertretener Ansicht bereits jetzt den Weg für KI-geführte Gesellschaften frei machen.78 So heißt es beispielsweise in § 141 (a) S. 1 des Delaware Code[s] (reliance doctrine): „The business and affairs of every corporation organized under this chapter shall be managed by or under the direction of a board of directors, except as may be otherwise provided […] in its certificate of incorporation.“

Unter isolierter Betrachtung des vorbezeichneten Satzes könnte man meinen, die Satzungsautonomie dieser Jurisdiktion ließe jedenfalls theoretisch die Möglichkeit zu, KI an Stelle des Verwaltungsrats79 als Leitungsinstrument einzuführen. Der anschließende Satz 2 der Vorschrift geht jedoch wieder einen Schritt zurück und beschränkt die Zuweisung der Managementaufgaben auf „person/s“: „If any such provision is made in the certificate of incorporation, the powers and duties conferred or imposed upon the board of directors by this chapter shall be exercised or performed to such extent and by such person or persons as shall be provided in the certificate of incorporation.“

Zwar fallen unter den vorgenannten Personenbegriff wohl auch juristische Personen,80 nicht jedoch algorithmische Systeme ohne jegliche Rechtssubjektqualität.81 b) Rechtliche Würdigung de lege ferenda Es drängt sich allerdings die Frage auf, ob an dieser gesetzlichen Einschränkung festgehalten werden sollte oder vielmehr geboten ist, den persönlichen Anwendungsbereich der Vorschrift auf KI-Systeme zu erstrecken. Zur Beantwortung dieser Frage ist zunächst zu erforschen, aus welchen Beweggründen sich der Gesetzgeber veranlasst sah, Gesellschaften aus dem Kreis der Organmitglieder von juristischen Personen auszuschließen.82 Ausweislich der Gesetzesbegründung zum AktG wird die Ausklammerung von juris78  So interpretiert Lopucki, 95 Wash. U. L. Rev. 887, 907 f. die Vorschrift des § 141 (a) des Delaware Code als KI-offenes Gesellschaftsrecht; ebenso Armour/Eidenmüller, ZHR 183 (2019), 169, 181. 79  Besteht ein Verwaltungsrat („board of directors“), muss dieser nach § 141 (b) des Delaware Code zwingend aus einer oder mehreren natürlichen Personen bestehen. 80  So auch Möllmann, GmbHR 2021, 1033, 1034 f. 81  Zur Möglichkeit, stattdessen einen autonomen Algorithmus rechtlich in eine LLC einzukleiden Möllmann, GmbHR 2021, 1033, 1035. 82  Auch Becker/Prodzik, in: Arbeitswelt der Zukunft, S. 135 ff. befassen sich ausführlich mit dieser Fragestellung.



B. Recht zur KI-gestützten Entscheidungsfindung47

tischen Personen und Personengesellschaften als Mitglieder der Geschäfts­ leitung damit begründet, dass die Vorstandstätigkeit in persönlicher Verantwortung auszuüben sei.83 Das persönliche Haftungsrisiko einer natürlichen Person führt letztlich auch zu einer erhöhten – und gleichzeitig nützlichen – Hemmschwelle im Hinblick auf riskante Geschäftsentscheidungen. Auch mahnt Gehrlein, dass „gesellschaftsrechtliche Verschachtelungen“ zu haftungsrechtlichen Steuerungsverlusten führen und einen effektiven Haftungsdurchgriff auf natürliche Personen als Organmitglieder erschweren.84 Zurecht wird als weiteres Argument angeführt, eine Gesellschaft als Organmitglied schränke die Handlungsfähigkeit der Kapitalgesellschaft deshalb ein, weil u. U. übergeordnete Abstimmungen der Anteilseigner in der geschäftsleitenden Gesellschaft erforderlich sein könnten oder besondere Vertretungsbeschränkungen des Leitungsorgans der geschäftsleitenden Gesellschaft ggf. ein rasches Tätigwerden in der geführten Gesellschaft lähmen.85 Während das Argument der Schwerfälligkeit von Entscheidungsprozessen aufgrund von Kollegialabstimmungen, Zustimmungsvorbehalten oder Beschränkungen der Vertretungsmacht bei Bestellung einer KI in den Vorstand evident nicht zum Tragen käme, wären die nachteiligen Auswirkungen angesichts der wegfallenden Haftung einer natürlichen Person auch im Falle des KI-Einsatzes präsent.86 Die Einsetzung eines digitalen Vorstandsmitglieds würde de lege lata eine Haftungslücke hinterlassen.87 Wie bereits an übergeordneter Stelle erwähnt,88 stünde ein KI-System im Falle einer schadensbegründenden Fehlentscheidung gerade nicht als Haftungssubjekt im Sinne des § 93 Abs. 2 S. 1 AktG zur Verfügung. Auch ein Ausweichen auf eine etwaige Ersatzpflicht des KI-Herstellers oder des Aufsichtsrats vermag diese Kompensa­ tionslücke nicht zu schließen,89 weshalb im juristischen Schrifttum bereits 83  Begr. RegE zum AktG 1965, abgedruckt bei Kropff, Textausgabe des AktG, S. 97; nach Gehrlein, NZG 2016, 566, 567 soll das Eignungskriterium „Menschsein“ zudem die Einhaltung öffentlich-rechtlicher Verpflichtungen der Gesellschaft sicherstellen. 84  Gehrlein, NZG 2016, 566, 567. 85  Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 136; Gehrlein, NZG 2016, 566, 567, der zudem darauf hinweist, dass eine geschäftsleitende Gesellschaft außerdem zur Folge hätte, dass der Einfluss auf „die Auswahl der tatsächlichen Unternehmenslenker“ verloren ginge, weil die geschäftsleitende Gesellschaft ihre Geschäftsleiter wiederum selbst bestellt und abberuft. 86  Anerkennend auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 136. 87  Ähnliche Bedenken äußernd auch Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 17 (s. Einführung Fn. 16). 88  Vgl. hierzu bereits oben Teil 1 B. I. 1. a) bb). 89  Dies letztlich auch zugestehend Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 137, wobei die Autoren dafür plädieren, die Hinnahme dieser Haftungslücke zur Disposition der Gesellschafter zu stellen.

48

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

erste Ansätze zur Lösung haftungsrechtlicher Probleme diskutiert werden. Vereinzelt werden Register- und Versicherungspflichten sowie eine Mindestkapitalausstattung (z. B. durch die Einrichtung eines Kautionskontos oder Haftungsfonds) für KI-Systeme vorgeschlagen; auch eine Verkörperung der KI durch eine Kapitalgesellschaft ist Teil der juristischen Diskussion.90 Es stünden dem Gesetzgeber mithin unterschiedliche Ausgleichsinstrumente zur Seite, um dem Problem des Haftungsdefizits im Wege gesetzlicher Reformen Herr zu werden. Nicht wegdiskutieren lässt sich indessen der Verlust einer haftungsbedingten Hemmschwelle.91 Faktoren wie die Furcht vor einem Reputationsverlust und wirtschaftliche Existenzängste sind mitunter dafür verantwortlich, dass menschliche Organmitglieder dazu neigen, von folgenkritischen kurzentschlossenen Entscheidungen abzusehen. Sie üben gerade deshalb Zurückhaltung in geschäftlichen Entscheidungen, weil die Konsequenzen ihres betrieblichen Handelns u. U. auch negative Auswirkungen in ihrer persönlichen Sphäre, insbesondere eine Haftung mit ihrem Privatvermögen, bedeuten könnten. Zwar ließe sich diesbezüglich vertreten, der selbstschutzbedingte Effekt sei ein ohnehin unnötiges Laster und führe lediglich zu einer geschäftsschädigenden Risikoaversion, die es im Zuge der Digitalisierung zu überwinden gelte.92 Nach hiesiger Einschätzung hat die haftungsbedingte Hemmschwelle hingegen im Zusammenspiel mit der freiraumschaffenden Business Judgement Rule eine positive und vernunftwahrende, mithin erhaltungswürdige Wirkung auf das unternehmerische Leitungsverhalten des Vorstands93 – gleiches gilt für menschliche Lebenserfahrung, Gefühlswahrneh90  Eingehend hierzu Paal, ZGR 2017, 590, 613 ff., der auch die Überlegung eines „Roboters mit beschränkter Haftung“ (RmbH) aufwirft; ähnlich auch Vocelka/Langensiepen/Beismann, in: CSR und Künstliche Intelligenz, S. 50 f.; Mindaugas, Teisės apžvalga Law review No.1 (17), 2018, S. 113 ff.; umfassend zur „Entstehung artifi­ zieller Rechtssubjekte“ Linardatos, in: Autonome und vernetzte Aktanten im Zivilrecht, S.  479 ff. 91  Ähnlich auch Lücke, BB 2019, 1986, 1988, der zutreffend betont, dass Formen Künstlicher Intelligenz „für wesentliche gesetzliche Mechanismen, die das Verhalten von (menschlichen) Vorstandsmitgliedern und Geschäftsführern im deutschen Recht herkömmlicherweise steuern (sollen), nicht ‚empfänglich‘ “ seien. 92  In eine ähnliche Richtung tendierend Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 4: „[nur] ohne menschliches Dazwischentreten […] kann sichergestellt werden, dass ihre Entscheidung und Analysen nicht mit den gleichen potenziellen Fehlern behaftet sind, wie menschlich Entscheidungen“. 93  Allgemein betont Kubis, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 2 Rn. 35, dass ein Vorstandsmitglied „jene Eigenschaft [benötigt], die in der englischen Sprache als ‚judgement‘ bezeichnet wird. ‚Judgement‘ heißt unter anderem, mit bestimmten Leuten keine Geschäfte zu machen und bestimmte Sachen einfach nicht zu tun (‚it isn’t done‘) bzw. in bestimmten Situationen ‚das Richtige‘ zu tun“.



B. Recht zur KI-gestützten Entscheidungsfindung49

mungen und intuitive Eigenschaften, wie das vertraute Bauch- oder Störgefühl.94 Letztlich fehlt dem KI-System auch die Fähigkeit zur Interaktion mit den menschlichen Vorstandskollegen; gerade der wechselseitige Gedankenaustausch bildet aber die Grundvoraussetzung eines jeden Entscheidungsprozesses.95 Infolgedessen sprechen gute Gründe gegen eine entsprechende Gesetzesänderung.96 Dennoch ist nicht auszuschließen, dass KI-Systemen im Gesellschaftsrecht de lege ferenda auf lange Sicht Rechtssubjektqualität und in diesem Zuge auch die Vorstandsfähigkeit zuerkannt wird, weil die Vorteile der „Techniksubjektivierung“ die Nachteile ihres Einsatzes überwiegen. Hierzu wäre jedoch aller Voraussicht nach eine tiefgreifende Aktienrechtsreform erforderlich, welche nach hiesiger Einschätzung erst dann zu rechtfertigen wäre, wenn KI-Software tatsächlich in der Zukunft einen Intelligenz- und Reifegrad erreichen sollte, der menschliche Fähigkeiten nachweislich übertrifft und es verlässlich ermöglicht, Entscheidungsprozesse der Unternehmensleitung themenübergreifend KI-gestützt vorzubereiten und zu verbessern. Währenddessen vertreten Becker und Pordzik die Ansicht, man solle der Hauptversammlung – bereits gegenwärtig – das Recht einräumen, selbst über die Eignung einer KI als Vorstandsmitglied entscheiden zu dürfen.97 Schließlich seien es die Aktionäre, die am wirtschaftlichen Erfolg und Misserfolg des Unternehmens beteiligt sind und ein KI-bedingtes Verlustrisiko verkraften müssten.98 Grundsätzlich richtig ist, dass es der Hauptversammlung nach überwiegender Ansicht überlassen bleibt, statuarisch besondere (zusätzliche) Eignungsvoraussetzungen für das Vorstandsamt aufzustellen; sie dürfen jedoch weder das Auswahlermessen des Aufsichtsrats (§ 84 Abs. 1 S. 1 AktG) unangemessen beschneiden noch die gesetzlich zwingenden Mindestanforderungen unterlaufen.99 Insoweit ist zu bedenken, dass die ex-anteVorgaben an Geschäftsleiter nicht nur die wirtschaftlichen Eigentümer schützen sollen, sondern gerade auch der Sicherheit der Arbeitnehmer und Gläubiger sowie den Interessen der Allgemeinheit zu dienen bestimmt sind und daher keiner Disponibilität unterliegen.100 Unternehmen trifft eine – aus der 94  Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 217; Noack, ZHR 183 (2019), 105, 122. 95  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 130. 96  So auch Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 128. 97  Becker/Pordzik, ZfPW 2020, 334, 355 halten demgegenüber für „sachgerecht, den Gesellschaftern als wirtschaftlichen Eigentümern die Abwägung zwischen Ertrags- und Verlustpotenzial infolge des Einsatzes autonomer Softwareagenten“ zu überlassen. 98  Becker/Pordzik, ZfPW 2020, 334, 355. 99  Ähnlich Fleischer, in: BeckOGK/AktG, § 76 Rn. 140; Spindler, in: MüKo/ AktG, § 76 Rn. 129. 100  Geist, Bestellungshindernisse und Tätigkeitsverbote von Geschäftsleitern, S. 185; Spindler, in: MüKo/AktG, § 76 Rn. 66; zu den Voraussetzungen an GmbH-

50

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

Sozialbindung des Eigentums (Art. 14 Abs. 2 GG) folgende – gesellschaftliche Verantwortung,101 sodass entsprechende Minimalanforderungen an die Bestellung der Vorstandsmitglieder gerechtfertigt sind. Sie gewährleisten ein Mindestmaß an Handlungsfähigkeit und sollen systematisch-personenbedingte Fehlentscheidungen verhindern. Hiermit ließe sich nicht vereinbaren, die Einsetzung eines neuen Typs von „Führungspersonen“ in das Belieben der Aktionäre zu stellen. Vielmehr sollte die Frage, ob und wann geschäftsfeldspezifisch oder generell nicht mehr nur menschliche, sondern auch künstliche Vorstandsmandate zugelassen werden, zum Schutz der unterschied­ lichen Interessengruppen der Einschätzungsprärogative des Gesetzgebers vorbehalten bleiben. Sollte das Vorstandsamt de lege ferenda je für KI geöffnet werden, ist Becker und Pordzik wiederum dahingehend beizupflichten, dass es letztlich schon aus unternehmensethischen Gründen den Aktionären – und nicht dem Aufsichtsrat – vorbehalten bleiben sollte, einer KI-Leitung zuzustimmen (satzungsmäßige Opt-In-Lösung) oder einer solchen zu widersprechen (satzungsmäßige Opt-Out-Lösung).102 Das Europäische Parlament hatte im Jahre 2017 zunächst einen ersten Vorstoß in diese Richtung gewagt und in einer Entschließung gegenüber der Europäischen Kommission gefordert, „langfristig einen speziellen rechtlichen Status für Roboter zu schaffen, damit zumindest für die ausgeklügeltsten autonomen Roboter ein Status als elektronische Person festgelegt werden könnte, die für den Ausgleich sämtlicher von ihr verursachten Schäden verantwortlich wäre, sowie möglicherweise die Anwendung einer elektronischen Persönlichkeit auf Fälle, in denen Roboter eigenständige Entscheidungen treffen oder anderweitig auf unabhängige Weise mit Dritten interagieren“.103 Zumindest für den Bereich der KI-Systeme wurde diese Sichtweise vom Europäischen Parlament jedoch im Jahre 2020 wieder aufgegeben.104 Geschäftsführer: Beurskens, in: Noack/Servatius/Haas, GmbHG, § 6 Rn. 14 und Pfisterer, in: Saenger/Inhester, GmbHG, § 6 Rn. 9; ausweislich der Gesetzesbegründung zur Parallelvorschrift im GmbHG dienen die Eignungsvoraussetzungen dem Schutze „Dritter“, vgl. BT-Drs. 8/1347 S. 31. 101  Spindler, in: MüKo/AktG, § 76 Rn. 66, 105: „Das Unternehmen ist Teil einer gesamtwirtschaftlichen Ordnung und den durch diese Ordnung gebotenen sozialen Pflichten unterworfen“. 102  Währenddessen schlagen Becker/Pordzik, ZfPW 2020, 334, 355 eine „Opt-InLösung“ für die Hauptversammlung auf satzungsmäßiger Grundlage vor. 103  Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)), Entschließungsgrund Ziff. 59 lit. f, abrufbar unter: https://www. europarl.europa.eu/doceo/document/TA-8-2017-0051_DE.html (zuletzt abgerufen am 24.04.2022). 104  So heißt es in Entschließungsgrund Ziff. 7 der Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission für eine



B. Recht zur KI-gestützten Entscheidungsfindung51

Auf einem anderen Blatt Papier steht überdies die technische Umsetzbarkeit eines solchen Vorhabens. Die Variationsbreite der Vorstandstätigkeiten würde in jedem Fall ein weitestgehend generalistisch veranlagtes KI-System, mithin eine – nach gegenwärtigem Technikstand nicht erreichbare – starke KI erfordern.105 Zwar wäre es – zugeschnitten auf den Einsatz einer schwachen KI – grundsätzlich denkbar, die primären Geschäftsführungsaufgaben der KI innerhalb eines mehrgliedrigen Vorstands auf ein tätigkeitsspezifisch streng limitiertes Ressort zu beschränken. Gleichwohl stößt auch dieser Lösungsvorschlag an Grenzen. Eine solche horizontale Delegation bzw. Ressortzuweisung ist aufgrund des Prinzips der Gesamtverantwortung des Vorstands jedenfalls de lege lata im Bereich der Leitungsentscheidungen nach herrschender Meinung nicht zulässig.106 Außerdem müssen Vorstandsmitglieder – ungeachtet etwaiger Geschäftsverteilung – ressortübergreifend auch und insbesondere das „große Ganze“ im Blick behalten,107 intervenieren, sofern der begründete Verdacht eines Missverhaltens von Vorstandskollegen vorliegt und etwa in Ausnahmesituationen als Gesamtvorstand an Kollegialentscheidungen mitwirken.108 Die Ausstattung eines KI-Systems mit diesen Eigenschaften würde jedoch wiederum auf die Programmierung einer – derzeit nicht erreichbaren – starken KI hinauslaufen. Auch an der Einrichtung eines nur beratenden und stimmrechtslosen digitalen Vorstandspostens bestünde im untersuchungsgegenständlichen Bereich der bloß vorgeschalteten Entscheidungsunterstützung nach hiesiger Einschätzung kein praktisches Bedürfnis, da der Vorstand je nach Bedarf fakultativ

Regelung der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz (2020/ 2014(INL)), es sei „nicht erforderlich […], KI-Systemen Rechtspersönlichkeit zu verleihen“; dies feststellend auch Goral-Wood, CTRL 1/21, 32, 33. 105  In ähnlicher Weise halten auch Enriques/Zetzsche, ECGI Law WP 457/2019, S. 48 den Umgang mit „antagonistischen Ansichten“ und die Ausarbeitung „wertschaffender Lösungen“ für noch nicht erreichbar; zweifelnd auch Noack, in: FS Windbichler, 947, 955; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 3, 40; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 28, welcher einen Mangel an verfügbaren Daten befürchtet. 106  Fleischer, in: BeckOGK/AktG, § 77 Rn. 52; Grigoleit, in: Grigoleit, AktG, § 76 Rn. 10; Liebscher, in: Beck-HdB AG, § 6 Rn. 9; Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 33. 107  Zur ressortübergreifenden horizontalen Überwachungspflicht der Vorstands­ mitglieder (Prinzip gegenseitiger Überwachung) Fleischer, in: BeckOGK/AktG, § 77 Rn. 60; Hoffmann-Becking, NZG 2021, 93, 93 f.; ähnlich auch Rodewald/Unger, BB 2006, 113, 115. 108  Fleischer, NZG 2003, 449, 454 unter Bezugnahme auf BGH, Urt. v. 06.07.1990 – Az.: 2 StR 549/89 = NJW 1990, 2560, 2565.

52

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

auf das KI-System als „IT-Werkzeug“ zurückgreifen könnte;109 eine Personifikation der KI als partizipierendes Vorstandsmitglied in Beratungsfunktion ist demnach nicht vonnöten. Darüber hinaus kennt das Aktienrecht – anders als beispielsweise das Vereinsrecht – auch keinen sog. erweiterten Vorstand, der neben geschäftsführungs- und vertretungsbefugten Vorstandsmitgliedern ausschließlich beratend oder überwachend tätig wird.110 4. Die KI als singuläre Leitungsinstanz Noch einen Schritt weitergedacht könnte die KI nicht nur als Leitungsmitglied des Vorstands in Austausch und Abstimmung mit menschlichen Leitungspersonen eingesetzt werden, sondern die Rolle des singulären und zentralen Führungssystems der Aktiengesellschaft einnehmen.111 Ungeachtet der vorstehend beschriebenen rechtlichen Hindernisse (vgl. § 76 Abs. 3 S. 1 AktG) bleibt – wie bereits beschrieben – ungewiss, ob eine multidisziplinär arbeitende (starke) KI überhaupt je existieren wird.112 Würde das Gesellschaftsrecht dennoch – rein hypothetisch – für „selbstfahrende“ bzw. KI-geleitete Aktiengesellschaften geöffnet, könnte dies den Startschuss für eine Reihe gesetzlich auf einzelne Geschäftssparten begrenzter Rechtsformen bil­den113 – ähnlich dem Regelungsvorbild der Investment-KG, welche ausschließlich die Anlage und Verwaltung ihrer Mittel nach einer festgelegten Anlagestrategie zur gemeinschaftlichen Kapitalanlage zum Nutzen der Anleger zum Gegenstand haben darf (vgl. § 150 Abs. 2 S. 1 KAGB). Daher würde sich eine nähere Auseinandersetzung mit etwaigen damit verbundenen Fragen im Bereich der Spekulation bewegen.

109  Ähnlich wohl Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 23; ebenso Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transna­ tionalen Wirtschaftsrecht, Heft 166, September 2019, S. 28; Teubner, AcP 2018, 155, 163. 110  So auch Mertens/Cahn, in: KK/AktG, § 77 Rn. 44; ebenso Dörrwächter, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 5 Rn. 90 unter Hinweis darauf, dass anderenfalls „die gesetzlich garantierte Beteiligung des Vorstandsmitglieds an der Willensbildung im Vorstand unzulässig beschränkt würde“; a. A. Lücke, BB 2019, 1986, 1989, welcher davon ausgeht, der Einsatz eines nur beratenden Vorstandsmitglieds sei nach geltendem Aktienrecht möglich – auch in Form einer KI. 111  Hierzu auch Noack, in: FS Windbichler, 947, 957 f. 112  So auch Armour/Eidenmüller, ZHR 183 (2019), 169, 181: „Integrierte Anwendungen für eine unternehmerische Gesamtsteuerung gibt es gegenwärtig noch nicht.“; ebenso Noack, in: FS Windbichler, 947, 958. 113  Ähnlich Noack, in: FS Windbichler, 947, 959, welcher zurecht daran zweifelt, dass einer KI-geführten Gesellschaft derselbe „diskretionäre Spielraum“ gewährt werden könne, wie er menschlichen Leitungspersonen zuteilwerde.



B. Recht zur KI-gestützten Entscheidungsfindung53

II. Anforderungen an die abstrakte Einsatzentscheidung Nachdem sich als Zwischenergebnis die grundsätzliche Legalität des (unternehmensinternen bzw. -externen) KI-Einsatzes als technische Entscheidungshilfe des Vorstands konstatieren lässt, ist im nächsten Schritt zu untersuchen, welche rechtlichen Anforderungen an die Grundsatzentscheidung zum Einsatz von KI zu stellen sind. 1. Unternehmerische Entscheidung Die allgemein gefasste Richtungsentscheidung darüber, in eine neue Technologie zu investieren, ist im Regelfall114 eine unternehmerische Ermessensentscheidung und unterliegt damit gemäß § 93 Abs. 1 S. 2 AktG der sog. Business Judgement Rule (BJR).115 Gleiches gilt auch für die strategische Frage, ob KI zur Vorbereitung von Leitungsentscheidungen herangezogen wird.116 Hierbei handelt es sich um eine – den Entscheidungsprozess wesentlich verändernde – Leitungsentscheidung, die der Vorstand als Kollegialorgan zu treffen hat.117 Dabei kommt ihm ein Haftungsfreiraum zugute, sofern er vernünftigerweise annehmen durfte, auf der Grundlage angemessener Information zum Wohle der Gesellschaft zu handeln. Der Entscheidung über den Gebrauch neuartiger Informationstechnik hat stets eine gewissenhafte Prüfung vorauszugehen.118 Besonderer Aufmerksamkeit bedarf insbesondere der Stand der Technik sowie eine gesamtbetrachtende und differenzierte NutzenRisiko-Abwägung.119 Die abstrakt gehaltene Absichtserklärung, zur Vorbereitung bestimmter Leitungsentscheidungen zukünftig auf ein KI-Assistenzsystems zurückzugreifen, dürfte jedoch in aller Regel keinen größeren Hürden begegnen, zumal die Lösungsvorschläge und Arbeitsergebnisse der KI ohnehin vom Vorstand abschließend zu evaluieren sind. Darüber hinaus wird die Richtungsentscheidung als solche mangels Schaffung vollendeter Tatsachen nicht die Schwelle einer ggf. schadenstiftenden Pflichtverletzung erreichen. Sollte die allgemeine Rationalisierungsentscheidung hingegen – wie häufig – unmittelbar mit der Auswahl eines konkreten Technologieproduktes zusam114  Zum

verpflichtenden Technikeinsatz siehe ausführlich unten Teil 1 C. BB 2019, 1986, 1990 f.; Spindler, in: MüKo/AktG, § 93 Rn. 49. 116  Ebenso Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 121; Spindler, CR 2017, 715, 717. 117  So bereits Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 79 f., 88. 118  So wohl auch Schmidl, in: Corporate Compliance, § 28 Rn. 3. 119  Ähnlich auch BGH, Urt. v. 03.03.2008 – Az.: II ZR 124/06 = NJW 2008, 1583, 1584, hinsichtlich des Erwerbs der UMTS-Lizenzen durch die Deutsche Telekom AG; zur Risikoanalyse auch Schmidl, in: Corporate Compliance, § 28 Rn. 3. 115  Lücke,

54

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

menfallen, treffen den Vorstand weitreichendere – an nachfolgender Stelle noch näher zu präzisierende – Auswahl- und Folgepflichten.120 2. Kompetenz und Einfluss der Hauptversammlung Es lässt sich die Frage stellen, inwiefern die Aktionäre vermittelt durch die Hauptversammlung in den Prozess der Entscheidung über den KI-Einsatz miteinzubeziehen sind (hierzu nachfolgend a)) oder darüber hinaus selbstständig intervenierend über das Recht der Satzungskompetenz (§§ 119 Abs. 1 Nr. 6, 179 Abs. 1 S. 1 AktG) auf die Aufgabenübertragung einwirken können (hierzu nachfolgend b). a) Zustimmungspflicht der Hauptversammlung Die Entscheidung über die Verwendung eines KI-Systems zur informationellen Unterstützung der ersten Führungsebene kann nicht als gewöhnlicher Tagesordnungspunkt bezeichnet werden. Je nachdem in welchem Maße das KI-System Einfluss auf die Eigenständigkeit des Vorstands nimmt, welchen Entwicklungsstand es besitzt und in welchem Ressort die KI zur Anwendung gelangen soll, kann dies für die Aktiengesellschaft erhebliche Auswirkungen wirtschaftlicher Art zur Folge haben. Während der Beschluss über den einmaligen, also rein punktuellen Einsatz eines Entscheidungsunterstützungssystems noch ohne Bedenken allein dem Kompetenzbereich des Vorstands zuzuschreiben ist, ist die Zuständigkeitsfrage, sofern die generelle Neuausrichtung des Entscheidungsverfahrens zur Debatte steht, schon schwieriger zu beantworten. Beabsichtigt der Vorstand in Umsetzung einer Digitalisierungsstrategie beispielsweise Leitungsentscheidungen, die dem Aufgabenkreis M&A unterfallen, künftig nur noch auf der Grundlage einer algorithmisch erarbeiteten Informationsbasis zu treffen, fragt sich, ob der Vorstand verpflichtet wäre, vorab die Zustimmung der Hauptversammlung einzuholen. Das aus dem Jahre 1965 stammende Aktiengesetz hält erwartungsgemäß keine diesen Entscheidungssachverhalt umschließende Zustimmungspflicht bereit. In Betracht käme insoweit allenfalls eine gesetzlich nicht kodifizierte Hauptversammlungskompetenz. Der BGH vertritt die Auffassung, dass der Vorstand aufgrund einer Ermessensreduktion verpflichtet sei, die Zustimmung der Hauptversammlung einzuholen, sobald die betreffenden Geschäftsführungsmaßnahmen „so tief in die Mitgliedsrechte der Aktionäre und deren im Anteilseigentum verkörpertes Vermögensinteresse eingreifen, dass der Vorstand vernünftigerweise nicht 120  Siehe

dazu im Einzelnen unten Teil 2 B. I. 2. b).



B. Recht zur KI-gestützten Entscheidungsfindung55 annehmen kann, er dürfe sie in ausschließlich eigener Verantwortung treffen, ohne die Hauptversammlung zu beteiligen“.121

Teilweise wird hieraus gefolgert, auch grundlegende (Des-)Investitions­ entscheidungen würden der Hauptversammlungsmitwirkung unterfallen.122 Gleichwohl betont der BGH, dass die ungeschriebene Hauptversammlungskompetenz restriktiv zu handhaben sei, ihr folglich Ausnahmecharakter zukomme.123 Im untersuchungsgegenständlichen Bereich der bloß vorbereitenden Entscheidungsunterstützung bleibt der Vorstand weiterhin Herr über sein Handeln und ist zur sorgfältigen Entscheidungsabwägung verpflichtet. Ein schwerwiegender Eingriff in die Mitgliedsrechte der Aktionäre ist hiermit gerade nicht verbunden, sodass die Einführung eines KI-Systems zur Leitungsunterstützung nicht der Zustimmung der Aktionäre bedarf. Von der Vorlagepflicht abzugrenzen ist die Frage, ob der Vorstand fakultativ einen Hauptversammlungsbeschluss über den beabsichtigten KI-Einsatz einholen sollte. Gemäß § 119 Abs. 2 AktG ist der Vorstand berechtigt, die Hauptversammlung anzurufen, um über eine Geschäftsführungsmaßnahme Beschluss zu fassen (sog. Vorlagerecht). Ein solches Vorgehen kann sich insbesondere aus zwei Gründen anbieten: Einerseits kommt einem Hauptversammlungsbeschluss, zustimmend oder ablehnend, im Innenverhältnis zwischen der Gesellschaft und dem Vorstand enthaftende Wirkung zu (vgl. § 93 Abs. 4 S. 1 AktG) – der beschlussausführende Vorstand ist insoweit haftungsrechtlich geschützt. Andererseits kann ein mit mindestens drei Vierteln der abgegebenen Stimmen gefasster Beschluss der Hauptversammlung den Aufsichtsrat für den Fall, dass dieser sein Einverständnis zu einer zustimmungspflichtigen Geschäftsführungsmaßnahme verweigert hat, überstimmen (sog. Ersetzungsbeschluss,124 vgl. § 111 Abs. 4 S. 3 AktG). Stellt sich der Aufsichtsrat folglich gegen den vom Vorstand beabsichtigten KI-Einsatz und legt sein „Veto“ ein, kann die Herbeiführung eines Hauptversammlungsbeschlusses ein probates Durchsetzungsmittel darstellen. Auf der anderen Seite ist zu bedenken, dass dem aufgrund von § 119 Abs. 2 AktG gefassten Hauptversammlungsbeschluss – anders als dem nach § 111 Abs. 4 S. 3 AktG gefassten Ersetzungsbeschluss125 – bindende Wirkung in beide Richtungen zu121  BGH, Urt. v. 25.02.1982 – Az.: II ZR 174/80 = NJW 1982, 1703, 1705 („Holzmüller“-Entscheidung). 122  Bank, in: Haftung von Unternehmensorganen, Kap. 6. Rn. 343; a. A. Beisel, in: Beisel/Klumpp, Der Unternehmenskauf, § 8 Rn. 82. 123  BGH, Urt. v. 26.04.2004 – Az.: II ZR 155/02 = NJW 2004, 1860, 1862 („Gelatine“-Entscheidung). 124  Zum Begriff Heckschen, in: BeckNotar-HdB, § 23 Rn. 182. 125  Vgl. hierzu Bungert, in: Münch-HdB GesR IV, § 35 Rn. 19; Drinhausen, in: Hölters/Weber, AktG, § 119 Rn. 15: ein nach § 111 Abs. 4 S. 3 AktG gefasster Be-

56

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

kommt.126 D. h. der Vorstand ist in jedem Fall verpflichtet, den in der Hauptversammlung gebildeten Willen auszuführen (vgl. § 83 Abs. 2 AktG), auch wenn dies in letzter Konsequenz bedeutet, den zunächst geplanten Einsatz selbstlernender Algorithmen zur Leitungsunterstützung schlussendlich abzulehnen. Kommt der Vorstand dieser Umsetzungspflicht nicht nach, macht er sich im ungünstigsten Fall gegenüber der Aktiengesellschaft schadensersatzpflichtig.127 b) Satzungsmäßige Beschränkungen Die Ermittlung angemessener Informationen ist Teilbereich der Entscheidungsfindung und damit als Geschäftsführungsaufgabe originär beim Vorstand angesiedelt (§ 76 AktG). Satzungsregelungen, die bestimmen, dass der Vorstand ausgewählte Informationsbeschaffungsmaßnahmen nur eigenständig vornehmen oder bloß an menschliche Hilfspersonen übertragen darf, sind nach diesseitiger Einschätzung nicht zu befürchten. Ein solches Vordiktieren der Informationsmöglichkeiten würde einen massiven, mithin unzulässigen Eingriff der Hauptversammlung in die Organisationsflexibilität des Vorstands und die aktienrechtliche Kompetenzordnung bedeuten.128 Da es sich um eine gesetzlich zwingende Aufgabenzuweisung handelt, wäre eine abweichende Satzungsbestimmung aufgrund der aktienrechtlichen Satzungsstrenge (§ 23 Abs. 5 S. 1 AktG) nichtig.129 3. Zustimmungsvorbehalt des Aufsichtsrats Im Grundsatz handelt es sich bei der KI-Einsatzentscheidung – wie bereits erwähnt – um eine unternehmerische Leitungsentscheidung des Vorstands. Dementsprechend ist der Aufsichtsrat in diesen Entscheidungsprozess zunächst nicht eingebunden. Gemäß § 111 Abs. 4 S. 2 AktG bleibt ihm als Aufsichtsorgan jedoch unbenommen, in pflichtgemäßer Ermessensausübung für bestimmte Geschäftsvorfälle oder Arten von Geschäften Zustimmungsschluss bindet den Vorstand nur, soweit es sich um eine ablehnende Entscheidung handelt. 126  Kubis, in: MüKo/AktG, § 119 Rn. 27. 127  Drinhausen, in: Hölters/Weber, AktG, § 119 Rn. 15; Kubis, in: Münch-HdB GesR IV, § 35 Rn. 29. 128  Im Allgemeinen hierzu Linnertz, Die Delegation durch den Vorstand einer AG, S.  195 f. 129  Es handelt sich auch nicht um die bloße Regelung einer Einzelfrage der Geschäftsführung (§ 23 Abs. 5 S. 1 AktG i. V. m. § 77 Abs. 2 S. 1 AktG), da der dem Vorstand zustehende Handlungsspielraum in unzulässiger Weise verkürzt würde (vgl. hierzu auch Teil 1 C. I. 2. a) aa)).



B. Recht zur KI-gestützten Entscheidungsfindung57

vorbehalte – entweder in der Geschäftsordnung des Vorstands oder über einen singulären Aufsichtsratsbeschluss – anzuordnen und bekanntzugeben.130 So könnte der Aufsichtsrat beispielsweise die Anschaffung eines KI-Systems zur Leitungsunterstützung des Vorstands unter Zustimmungsvorbehalt stellen.131 Zwar hindert ein verweigertes Einverständnis des Aufsichtsrats den Vorstand nicht daran, im Außenverhältnis vertretungsrechtlich im Namen der AG tätig zu werden,132 die Zuwiderhandlung ist nach § 82 Abs. 2 AktG allerdings als organschaftliche Pflichtverletzung einzuordnen. Bei der Festlegung eines Zustimmungsvorbehalts zur KI-Verwendung ist zu berücksichtigen, dass jedenfalls gegenwärtig noch keine allgemeingültige Begriffsdefinition von Künstlicher Intelligenz existiert.133 Um dem Bestimmtheitsgrundsatz zu genügen und Unklarheiten vorzubeugen, empfiehlt sich daher zugleich mit Erlass des Zustimmungsvorbehalts eine konkrete Erläuterung und Umschreibung des Begriffs der KI.134 Anderenfalls muss die Einschätzung, ob es sich bei dem anvisierten Programm um ein KI-System handelt, nach hier vertretener Auffassung jedenfalls in unklaren Fällen beim Vorstand liegen, da das Subsumtionsrisiko infolge unklarer Formulierung durch den Aufsichtsrat nicht zulasten des Vorstands gehen darf.135 Auch kann der Aufsichtsrat eine einzelne Geschäftsführungsmaßnahme ad hoc per Beschluss unter Zustimmungsvorbehalt stellen und darüber hinaus zugleich über eine entsprechende Zustimmung entscheiden.136 Insoweit könnte der Aufsichtsrat den Vorstand sogar verpflichten, die bereits beschlossene KIEinsatzentscheidung rückgängig zu machen.137

BB 2020, 386, 386. auch Noack, in: FS Windbichler, 947, 950; zu weit gehen dürfte es indessen, generell jede KI-gestützte Leitungsentscheidung antizipiert unter Zustimmungsvorbehalt zu stellen, da dies in Abhängigkeit der Nutzungsfrequenz des Systems zur Bewältigung von Leitungsentscheidungen eine gewichtige Verschiebung des aktienrechtlichen Kompetenzverhältnisses zwischen Vorstand und Aufsichtsrat bedeuten könnte. Zum Übermaßverbot der Zustimmungsvorbehalte allgemein Schnorbus/ Ganzer, BB 2020, 386, 387. 132  Klarstellend auch Schnorbus/Ganzer, BB 2020, 451, 455. 133  Vgl. hierzu bereits oben Einführung C. I. 134  Zur Gefahr der Unzulässigkeit unbestimmter Zustimmungsvorbehalte im Allgemeinen Schnorbus/Ganzer, BB 2020, 386, 388 f. 135  Diesen Gedanken allgemein gefasst schon Schnorbus/Ganzer, BB 2020, 386, 388 f. 136  Habersack, in: MüKo/AktG, § 111 Rn. 130 f. 137  Allgemein hierzu Grigoleit/Tomasic, in: Grigoleit, AktG, § 111 Rn. 98. 130  Schnorbus/Ganzer, 131  Tendenziell

58

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

4. Berichtspflicht an den Aufsichtsrat gemäß § 90 Abs. 1 AktG Die Frage, ob der Vorstand den Aufsichtsrat über die Entscheidung zur Einführung von KI-Technik im Leitungsbereich zu informieren hat, wird im Schrifttum bislang jedenfalls nicht ausführlich behandelt.138 Aus § 90 Abs. 1 Nr. 1, Abs. 2 Nr. 1 AktG folgt die Pflicht des Vorstands, dem Aufsichtsrat periodisch mindestens einmal jährlich über „grundsätzliche Fragen der Unternehmensplanung (insbesondere die Finanz-, Investitions- und Personalplanung)“ zu berichten. Ob hierunter auch die KI-Einsatzentscheidung fällt, ist ungeklärt. Strohn weist auf die besonderen Risiken im Umgang mit selbstlernenden Algorithmen hin und appelliert deshalb, die Arbeit des Vorstands mit KI müsse transparent kommuniziert werden – hierzu verweist er auf die regelmäßigen Vorstandsberichte an den Aufsichtsrat.139 Unter funktio­ neller Betrachtung ersetzt ein KI-System in gewissem Umfang das dem Vorstand hierarchisch nachgeordnete Führungspersonal (z. B. Bereichs- oder Abteilungsleiter), soweit dieses anderenfalls selbst zuständig gewesen wäre, die jeweiligen Leitungsentscheidungen vorzubereiten. Diesen Gedanken weiterführend, lässt sich die perspektivische Entscheidung für ein KI-Assistenzsystem als eine der Personalplanung jedenfalls nahestehende grundsätzliche Frage der Unternehmensplanung mit Einfluss auf sämtliche zukünftigen Leitungsentscheidungen begreifen. Einen weiteren Anhaltspunkt für eine Berichtspflicht an den Aufsichtsrat bildet § 90 Abs. 1 Nr. 3 BetrVG, der durch das am 18. Juni 2021 in Kraft getretene Gesetz zur Förderung der Betriebsratswahlen und der Betriebsratsarbeit in einer digitalen Arbeitswelt (Betriebsrätemodernisierungsgesetz) modifiziert wurde. Nach dieser Vorschrift hat der Arbeitgeber „den Betriebsrat über die Planung […] von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von Künst­ licher Intelligenz […] rechtzeitig unter Vorlage der erforderlichen Unterlagen zu unterrichten“. Zwar verfolgt die Norm selbst einen allein arbeitsrecht­ lichen Zweck,140 gleichwohl verdeutlicht sie exemplarisch die Sensibilität des KI-Einsatzes und zeigt den hiermit einhergehenden Informationsbedarf der unternehmensinternen Akteure auf. Schließlich hat auch der Aufsichtsrat ein berechtigtes Interesse, in Kenntnis gesetzt zu werden, dass der Vorstand beabsichtigt, fortan eine neuartige technische Erkenntnisquelle zur Unterneh-

138  Zur Rolle des Aufsichtsrats beim Einsatz Künstlicher Intelligenz im Allgemeinen Strohn, ZHR 182 (2018), 371, ohne jedoch die Berichtspflicht des Vorstands nach § 90 Abs. 1 AktG in diesem Zusammenhang näher zu untersuchen. 139  Strohn, ZHR 182 (2018), 371, 377. 140  Nach der Gesetzesbegründung ist beabsichtigt, das Vertrauen und die Akzeptanz der Beschäftigten bei der Einführung und der Anwendung von KI zu stärken, BT-Drs. 19/28899, S. 2.



C. Pflicht zur Nutzung eines KI-Systems59

mensplanung zu nutzen.141 Nur auf diese Weise ist es dem Aufsichtsgremium möglich, seiner Überwachungs- und Beratungspflicht adäquat nachzukommen, ggf. Stellung zu beziehen, Skepsis zu äußern oder auf sonstige Weise – z. B. durch Festlegung eines Ad-hoc-Zustimmungsvorbehalts142 – angemessen zu reagieren.143 Ein unaufgeforderter Bericht an den Aufsichtsrat über die beabsichtigte Umstellung des Entscheidungsprozederes sichert zudem ab, dass der Aufsichtsrat künftige Leitungsentscheidungen – zumindest in der Erprobungsphase des KI-Systems – einer sensibilisierten Prüfung unterzieht.144 Demgemäß spricht vieles dafür, den Entschluss zur Einführung eines KIAssistenzsystems der in § 90 Abs. 1 Nr. 1 AktG statuierten Berichtspflicht zuzuordnen. Subsidiär ließe sich zwar grundsätzlich auch über eine Einordnung als Berichtspflicht an den Aufsichtsratsvorsitzenden aus sonstigem wichtigen Anlass gemäß § 90 Abs. 1 S. 3 AktG nachdenken. Hierunter fallen nach der zutreffenden überwiegenden Literaturmeinung indessen eher exogene, also von außen kommende und für die AG negative Ereignisse.145 Der potentielle Einsatz von KI zur Leitungsunterstützung ist demnach von vornherein vom Anwendungsbereich des § 90 Abs. 1 S. 3 AktG ausgenommen.

C. Pflicht zur Nutzung eines KI-Systems Nachdem im ersten Schritt das KI-Nutzungsrecht untersucht wurde, ist folgerichtig auf der nächsten Stufe die Frage aufzuwerfen, ob aus dieser Freiheit allgemein oder fallspezifisch eine Nutzungsnotwendigkeit bzw. eine 141  v. Schenck, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder, § 6 Rn. 23 f. sieht eine Prüfpflicht des Aufsichtsrates, soweit ein KI-Einsatz in Frage steht; ähnlich Wagner, BB 2018, 1097, 1105, allerdings bezogen auf LegalTech-Anwendungen iRd Entscheidungsfindung – Wagner hält es für erforderlich, dass sich der Aufsichtsrat mit den „systemischen Risiken aus der Anwendung“ auseinandersetzt, ohne jedoch explizit eine hierauf bezogene Berichtspflicht des Vorstands anzunehmen. 142  Langheld, in: IT-Outsourcing und Cloud Computing, Teil 7 Rn. 21 sieht einen Zustimmungsvorbehalt möglicherweise unter dem Tatbestandsmerkmal der „außergewöhnlichen Geschäftsmaßnahme“ ausgelöst. 143  Zum Zweck der Berichtspflicht nach § 90 Abs. 1 Nr. 1 AktG siehe Spindler, in: MüKo/AktG, § 90 Rn. 17. 144  So fordert v. Schenck, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder, § 1 Rn. 16 eine Professionalisierung des Aufsichtsrats dergestalt, dass das Gremium hinreichende Kompetenz in den Bereichen Digitalisierung und KI besitzt. 145  Hempelmann, Die Überwachung des Vorstands durch den Aufsichtsrat in der AG, S. 43; Dauner-Lieb, in: Henssler/Strohn, AktG, § 90 Rn. 17; Hoffmann-Becking, in: Münch-HdB GesR IV, § 25 Rn. 72.

60

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

organschaftliche Pflicht zur KI-gestützten Entscheidungsfindung resultieren kann. Dass der Vorstand bei der Lösung einer längeren mathematischen Berechnung aus Gründen kaufmännischer Sorgfalt des Geschäftsleiters zur Nutzung eines Taschenrechners verpflichtet wäre, steht außer Zweifel. Mit voranschreitender Technikentwicklung stellt sich für den Vorstand aber auch die Frage, ob eine entsprechende Nutzungspflicht im Bereich der KI-Systeme Realität werden könnte.146 Eine Technologie, die verlässliche Informationen beschafft und Führungsentscheidungen ein „Mehr“ an Planungssicherheit bringt, könnte sich rasch zu einem unverzichtbaren Leitungswerkzeug aufschwingen. Untersucht wird deshalb im Folgenden, ob die Nutzung eines entsprechenden KI-Systems zur Sorgfaltspflicht des Vorstands erstarken könnte. Hiervon abzugrenzen ist die Frage, ob zudem auch eine sog. Befolgungspflicht besteht, der Vorstand mithin an das KI-Ergebnis gebunden ist oder korporativ gebunden werden kann.147

I. Herleitung einer KI-Nutzungspflicht Zunächst wird beleuchtet, ob nach derzeitiger Gesetzeslage eine organschaftliche Pflicht des Vorstands zur KI-gestützten Entscheidungsvorbereitung bestehen kann. Anschließend ist der Frage nachzugehen, ob alternativ auch der Weg über eine privatautonome Verpflichtung des Vorstands offensteht; eventuell lässt sich eine derartige Bindung über gesellschaftsrechtliche oder anstellungsvertragliche Regelungen erreichen. 1. Gesetzliche KI-Nutzungspflicht Als möglicherweise pflichtbegründende Vorschriften bezogen auf das „Wie“ der Informationsbeschaffung des Vorstands kommen aus dem AktG lediglich § 93 Abs. 1 S. 2  AktG, § 93 Abs. 1 S. 1  AktG i. V. m. § 76  Abs. 1 AktG oder § 91 Abs. 3 AktG in Betracht. Rechtsgebietsübergreifend wird jedoch zunächst eine entsprechende Heranziehung nichtaktienrechtlicher Gesetzesquellen erwogen.

ZfPW 2020, 334, 347. hierzu sogleich Teil 1 D.

146  Becker/Pordzik, 147  Siehe



C. Pflicht zur Nutzung eines KI-Systems61

a) Nutzungspflicht resultierend aus einer Analogie zu § 25a  Abs. 1  S. 3  Nr. 4  KWG? Im IT-geprägten Finanzwesen überrascht es nicht, dass § 25a Abs. 1 S. 3 Nr. 4 KWG von den Instituten148 die Sicherstellung einer ordnungsgemäßen Geschäftsorganisation u. a. durch eine angemessene personelle und technischorganisatorische Ausstattung fordert. Mit der normkonkretisierenden Verwaltungsvorschrift MaRisk hat die BaFin unter AT 7.2 Tz. 1 und Tz. 2 MaRisk präzisiert, dass sich die technisch-organisatorische Ausstattung insbesondere an betriebsinternen Erfordernissen, den Geschäftsaktivitäten, der Risikosituation des jeweiligen Instituts sowie an gängigen IT-Standards zu orientieren hat.149 Ergänzende und konkretisierende Vorgaben zu § 25a Abs. 1 KWG hat die BaFin auch in den Bankaufsichtlichen Anforderungen an die IT (BAIT) veröffentlicht.150 Gemäß Ziff. 2.3 BAIT haben Institute etwa ihren IT-Betrieb unter Berücksichtigung des Stands der Technik quantitativ und qualitativ angemessen mit Ressourcen auszustatten. Zudem wurde in Ziff. 3.1 BAIT vorgegeben, dass die Informationsverarbeitung in Geschäfts- und Serviceprozessen durch datenverarbeitende IT-Systeme und zugehörige IT-Prozesse zu unterstützen ist. Nach Ziff. 8.1 BAIT hat der IT-Betrieb schließlich die Anforderungen, die sich aus der Umsetzung der Geschäftsstrategie sowie aus den IT-unterstützten Geschäftsprozessen ergeben, zu erfüllen. Der Begriff der technisch-organisatorischen Ausstattung im Sinne des KWG ist auch vor dem Hintergrund der normkonkretisierenden Verwaltungsvorschriften MaRisk und BAIT extensiv auszulegen.151 Insoweit lassen sich hierunter nach dem diesseitigen Verständnis auch KI-Assistenzsysteme zur Entscheidungsunterstützung des Vorstands subsumieren. Der unbestimmte Rechtsbegriff der „Angemessenheit“ und die Konturierung durch die MaRisk verdeutlichen aber, dass eine absolute Pflicht zum KI-Einsatz nicht einmal im finanzaufsichtsrechtlichen Sektor aus § 25 Abs. 1 S. 3 Nr. 4 Alt. 2 KWG herzuleiten ist. Eine weitergehende Konkretisierung durch die BaFin ist derzeit weder möglich noch angezeigt. Präzisierende Vorgaben dahingehend, dass sich ein Institut unter bestimmten Umständen verpflichtend mit einem KI-System auszustatten hat, lassen sich schon mangels etablierter KI-Technik-Standards 148  Legaldefiniert

in § 1 Abs. 1b KWG. Rundschreiben 10/2021 (BA) – Mindestanforderungen an das Risikomanagement – MaRisk, abrufbar unter: https://www.bafin.de/SharedDocs/Veroeffent lichungen/DE/Rundschreiben/2021/rs_1021_MaRisk_BA.html?nn=9450904#doc1650 2162bodyText30 (zuletzt abgerufen am 24.04.2022). 150  Vgl. Rundschreiben 10/2017 (BA) in der Fassung vom 16.08.2021, abrufbar unter: https://www.bafin.de/SharedDocs/Downloads/DE/Rundschreiben/dl_rs_1710_ ba_BAIT.pdf?__blob=publicationFile&v=11 (zuletzt abgerufen am 24.04.2022). 151  Baudisch/Bitterwolf, in: Reischauer KWG, § 25a Anh. 1/AT 7.2 Rn. 2. 149  Vgl.

62

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

im Finanzwesen nicht umsetzen.152 Nicht auszuschließen ist allerdings ein aus § 25 Abs. 1 S. 3 Nr. 4 Alt. 2 KWG folgender situativ-individueller Nutzungszwang, wenn das jeweilige Institut bzw. dessen Geschäftsleitung eine adäquate Erledigung der Leitungsaufgabe nur unter Einsatz eines KI-Systems sicherstellen kann. Hierfür spricht insbesondere der in den BAIT (Ziff. 2.3) in Bezug genommene Begriff des Stands der Technik, der eine dynamische Bezugsgröße darstellt, die einem stetigen Wandel unterliegt und folglich insbesondere den jeweiligen technischen Veränderungen Rechnung tragen muss. Eine branchenübergreifende analoge Anwendung des § 25 Abs. 1 S. 3 Nr. 4 Alt. 2 KWG auf sämtliche Aktiengesellschaften ist gleichwohl weder geboten noch zweckdienlich.153 Eine einzelfallabhängige Pflicht des Vorstands zur Einrichtung und Nutzung angemessener IT-Ausstattung lässt sich – wie im Folgenden zu sehen sein wird – bereits aus der allgemeinen Sorgfaltspflicht gemäß § 93 Abs. 1 S. 1 AktG herauslesen.154 b) Nutzungspflicht resultierend aus der Business Judgement Rule (§ 93  Abs. 1  S. 2  AktG)? Nicht geklärt ist, ob und ggf. welche Funktion der Business Judgement Rule zukommt, soweit es um die Beurteilung einer KI-Nutzungspflicht geht. Im Bereich unternehmerischer Entscheidungen schafft § 93 Abs. 1 S. 2 AktG einen Haftungsfreiraum für den Vorstand, sofern dieser ex ante vernünftigerweise annehmen durfte, die Entscheidung auf der Grundlage angemessener Informationen zum Wohle der Gesellschaft zu treffen. aa) Dogmatische Einordnung Ob die BJR im Einzelfall eine Pflicht des Vorstands zur Verwendung besonderer Erkenntnisquellen statuiert, lässt sich nur mit einem Blick auf deren – bis heute nicht abschließend geklärte – dogmatische Einordnung beantworten.

152  So halten auch Hannemann/Steinbrecher/Weigl, Mindestanforderungen an das Risikomanagement, S. 762 den Verbreitungsgrad des angebotenen Softwareprodukts für mitentscheidend. 153  So bereits Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 170 f.; auch Sattler, BB 2018, 2243, 2247 hält eine vorschnelle branchenübergreifende Analogie für verfehlt. Aus gleichem Grunde ist auch eine entsprechende Anwendung des § 28 Abs. 1 S. 2 Nr. 2 Alt. 2 KAGB – der Parallelvorschrift für Kapitalverwaltungsgesellschaften – zu verneinen. 154  So i. E. auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 171; siehe hierzu ausführlich Teil 1 C. I. 1. c).



C. Pflicht zur Nutzung eines KI-Systems63

(1) Meinungsstand Wissenschaftlicher Konsens besteht jedenfalls dahingehend, dass die Befolgung der Vorgaben des § 93 Abs. 1 S. 2 AktG – wie schon der klare Gesetzeswortlaut besagt – eine Pflichtverletzung des Vorstands ausschließt.155 Im Übrigen haben sich im Schrifttum zwei Lager herausgebildet.156 Ein nicht unbeachtlicher Teil der juristischen Literatur begreift die BJR über den Zweck ihrer enthaftenden Wirkung hinaus als verbindliche Konkretisierung des allgemeinen Sorgfaltsmaßstabs nach § 93 Abs. 1 S. 1 AktG.157 Diesem Standpunkt folgend hätte jede Nichtbeachtung der BJR denknotwendig zugleich eine Pflichtverletzung des Vorstands zur Konsequenz.158 Währenddessen sehen die Vertreter der Gegenauffassung die BJR hingegen bloß als einen – vom allgemeinen Sorgfaltsmaßstab losgelösten – Ausschlusstatbestand bzw. als gesetzlich aufgestellte und unwiderlegbare Vermutungsregel der Pflichtgemäßheit.159 Derart verstanden, käme § 93 Abs. 1 S. 2 AktG lediglich eine entlastende und gerade keine sorgfaltspflichtbegründende Funktion zu.160 Im Jahre 2016 hat sich auch der 5. Strafsenat des BGH in der HSH Nordbank AG-Entscheidung zum dargelegten Meinungsstreit positioniert und der Sichtweise, die BJR als verbindliche Sorgfaltskonkretisierung zu verstehen,

155  Statt

aller Hoffmann-Becking, in: Münch-HdB GesR IV, § 25 Rn. 55. ausführliche Darstellung des Streitstandes ist Scholz, AG 2018, 173 gelungen; ebenso Abetz, Die Sanktionierung gesellschaftsinterner Vorstandspflichten, S.  29 f. 157  Riesener, Verpflichtung des Vorstands zur Berücksichtigung betriebswirtschaftlicher Erkenntnisse bei der Entscheidungsfindung, S. 71 f.; Scholz, AG 2018, 173, 182; Spindler, in: MüKo/AktG, § 93 Rn. 46 f., wobei er sich hier teilweise in Widersprüche verstrickt, wenn er einerseits behauptet, „die Einschränkung der Haftung in § 93 Abs. 1 S. 2 [stelle sich] als gesetzliche Konkretisierung der dem Vorstand abverlangten objektiven Pflichten dar“ und gleichsam feststellt, das Gericht müsse positiv prüfen, „ob das Vorstandsmitglied seine Pflichten nach § 93 verletzt hat, auch wenn die Voraussetzungen des § 93 Abs. 1 S. 2 nicht vorliegen“. 158  Bachmann, in: FS Stilz, 43; Scholz, AG 2018, 173, 174. 159  Fleischer, in: BeckOGK/AktG, § 93 Rn. 85; Liebscher, Beck-HdB AG, § 6 Rn. 132; Grigoleit/Tomasic, in: Grigoleit, AktG, § 93 Rn. 38; Dauner-Lieb, in: Henss­ ler/Strohn, AktG, § 93 Rn. 19; Sailer-Coceani, in: Schmidt/Lutter, AktG, § 93 Rn. 14. 160  So wohl auch Fleischer, in: BeckOGK/AktG, § 93 Rn. 84 („Solchermaßen verstanden, lässt § 93 Abs. 1 S. 2 die Verhaltensanforderungen für Vorstandsmitglieder unangetastet und senkt nur die gerichtliche Kontrolldichte ab.“); Fuhrmann/Heinen/ Schilz, NZG 2020, 1368, 1378; Ritter, in: MAH AktR, § 22 Rn. 73 („Aus § 93 Abs. 1 S. 2 AktG kann nicht der Umkehrschluss gezogen werden, dass bei Verletzung der Business Judgement Rule aufgrund mangelnder Informationen in jedem Fall eine objektive Pflichtverletzung vorliegt.“). 156  Eine

64

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

eine Absage erteilt.161 Eine spiegelbildliche Wirkung derart, dass die Nichteinhaltung der BJR per se eine Pflichtverletzung bedeute, lasse sich der Vorschrift nicht abgewinnen;162 einer Außerachtlassung sei bloß indizielle Wirkung beizumessen.163 Ein Sorgfaltsverstoß müsse stets positiv festgestellt werden und könne erst dann angenommen werden, wenn ein „schlechthin unvertretbares Vorstandshandeln vorliegt“ und sich der Leitungsfehler „einem Außenstehenden förmlich“ aufdrängt.164 Zu dem gleichen Ergebnis kam kurze Zeit später auch das OLG München: Es urteilte, dass es auf § 93 Abs. 1 S. 2 AktG nicht ankomme, wenn der Vorstand eine Ermessensentscheidung träfe, die zwar auf mangelnder Informationsbasis beruhe, aber dennoch im Ergebnis nicht pflichtwidrig sei.165 (2) Stellungnahme und Schlussfolgerung Die letztere Auffassung verdient den Vorzug. (a) Wortlaut Schon der Wortlaut „Eine Pflichtverletzung liegt nicht vor, wenn […]“ spricht eindeutig gegen eine gesetzliche Konkretisierung der allgemeinen Sorgfaltspflicht des Vorstands. Die unmittelbar ableitbare Rechtsfolge der Nichteinhaltung ist nur, dass der Vorstand nicht in den Genuss der gesetz­ lichen Privilegierung kommt. Es wäre dem Gesetzgeber ein Leichtes gewesen, die Anforderungen der BJR positiv-verpflichtend zu formulieren: „Unternehmerische Entscheidungen des Vorstands stehen nur dann im Einklang mit der Sorgfalt eines ordentlichen und gewissenhaften Geschäftsleiters, wenn der Vorstand vernünftigerweise annehmen darf, auf der Grundlage angemessener Information zum Wohle der Gesellschaft zu handeln.“166

161  BGH,

Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NJW 2017, 578, 579 f. Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NJW 2017, 578, 579 f. 163  BGH, Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NJW 2017, 578, 579 f.; ähnlich auch Mertens/Cahn, in: KK/AktG, § 93 Rn. 15, die von einer regelmäßig naheliegenden Pflichtverletzung sprechen; Spindler, AG 2013, 889, 891. 164  BGH Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NJW 2017, 578, 580. 165  OLG München Urt. v. 12.01.2017 – Az.: 23 U 3582/16 = BeckRS 2017, 100878 Rn. 49. 166  Angelehnt an die österreichische Fassung der BJR gemäß § 84 Abs. 1a AktG. 162  BGH,



C. Pflicht zur Nutzung eines KI-Systems65

(b) Gesetzeszweck und Historie Auch die Lektüre der Gesetzesbegründung legt nahe, dass der Gesetzgeber mit der Einführung der BJR in § 93 Abs. 1 S. 2 AktG ausschließlich einen Haftungsfreiraum schaffen wollte. In der Regierungsbegründung werden zur Beschreibung etwa die Begriffe „sicherer Hafen“, „Tatbestandseinschränkung“ und „Absicherung“ verwendet; außerdem heißt es, „(d)ie Vorschrift soll den Bereich unternehmerischen Handlungsspielraums ausgrenzen aus dem Tatbestand der Sorgfaltspflichtverletzung nach Satz 1“ sowie, es handle sich um eine „Ausnahme und Einschränkung gegenüber Satz 1“.167 Eine gesetzgeberisch intendierte Konkretisierung der allgemeinen Sorgfaltspflicht deutet sich gerade nicht an. (c) Telos Auch unter teleologischen Gesichtspunkten ist gegen eine verbindliche Konkretisierung der Vorstandssorgfalt vorzubringen, dass jedenfalls theoretisch ein Grenzbereich denkbar ist, in dem das Vorstandsverhalten zwar nicht den Informationsanforderungen der BJR genügt, aber dennoch ein Sorgfaltsmaß erreicht, das eine Pflichtwidrigkeit ausschließt.168 Exemplarisch anführen lassen sich beispielsweise zwingende Augenblicksentscheidungen des Vorstands ohne jede Informationsgrundlage.169 (d) Zwischenergebnis Nach der hier vertretenen Auffassung ist die BJR daher als eine Art „­privilegierender Verhaltensstandard“ zu qualifizieren, der in aller Regel auf einer Linie mit dem allgemeinen Sorgfaltsmaßstab (§ 93 Abs. 1 S. 1 AktG) steht und dessen Nichteinhaltung deshalb auch ein klares Indiz für eine Sorgfaltspflichtverletzung des Vorstands ist, mangels eines verpflichtenden Elements aber dennoch nicht mit diesem gleichzusetzen ist.

167  Begr.

RegE, BT-Drs. 15/5092, S. 11 f. diese Richtung tendierend für die GmbH wohl Ziemons, in: Michalski GmbHG § 43 Rn. 135, „Er kann unter Fortgeltung der allgemeinen Darlegungs- und Beweislastregeln […] die Pflichtgemäßheit seines Handelns darlegen.“ 169  Lutter, ZIP 2007, 841, 845; Riesener, Verpflichtung des Vorstands zur Berücksichtigung betriebswirtschaftlicher Erkenntnisse bei der Entscheidungsfindung, S. 273 hebt das Beispiel einer Unternehmenstransaktion ohne vertiefte Vorbereitung aufgrund erheblichen Zeitdrucks hervor. 168  In

66

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

(e) Konsequenz Infolgedessen lässt sich eine KI-Einsatzpflicht unter isolierter Betrachtung des § 93 Abs. 1 S. 2 AktG nicht begründen – die BJR verpflichtet nicht, sie gewährleistet nur.170 Ihre Nichteinhaltung liefert dennoch einen gewichtigen Anhaltspunkt dahingehend, dass der Vorstand seine Sorgfaltspflicht nicht eingehalten hat. Wie an nachfolgender Stelle noch aufzuzeigen sein wird, kann eine KI-Einsatzpflicht im Einzelfall aber aus dem in wesentlichen Teilen parallellaufenden allgemeinen Sorgfaltsmaßstab (§ 93 Abs. 1 S. 1 AktG) folgen,171 weshalb die Einordnungs- bzw. Herleitungsfrage rein dogmatischer Natur und daher bloß von geringer Praxisrelevanz ist.172 In jedem Fall ist der Vorstand aus Gründen der Haftungsvermeidung gut beraten, sich hinsichtlich seiner Informationsverantwortung am „Ideal“ der BJR zu orientieren. Dementsprechend könnte im hier gegebenen Kontext von einer „situativen SollKI-Nutzung“, d. h. einer einzelfallabhängig dringenden Empfehlung gesprochen werden. Der Vorstand ist nicht verpflichtet, am „sicheren Hafen“ des § 93 Abs. 1 S. 2 AktG anzulegen, wenngleich in diesem Fall ein gesteigertes Risiko des „Kenterns“ besteht. bb) Anforderungen an die Informationsgrundlage Obgleich die BJR keine einzelfallbezogene bzw. relative KI-Nutzungspflicht in sich trägt, ist der Vollständigkeit halber und aufgrund des Sachzusammenhangs im Folgenden zu untersuchen, wann ein KI-Einsatz zur Inanspruchnahme der Haftungsprivilegierung erforderlich ist. In der Rechtsprechung wird von Geschäftsleitern formelhaft verlangt, „in der konkreten Entscheidungssituation alle verfügbaren Informationsquellen tatsächlicher und rechtlicher Art“173 auszuschöpfen und auf dieser Grundlage die Vorund Nachteile der bestehenden Handlungsoptionen sorgfältig abzuschätzen sowie den ersichtlichen Risiken durch geeignete Maßnahmen Rechnung zu tragen.174 Im Schrifttum wurde diese seitens der Rechtsprechung geforderte Auswertung sämtlicher verfügbarer Informationen scharf kritisiert und als 170  Anders wohl Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 51 ff., Möslein, ZIP 2018, 204, 209; a. A. wohl auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 3. 171  Siehe hierzu unten Teil 1 C. I. 1. c). 172  Ähnlich auch Mertens/Cahn, in: KK/AktG, § 93 Rn. 15; Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 29. 173  BGH, Beschl. v. 14.07.2008 – Az.: II ZR 202/07 = NJW 2008, 3361, 3362 f. 174  Hierzu aus der Rechtsprechung etwa OLG Düsseldorf, Beschl. v. 09.10.2009 – Az.: I-6 W 45/09 = AG 2010, 126, 128.



C. Pflicht zur Nutzung eines KI-Systems67

nicht mit dem Wortlaut des § 93 Abs. 1 S. 2 AktG („angemessener In­ formation“) vereinbar angesehen.175 Richtigerweise senkt der seitens des II. Zivilsenats vorangestellte Zusatz „in der konkreten Entscheidungssituation“ die Anforderungen an die zu ermittelnde Informationsgrundlage dergestalt herab, dass nicht – wie es der unklare Wortlaut vermuten lassen könnte – alle erdenklichen Erkenntnisquellen, sondern lediglich diejenigen herangezogen werden müssen, die nach den konkreten Umständen des Einzelfalles angemessen erscheinen.176 Insoweit ist der Vorstand (nur) ­gehalten, verhältnismäßige – der jeweiligen Leitungsentscheidung gerecht werdende – Anstrengungen zur Informationsbeschaffung und -auswertung vorzunehmen, die sich insbesondere an den Faktoren Zeit, Kosten und Nutzen orientieren.177 Übertragen auf den Bereich der KI-Nutzung kann der Vorstand zum Erreichen des „sicheren Hafens“ einzelfallabhängig durchaus gezwungen sein, die Entscheidungsvorbereitung über ein KI-Assistenzsystem zu organisieren.178 Ein spezialisiertes und zuverlässiges KI-System könnte in Zukunft eine naheliegende und erreichbare – mithin auszuschöpfende – Erkenntnisquelle zur Beschaffung der angemessenen Informationsgrundlage im Sinne des § 93 Abs. 1 S. 2 AktG darstellen, vor allem dann, wenn die benötigte Technik bereits im Unternehmen vorhanden ist.179 Gleiches sollte ebenso dann zu gelten haben, wenn sich die passende KI-Technik im Marktumfeld bewährt hat und frei zugänglich oder ohne großen organisatorischen und finanziellen Aufwand zu beschaffen ist. Vorstellbar ist überdies, dass die einsehbaren und entscheidungsrelevanten Informationen derart umfangreich sind (Big Data), dass eine Sichtung und Bewertung allein unter Einsatz menschlicher Arbeitskraft und herkömmlicher IT-Systeme nicht mehr möglich erscheint; in einer solchen Situation könnte ein KI-System ggf. eine entsprechende Vorsondierung, Filterung und/oder Zusammenfassung vornehmen, also letztlich eine 175  Cahn, WM 2013, 1293, 1298; Fleischer, NJW 2009, 2337; Koch, in: Koch, AktG, § 93 Rn. 20. 176  Bachmann, NZG 2013, 1121, 1124 f.; Koch, in: Koch, AktG, § 93 Rn. 20; in einer späteren Entscheidung klarstellend auch BGH, Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NZG 2017, 116, 117 („HSH Nordbank AG“-Entscheidung) „ausreichend, dass sich der Vorstand eine unter Berücksichtigung des Faktors Zeit und unter Abwägung der Kosten und Nutzen weiterer Informationsgewinnung ‚angemessene‘ Tatsachenbasis verschafft“. 177  Mertens/Cahn, in: KK/AktG, § 93 Rn. 33 f.; Sailer-Coceani, in: Schmidt/Lutter, AktG, § 93 Rn. 17. 178  So auch Bürgers, in: Bürgers/Körber/Lieder, AktG, § 93 Rn. 13, der die Einbeziehung digitaler und KI-gestützter „Recherche- und Analysesysteme“ fordert; zu den maßgeblichen Kriterien ausführlich Teil 1 C. I. 1. c). 179  Noack, ZHR 183 (2019), 105, 122 f.

68

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

angemessene Informationsgrundlage durch „Komprimierung“ herstellen.180 Ebenso wird es aber auch einige Fälle geben, in denen die Nutzung eines KI-Systems entweder nur ein Teilstück der angemessenen Informationsgrundlage bildet, insoweit als alleinige Quelle nicht ausreichend ist, oder überhaupt keinen Mehrwert bringt.181 Letzteres kann etwa dann gelten, wenn die Entscheidungsmaterie thematisch ein Gebiet betrifft, in welchem der Vorstand besonders sachkundig, routiniert und erfahren ist.182 Der Vorstand sollte daher nicht dem Trugschluss unterliegen, die standardmäßige Nutzung eines selbstlernenden Informationssystems sei das Patentrezept zur Vermeidung der Organhaftung.183 Schlussendlich hat der Vorstand ex ante abzuschätzen, ob das Gebot der gründlichen Entscheidungsvorbereitung vor dem Hintergrund der anstehenden Aufgabe und der sachlich-zeitlichen Gegebenheiten den Einsatz eines KI-Systems erforderlich macht. In dieser Einschätzungsfrage kommt dem Vorstand ein gewichtiger Entscheidungsspielraum zu.184 c) Nutzungspflicht resultierend aus dem allgemeinen Sorgfaltsmaßstab (§ 93  Abs. 1  S. 1  AktG i. V. m. § 76  Abs. 1  AktG)? Eine branchenübergreifende KI-Einsatzpflicht zur Unterstützung von Leitungsentscheidungen kommt – wie bereits angedeutet – nach derzeitiger Gesetzeslage vorrangig unter Heranziehung des allgemeinen Sorgfaltsmaßstabs des § 93 Abs. 1 S. 1 AktG in Betracht.185 So konstatierte der BGH, ohne hierbei den Fall der Nutzung Künstlicher Intelligenz im Blick gehabt zu haben, dass sich ein Geschäftsleiter ohne ausreichend persönliche Kenntnisse für die jeweilige Aufgabenstellung „unverzüglich unter umfassender Darstellung der Verhältnisse der Gesellschaft und Offenlegung der erforderlichen Unterlagen von einer unabhängigen, für die zu klärenden Fragestellungen fachlich qualifizierten Person beraten“ lassen müsse und anderenfalls, „wenn 180  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 51; Zetzsche, AG 2019, 1, 9; ähnlich auch Wagner, BB 2018, 1097, 1102. 181  Wagner, BB 2018, 1097, 1101. 182  Allgemein in ähnlicher Weise hierzu Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 39. 183  In Parallelität zu der Aussage des Gesetzgebers, dass die routinemäßige Beauftragung von Sachverständigengutachten, Beratervoten und Marktanalysen ebenfalls nicht zielführend ist, vgl. BT-Drs. 15/5092, S. 12. 184  Allgemein hierzu Fleischer, in: BeckOGK/AktG, § 93 Rn. 91; Spindler, in: MüKo/AktG, § 93 Rn. 57; Wagner, BB 2018, 1097, 1101. 185  Ebenso Knaier, in: Privatrecht 2050 – Blick in die digitale Zukunft, S. 271; auch Gassner, in: Digital Law, S. 97 und Kuntz, AG 2020, 801, 809 folgern die Möglichkeit einer KI-Delegationspflicht aus der Prämisse sorgfältigen Geschäftsleiterhandelns.



C. Pflicht zur Nutzung eines KI-Systems69

er sich nicht rechtzeitig die erforderlichen Informationen und die Kenntnisse verschafft, die er für die Prüfung benötigt,“, fahrlässig handele.186 Es entspricht der in § 93 Abs. 1 S. 1 AktG kodifizierten allgemeinen Sorgfaltspflicht eines gewissenhaften und ordentlich handelnden Geschäftsleiters, Leitungsentscheidungen auf der Grundlage einer angemessenen Informationsbasis zu treffen.187 Die BJR ist insoweit als Orientierungshilfe heranzuziehen.188 Konkretisierend trifft den Vorstand als Leitungsorgan eine aus der Aufgabenzuweisung des § 76 Abs. 1 AktG folgende Informationsverantwortung und Informationsbeschaffungspflicht; er ist infolgedessen verpflichtet, sich selbst zur ordnungsgemäßen Wahrnehmung der Leitungsaufgabe mit ausreichenden Informationen zu versorgen.189 Diese Informationsverantwortung gebietet mitunter, den technischen Fortschritt, in concreto innovative Technologien zur Entscheidungsunterstützung im Blick zu behalten und deren Einsatzmöglichkeiten im Einzelfall abzuwägen. Etablierte Prozesse der Entscheidungsfindung sind fortlaufend und gründlich auf Aktualität und Optimierbarkeit zu überprüfen. Individuelle Sorglosigkeit und persönliche Wissensdefizite entlasten den Vorstand gerade nicht.190 Weil das Verfahren der Entscheidungsvorbereitung jedoch im unternehmerischen Ermessen der Geschäftsleitung liegt, ist diese in der Auswahl der Hilfsmittel zur Erkenntnisgewinnung dem Grunde nach frei.191 Zwar existiert keine informationelle bzw. informationsrechtliche BJR – das erarbeitete Informationsgerüst muss ein entscheidungsangemessenes Informationsniveau besitzen und einer gerichtlichen Plausibilitätskontrolle standhalten. Dennoch ist der Geschäftsleitung ein informationsorganisatorischer Handlungsfreiraum zuzugestehen.192 Dieser Grundsatz kann aber dann keine Geltung mehr beanspruchen, wenn jede andere Entscheidung, als diejenige, ein KI-Assistenzsystem zur gründ­ lichen Entscheidungsvorbereitung einzusetzen, verfehlt wäre. In diesem Fall 186  BGH, Urt. v. 27.03.2012 – Az.: II ZR 171/10 = NZG 2012, 672, 673 unter Hinweis auf die st. Rspr. hierzu. 187  Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 52. 188  Zur Indizwirkung der BJR bereits unter Teil 1 C. I. 1. b) aa) (2) (d). 189  Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 38 f.; Grunewald, ZGR 2020, 469, 473; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, 71; nach Fleischer, in: BeckOGK/AktG, § 93 Rn. 92 trifft den Vorstand die Pflicht zur „sorgfältigen Ermittlung der Entscheidungsgrundlage“. 190  So auch Riesener, Verpflichtung des Vorstands zur Berücksichtigung betriebswirtschaftlicher Erkenntnisse bei der Entscheidungsfindung, S. 58; ähnlich Gehrlein, NZG 2020, 801, 802 für den GmbH-Geschäftsführer. 191  Freitag/Korch, ZIP 2012, 2281, 2284 f.; so i. E. auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 3, 6; Zenner, AG 2021, 502, 503. 192  Ähnlich Mertens/Cahn, in: KK/AktG, § 93 Rn. 34; ebenso für den GmbH-Geschäftsführer auch Fleischer, in: MüKo/GmbHG, § 43 Rn. 85a.

70

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

reduziert sich das Vorstandsermessen auf Null – das KI-Nutzungsrecht verdichtet sich an diesem Wendepunkt zur KI-Konsultationspflicht.193 Teilweise ist insofern auch von einer situationsadäquaten Verhaltenspflicht die Rede.194 Eine allgemeingültige Aussage, wonach der Vorstand vor jeder Leitungsentscheidung das bestmögliche am Markt verfügbare technische Hilfsmittel zu verwenden hat, lässt sich jedoch nicht treffen. Die Beurteilung, in welchen Fällen tatsächlich eine KI-Konsultationspflicht anzunehmen ist, bleibt vielmehr der Einzelfallbetrachtung vorbehalten.195 Folgenden Faktoren kann hierbei eine entscheidende Bedeutung zukommen: –– Bedeutung, Folgenschwere und Art (insbesondere datenbezogene Komplexität) der zu treffenden Leitungsentscheidung, –– Stand der Technik (hierunter lassen sich insbesondere Kriterien wie die Verfügbarkeit und das Leistungsspektrum, die Belastbarkeit oder Fehleranfälligkeit und sonstige bestehende Risiken des KI-Systems und dessen praktische Bewährtheit subsumieren), –– rechtliche wie auch tatsächliche Möglichkeit der Informationsbeschaffung, –– Unternehmensgegenstand/Branchenüblichkeit (IT-Branche, Bankensektor, Investment-Branche o. ä.), –– eine vergleichende Gegenüberstellung des Leistungsvermögens und der Schwachstellen von KI und Mensch (Mehrwertanalyse), –– das verfügbare Zeitfenster und die gegenwärtige Informationsgrundlage der AG, –– die Kosten des etwaigen KI-Einsatzes und die wirtschaftliche Situation der AG.196 193  So auch Becker/Pordzik, ZfPW 2020, 334, 347; ähnlich Gassner, in: Digital Law, S.  97 f.; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 136; so auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 6. 194  Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 28. 195  So bereits Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 32. 196  Ähnliche Ansätze finden sich auch bei Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 136; Linke, Digitale Wissensorganisation, S. 206 f.; Lücke, BB 2019, 1986, 1989; Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 27; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 31 f.; allgemein zu den Anforderungen an die Informationsgrundlage Schmidt, in: Heidel, AktG, § 93 Rn. 86; Schlimm, Das Geschäftsleiter­ ermessen des Vorstands, S. 82, 221 f.; Seibt, in: FS Seibert, 825, 833 f., der ein SechsParameter-Modell zur Beurteilung einer angemessenen Informationsgrundlage im Sinne des § 93 Abs. 1 S. 2 AktG heranzieht; auch der Gesetzgeber hat vereinzelt solche Kriterien in der Gesetzesbegründung vorgesehen, vgl. BT-Drs. 15/5092, S. 12.



C. Pflicht zur Nutzung eines KI-Systems71

Starre Parameter zum Übertritt der Pflichtenschwelle bestehen gerade nicht. Als grobe Orientierungshilfe bietet sich folgende Merkformel an: Je gewichtiger die Bedeutung und Tragweite der anstehenden Leitungsentscheidung, je größer der Informationsbedarf und je bedarfsgerechter, ausgereifter, erschwinglicher und dem Menschen überlegener die spezialisierte KI-Technik, desto eher rückt das KI-Nutzungsrecht in die Nähe einer KI-Einsatzpflicht.197 In gewisser Weise kann den aufgezeigten Kriterien aber auch eine Ausgleichsfunktion zukommen. Ist das KI-Assistenzsystem beispielsweise für das beabsichtigte Projekt prädestiniert und übertrifft in dem geforderten Tätigkeitsbereich menschliche Fähigkeiten nachweislich, ist der Vorstand eher gehalten, auch höhere Ausgaben für den KI-Einsatz einzukalkulieren. Insofern kann ein „Übergewicht“ in einem Kriterium ein „Weniger“ in einem anderen Kriterium kompensieren. Mangels breiter Marktetablierung von KI-Assistenzsystemen scheint eine gesetzliche bzw. gesetzlich abgeleitete ­ Anschaffungs- und Nutzungspflicht nach derzeitigem Stand nur in besonderen Ausnahmekonstellationen oder Nischenbereichen vorstellbar.198 Ferner wird es stets auch unternehmerische Leitungsentscheidungen geben, die für den KI-Einsatz nicht geeignet sind,199 weil deren Erfolg von Unwägbarkeiten, wie dem Verhalten Dritter abhängt oder die Entscheidungsvorbereitung gerade keine Rationalität und Faktenbasis, sondern abseits starrer Parameter z. B. Empfindungsvermögen, ethisches Wertebewusstsein, einen moralischen Kompass, Menschenkenntnis, Kreativität oder auch Fingerspitzengefühl für behutsame und emphatische Öffentlichkeitsarbeit zu konfliktgeladenen Themen erfordert.200 Spindler und Seidel weisen dessen ungeachtet zurecht da­ 197  Ähnliche Überlegungen aufstellend Gassner, in: Digital Law, S. 97; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 53; Linke, Digitale Wissensorganisation, S. 206; Lücke, BB 2019, 1986, 1994; Spindler/Seidel, in: FS Marsch-Barner, 549, 553. 198  So auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 53; Linnertz, Die Delegation durch den Vorstand einer AG, S. 236 f. mahnt im Generellen, dass eine Delegationspflicht vor dem Hintergrund des weiten Organisationsermessens des Vorstands im Allgemeinen nicht leichtfertig angenommen werden sollte; Noack, ZHR 183 (2019), 105, 122 weist zurecht daraufhin, dass ein KISystem, wenn es denn bereits im Unternehmen integriert wurde und zur Aufgabenbearbeitung geeignet ist, auch eingesetzt werden müsse. 199  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 122 führt zutreffend aus, dass es kein KI-System gebe, „das alle unternehmerischen Entscheidungen effektiv unterstützen kann“ und außerdem könne nicht jede Tätigkeit, mit der ein KI-System befasst werden kann, „von ihm besser erledigt werden als von menschlichen Mitarbeitern und Beratern“. 200  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 131; Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 217; Noack, ZHR 183 (2019), 105, 122; ders., in: FS Windbichler, 947, 955 betont, dass ein KI-System zwar nicht zur Erzeugung von Werturteilen eingesetzt werden könne, die Technik jedoch in diesen Fällen

72

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

rauf hin, dass sich das Recht zur Nutzung leitungsunterstützender KI-Systeme auf lange Sicht gesehen in verschiedenen Führungsbereichen und einzelnen Entscheidungsfragen hin zu einer Pflicht bewegen wird, weil absehbar immer mehr solide KI-Produkte auf dem Markt erscheinen werden.201 d) Nutzungspflicht resultierend aus § 91 Abs. 3 AktG Schließlich ist auch ein Blick auf die Vorschrift des § 91 Abs. 3 AktG zu werfen. Die Regelung wurde im Zuge des am 1. Juli 2021 in Kraft getretenen Gesetzes zur Stärkung der Finanzmarktintegrität (FISG) neu eingefügt und schreibt für börsennotierte Aktiengesellschaften die Einrichtung eines – im Hinblick auf den Umfang der Geschäftstätigkeit und die Risikolage des Unternehmens – angemessenen und wirksamen internen Kontroll- und Risikomanagementsystems vor. Unter einem internen Kontrollsystem sind nach der Gesetzesbegründung u. a. die „Grundsätze, Verfahren und Maßnahmen zur Sicherung der Wirksamkeit und Wirtschaftlichkeit der Geschäftstätigkeit“ zu verstehen.202 Die Einbettung eines entscheidungsunterstützenden KI-Systems in Prozesse der Unternehmensleitung könnte die Geschwindigkeit und Präzision der Informationsverfügbarkeit, aber auch die Erfolgswahrscheinlichkeit unternehmerischer Wagnisse und ihre Rentabilitätsaussichten merklich erhöhen. Deshalb lässt sich der KI-Einsatz in der Unternehmensführung als eine solche Maßnahme zur Sicherung der Wirtschaftlichkeit der Geschäftstätigkeit begreifen. Von einer gesetzlichen KI-Einrichtungspflicht börsen­notierter AGs kann gleichwohl nur gesprochen werden, sofern eine solche nach dem Umfang der Geschäftstätigkeit und der Risikolage des Unternehmens angemessen erscheint. Mit dem Merkmal der Angemessenheit billigt der Gesetzgeber dem Vorstand ein Ausgestaltungsermessen zu und stellt zugleich klar, dass eine Systemeinrichtung nur dann zur Pflicht wird, wenn sie tatsächlich erforderlich und zumutbar ist.203 Die vorgenannten Einschränkungen zeigen deutlich, dass auch Aktiengesellschaften, deren Aktien am regulierten Markt zugelassen sind, jedenfalls keine absolute KINutzungspflicht trifft. Ein entsprechender Technikeinsatz bleibt eine Einzelals vernunftwahrende Kontrollinstanz zur „Begrenzung des unternehmerischen Ermessens, des ‚Bauchgefühls‘ “ dienen könne. In dieselbe Richtung tendierend Gassner, in: Digital Law, S. 92 und Zetzsche, AG 2019, 1, 9; auch Enriques/Zetzsche, ECGI Law WP 457/2019, S. 36 sprechen von dem unverzichtbaren Faktor Mensch; zur Relevanz der Intuition ausführlich Vetter, in: FS Bergmann, 827. 201  Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 32. 202  BT-Drs. 19/26966, S. 115. 203  Fischer/Schuck, NZG 2021, 534, 538; Fleischer, in: BeckOGK/AktG, § 91 Rn. 58.



C. Pflicht zur Nutzung eines KI-Systems73

fallentscheidung, wobei § 91 Abs. 3 AktG als Pflichtengrundlage nur dann taugt, wenn eine Prüfung ergibt, dass ein KI-System fortlaufend und strukturell zur ordnungsgemäßen Corporate Governance benötigt wird. Eine punktuelle KI-Pflicht zur Beurteilung einer einzelnen geschäftlichen Maßnahme lässt sich nicht auf die Vorschrift stützen.204 Verpflichtende Einzelmaßnahmen richten sich allein nach der allgemeinen Sorgfaltspflicht gemäß § 93 Abs. 1  S. 1 AktG. 2. Verpflichtung zur KI-Nutzung durch Selbstregulierung Wem die gesetzlichen Pflichtvorgaben nicht weit genug gehen, der muss sich zwangsläufig die Frage stellen, ob sich eine Verpflichtung des Vorstands zur KI-gestützten Entscheidungsfindung auf andere Weise erreichen lässt. Zwar ist ein routinemäßiges Einholen von Expertenvoten, Sachverständigengutachten und Marktanalysen im Einzelfall weder ausreichend noch erforder­ lich,205 nichtsdestotrotz kann eine formale und schematische Absicherungsstrategie gewisse Vorteile bieten. So kann ein standardmäßig festgelegtes und vorgeschriebenes Prozedere zur Informationsgewinnung etwa ein Übersehen und Übergehen der entsprechenden Informationsquelle verhindern. Eine privatautonome Bindung des Vorstands kommt über gesellschaftsrechtliche ­Regelwerke, wie die Satzung oder die Geschäftsordnung des Vorstands in Betracht. Diskussionswürdig erscheint auch eine verpflichtende Verankerung im Anstellungsvertrag des jeweiligen Vorstandsmitglieds oder einer unternehmensinternen Richtlinie. a) Nutzungspflicht folgend aus der Satzung der AG Die Rechtsfrage, ob die Hauptversammlung den Vorstand über die Satzung zur KI-gestützten Unternehmensleitung verpflichten könnte, ist – soweit ersichtlich – bislang ungeklärt. aa) Reichweite der Satzungshoheit (Satzungsstrenge) Allgemein ist der Vorstand gemäß § 82 Abs. 2 AktG verpflichtet, die satzungsmäßigen Beschränkungen „im Rahmen der Vorschriften über die Ak­ tiengesellschaft“ einzuhalten. Flankierend sieht der in § 23 Abs. 5 AktG verankerte Grundsatz der Satzungsstrenge jedoch vor, dass die Satzung von den 204  Allgemein zur Abgrenzung zwischen System und punktueller Maßnahme Fischer/Schuck, NZG 2021, 534, 538. 205  BT-Drs. 15/5092, S. 12.

74

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

Vorschriften des AktG nur dann abweichen darf, wenn es das Gesetz ausdrücklich zulässt (S. 1) und ergänzende Satzungsbestimmungen nur dann zulässig sind, wenn das AktG zu dem jeweiligen Themenkomplex keine abschließende Regelung enthält (S. 2). Unter einer Abweichung ist die Substitution der gesetzlichen Regelung durch eine Satzungsbestimmung mit anderem Regelungsgehalt zu verstehen.206 Währenddessen liegt eine Ergänzung vor, wenn das Aktiengesetz zu der jeweiligen Satzungsbestimmung keinerlei Regelung trifft oder die gesetzliche Regelung bloß inhaltlich konkretisiert oder fortgeschrieben wird.207 Eine sachgerechte Beurteilung der rechtlichen Zulässigkeit erfordert mithin zunächst eine Einordnung der in Rede stehenden Satzungsbestimmung. Die Festschreibung einer Pflicht zur KI-gestützten Entscheidungsvorbereitung könnte die originäre Zuständigkeit des Vorstands konterkarieren. Die Regelung einer KI-Nutzungspflicht zur Leitungsunterstützung ist als bloß entscheidungsvorbereitende Tätigkeit aber nicht der unveräußerlichen Leitungsautonomie (§ 76 Abs. 1 AktG),208 sondern dem weiten Feld der Geschäftsführung (§ 77 Abs. 1 S. 1 AktG) zuzuordnen. Gleichwohl ist auch die Geschäftsführungsbefugnis unmissverständlich dem Vorstand und gerade nicht der Hauptversammlung zugewiesen. Grundsätzlich darf der Vorstand nämlich selbst bestimmen, wie er die Geschäfte der Gesellschaft führt respektive sich auf Leitungsentscheidungen vorbereitet, sodass die diskutierte Satzungsregelung nach hiesiger Ansicht als Abweichung im Sinne des § 23 Abs. 5 S. 1 AktG zu bewerten wäre. Es käme folglich darauf an, ob diese nach dem ausdrückliche Gesetzeswortlaut positiv zugelassen ist.209 Gemäß § 23 Abs. 3 Nr. 2 AktG fällt zunächst die Festlegung des Unternehmensgegenstandes unzweifelhaft in den Zuständigkeitsbereich der Hauptversammlung.210 Auf diese Weise können die Aktionäre auf die Unternehmensführung einwirken, wobei die Regelung des Unternehmensgegenstandes lediglich die Funktion hat, den Tätigkeitsbereich der Gesellschaft bzw. des Vorstands grob abzustecken.211 Detailfragen zur Geschäftsführung lassen sich mit diesem gerade nicht festlegen.212 Uneinigkeit besteht deshalb 206  Pentz, in: MüKo/AktG, § 23 Rn. 160; Seibt, in: Schmidt/Lutter, AktG, § 23 Rn. 54. 207  Körber/König, in: Bürgers/Körber/Lieder, AktG, § 23 Rn. 42. 208  Eine KI-Nutzungspflicht beließe dem Vorstand seine Letztentscheidungskompetenz, d. h. er könnte im Grunde weiterhin gegensätzliche, also der KI-Lösung zuwiderlaufende Entscheidungen treffen. 209  Seibt, in: Schmidt/Lutter, AktG, § 23 AktG, Rn. 54. 210  Dauner-Lieb, in: Henssler/Strohn, AktG, § 82 Rn. 14. 211  Pentz, in: MüKo/AktG, § 23 Rn. 79. 212  Tendenziell so auch Linnertz, Die Delegation durch den Vorstand einer AG, S. 208 f.: der Unternehmensgegenstand habe „keine Präzisionskraft für die Delega­ tionsfrage“.



C. Pflicht zur Nutzung eines KI-Systems75

schon über die Frage, ob Aspekte wie die Grundprinzipien der Unternehmensführung oder generelle Zielvorgaben festgelegt werden dürfen.213 Die Vorgabe einer verpflichtenden KI-Verwendung im Stadium der Entscheidungsvorbereitung ginge noch einen Schritt weiter, weil sie sich nicht mehr bloß auf die Grundlagen für die Unternehmensverfassung beschränken, sondern aufgrund ihres Detailgrades in die konkrete Ausgestaltungsprärogative des Vorstands vordringen würde.214 In § 77 Abs. 2 S. 2 AktG sieht der Gesetzgeber für die Hauptversammlung allerdings eine weitere Möglichkeit der Einflussnahme auf die Geschäftsführung des Vorstands vor. Danach kann die Satzung vorweggenommene Einzelfragen der Geschäftsordnung des Vorstands bindend regeln. Fraglich ist allerdings, welche inhaltlichen Bestimmungen verbindlich durch die Geschäftsordnung vorgegeben werden können. Grundsätzlich lässt sich dieses Regelwerk frei gestalten.215 Möglich sind u. a. konkretisierende Vorgaben zur Ausübung der geschäftsführenden Tätigkeit.216 Zulässig sind nach der Gesetzesbegründung insoweit auch Regelungen zur vorstandsinternen Beratung.217 Wichtig sei bloß, dass das Selbstorganisationsrecht und die Grundkompetenz des Vorstands im Kern erhalten bleiben.218 Wo diese Grenze verläuft, ist indessen unklar.219 Nach einer Ansicht sei das Selbstorganisationsrecht so lange gewahrt, wie der Vorstand nicht zu einem bloßen Werkzeug ohne eigenverantwortliche Handlungsmacht degradiert werde.220 Andere sehen die Satzungsautonomie dann als überschritten an, „wenn der vom Gesetz dem Vorstand zugebilligte Handlungsspielraum erheblich eingeschränkt wird und dadurch das Zuständigkeitssystem der einzel-

213  Zum

Streitstand Fleischer, in: BeckOGK/AktG, § 82 Rn. 33. Koch, in: Koch, AktG, § 82 Rn. 10 seien sonstige sachlich-gegenständliche Vorgaben in der Satzung gestattet, solange sie keinen „derartigen Detaillierungsgrad annehmen, dass sie sich als Eingriff in die Geschäftsführung darstellen“; auch Spindler, in: MüKo/AktG, § 82 Rn. 35 sieht die Grenze überschritten, wenn dem Vorstand per Satzung Geschäftsführungsmaßnahmen vorgegeben werden. 215  Koch, in: Koch, AktG, § 77 Rn. 21. 216  Spindler, in: MüKo/AktG, § 77 Rn. 35. 217  Begr. RegE zum AktG 1965, abgedruckt bei Kropff, Textausgabe des AktG, S. 100. 218  Grigoleit, in: Grigoleit, AktG, § 77 Rn. 19: „Vorgaben dürfen in der Breite als auch in der Tiefe die Möglichkeiten des Vorstands zur Gestaltung der Organisation nicht entscheidend verengen“; Spindler, in: MüKo/AktG, § 77 Rn. 51; nach Kort, in: Vorstandsrecht, § 3 Rn. 39 dürfe die Satzung „zwar eine Reihe von Einzelfragen der Geschäftsordnung verbindlich festlegen, […] aber kein Gesamtsystem der Geschäftsleitung und Geschäftsordnung schaffen, das die organisatorische Flexibilität des Vorstandshandelns vollkommen ausschließen würde“. 219  Hierzu auch Pentz, in: Vorstandsrecht, § 16 Rn. 109. 220  Dauner-Lieb, in: Henssler/Strohn, AktG, § 82 Rn. 14; Weber, in: Hölters/Weber, AktG, § 82 Rn. 19. 214  Nach

76

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

nen Organe deutlich verändert wird“.221 Spindler vertritt, dass die Satzung „keine konkreten Anweisungen an die Geschäftsführung enthalten“222 dürfe. Zur Begründung einer stark begrenzten Reichweite der Satzungshoheit wird teilweise vorgebracht, die Hauptversammlung sei aufgrund „ihrer inhomogenen, dem Zufall ausgelieferten Zusammensetzung und ihrer Ferne zu den jeweils zu treffenden Geschäftsführungsmaßnahmen“223 gänzlich ungeeignet, konkrete Vorgaben zur Erledigung der Geschäftsführungsaufgaben festzulegen. Kauer steht demgegenüber auf dem Standpunkt, es seien auch Satzungsregelungen zur Ausgestaltung der erforderlichen Informationsgrundlage des Vorstands denkbar; so könne die Satzung beispielsweise „eine Regelung beinhalten, die für gewisse Arten von Geschäften […] eine Pflicht zur Einholung fachkundigen Rates vorsieht“.224 bb) Stellungnahme Nach hier vertretener Auffassung ist eine satzungsmäßige Verpflichtung des Vorstands zur KI-gestützten Entscheidungsvorbereitung rechtlich zulässig, sofern die Satzungsklausel hinreichend bestimmt ist, d. h. klar und deutlich zum Ausdruck bringt, welches KI-System in welchen Fällen zum Einsatz kommen muss. Sofern die Bestimmung die anzuwendende KI-Technologie und deren Einsatzbereich präzise beschreibt, eine offene Formulierung für geeignetere Technologien vorsieht und andere/ergänzende Maßnahmen der Entscheidungsvorbereitung nicht sperrt, ist die Gefahr einer innovationshemmenden oder einengenden Wirkung als gering einzuschätzen. Die Abweichung von der gesetzlichen Kompetenzordnung lässt sich mit guter Begründung auf § 77 Abs. 2 S. 2 AktG stützen. Das Gesetz gewährt den Aktionären an dieser Stelle ausdrücklich eine punktuelle Regelungskompetenz zur inhaltlichen Ausgestaltung der Geschäftsführung. Außerdem handelt es sich um eine vergleichsweise milde Einflussnahme auf den Entscheidungsfindungsprozess.225 Der Vorstand wird ohne weitere Beschränkung der Geschäftsführung oder Einengung der Entscheidungskompetenz lediglich ver221  Limmer, in: BeckOGK/AktG, § 23 Rn. 34; Mertens/Cahn, in: KK/AktG, § 77 Rn. 61. 222  Spindler, in: MüKo/AktG, § 76 Rn. 26 unter Verweis auf OLG Stuttgart, ­Beschl. v. 22.07.2006 – Az.: 8 W 271/06 = ZIP 2007, 231. 223  BGH, Urt. v. 26.04.2004 – Az.: II ZR 155/02 = NJW 2004, 1860, 1864. 224  Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 84. 225  Nach Mertens/Cahn, in: KK/AktG, Vorb. § 76 Rn. 12 gilt als Faustregel, dass „eine Satzungsbestimmung umso kritischer betrachtet werden muss, je stärker und allgemeiner sie in die Befugnisse eines Organs eingreift und je mehr sie Entscheidungen vorwegnimmt, die vernünftigerweise unter Berücksichtigung aller Umstände der konkreten Situation getroffen werden sollten“.



C. Pflicht zur Nutzung eines KI-Systems77

pflichtet, eine zusätzliche abwägungsrelevante Informationsquelle zu berücksichtigen, er darf demnach weiterhin ergänzend auch anderweitige Informa­ tionswege nutzen.226 Eine Satzungsklausel könnte insoweit ein geeignetes Instrument darstellen, um das Innovations- und Effizienzinteresse der Aktionäre durchzusetzen. Zu beachten ist aber, dass Satzungsregelungen relativ unflexibel sind. Kurzfristige Reaktionen auf unvorhergesehene Ereignisse sind wegen des erheblichen Organisationsaufwands einer Hauptversammlung kaum möglich.227 b) Nutzungspflicht folgend aus der Geschäftsordnung des Vorstands Als möglicherweise flexibleres Regelwerk für eine Pflichtverankerung bietet sich die Geschäftsordnung des Vorstands an. Nach § 77 Abs. 2 S. 1 AktG kann sich der Vorstand selbst eine Geschäftsordnung geben, wenn nicht die Satzung den Erlass der Geschäftsordnung dem Aufsichtsrat übertragen hat oder der Aufsichtsrat eine Geschäftsordnung für den Vorstand erlässt. Wie bereits vorstehend festgestellt wurde, enthalten Geschäftsordnungen nicht selten Mindestanforderungen an die Informationspflichten des Vorstands.228 Auch hier gilt: Soweit die Einzelregelungen der Geschäftsordnung nicht im Widerspruch zur gesetzlich zwingenden Kompetenzzuweisung an den Vorstand stehen, also nicht zu schwerwiegenden Kompetenzbeschneidungen führen und sich bloß auf die Ausgestaltung, also das „Wie“ der geschäftsführenden Tätigkeit beschränken, bestehen keine rechtlichen Bedenken.229 Der Vorstand könnte sich daher selbst für bestimmte Geschäftsvorfälle in seiner Geschäftsordnung zur entscheidungsunterstützenden KI-Nutzung verpflichten – vorausgesetzt, diesem wurde die Erlasskompetenz nicht entzogen. Gleiches Recht stünde auch dem Aufsichtsrat als Überwachungsorgan zu. Dieser besitzt insoweit die primäre Erlasskompetenz.230

226  Thiel/Nazari-Khanachayi, RDi 2021, 134, 137 sprechen sich für die Möglichkeit aus, über den satzungsmäßigen Unternehmensgegenstand eine Pflicht zur Verwendung digitaler Werkzeuge vorzusehen; auch Zetzsche, AG 2019, 1, 7 f. geht von der Zulässigkeit einer statuarischen Verpflichtung zum Technikeinsatz aus, wobei er in der zwingenden Vorgabe einer bestimmten Technologie eine „Innovationsbremse“ sieht; ähnlich Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 33. 227  Ähnliche Erwägungen im Allgemeinen Linnertz, Die Delegation durch den Vorstand einer AG, S. 195 f.: so sei der Einfluss der Hauptversammlung auf die Geschäftsverteilung rechtlich wie rechtspraktisch beschränkt; Mertens/Cahn, in: KK/ AktG, Vorb. § 76 Rn. 15. 228  Bürgers, in: Bürgers/Körber, AktG, § 77 Rn. 24. 229  Kolb, in: Beck-HdB AG, § 7 Rn. 80; Spindler, in: MüKo/AktG, § 77 Rn. 35. 230  Fleischer, in: BeckOGK/AktG, § 77 Rn. 77 ff.; Dörrwächter, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 5 Rn. 41.

78

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

Zur Veranschaulichung wird das folgende Zukunftsszenario betrachtet: Auf dem Markt existiert seit einigen Jahren das KI-Assistenzsystem „M&A 3000“ zur Unterstützung von M&A-Transaktionen. Das System analysiert das Unternehmensprofil des potenziellen Käufers und schlägt diesem passende Zielgesellschaften vor. Es beurteilt zuverlässig und bewährt, welche Unternehmen sich am ehesten für einen Unternehmenskauf eignen und begründet das Ergebnis nachvollziehbar anhand einer ausführlichen und vergleichenden Kosten-Nutzen-Risikoanalyse. Da das betreffende KI-System aber noch relativ teuer ist, hätte der Vorstand der potenziellen Käufergesellschaft aufgrund seines Ermessens alternativ auch die Möglichkeit, externe Anbieter (beispielsweise Investmentbanken) mit der Suche nach passenden Zielunternehmen zu beauftragen.

In diesem Fall könnte sich eine verpflichtende Geschäftsordnungsregelung zum Technikeinsatz anbieten, um den bestmöglichen Standard zu gewährleisten. Eine Verpflichtungsklausel könnte beispielsweise wie folgt lauten: „Leitungsentscheidung: Unternehmenskauf Im Falle eines beabsichtigten Unternehmenskaufs ist der Vorstand verpflichtet, das KI-Assistenzsystem ‚M&A 3000‘ zur Unterstützung der Suche nach einem geeigneten Zielunternehmen (sog. Screening-Prozess) zu nutzen. Der Vorstand ist an das Ergebnis des Assistenzsystems nicht gebunden, er ist jedoch verpflichtet, dieses kritisch zu würdigen. Existiert eine mindestens gleich geeignete Nachfolgeversion des Systems oder eine besser geeignete Technologie, kann der Vorstand stattdessen diese verwenden. Zudem ist ihm gestattet, auf die Verwendung eines KI-Assistenzsystems zu verzichten, soweit der Nutzung gewichtige Gründe entgegenstehen. Es bleibt dem Vorstand überdies unbenommen, zusätzlich andere Maßnahmen der Entscheidungsvorbereitung zu treffen, insbesondere externe Berater mit dem Screening-Prozess zu beauftragen.“

Die Pflicht zur kritischen Begutachtung der KI-Lösung stellt sicher, dass der Vorstand sehenden Auges nur dann eine entgegenstehende Entscheidung pflichtgemäß treffen kann, wenn er in der Lage ist, diese durch gewichtige Gegenargumente zu rechtfertigen.231 c) Nutzungspflicht folgend aus dem Anstellungsvertrag des jeweiligen Vorstandsmitglieds Eine Konkretisierung bzw. Erweiterung des Pflichtenprogramms wäre zumindest in der Theorie auch über den Anstellungsvertrag des jeweiligen Vorstandsmitglieds möglich.232 Die Verpflichtungen, die in der Geschäftsord231  Ähnlich Hoch, AcP 219 (2019), 648, 684, die im Falle eines erteilten KIRechtsrats von einer faktischen Bindung des Leitungsorgans spricht, da für eine gegenteilige Entscheidung besonderer Begründungsaufwand erforderlich sei. 232  Linnertz, Die Delegation durch den Vorstand einer AG, S. 129 f.; Schlimm, Das Geschäftsleiterermessen des Vorstands einer AG, S. 98.



C. Pflicht zur Nutzung eines KI-Systems79

nung für den Vorstand vorgesehen werden können,233 sind grundsätzlich auch einer anstellungsvertraglichen Regelung zugänglich.234 Da es sich um einen schuldrechtlichen Vertrag handelt, unterliegt dieser im Grundsatz der privatautonomen Gestaltungsfreiheit (§ 311 Abs. 1 BGB). Als zulässig angesehen wird in der Literatur z. B. die Vorgabe eines formalen Prozederes für die Informationsgewinnung; so könne der Vorstand verpflichtet werden, für bestimmte Arten von Geschäften einen Expertenrat einzuholen.235 Zu berücksichtigen ist allerdings, dass eine Bestimmung im Anstellungsvertrag – im Gegensatz zu Satzungs- oder Geschäftsordnungsbestimmungen – deshalb weniger praktikabel ist, weil die anstellungsvertragliche Regelung nur das jeweilige Vorstandsmitglied, nicht aber den Gesamtvorstand betrifft, obwohl die Unternehmensleitung in die Gesamtverantwortung des Vorstands fällt, also gerade nicht der Ressortverantwortung zuzuordnen ist. Im Übrigen fallen der Abschluss und die inhaltliche Ausgestaltung des Anstellungsvertrages in den ausschließlichen Zuständigkeitsbereich des Aufsichtsrats (Kongruenz zwischen Bestellungs- und Anstellungskompetenz),236 dieser wird aber im Zweifel eine gesamtheitliche und vor allem einseitig veränderbare Regelung in der Geschäftsordnung vorziehen. d) Nutzungspflicht folgend aus einer KI-Richtlinie Schließlich könnte sich der Vorstand auch über eine unternehmensinterne Richtlinie dazu verpflichten, ein informationsbeschaffendes KI-System in bestimmten Leitungsangelegenheiten in den Entscheidungsprozess einzubinden. Es steht dem Vorstand frei, sich selbst zu einem entsprechenden Informationsstandard zu bekennen und diesen als für sich verpflichtend zu etablieren.237

II. Fazit Eine absolute Pflicht zur Verwendung von KI schreibt der Gesetzgeber dem Vorstand nach derzeitiger Rechtslage nicht vor.238 Aus § 93 Abs. 1 S. 1 AktG 233  Insoweit ist auf die vorstehenden Ausführungen unter Teil 1 C. I. 2. b) zu verweisen. 234  Mertens/Cahn, in: KK/AktG, § 82 Rn. 42. 235  Kauer, Die Informationsbeschaffungspflicht des Vorstands einer AG, S. 84. 236  Spindler, in: MüKo/AktG, § 84 Rn. 71. 237  Bachmann/Kremer, in: Kremer/Bachmann, Kommentar zum DCGK, Teil 3, Grundsatz 5 Rn. 43, 45; Ghassemi-Tabar, in: Johannsen-Roth/Illert/Ghassemi-Tabar, DCGK, Grundsatz 5 Rn. 3. 238  Ähnlich auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 121; Möslein, ZIP 2018, 204, 209; Wagner, BB 2018, 1097, 1099.

80

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

oder § 91 Abs. 3 AktG (bzw. aus § 25a Abs. 1 S. 3 Nr. 4 KWG speziell für Institute i. S. d. KWG) kann unter engen Voraussetzungen lediglich eine dynamische, d. h. fallabhängige KI-Nutzungspflicht resultieren. Nach diesseitiger Auffassung besteht auch kein Bedarf einer weitergehenden gesetzlichen Regulierung. Gerade die Abstraktionshöhe des allgemeinen Sorgfaltsmaßstabs ermöglicht dem Vorstand eine individualisierte, auf die jeweilige Situation abgestimmte Beurteilung der Technikgebotenheit. Sinnvoll und mittelfristig zu erwarten sind aber konkretere KI-Einsatzvorgaben insbesondere im Bereich des regulierten Finanzwesens – einerseits ist KI in diesem Sektor vergleichsweise weit vorangeschritten239 und andererseits ist ein einheitlich hoher Informationsstandard im Falle kritischer Infrastrukturen zum Schutz der Verbraucher essenziell. Unabhängig davon ist unternehmensintern je nach Bedarf auch eine rechtsgeschäftliche Verpflichtung des Vorstands zum Technikeinsatz in der Satzung, der Geschäftsordnung, den Anstellungsverträgen der Vorstandsmitglieder oder innerhalb einer unternehmensinternen Richtlinie rechtlich zulässig.

D. Pflicht zur Befolgung der KI-Empfehlungen unter besonderer Betrachtung des Stichentscheids und der Vertragskonzernierung Von der Diskussion über eine Nutzungspflicht zu trennen ist die Frage einer Pflicht zur Befolgung etwaiger KI-Empfehlungen. Insoweit gilt, dass der Vorstand im Grundsatz zur eigenverantwortlichen und selbstbestimmten Unternehmensführung berechtigt und verpflichtet ist – es ist ihm deshalb verwehrt, sich dieser Eigenständigkeit und Unabhängigkeit zu entledigen.240

I. Vertragliche Verpflichtung zur Befolgung der KI-Empfehlung Eine vorweggenommen schuldrechtliche Verpflichtung des Vorstands, sein Leitungsverhalten stets oder im Einzelfall nach dem Ergebnis der beratenden KI auszurichten, würde einen erheblichen Eingriff in den Kernbereich der Leitungsfunktion, den Grundsatz der Letztentscheidung des Vorstands, das aktienrechtliche Kompetenzgefüge sowie das Selbstbindungsverbot bedeuten241 und hätte daher gemäß § 134 BGB die Nichtigkeit dieser Vereinbarung zur Folge 239  Vgl.

hierzu allgemein Söbbing, ZIP 2019, 1603. NZG 2013, 930, 934; Wentrup, in: Münch-HdB GesR IV, 5. Kap. Rn. 37. 241  Möslein, ZIP 2018, 204, 208 f.; Spindler, in: MüKo/AktG, § 76 Rn. 28; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 44. 240  Otto,



D. Pflicht zur Befolgung der KI-Empfehlungen81

(Verbot der rechtsgeschäftlichen Vorwegbindung).242 Ebenfalls unwirksam wäre ein in der Satzung oder Geschäftsordnung des Vorstands verankertes KIBefolgungsgebot.243 Der aus natürlichen Personen bestehende Vorstand wäre in den betreffenden Fällen gesetzeswidrig bloß noch das Sprachrohr der KI.

II. Die KI-Empfehlung als Mechanismus zur Auflösung von Patt-Situationen Diskutabel erscheint jedoch eine Bindung „light“ an das KI-Ergebnis zur Auflösung von Patt-Situationen. Teilweise wird im Schrifttum die Überlegung angestellt, per Satzungsregelung oder in der Geschäftsordnung des Vorstands vorzusehen, dass bei Stimmgleichheit im Vorstand – eine solche hätte grundsätzlich die Beschlussablehnung zur Folge244 – die Empfehlung des KI-Systems den Ausschlag gibt.245 Dieser Ansatz ließe sich jedoch nur sehr eingeschränkt umsetzen. Zwar sind Regelungen, die einen Stichentscheid vorsehen, grundsätzlich zulässig, dies jedoch nur für den Fall, dass das Stichrecht einem Vorstandsmitglied übertragen wird.246 Das folgt aus der organschaftlichen Pflicht des Vorstands zur eigenverantwortlichen Unternehmensleitung und Letztentscheidung – jede Leitungsentscheidung muss zwingend aus den Reihen der Vorstandsmitglieder getroffen werden. Aus diesem Grund sind auch Mechanismen der Entscheidungsfindung, die in Patt-Konstellationen auf einen Münzwurf, Streichholzziehen oder eine Losentscheidung abstellen, im Aktienrecht nicht zulässig.247 Zwar basieren Verfahren der vorgenannten Art auf dem Zufallsprinzip, während das Ergebnis der KI auf Sachlichkeit, Fakten und Logik aufbaut. Gleichwohl ändert dies nichts an dem Grundsatz, dass Leitungsentscheidungen unter keinen Umständen durch organfremde Faktoren bestimmt werden dürfen.248 Freilich bliebe es den Vorstandsmitgliedern bzw. dem Stichberechtigten überlassen, nach dem Ergebnis der KI zu handeln249 – eine verbindliche Regelung, die dem Stichberechtigten vorschreibt, 242  Allgemein hierzu LG München I, Urt. v. 05.04.2012 – Az.: 5 HK O 20488/11 = NZG 2012, 1152, 1154; Otto, NZG 2013, 930, 934; Weber, in: Hölters/Weber, AktG, § 76 Rn. 16. 243  Siehe zur Begründung bereits oben Teil 1 C. I. 2. a). 244  Vgl. Spindler, in: MüKo/AktG, § 77 Rn. 14. 245  Noack, ZHR 183 (2019) 105, 136; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 45; Teichmann, ZfPW 2019, 247, 265. 246  Koch, in: Koch, AktG, § 77 Rn. 11; Mertens/Cahn, in: KK/AktG, § 77 Rn. 12. 247  Vgl. hierzu auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 45. 248  Ähnlich auch Noack, ZHR 183 (2019) 105, 136. 249  Noack, ZHR 183 (2019) 105, 136.

82

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

das Stimm- bzw. Stichrecht entsprechend der KI-Empfehlung auszuüben, wäre indessen als Verstoß gegen das Verbot der Vorwegbindung und der Weisungsungebundenheit des Vorstands anzusehen.250 Vorstellbar wäre nach hier vertretener Ansicht lediglich eine an die KI-Empfehlung angelehnte Sollvorgabe oder Richtungsempfehlung ohne bindenden Charakter.

III. Pflicht zur Befolgung der KI-Empfehlungen im Vertragskonzern Den organisatorischen Aufwand außen vor gelassen, könnte die Hauptversammlung eine Pflicht zur Befolgung der KI-Empfehlungen, mithin eine Steuerung des Vorstands nach den Vorgaben der KI, aber möglicherweise über die Einrichtung251 oder Ausnutzung einer vertraglichen Konzernkon­ struktion erreichen.252 Der Beherrschungsvertrag (§ 291 Abs. 1 S. 1 Hs. 1 AktG) stellt das Mittel der Wahl dar, wenn es darum geht, den konzeptionell eigenverantwortlich handelnden Vorstand fremdbestimmt zu lenken.253 In einem solchen Unternehmensvertrag unterstellt sich die AG unter die Leitung eines anderen (herrschenden) Unternehmens.254 Das herrschende Unternehmen wird hierbei mit weitreichenden Weisungsrechten ausgestattet (§ 308 Abs. 1 AktG). Sowohl Geschäftsführungsmaßnahmen als auch Leitungsentscheidungen der abhängigen Gesellschaft lassen sich in diesem Fall – auch zu ihrem Nachteil – fremdsteuern.255 Übertragen auf die vorliegende Untersuchung hätte das herrschende Unternehmen zur Aufgabe, die KI zu den Leitungsentscheidungen der abhängigen AG zu befragen und anschließend den Vorstand ergebnisentsprechend anzuweisen (§ 308 Abs. 1 S. 1 AktG). Hierfür müsste sich die Obergesellschaft über den Beherrschungsvertrag aber der Verpflichtung unterwerfen können, ihre Weisungsbefugnis allein nach den Vorgaben der KI auszuüben.256 Dafür ließe sich etwa anführen, dass sich 250  Auch Grigoleit, in: Grigoleit, AktG, § 77 Rn. 22 geht in diese Richtung und betont die Weisungsautonomie des Vorstands. 251  Zur Einrichtung eines Vertragskonzerns käme der Hauptversammlung ein aus § 83 Abs. 1 AktG folgendes Initiativrecht zu, vgl. Altmeppen, in: MüKo/AktG § 293 Rn. 6. 252  Zur Nutzung von KI im Konzernverhältnis auch Noack, in: FS Windbichler, 947, 958; ähnlich auch Armour/Eidenmüller, ZHR 183 (2019), 169, 181. 253  Auch Krieger, in: Münch-HdB GesR IV, 12. Kap. Rn. 157 konstatiert, dass es „im Vertragskonzern unschwer möglich [ist], von der rechtlichen Struktur des Konzerns abweichende funktionale […] Leitungsstrukturen zu schaffen“. 254  Hier auch Obergesellschaft genannt. 255  Altmeppen, in: MüKo/AktG, § 308 Rn. 84; Emmerich/Habersack, in: Aktienund GmbH-Konzernrecht, § 11 Rn. 11. 256  Zwar folgt aus dem Weisungsrecht nach § 308 AktG keine zwingende Konzernleitungspflicht (vgl. hierzu nur Fleischer, Vorstandsrecht, § 18 Rn. 13; Grigoleit,



D. Pflicht zur Befolgung der KI-Empfehlungen83

das herrschende Unternehmen nach Ansicht in der juristischen Literatur im Beherrschungsvertrag aufgrund der vertraglichen Gestaltungsfreiheit vorweggenommen ohne weiteres verpflichten dürfe, das Weisungsrecht ausschließlich nach einer bestimmten Geschäftspolitik auszuüben.257 Ob aber darüber hinausgehend eine vollständige Aushebelung des Konzernleitungsermessenes zugunsten einer KI rechtlich zulässig wäre, darf bezweifelt werden. Auch in der Obergesellschaft trifft die Geschäftsleitung gemäß § 309 Abs. 1 AktG eine zwingende „Steuerungs- und Weisungsverantwor­tung“,258 welcher sie nicht gerecht würde, wenn der Beherrschungsvertrag vorsähe, dass das Weisungsrecht antizipiert nach den Vorgaben und Empfehlungen der KI ausgeübt werden müsse. Zwar ist der gesetzliche Vertreter des herrschenden Unternehmens nach ganz überwiegender Meinung grundsätzlich berechtigt, die aus dem Konzernverhältnis folgende Weisungsbefugnis – d. h. die Leitungsmacht über die Konzerntochter – an nachgeordnetes Personal oder externe Dritte zu delegieren,259 sodass parallelgedanklich der Weg dem Grunde nach auch für eine umfassende Delegation an ein KI-System offen erscheint. Gleichwohl ist zu berücksichtigen, dass der beherrschungsvertraglichen Weisungsdelegation nach einhelliger Ansicht im Schrifttum Grenzen gesetzt sind – der Sache nach dürfe diese nicht auf eine Entäußerung der Weisungsbefugnis hinauslaufen bzw. zu einer faktischen Auswechselung des herrschenden Unternehmens führen.260 Überwiegend wird vertreten, dass diese Restriktion primär dem Schutz der Interessen der (übergangenen) Aktionäre diene,261 weil die unwiderrufliche und unbefristete Übertragung des Weisungsrechts auf einen Dritten einer Änderung des Beherrschungsvertrages gleichkäme, welche nur dadurch erreicht werden könne, dass der Delegationsempfänger dem Vertrag in: Grigoleit, AktG, § 76 Rn. 92), es ließe sich aber ohne weiteres umsetzen, vertraglich – über den Mindestinhalt hinaus – zu vereinbaren, dass das herrschende Unternehmen verpflichtet ist, in bestimmten Leitungsfragen der abhängigen AG stets Anweisungen zu erteilen (vgl. zur grundsätzlichen Vertragsfreiheit u. a. Emmerich, in: Aktien- und GmbH-Konzernrecht, AktG, § 291 Rn. 18; ebenso Veil/Walla, in: BeckOGK/AktG, § 291 Rn. 93). 257  Hierzu allgemein Veil/Walla, in: BeckOGK/AktG, § 291 Rn. 93; auch Altmeppen, in: MüKo/AktG, § 291 Rn. 63 diskutiert das Thema der vertraglichen Einschränkungen des Konzernweisungsrechts im Hinblick auf eine Präzisierung der strategischen Aktivitäten der Konzerntochter und beanstandet ein solches Vorgehen jedenfalls nicht als unzulässig. 258  Hannemann, Die gesellschaftsrechtliche Implementierung von Matrixstrukturen im Konzern am Beispiel der AG, SE und GmbH, S. 76 ff. 259  Altmeppen, in: MüKo/AktG, § 309 Rn. 12; Koch, in: Koch, AktG, § 308 Rn. 5; Krieger, in: Münch-HdB GesR IV, 12. Kap. Rn. 157. 260  Vgl. nur Emmerich, in: Aktien- und GmbH-Konzernrecht, AktG, § 308 Rn. 16; Veil/Walla, in: BeckOGK/AktG, § 308 Rn. 14. 261  So auch Koch, in: Koch, AktG § 308 Rn. 6; Veil/Walla, in: BeckOGK/AktG, § 308 Rn. 14.

84

Teil 1: Recht und Pflicht zur Nutzung eines KI-Systems

unter den Voraussetzungen des § 295 AktG beitrete.262 Dieser Schutzzweckgedanke führt in der hier skizzierten Konstellation jedoch nicht weiter, da es gerade nicht um den klassischen Fall einer nachträglichen Delegation ohne Beteiligung der Konzerntochter geht. Die Aktionäre der abhängigen Gesellschaft würden von vornherein in der Hauptversammlung ihre Zustimmung zum Beherrschungsvertrag erteilen, der wiederum bereits die KI-Direktive vorsähe; von einem Oktroyieren kann insofern keine Rede sein. Entscheidendes und ausschlaggebendes Argument gegen eine konzernvertraglich verankerte KI-Befolgungspflicht ist indessen der weitere Schutzaspekt, dass die strenge und vorweggenommene Anbindung des beherrschungsvertraglichen Weisungsrechts an die KI-Ergebnisse zu einem Systembruch mit den zwingenden Prinzipien des konzernrechtlichen Verantwortlichkeitsrechts (§ 309 AktG) führen würde.263 Die Obergesellschaft und ihre Geschäftsführung würden bloß noch als Feigenblatt dienen, um den „Plan“ der KI durchregierend der abhängigen Gesellschaft kundzutun. Es würde dem Leitungs­organ schlicht an der Handhabe fehlen, die ordnungsgemäße Ausübung des Weisungsrechts sicherzustellen, was insbesondere auch dem Sinn und Zweck des konzernweiten Organhaftungsrechts (vgl. § 309 Abs. 2 AktG) zuwiderliefe. Bloß als eine Reserveüberlegung sei anzumerken, dass eine KI sowohl gegenwärtig als auch in nächster Zukunft nicht fähig sein wird, auf sämtliche Fragen der Unternehmensleitung die passenden Antworten zu liefern; unter diesen Umständen wäre eine vollumfängliche Übertragung der Leitungsmacht auf das herrschende Unternehmen zum Zwecke der KI-gesteuerten Geschäftsleitung weder erforderlich noch zielführend. Primär dürfte sich der Fokus deshalb auf die begrenzte Einräumung von Weisungsbefugnissen in einem speziellen Arbeitsfeld des Vorstands richten.264 Unter Außerachtlassung der hier vertretenen Rechtslage (s. o.) würde sich hierfür rein hypothetisch ein – nach überwiegender Meinung zulässiger265 – sog. Teilbeherrschungsvertrag eignen, welcher das Weisungsrecht des herrschenden Unternehmens auf eine eng umrissene Leitungsfunktion konzentrieren und dem Vorstand im Übrigen seinen selbstverantwortlichen und weisungsfreien Raum belassen würde.

in: Hölters/Weber, AktG, § 308 Rn. 41. hierzu Hannemann, Die gesellschaftsrechtliche Implementierung von Matrixstrukturen im Konzern am Beispiel der AG, SE und GmbH, S. 77. 264  Tendenziell so auch Noack, in: FS Windbichler, 947, 962. 265  Emmerich, in: Aktien- und GmbH-Konzernrecht, AktG, § 291 Rn. 20 f.; Veil/ Walla, in: BeckOGK/AktG, § 291 Rn. 92. 262  Leuering/Goertz, 263  Allgemein

Teil 2

Das Pflichtenprogramm des Vorstands im Umgang mit entscheidungsunterstützenden KI-Systemen im Leitungsbereich Grundsätzlich trifft den Vorstand die unmittelbare und originäre Pflicht, die Informationsgrundlage für seine unternehmerischen Leitungsentscheidungen selbstständig zu erarbeiten.1 Weil diese Aufgabe jedoch regelmäßig einen hohen Zeitaufwand erfordert, ist es dem Vorstand nicht zu verdenken, dass er es bevorzugt, die Erledigung solcher Vorarbeiten an interne, hierarchisch unterhalb der Unternehmensführung angesiedelte Personen, externe unternehmensberatende Dienstleister oder aber auch an elektronische Hilfssysteme zu übertragen. Im vorangegangenen Teil der Untersuchung wurde bereits festgestellt, dass der Einsatz eines selbstlernenden KI-Systems zur Unterstützung der Unternehmensführung rechtlich zulässig ist. Dieses Kapitel widmet sich der Anschlussfrage, welche Auswirkungen diese Delegation auf das Pflichtgefüge des Vorstands hat. Für den Fall der herkömmlichen Delegation ist, soweit man es dem gegenwärtigen Meinungsbild im Schrifttum entnehmen kann, geklärt, dass die primären Pflichten des Vorstands zur eigenständigen und sorgfältigen Informationsbeschaffung und -auswertung in übergeordnete Sorgfaltspflichten (hier bezeichnet als „Residualpflichten“, teilweise auch „Meta-Pflichten“ genannt) konvertieren.2 Ob dies auch dann gilt, wenn der Vorstand die Aufgabe der Entscheidungsunterstützung auf ein KI-System überträgt, bleibt zu untersuchen. Im Folgenden werden zunächst die unterschiedlichen KI-Nutzungswege dargestellt und daran anknüpfend die mit dem jeweiligen Durchführungsweg verbundenen Residualpflichten des Vorstands herausgearbeitet.

1  H. Schneider, Informationspflichten- und Informationssystemeinrichtungspflichten im Aktienkonzern, S. 85, 89. 2  Zum Begriff der Durchführungsverantwortung Zenner, AG 2021, 502, 507; zum Begriff der Residualpflichten Balke/Klein, ZIP 2017, 2038, 2044; Bunting, ZIP 2012, 1542, 1543; Linnertz, Die Delegation durch den Vorstand einer AG, S. 238 ff.; ähnlich Arnold, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 7 Rn. 51 ff.; Fleischer, in: BeckOGK/AktG, § 76 Rn. 74; Hegnon, CCZ 2009, 57, 58; Reichert/ Ullrich, in: Beck-HdB GmbH, § 20 Rn. 16; zu den rechtlichen Folgen der Auslagerung Uwer, ZHR 183 (2019), 154, 157.

86

Teil 2: Das Pflichtenprogramm des Vorstands

A. Wahl des Nutzungsweges An erster Stelle hat sich der Vorstand mit der Frage zu befassen, auf welche Weise er das KI-Assistenzsystem nutzen möchte. Die KI-Technik kann entweder –– als unternehmensinterne IT oder –– ausgelagert betrieben werden.3 Für welchen der beiden Wege sich der Vorstand entscheidet, steht in dessen unternehmerischem Ermessen und hängt von mehreren Faktoren ab.4 Sofern das System häufig gebraucht werden soll, sich der Organisationsaufwand unternehmensintern bewältigen lässt und strenge Vertraulichkeit sowie ein direkter Zugriff auf die Technik gewünscht sind, spricht dies eher für ein eigenes KI-Assistenzsystem. Eine Auslagerung erscheint u. a. dann zweckmäßig, wenn der Umgang mit komplexer IT gerade nicht zur Kernkompetenz des jeweiligen Unternehmens gehört.5 Eine in diesem Zusammenhang ggf. erforderliche interne Umorganisation (Anschaffung von geeigneter und sicherer IT-Infrastruktur, Neueinstellung von IT-Spezialisten und Data-Scientists, Sicherstellung eines ausreichenden Angebots an Fortbildungsmöglichkeiten, usw.) kann einen respektablen Planungsaufwand verursachen und erhebliche Ressourcen beanspruchen. Auch Kosteneinsparungen, der Zugriff auf einen zusätzlichen Haftungsschuldner sowie die hohe Expertise und Spezialisierung externer Dienstleister werden als Argumente für eine Auslagerung des Technikeinsatzes angeführt.6 Als mögliche negative Auswirkungen einer Auslagerung werden regelmäßig ein Verlust direkter Einflussnahme, der Wegfall von Arbeitsstellen, nachlassende Servicequalität und Reputationseinbußen vorgebracht.7 So könnte der ausgelagerte KI-Einsatz den faden Beigeschmack der Fremdbeeinflussung des Managements hinterlassen und damit das Image der Gesell3  Eine weitere – hier nicht zu vertiefende – Option wäre ein einmaliger oder sporadischer Fremdbezug des KI-Services; dieser kann mangels Dauerschuldcharakter nicht mit einer Auslagerung gleichgesetzt werden (vgl. hierzu auch Dahmen, BKR 2019, 533, 534). 4  Langheld, in: IT-Outsourcing und Cloud Computing, Teil  7 Rn. 5; Uwer, ZHR 183 (2019), 154, 156 f. 5  Allgemein hierzu Linnertz, Die Delegation durch den Vorstand einer AG, S. 188: „Entscheidung, an Dritte zu delegieren, besonders begründet in Bereichen, in denen die Gesellschaft selbst nicht über die erforderlichen Ressourcen verfügt“. 6  Uwer, ZHR 183 (2019), 154, 156. 7  Wolf, in: Bürkle, Compliance, § 18 Rn. 22; Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 4; anders Bartsch, in: BeckFormB BHW, Kap. III. G. 7. Anm. 1, der einen Kostenvorteil des Outsourcings bezweifelt, aber jedenfalls bezogen auf die Auslagerung der Datenverarbeitung Qualitätsverbesserungen prognostiziert.



B. Sorgfaltspflichten des Vorstands87

schaft beschädigen. Zwar verbleibt dem Vorstand – wie bereits erwähnt – stets die abschließende Entscheidungsmacht, faktisch wird sich das Management jedoch häufig von dem Ergebnis der fremdkontrollierten KI leiten lassen und möglicherweise eine voreingenommene oder nur oberflächliche Plausibilitätsprüfung vornehmen (sog. „persuasive technologies“).8 Der Aspekt der Serviceverschlechterung dürfte im Falle einer ausgelagerten Nutzung eines KI-Systems zur Vorbereitung von Leitungsentscheidungen allenfalls eine untergeordnete Rolle spielen. Zum einen geht einer Leitungsentscheidung in aller Regel ein „von langer Hand“ geplanter interner Entscheidungsprozess voraus – es geht also gerade nicht um das gewöhnliche Tagesgeschäft mit Kunden oder großangelegte Verwaltungsaufgaben, die eine schnelle Interaktion, kurze Informationswege und einen gewissen Servicestandard erfordern. Zum anderen wird ein solches System in nächster Zukunft wohl eher als ergänzendes/zusätzliches Tool – neben den herkömmlichen Hilfsmitteln – im Rahmen der Entscheidungsvorbereitung zur Anwendung kommen. Summa summarum erfordert die Wahl des Nutzungsweges eine sorgfältige Betrachtung der Einzelfallumstände und will wohl durchdacht sein, da eine Reversion des eingeschlagenen Weges in finanzieller und organisatorischer Hinsicht nicht unerhebliche Anstrengungen auslösen kann.

B. Sorgfaltspflichten des Vorstandsim Umgang mit leitungsunterstützenden KI-Systemen Nach dem derzeitigen Stand der Wissenschaft ist weitestgehend unerforscht, welchen Aufwand der Vorstand betreiben und welche Sorgfaltspflichten er beachten muss, wenn er sich auf das Arbeitsergebnis einer KI als Entscheidungsgrundlage verlassen möchte. Die Frage ist deshalb von besonderer praktischer Relevanz, weil die Nutzung eines fehlerhaft arbeitenden KI-Systems die Gefahr einer Binnenhaftung des Vorstands gegenüber der Gesellschaft gemäß § 93 Abs. 2 S. 1 AktG in sich trägt.9

I. Unternehmensinterner KI-Betrieb Im Mittelpunkt steht zunächst das Pflichtenprogramm des Vorstands bei unternehmensinterner Nutzung des KI-Systems. Das Vorhalten eigener bzw. 8  Ähnliche Bedenken äußernd Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 23; ders., in: Rechts-HdB AI und ML, Kap. 9 Rn. 5; allgemein zur Delegation der Entscheidungsvorbereitung auch Linnertz, Die Delegation durch den Vorstand einer AG, S. 186, welche die Lenkungsfunktion jedoch als „nicht negativ“ wertet, sondern als zulässige – der Delegation immanente – Auswirkung begreift. 9  So auch Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 38.

88

Teil 2: Das Pflichtenprogramm des Vorstands

angemieteter KI-Software ermöglicht einerseits direkte Einblicke und schnellen Zugriff auf die Technik, bringt aber andererseits für das Leitungsorgan einen vielseitigen Pflichtenkatalog mit sich. Im Folgenden wird zunächst dogmatisch untersucht, auf welchen rechtlichen Grundlagen die KI-spezifischen Sorgfaltsanforderungen fußen und anschließend werden die Pflichten im Einzelnen erforscht. 1. Rechtsdogmatische Einordnung Zur Ergründung der algorithmischen Organisationspflichten sind die geltenden Rechtsnormen wie auch die in der Rechtsprechung entwickelten Grundsätze zu den organisatorischen Verhaltenspflichten des Vorstands in den Fokus zu nehmen. Einigkeit besteht in der Literatur nur darüber, dass den KI-gebrauchenden Vorstand besondere Organisationspflichten treffen.10 Über deren Herleitung und die konkrete Ausformung besteht indessen kein Konsens. a) Meinungsspektrum Eine häufig bemühte Vorschrift zur Bestimmung der materiellen Verhaltensanforderungen an den Vorstand ist § 93 Abs. 1 S. 1 AktG, die Regelung des allgemeinen Sorgfaltsmaßstabs.11 Dieser ist jedoch derart abstrakt und weit gefasst, dass sich konkrete KI-Organisationspflichten nicht ohne weiteres ableiten lassen. Soweit die Frage im Schrifttum behandelt wird, werden überwiegend die in der Rechtsprechung entwickelten Grundsätze zur vertikalen Aufgabendelegation an Mitarbeiter12 bzw. zur Übertragung deliktischer Sorgfaltspflichten13 entsprechend herangezogen.14 Außerdem sehen einige 10  Vgl. hierzu nur Becker/Pordzik, ZfPW 2020, 334, 348  ff.; Lücke, BB 2019, 1986, 1993; Möslein, ZIP 2018, 204, 211 ff. 11  Ebenso Lücke, BB 2019, 1986, 1990; eine weitere Auffächerung oder Untergliederung des allgemeinen Sorgfaltsmaßstabs in die Teilbereiche Legalitätspflicht, Sorgfaltspflicht im engeren Sinne und Überwachungspflicht, wie dies teilweise – so u. a. von Fleischer, in: BeckOGK/AktG, § 93 Rn. 17 – vorgebracht wird, ist vorliegend entbehrlich und aufgrund fließender Übergänge auch nicht zielführend. 12  Siehe hierzu BGH, Urt. v. 07.11.1994 – Az.: II ZR 270/93 = NJW 1995, 326, 329. 13  BGH, Urt. v. 13.06.2017 – Az.: VI ZR 395/16 = NJW 2017, 2905 Rn. 9. 14  Becker/Pordzik, ZfPW 2020, 334, 348; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 68; Lücke, BB 2019, 1986, 1992; Möslein, ZIP 2018, 204, 208 f.; Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 8, betrachten das KI-System als potenzielle Gefahrenquelle, die es nach dem allgemeinen Verkehrssicherungsgrundsatz zur überwachen gilt; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132.



B. Sorgfaltspflichten des Vorstands89

Autoren in der Rechtsprechungslinie zur Befolgung fachkundigen Rechtsrats durch den Vorstand einen brauchbaren Ansatz zur Entwicklung geeigneter Anforderungen an eine legitime Vertrauensbasis hinsichtlich Informationen und Empfehlungen der KI.15 Wieder andere Stimmen sprechen sich dafür aus, die sog. Bestandssicherungsverantwortung gemäß § 91 Abs. 2 AktG als Basis des Pflichtengefüges heranzuziehen.16 Nicht zuletzt werden vereinzelt auch aufsichtsrechtliche Regelungen, insbesondere § 25a KWG oder § 80 Abs. 2 WpHG, als Orientierungsstütze zur Ableitung übergeordneter KI-Residualpflichten angeführt.17 b) Stellungnahme Nach diesseitiger Auffassung bildet der allgemeine Sorgfaltsmaßstab des § 93 Abs. 1 S. 1 AktG de lege lata das gesetzliche Grundgerüst und den Ausgangspunkt jeder Entwicklung KI-spezifischer Sorgfaltspflichten. Die Vorschrift ist – ungeachtet der Fülle an Einsatzmöglichkeiten der KI-Nutzung im Leitungsbereich – aufgrund ihres generalklauselartigen Charakters geeignet, die organschaftlichen KI-Verhaltenspflichten inhaltlich auszufüllen; ihr Anwendungsbereich erfasst börsennotierte wie auch nicht-börsennotierte Aktiengesellschaften und beschränkt sich nicht auf die Vermeidung von Bestandsrisiken, sondern umschließt angesichts ihrer allgemeinen Inpflichtnahme des Vorstands auch sonstige weniger gravierende Schadensrisiken der Aktiengesellschaft. Danach kommt es entscheidend darauf an, welche Maßnahmen ein ordentlicher und gewissenhafter Geschäftsleiter ergreifen würde, wenn er seine Leitungsentscheidungen fortan unter Zuhilfenahme eines KIAssistenzsystems treffen wollte. Die konkrete Antwort hierauf findet sich nicht im Gesetz und auch in der Rechtsprechung wurde diese spezielle The15  Weber/Kiefner/Jobst, NZG 2018, 1131, 1133; unter entsprechender Modifikation (im Bereich der Rechtsgeneratoren) bejahend auch Wagner, BB 2018, 1097, 1102 f.; Linadatos, ZIP 2019, 504, dort Fn. 58 hält die „ISION-Grundsätze“ lediglich für bedingt anwendbar. 16  Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 28, 38; Thiel/Nazari-Khanachayi, RDi 2021, 134, 137; Zetzsche, AG 2019, 1, 7. 17  So auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 171 ff., die vertritt, „dass [sich] die aufsichtsrechtlichen IT-Risikomanagement-Anforderungen zwar nicht pauschal auf das Aktienrecht übertragen [lassen], aber zur Konkretisierung und Auslegung der Vorstandspflichten einzelner Aktiengesellschaften“ dienen können; beispielhaft ziehen Möslein, ZIP 2018, 204, 211, ders., in: Rechts-HdB KI und Robotik, § 13 Rn. 39 und Linardatos, ZIP 2019, 504, 508 die Regelung des § 80 Abs. 2 WpHG analog oder jedenfalls als Anhaltspunkt heran; vgl. hierzu auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 16, 18; allgemein hierzu Fleischer, in: BeckOGK/AktG, § 93 Rn. 67.

90

Teil 2: Das Pflichtenprogramm des Vorstands

matik bislang nicht behandelt. Das Pflichtenprogramm ist insoweit juristischmethodisch zu erarbeiten und einzelfallspezifisch anzupassen. Ein unternehmerischer Entscheidungsfreiraum kommt dem Vorstand hierbei nur unter Einschränkungen zugute. Zwar wird vor dem Hintergrund technologiebezogener Verhaltenspflichten teilweise die Anwendung einer sog. Technology Judgement Rule mit der Begründung befürwortet, jede Maßnahme mit Technologiebezug sei zugleich eine unternehmerische technikspezifisch-unsichere Risikoentscheidung.18 Gleichwohl verfängt dieser Einwand nicht. Die KIbezogenen Sorgfaltspflichten des Vorstands – mögen sie auch einen technischen Kontext besitzen – entsprechen einem gesetzlichen Mindeststandard, welcher der vollen gerichtlichen Kontrolle unterliegt.19 Ausschließlich dann, wenn sich dieser einzelfallabhängige Sorgfaltsstandard über verschiedene Wege erreichen lässt oder überobligatorische Maßnahmen in Frage stehen, kommt dem Vorstand ein Ermessensspielraum zu. Als Ausfluss der allgemeinen Sorgfaltspflicht bilden die Residualpflichten des Vorstands im Falle vertikaler Aufgabendelegation an nachgeordnete Mitarbeiter jedenfalls den passenden ersten Ansatz zur Rechtsfortbildung und Entwicklung der KI-spezifischen Vorstandspflichten – insoweit ist der überwiegenden Meinung im juristischen Schrifttum beizupflichten.20 Hier wie dort überträgt der Vorstand die Aufgabe der Entscheidungsvorbereitung an einen intelligenten und autonom handelnden Delegationsempfänger. In beiden Fällen hat der Vorstand zudem keinen Einblick in die neurologisch bzw. algorithmisch verborgenen Entscheidungsprozesse.21 Die jeweils geltenden Residualpflichten unterscheiden sich lediglich in ihrer Ausgestaltung, bleiben jedoch im Fundament identisch.22 Ein KI-Expertensystem ist schlicht auf andere Art auszuwählen, anzuweisen und zu kontrollieren als ein Mensch. Zugang findet man ausschließlich über den Programmcode – Abmahnungen, Personalgespräche oder Verhaltensrichtlinien stoßen bei dem System auf taube Ohren.23 Insofern ist die plakative Phrase „Code is Law“ von Law-

18  Dies

vertretend Denga, in: Intelligente Systeme – Intelligentes Recht, S. 79. hierzu Bürkle, BB 2005, 565, 568 ff.; Koch, in: Koch, AktG, § 76 Rn. 16; von Busekist/Hein, CCZ 2012, 41, 43 f. 20  Becker/Pordzik, ZfPW 2020, 334, 348; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 68; Lücke, BB 2019, 1986, 1992; Möslein, ZIP 2018, 204, 208 f.; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132. 21  Becker/Pordzik, ZfPW 2020, 334, 352; Linardatos, ZIP 2019, 504, 507; Noack, NZG 2021, 305, 306. 22  Ähnlich wohl auch Linardatos, ZIP 2019, 504, 508; so auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 15. 23  Möslein, ZIP 2018, 204, 209; ders, RDi 2020, 34, 37; ähnlich auch Gassner, in: Digital Law, S. 93 und Picciau, 17 Hastings Business Law Journal 67, 119. 19  Allgemein



B. Sorgfaltspflichten des Vorstands91

rence Lessig24 nicht völlig aus der Luft gegriffen. KI-Systeme halten sich nicht an geltendes Recht, sie arbeiten allein nach den vorgegebenen und selbstständig lernenden Parametern ihres künstlichen neuronalen Netzwerks.25 Ob zudem die in der Judikatur aufgestellten Anforderungen an ein Vertrauen auf rechtliche Beratung flankierend bzw. ergänzend zur weitergehenden Konkretisierung der KI-Sorgfaltspflichten herangezogen werden können, wird als Sonderproblem an nachstehender Stelle in einem eigenen Unterabschnitt vertiefend untersucht.26 Eine spezielle – über einzelne Verhaltensanforderungen hinausgehende – Konzept- bzw. Systempflicht ergibt sich für börsennotierte Aktiengesellschaften aus § 91 Abs. 3 AktG. Die bereits im ersten Teil der Untersuchung vorgestellte Vorschrift sieht die verpflichtende Einrichtung eines angemessenen und wirksamen internen Kontroll- und Risikomanagementsystems vor. Während ein internes Kontrollsystem u. a. Leitlinien, Prozesse und Instrumente zur effektiven Umsetzung von Geschäftsentscheidungen aufstellt, hat ein Risikomanagementsystem im Wesentlichen die allgemeine Aufgabe, Risiken im Unternehmen aufzudecken und diese durch geeignete Organisationsund Überwachungsmaßnahmen angemessen zu bewältigen.27 Der Einsatz eines KI-Systems zur Entscheidungsunterstützung kann sich positiv wie auch negativ auf die unternehmerischen Geschäftsentscheidungen des Vorstands und das Wohl der AG auswirken. Insoweit dürften Vorstände börsennotierter Aktiengesellschaften, jedenfalls sofern ein kontinuierlicher KI-Einsatz zur Leitungsunterstützung in Frage steht, gemäß § 91 Abs. 3 AktG (lex specialis zu § 93 Abs. 1 S. 1 AktG) zur Einführung eines geeigneten KI-Kontroll- und Risikoorganisationskonzepts verpflichtet sein. Allerdings lässt die gesetzgeberische Adressierung ausschließlich börsennotierter Aktiengesellschaften keineswegs den Rückschluss zu, nicht-börsennotierte Aktiengesellschaften seien automatisch als pflichtbefreit zu betrachten;28 eine entsprechende Konzept- bzw. Systemeinrichtungspflicht kann in Anbetracht einer individuellen Risikoeinschätzung und je nach Umfang des KI-Einsatzes – wie aus vorstehenden Ausführungen ersichtlich – bereits aus der allgemeinen Sorg-

24  Lessig, Code and other Laws of Cyberspace, 1999, S. 89; so verstehend auch Möslein, in: Rechts-HdB AI und ML, Kap. 9 Rn. 5. 25  Ähnlich Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 28. 26  Siehe hierzu ausführlich Teil 2 B. I. 1. b) aa). 27  Begr. RegE FISG, BT-Drs. 19/26966, S. 115; Fischer/Schuck, NZG 2021, 534, 537. 28  So heißt es in Begr. RegE FISG, BT-Drs. 19/26966, S. 115 „Für die Vorstandsmitglieder nichtbörsennotierter Unternehmen kann die Pflicht zur Einrichtung entsprechender Systeme weiterhin aus der sie treffenden Sorgfaltspflicht nach § 93 Absatz 1 AktG folgen“; ebenso Fischer/Schuck, NZG 2021, 534, 536.

92

Teil 2: Das Pflichtenprogramm des Vorstands

falts- bzw. Organisationspflicht folgen und dementsprechend auch Vorstände nichtbörsennotierter Aktiengesellschaften treffen. Möglicherweise könnte überdies der am 21. April 2021 von der Europäischen Kommission veröffentlichte VO-E Artificial Intelligence Act als generelles Leitbild zur Konkretisierung der Organpflichten herangezogen werden.29 Die Entwurfsfassung zielt hauptsächlich auf die verbindliche und bußgeldbewährte Regulierung sog. Hochrisiko-KI-Systeme ab. Diese werden wiederum in einer Anlage zum VO-E Artificial Intelligence Act, welche fortlaufend erweitert werden kann,30 abschließend definiert. Die Mehrzahl der dort beschriebenen KI-Anwendungen erfasst Prozesse, die unmittelbaren Einfluss auf die öffentliche Sicherheit oder Infrastruktur, grundrechtsrelevante Bereiche oder rechtsstaatlich-demokratische Prozesse haben.31 Ob sich derartige Berührungspunkte auch ergeben können, wenn sich der Vorstand hinsichtlich seiner Leitungsentscheidungen von KI beraten lässt, ist einzelfallabhängig zu beurteilen. Im Falle bloßer Investmententscheidungen wird man eine entsprechende Systemrelevanz und damit die Eröffnung des Anwendungsbereichs der Hochrisiko-KI-Anwendungen wohl abzulehnen haben. Trifft das KI-System hingegen für die Unternehmensleitung die Vorauswahl im Rahmen eines Bewerbungsprozesses für leitende Angestellte oder gibt es entsprechende Einstellungs- oder Beförderungsempfehlungen aus, ist ein Unterfallen unter die Verordnungsregelungen für Hochrisiko-KISysteme sehr wahrscheinlich.32 In letzterem Fall würde die Verordnung, vorausgesetzt sie wird durch den Europäischen Gesetzgeber in der im Entwurf vorgeschlagenen Fassung umgesetzt, die Organpflichten des Vorstands entsprechend ausformen und spezifizieren. Ist das vom Vorstand eingesetzte KI-System hingegen nicht als hochriskant einzustufen, könnten die Vorschriften zu den Hochrisiko-KI-Systemen in Titel III des Verordnungsentwurfs jedenfalls als eine Art strenges Regulierungsvorbild einen wichtigen Beitrag zur Ausarbeitung des organschaftlichen Pflichtprogramms leisten. Auch Verordnungsregelungen, die bloß appellierenden bzw. unterstützenden Charakter in den Bereichen KI-Entwicklung und KI-Betrieb besitzen (z. B. AI regulatory sandboxes (Art. 53 VO-E) und Codes of Conduct (Art. 69 ­VO-E)), 29  COM(2021)

206 final. Art. 7 Abs. 1 des VO-E Artificial Intelligence Act COM(2021) 206 final. 31  Vgl. Erwägungsgrund Nr. 27 des VO-E Artificial Intelligence Act COM(2021) 206 final. 32  Vgl. Anhang III Nr. 4 des VO-E Artificial Intelligence Act COM(2021) 206 final. Die Personalauswahl und Beförderungsentscheidungen werden deshalb von der EU-Kommission als hochriskant bewertet, weil das KI-System „die künftigen Karriereaussichten und die Lebensgrundlagen“ der Bewerber und Mitarbeiter „spürbar beeinflussen“ kann, vgl. Erwägungsgrund Nr. 36 des VO-E Artificial Intelligence Act COM(2021) 206 final der EU-Kommission. 30  Vgl.



B. Sorgfaltspflichten des Vorstands93

lassen sich jedenfalls als Auslegungs- und Orientierungshilfe zur Bestimmung der Sorgfaltspflichten des Vorstands heranziehen. Auf einzelne Vorschriften des VO-Entwurfsvorschlags wird deshalb an nachfolgender Stelle näher eingegangen.33 Die Bestandssicherungsverantwortung gemäß § 91 Abs. 2 AktG bildet dementgegen nach hier vertretener Ansicht nicht den geeigneten Ausgangspunkt zur Herleitung der KI-Sorgfaltspflichten.34 Zwar konstatiert Spindler zutreffend, dass zwischen der Pflicht zur Einrichtung eines Risikofrüherkennungssystems und den aus der vertikalen Delegation folgenden Pflichten ein enger Zusammenhang besteht.35 Eine Bestandsgefährdung, also die Gefahr einer Gesellschaftsinsolvenz,36 wird jedoch bei Einsatz eines bloß unterstützenden und zuarbeitenden KI-Systems regelmäßig nur dann in Betracht kommen, wenn der Vorstand seinen Leitungsentscheidungen über einen langen Zeitraum falsche Informationen der KI zugrunde legt und in dieser Folge eine Vielzahl nachteilhafter und schädigender Beschlüsse fasst. Den Arbeitsschritten eines Entscheidungsunterstützungssystems kommt in aller Regel gerade keine direkte schadenstiftende und unumkehrbare Außenwirkung zu; weder steuert das KI-System noch vertritt es die Gesellschaft gegenüber Dritten – es bedarf stets eines entsprechenden Umsetzungsaktes des rat­ suchenden Vorstands.37 Insofern greift die in § 91 Abs. 2 AktG statuierte Pflicht zur Ergreifung geeigneter Maßnahmen zur Früherkennung und Abwehr bestandsgefährdender Risiken zu kurz – sie deckt lediglich einen, wenn auch herausgehobenen Teilbereich der maßgeblichen Sorgfaltsanforderungen, nämlich die konzeptionelle bzw. systematische Absicherung gegen existenzielle Risiken ab.38 33  Vgl. hierzu Teil 2 B. 2. b) bb) (1) (d), Teil 2 B. 2. b) bb) (2) (a) (aa), Teil 2 B. 2. b) bb) (2) (c) und (e) sowie Teil 2 B. 2. b) ff. 34  Andeutungsweise so auch Möslein, in: Rechts-HdB AI und ML, Kap. 9 Rn. 10; zum Inhalt und zur Reichweite der Pflicht des Vorstands nach § 91 Abs. 2 AktG ausführlich Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  167 ff. 35  Spindler, CR 2017, 715, 721. 36  Fleischer, in: BeckOGK/AktG, § 91 Rn. 32; Grigoleit/Tomasic, in: Grigoleit, AktG, § 91 Rn. 6. 37  So sieht auch Knaier, in: Privatrecht 2050 – Blick in die digitale Zukunft, S. 271 die Entscheidungsunterstützung durch algorithmische Systeme als interne Angelegenheit der Gesellschaft an; setzt das KI-System die autonom getroffene Entscheidung hingegen unmittelbar in Realität um, spricht man von sog. Automated Decision Making („ADM“). 38  Auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 162 ff. sieht § 91 Abs. 2 AktG wohl lediglich als Anknüpfungspunkt zur Herleitung der Pflicht des Vorstands, das KI-System vor bestandsgefährdenden Cyber­ risiken zu schützen; allgemein weist auch Spindler, in: MüKo/AktG, § 91 Rn. 3, da­

94

Teil 2: Das Pflichtenprogramm des Vorstands

Auch die bisweilen an einigen Stellen sektoriell wiederzufindenden Konkretisierungen algorithmischer bzw. technikspezifischer Sorgfaltspflichten, insbesondere in § 80 Abs. 2 WpHG und § 25a KWG, lassen nach dies­ seitigem Verständnis aufgrund anders gelagerter Schutzrichtungen keinen Raum für eine generelle Übertragung der Verhaltensanforderungen auf den Bereich KI-gestützter Leitungsentscheidungen des Vorstands.39 Während § 80 Abs. 2 WpHG speziell für den algorithmischen Handel mit Finanz­ instrumenten entwickelt wurde und u. a. der Funktionsfähigkeit des Wert­ papiermarktes sowie dem Schutz der einzelnen Anleger dient,40 liegt der Regelungszweck des § 25a Abs. 1 S. 3 Nr. 5 KWG insbesondere in der Stabilisierung des Finanzsystems sowie in der Sicherstellung ordnungsgemäßer Bank- und Finanzdienstleistungsgeschäfte.41 Die IT-Prozesse haben in diesen Segmenten regelmäßig unmittelbaren Einfluss auf die Außenwelt und besitzen damit Dritten gegenüber direktes Schädigungspotential. Die in § 80 Abs. 2 WpHG vorgeschriebenen Maßnahmen – beispielhaft anzuführen seien hier etwa das Vorsehen „angemessener Handelsschwellen“ oder die Verhinderung einer Funktionsweise, „durch die Störungen auf dem Markt verursacht werden“ könnten – verdeutlichen die branchenspezifisch bedingte Inkompatibilität zur untersuchungsgegenständlichen Fallgruppe. Die KI-spezifischen Organisationspflichten des Vorstands verfolgen auf dem Gebiet der delegierten Entscheidungsunterstützung primär bloß das Ziel, die Aktiengesellschaft selbst bzw. bei genauerer Betrachtung mittelbar die Aktionäre vor Schaden zu bewahren und im Verletzungsfall einen Innenhaftungsregress zu ermöglichen.42

rauf hin, dass der allgemeine Sorgfaltsmaßstab nach § 93 Abs. 1 AktG gerade nicht durch § 91 Abs. 2 AktG verdrängt werde. 39  Eine „Ausstrahlungswirkung“ ebenfalls ablehnend Becker/Pordzik, ZfPW 2020, 334, 351; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 170 f. (zum KWG), 174 f. (zum WpHG); Lücke, BB 2019, 1986, 1992 f.; Wagner, BB 2018, 1097, 1099; auch Zetzsche, AG 2019, 1, 8 mit ausführlicher Begründung. 40  Vgl. Madel, Robo Advice, S. 145; ähnlich auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 17. 41  Braun, in: Boos/Fischer/Schulte-Mattler, KWG, § 25a Rn. 33 f.; Langen/Donner, in: Schwennicke/Auerbach, KWG, § 25a Rn. 2; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 170 f. 42  Becker/Pordzik, ZfPW 2020, 334, 351; ähnlich argumentierend Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 175; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 17; i. E. so auch Wagner, BB 2018, 1097, 1099; ebenso Zetzsche, AG 2019, 1, 8.



B. Sorgfaltspflichten des Vorstands95

aa) Sonderproblem: Anwendbarkeit der ISION-Grundsätze Wesentlich schwieriger zu beantworten ist die Frage, ob auch jene Anforderungen entsprechend anzuwenden sind, die der Vorstand im Falle der Einholung rechtlicher Beratung zu berücksichtigen hat. Wann sich der Vorstand etwa auf den Rechtsrat eines (menschlichen) Beraters verlassen darf, hat der BGH u. a. in dem vielbeachteten ISION-Urteil43 klargestellt. Der Vorstand müsse 1. dem Berater die Verhältnisse der Gesellschaft umfassend darlegen und sämtliche für den Rechtsrat erforderlichen Unterlagen offenlegen, 2. einen unabhängigen, für die zu klärende Frage fachlich qualifizierten Berufsträger auswählen und 3. den erteilten Rechtsrat einer sorgfältigen Plausibilitätskontrolle unterziehen.44 Ob die in diesem Zusammenhang aufgestellten Rechtsgrundsätze auch für den Fall gelten, dass sich der Vorstand im Bereich unternehmerischer Leitungsentscheidungen von einem KI-System unterstützen lässt, ist höchst fraglich. Klärungsbedürftig ist in diesem Zusammenhang einerseits als Vorfrage, ob die vertrauensbegründenden Anforderungen der ISION-Rechtsprechung verallgemeinerungsfähig zugleich für den Fall unternehmerischer Beratung des Vorstands Beachtung finden. Als Anschlussfrage ist andererseits zu untersuchen, ob sich die aufgestellten Kriterien zum „Verlassendürfen“ auf menschliche Beratung a limine auch auf KI-Expertensysteme übertragen lassen.45 (1) Anwendbarkeit auf unternehmerische Entscheidungen? Konzipiert wurden die ISION-Grundsätze zur Konkretisierung der Ex­ kulpationsanforderungen bei Verlassen des Vorstands auf rechtlichen Rat. Vordergründig betrifft die Rechtsprechung mithin rechtlich gebundene Vorstandsentscheidungen. Ob die schematischen Kriterien auch in Fällen unternehmerischer Entscheidungen auf fruchtbaren Boden stoßen, wird in der Rechtswissenschaft nur sporadisch diskutiert.46 43  BGH,

Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271 Rn. 18. auch BGH, Urt. v. 28.04.2015 – Az.: II ZR 63/14 = NZG 2015, 792 Rn. 28. 45  Vgl. hierzu ausführlich Hoch, AcP 219 (2019), 648, 675 ff. 46  Hinterfragend auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 118 f.; allgemein hierzu Binder, AG 2008, 274, 280; Piepenbrock, „Defense of Reliance“ im deutschen Aktienrecht, S. 287 ff.; Wagner, BB 2012, 651, 653 f. 44  So

96

Teil 2: Das Pflichtenprogramm des Vorstands

(a) Meinungsstand Nach Wagner sei die Grenze der Anwendbarkeit der ISION-Kriterien strikt dort erreicht, wo der unternehmerische Ermessensspielraum des Vorstands beginne.47 Vereinzelt wird in der Literatur auch die Meinung vertreten, die ISION-Grundsätze seien jedenfalls teilweise auch im Bereich unternehmerischer Beratung heranzuziehen, nämlich soweit es auf das Erfordernis der unabhängigen und fachkundigen Beratung ankomme.48 Im Übrigen sei die unternehmerische Beratung nur auf Unverantwortlichkeit zu prüfen und könne ansonsten frei gewürdigt werden; eine Plausibilisierung im engeren Sinne sei nicht vorzunehmen.49 Ebenso hält Binder, jedenfalls sofern es um die Einholung von Informationen zur Entscheidungsvorbereitung geht, eine sorgfältige „Auswertung und ggf. Prüfung“ durch den Vorstand für erforderlich.50 Es sei dem Vorstand prinzipiell möglich, die zugeleiteten Informationen auf Widersprüchlichkeit, Unvollständigkeit oder offensichtliche Unrichtigkeiten durchzusehen.51 Sobald es allerdings um die inhaltliche Bewertung einer (fremden) unternehmerischen Entscheidung gehe, sei eine Prüfung durch den Vorstand unzweckmäßig, da Geschäftsentscheidungen stets durch einen individuellen Prognose- bzw. Beurteilungsspielraum geprägt seien.52 Wieder andere Stimmen begreifen die ISION-Kriterien als Ausfluss eines verallgemeinerungsfähigen (informationellen) Vertrauensgrundsatzes im Kapitalgesellschaftsrecht und sehen den Vorstand auch bei Inanspruchnahme unternehmerischer Beratung u. a. in der Pflicht zur Durchführung einer einzelfallspezifischen Plausibilitätskontrolle.53

BB 2012, 651, 653 f. „Defense of Reliance“ im deutschen Aktienrecht, S. 302. 49  Piepenbrock, „Defense of Reliance“ im deutschen Aktienrecht, S. 301 f. 50  Binder, AG 2008, 274, 281. 51  Binder, AG 2008, 274, 281. 52  Binder, AG 2008, 274, 280 f. 53  Fleischer, in: BeckOGK/AktG, §  93 Rn. 252; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 133; Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 154 f.; Goette, in: Goette/ Arnold, HdB Aufsichtsrat, § 4 Rn. 2398: „die dort aufgestellten Erfordernisse beanspruchen […] prinzipiell Geltung für alle Bereiche, in denen das Leitungsorgan allein nicht über das notwendige Wissen verfügt“; ebenso Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 20; auch Weißhaupt, ZHR 185 (2021), 91, 96 f. geht davon aus, dass sich die „Voraussetzungen der ISIONDoktrin […] für ein legitimes Vertrauen im Rahmen sämtlicher […] Delegationsfälle weiter abstrahieren“ lassen. 47  Wagner,

48  Piepenbrock,



B. Sorgfaltspflichten des Vorstands97

(b) Stellungnahme Grundlegend ist zunächst Folgendes festzuhalten: Handelt der Vorstand nicht rechtskonform, stellt dies – unabhängig davon, ob er rechtlich durch einen qualifizierten Berufsträger beraten wurde – in jedem Fall eine Sorgfaltspflichtverletzung dar.54 Der Vorstand verstößt in diesem Falle gegen die ihm obliegende Legalitätspflicht.55 Aus diesem Grund werden die ISIONKriterien bei Rechtsfehlern – jedenfalls soweit man der Rechtsprechung folgt56 – allesamt (erst) im Rahmen des Vorstandsverschuldens diskutiert. Anders verhält es sich hingegen im Falle unternehmerischer Entscheidungen. Eine sich ex post als falsch herausstellende unternehmerische Geschäftsentscheidung des Vorstands ist nicht ohne weiteres als pflichtwidrig zu qualifizieren (hindsight bias).57 Pflichtwidrigkeit ist vielmehr erst dann anzunehmen, wenn dem Vorstand ein schlechthin unverantwortliches Handeln vor­ zuwerfen ist, sich die Fehlerhaftigkeit einem Außenstehenden also geradezu aufdrängt.58 Der Rückzug auf einen schuldlosen Irrtum auf Verschuldens­ ebene kommt hier in aller Regel nicht in Betracht, da der anzuwendende Verschuldensmaßstab ein typisierter ist und insoweit mit der allgemeinen Geschäftsleitersorgfalt des § 93 Abs. 1 S. 1 AktG übereinstimmt.59 Dennoch sind die ISION-Kriterien nach der hier vertretenen Auffassung ungeachtet der unterschiedlichen Fehlerfolgen auch dann heranzuziehen, wenn sich der Vorstand im unternehmerischen Tätigkeitsbereich unterstützten lässt – in diesem Fall allerdings auf Ebene der Sorgfaltspflichtverletzung.60 Letztlich lassen sich die aufgestellten Anforderungen für den Fall der Beauftragung von Beratern als verallgemeinerungsfähige Konkretisierungen der allgemeinen Geschäftsleitersorgfalt (§ 93 Abs. 1 S. 1 AktG) ver-

54  Strohn, CCZ 2013, 177, 179; Thüsing, Beschäftigtendatenschutz und Compliance, § 2 Rn. 9. 55  BGH, Urt. v. 27.03.2012 – Az.: II ZR 171/10 = NZG 2012, 672; BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271. 56  Zum Teil wird in der Literatur die gegenteilige Auffassung vertreten und die Anwendung einer sog. Legal Judgement Rule befürwortet, mit der Folge, dass jedenfalls bei unsicherer Rechtslage der Vorwurf einer Pflichtverletzung entfallen könne, vgl. hierzu Hoffmann-Becking, in: MHdB GesR IV, 5. Kap. Rn. 34; Spindler, in: MüKo/AktG, § 93 Rn. 89. 57  Ähnlich Fleischer, ZIP 2009, 1397, 1405; Goette/Goette, DStR 2016, 815; Hahn/Naumann, CCZ 2013, 156, 157. 58  BGH, Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NZG 2017, 116 Rn. 31. 59  Fleischer, in: BeckOGK/AktG, § 93 Rn. 247. 60  So wohl auch Fleischer, in: BeckOGK/AktG, § 93 Rn. 252; Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 26, 153.

98

Teil 2: Das Pflichtenprogramm des Vorstands

stehen.61 Eine Parallelbetrachtung bestätigt diese Ansicht: Delegiert der Vorstand Aufgaben der Entscheidungsunterstützung im unternehmerischen Bereich vertikal an nachgeordnetes Personal, spiegeln sich die Bedingungen der ISION-Rechtsprechung zum Teil bereits in den delegationsbedingten Residualpflichten wider.62 So hat der Vorstand beispielsweise die fachliche Qualifikation und Unabhängigkeit des Mitarbeiters bereits im Rahmen des Einstellungsprozesses durch sorgfältige Auswahl sicherzustellen und im Rahmen des Einweisungsprozesses eine hinreichende Informationsversorgung zu gewährleisten.63 Auch ein Blick auf die Business Judgement Rule, deren Nichteinhaltung eine Pflichtverletzung indiziert,64 gibt stützende Argumente an die Hand. Nach § 93 Abs. 1 S. 2 AktG muss der Vorstand vernünftigerweise annehmen dürfen, auf der Grundlage angemessener Informationen zu handeln. Hieraus lässt sich der Schluss ziehen, dass ein gewissenhaft handelnder Geschäftsleiter eine unternehmerische Beratungsleistung nur dann als „angemessen“ ansehen darf, wenn sie von einer Person stammt, die über hinreichende Expertise verfügt und keinen Interessenskonflikten unterliegt.65 Des Weiteren ist das Kriterium der „vernünftigerweise angemessenen Informationsgrundlage“ nur dann als erfüllt anzusehen, wenn der Vorstand die unternehmerische Einschätzung eines Dritten eigenständig überprüft hat.66 Was allerdings unter dem Begriff der eigenständigen Überprüfung zu verstehen ist, bedarf nach der hier vertretenen Auffassung für den Fall der Informationseinholung zur Vorbereitung unternehmerischer Entscheidungen einer differenzierten Betrachtung. Soweit der Vorstand eine Person lediglich zur Sammlung und Sichtung von Informationen oder zur Klärung von Vorfragen einsetzt und das Arbeitsergebnis entsprechend verwenden möchte, genügt zur Wahrung der allgemeinen Sorgfaltsanforderungen eine Überprü61  Fleischer, in: BeckOGK/AktG, § 93 Rn. 252; so auch Goette, in: Goette/Arnold, HdB Aufsichtsrat, § 4 Rn. 2398; bestätigend auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 119. 62  Buck-Heeb, BKR 2011, 441, 448; ähnlich wohl auch Weißhaupt, ZHR 185 (2021), 91, 96 f., der von einer an die ISION-Kriterien angelehnten Residualprüfung spricht. 63  So auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 118. 64  BGH, Urt. v. 12.10.2016 – Az.: 5 StR 134/15 = NZG 2017, 116 Rn. 31; hierzu bereits Teil 1 C. I. 1. b) aa) (2) (d). 65  Bereits im Jahre 2010 wies das OLG Düsseldorf mit Beschl. v. 09.12.2009 – Az.: 6 W 45/09 = CCZ 2010, 117, 119 darauf hin, dass die Unabhängigkeit des hinzugezogenen Experten auch im Rahmen unternehmerischer Beratung erforderlich sei. 66  So Spindler, in: MüKo/AktG, § 93 Rn. 60, der darauf hinweist, dass ein externes Rating „keine angemessene Informationsgrundlage darstellen [könne], sofern es nicht nochmals wenigstens im Ansatz eigenständig überprüft wurde“.



B. Sorgfaltspflichten des Vorstands99

fung bzw. Plausibilisierung der erbetenen Informationen auf Korrektheit, Vollständigkeit und innere Konsistenz.67 Möchte der Vorstand indessen die unternehmerische Abwägungsentscheidung eines Beraters übernehmen und umsetzen, ist eine bloße Begutachtung des Ratschlags auf Unregelmäßigkeiten – anders als im Falle rechtlicher Beratung – nicht als ausreichend anzusehen. Vielmehr ist auch der unternehmerische Rat eines Dritten lediglich als Information zu handhaben.68 Der Vorstand ist von Gesetzes wegen (§ 76 Abs. 1 AktG) verpflichtet, eine eigenständige Abwägungs- und Prognoseentscheidung vorzunehmen.69 Anderenfalls käme ihm eine – dem Vorstandsmandat nicht gerecht werdende – bloße Botenstellung zu.70 Unternehmerische Stellungnahmen Außenstehender können lediglich die Grundlage der selbst durchzuführenden Evaluation bilden.71 Intuitive Entscheidungen entsprechend dem Ergebnis der Beratung sind zwar grundsätzlich möglich und in der Praxis sicher auch nicht selten anzutreffen, sie fallen mangels objektiver Nachvollziehbarkeit aber jedenfalls nicht in den Anwendungsbereich der BJR.72 Resümierend lässt sich festhalten, dass auch im Rahmen unternehmerischer Leitungsentscheidungen auf fachliche Qualität und Unabhängigkeit sowie auf ausreichende Unterrichtung und Informiertheit des jeweiligen Beistands zu achten ist – diese Anforderungen folgen auch aus den tatbestandlichen Voraussetzungen der Business Judgement Rule und den delega­ tionsbedingten Residualpflichten.73 Soweit nach den ISION-Kriterien eine 67  So auch Weißhaupt, ZHR 185 (2021), 91, 97, der eine Plausibilitätsprüfung in diesem Bereich jedoch erst ab einer gewissen Tragweite der delegierten Aufgabe für erforderlich hält. 68  Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 102; so wohl auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 46. 69  So auch Hölters/Hölters, in: Hölters/Weber, AktG, § 93 Rn. 232, die darauf hinweisen, dass die Beurteilung wirtschaftlicher Fragestellungen gerade die vorstandseigene Aufgabe ist; ähnlich auch Spindler, in: MüKo/AktG, § 93 Rn. 60, welcher eine kritische Würdigung externer Ratings durch den Vorstand fordert. 70  Bezogen auf den Bereich rechtlicher Beratung auch Piepenbrock, „Defense of Reliance“ im deutschen Aktienrecht, S. 265. 71  Koch, in: Koch, AktG, § 93 Rn. 22 führt das Beispiel an, dass auch eine in M&A-Transaktionen häufig eingeholte sog. Fairness Opinion einer sorgfältigen eigenen Bewertung durch den Vorstand unterworfen werden müsse; so auch Strehle, in: Beck’sches M&A-HdB, Kap. 14 § 68 Rn. 88, der die Fairness Opinion lediglich als Untermauerung der eigenen Vorstandsentscheidung versteht; allgemeinere Überlegungen anstellend auch Redeke, NZG 2009, 496, 498. 72  Spindler, in: MüKo/AktG, § 93 Rn. 51. 73  Ein rechtsvergleichender Blick in die Rechtsordnung des U.S. Bundesstaates Delaware zeigt ein ähnliches Bild: Gemäß § 141 (e) des Delaware Code haftet der Vorstand generell – also auch im unternehmerischen Bereich – nicht, wenn er sich in

100

Teil 2: Das Pflichtenprogramm des Vorstands

Plausibilitätskontrolle als Schlusspunkt sorgfältigen Vorstandshandelns angesehen werden soll, kann dies allenfalls für die Prüfung wertungsneutral zugeleiteter Informationen ausreichen. Wurde indessen eine unternehmerische Expertise eingeholt, ist neben einer Plausibilisierung der Beratungsgrundlage zudem eine eigene sorgfältige Abwägungsentscheidung zu treffen.74 Die Leitungsempfehlung kann nicht unkritisch und gutgläubig übernommen und umgesetzt werden. Der unternehmerische Rat eines Fachexperten ist als ­Information zu behandeln und ersetzt in keinem Fall die höchstpersönliche Entscheidungsverantwortung des Vorstands – mag er auch plausibel sein. Der Vorstand selbst ist im unternehmerischen Bereich das originär und singulär zuständige Entscheidungsorgan; er muss die geschäftlichen Wagnisse und Chancen anhand aller zugeleiteten Informationen für sich würdigen und anschließend eine eigene Schlussfolgerung treffen.75 Gleichwohl ist zu betonen, dass die vorgenannte Abwägungsentscheidung in Fällen, die ein spezielles – nicht vom Vorstand erwartbares – Nischenwissen erfordern, u. U. ­entsprechend kurz ausfallen kann. (2) Anwendbarkeit auf entscheidungsunterstützende KI-Systeme? Es stellt sich sodann die weitere für die hiesige Untersuchung entscheidende Frage, ob sich die ISION-Vorgaben zumindest modifiziert auch auf die Fälle der Unterstützung durch KI-Systeme im unternehmerischen Leitungsbereich übertragen lassen. Darf der Vorstand unter denselben Voraussetzungen auf das Arbeitsergebnis der KI vertrauen wie auf die Stellungnahme eines Unternehmensberaters? Nach der hier vertretenen Auffassung lassen sich die in der Rechtsprechung entwickelten Grundsätze zur Beratungspraxis des Vorstands – wie bereits im ersten Teil der Untersuchung dargelegt76 – nicht ohne weiteres auf entscheidungsunterstützende Lernalgorithmen übertragen. Zu groß ist die Kluft zwischen biologischer und künstlicher Intelligenz. Zu unterschiedlich sind die Rahmenbedingungen – Themen wie die Qualitätsbeurteilung, die Interaktion und Handhabung sowie die Würdigung der Arbeitsgutem Glauben auf solche Informationen verlässt, die von einer Person vorgelegt werden, von der er vernünftigerweise glaubt, dass sie innerhalb ihrer beruflichen oder fachlichen Kompetenz liegen und die Person mit angemessener Sorgfalt ausgewählt wurde. 74  So insbesondere Meyer, CCZ 2011, 41, 42 f.; ähnlich fordert auch Kamalnath, 83 Alb. L. Rev. 43 (2019), S. 13, abrufbar unter: https://papers.ssrn.com/sol3/papers. cfm?abstract_id=3360349 (zuletzt abgerufen am 24.04.2022), dass die Geschäftsleitung ihr eigenes Urteilsvermögen zur Entscheidungsfindung nutzt. 75  Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 96, 102 f. 76  Siehe hierzu bereits Teil 1 B. I. 1. a) aa).



B. Sorgfaltspflichten des Vorstands101

resultate weichen mitunter erheblich voneinander ab, sodass ein pauschaler Gleichlauf der Pflichten weder sachgerecht noch möglich wäre. Gleichwohl eignen sich die ISION-Anforderungen ihrem Sinngehalt nach auch für KISysteme;77 sie enthalten zum einen wichtige Ansatzpunkte zur Konkretisierung der Vorstandspflichten im Beratungsfall und machen andererseits insbesondere am Merkmal der Plausibilitätskontrolle deutlich, dass sich der Vorstand erneut mit dem Arbeitsergebnis des Beraters zu befassen hat. Die aufgestellten Kriterien bedürfen aber einer Harmonisierung bzw. Angleichung in dem Umfang, der notwendig ist, um den technischen Besonderheiten angemessen Rechnung zu tragen.78 Das Pflichtenprogramm ist an die KI-Spezifika anzupassen – eine undifferenzierte Übertragung verbietet sich. Aus Gründen des Sachzusammenhangs und der Übersichtlichkeit werden die Transferüberlegungen zur ISION-Rechtsprechung nachfolgend jeweils innerhalb der einzelnen Sorgfaltspflichten erörtert.79 bb) Zwischenergebnis Die aus der vertikalen Delegation folgenden Pflichten ergeben allein ein unvollständiges Bild, da sie relativ abstrakt gehalten sind und außerdem unberücksichtigt lassen, dass der Vorstand das KI-Arbeitsergebnis wiederum „auf seinen Tisch bekommt“, d. h. selbst – jedenfalls als Teilaspekt seiner Ent­scheidungsgrundlage – zu verwenden beabsichtigt. Diese Lücke lässt sich mithilfe der Vorgaben, die von der Rechtsprechung zur Befolgung fachkundiger Rechtsberatung aufgestellt worden sind, schließen. Wie festgestellt, sind die Maßgaben der ISION-Rechtsprechung geringfügig angepasst auch in der unternehmerischen Beratung80 anwendbar und jedenfalls in ihrer Kernbotschaft auch für entscheidungsunterstützende KI-Systeme geeignet.81 2. Die KI-spezifischen Sorgfaltspflichten im Einzelnen Im Anschluss an die dogmatische Verortung der KI-spezifischen Vorstandspflichten werden im Folgenden [a)] die das Pflichtengefüge beeinflus77  So wohl auch Noack, in FS: Windbichler, 947, 955 f.; ähnlich auch Zetzsche, AG 2019, 1, 8. 78  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 133. 79  Vgl. hierzu Teil 2 B. I. 2. b) bb) (1) (b), Teil 2 B. I. 2. b) bb) (1) (c), Teil 2 B. I. 2. b) bb) (1) (d), Teil 2 B. I. 2. b) dd) und Teil 2 B. I. 2. b) gg) (3) (b). 80  Siehe hierzu bereits Teil 2 B. I. 1. b) aa) (1) (b). 81  Auch die Autoren Linardatos, ZIP 2019, 504, dort Fn. 58, Lücke, BB 2019, 1986, 1992, Noack, ZHR 183 (2019), 105, 143 und Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 1721 ff. sprechen sich für eine KI-spezifische Anpassung der ISION-Kriterien aus.

102

Teil 2: Das Pflichtenprogramm des Vorstands

senden Umstände erläutert, [b)] die unterschiedlichen Verhaltenspflichten diskutiert und zuletzt [c)] die personellen Möglichkeiten zur Arbeitsteilung vorgestellt. a) Den Sorgfaltsmaßstab des Vorstands beeinflussende Faktoren Es ist zunächst klarstellend anzumerken, dass die nachfolgend angeführten Sorgfaltspflichten keineswegs als abschließend oder allgemeingültig verstanden werden können. Vielmehr variieren die organschaftlichen Verhaltenspflichten, weil die Beurteilung der anzuwendenden Sorgfalt immer auch eine Einzelfallbetrachtung erfordert.82 So weist etwa Zenner zurecht – zwar ohne KI-Bezug, aber allgemeingültig – darauf hin, dass für die Bestimmung des Sorgfaltsmaßstabs neben den Faktoren, wie der Gewichtigkeit der Entscheidung bzw. dem Einsatzbereich83 und der Unternehmensgröße84 insbesondere auch „das Maß an Vertrauen“ mitbestimmend ist, das „der Vorstand aufgrund der Erfahrungen in der Vergangenheit“ dem Delegationsempfänger berechtigterweise angedeihen lassen darf.85 Auch frühere Funktionsstörungen oder Indizien, die auf eine Fehlerhaftigkeit oder einen unsachgemäßen Ablauf hindeuten, können zu einem erhöhten Sorgfaltsmaßstab führen.86 Entscheidend ist des Weiteren, inwieweit der Vorstand überhaupt die praktische Möglichkeit besitzt, auf das KI-System einzuwirken und dieses zu überwachen;87 hierbei kann der allgemein anerkannte Stand von Wissenschaft und Technik ebenso wie die Ausgestaltung der Anwendungsoberfläche durch den jeweiligen KI-Hersteller eine wichtige Rolle spielen.88 Auch die Nachvollziehbarkeit der KI-Logik bildet gerade im Kontext algorithmisch 82  Hierauf ebenfalls hinweisend Noack, in: FS Windbichler, 947, 951 f.; im Allgemeinen so auch Zenner, AG 2021, 502, 507. 83  Je nach Einsatzgebiet und Geschäftsbereich besteht auch ein divergierendes Schadenspotential, welches ebenfalls erheblichen Einfluss auf den Sorgfaltsmaßstab haben kann, vgl. hierzu für den Adressatenkreis der KI-Hersteller Haagen, Verantwortung für Künstliche Intelligenz, S. 216. 84  Ebenso Fleischer, AG 2003, 291, 293 f. 85  Zenner, AG 2021, 502, 507; auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 134 konstatieren im Bezug auf KI, dass die erforderliche Kontrolldichte „mit zunehmender Dauer der fehlerfreien, vertrauensvollen Zusammenarbeit“ abnimmt; i. E. weist auch Haagen, Verantwortung für Künstliche Intelligenz, S. 210 darauf hin, dass die Unbekanntheit des jeweiligen KI-Systems zu erhöhten Sorgfaltsanforderungen führt, wobei er lediglich die Pflichten des Herstellers betrachtet. 86  Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 134; allgemein hierzu Fleischer, in: BeckOGK/AktG, § 93 Rn. 141, 144. 87  Hierauf ebenfalls eingehend Haagen, Verantwortung für Künstliche Intelligenz, S. 200, 227, der jedoch die Perspektive des KI-Herstellers beleuchtet. 88  So i. E. auch Haagen, Verantwortung für Künstliche Intelligenz, S. 210 ff., 226.



B. Sorgfaltspflichten des Vorstands103

gestützter Leitungsentscheidungen einen wesentlichen Einflussfaktor.89 Je intransparenter die Arbeitsweise der KI, desto strenger fallen die mit der Nutzung einhergehenden Sorgfaltspflichten aus.90 Gerade für den Fall, dass schon nicht klar verständlich ist, wie die KI zu dem einen oder anderen Ergebnis gelangt, ist von einem ordentlichen und gewissenhaften Geschäftsleiter zu erwarten, dass sämtliche erforderlichen und zumutbaren Organisationsund Überwachungsmaßnahmen ergriffen werden, um den regelgerechten Arbeitsablauf sicherzustellen. Außerdem ist bei einigen KI-Systemen91 auch der Grad an Unberechenbarkeit des algorithmischen Verhaltens ein besonderer Indikator zur Sorgfaltsmaßbestimmung der Nutzer.92 Im Bereich der ent­ scheidungsunterstützenden KI-Systeme kommt diesem Kriterium jedoch allenfalls eine untergeordnete Bedeutung zu.93 Sofern das System auf Veranlassung des Vorstands bloß im Innenverhältnis zur Informationsbeschaffung und Entscheidungsunterstützung eingesetzt wird, ist das Risiko einer Überrumpelung von den Aktionen der KI als sehr gering einzustufen; unerwartete Programmabläufe führen gerade nicht dazu, dass dem Vorstand etwaige Reaktionsmöglichkeiten abgeschnitten werden.94 Zwar ist im Voraus nur beschränkt vorhersagbar, welche Informationen verarbeitet und wie sie gewichtet werden, das Berechnungsergebnis der KI bleibt aber ohne unmittelbare Außenwirkung und schafft insoweit keine irreversiblen Tatsachen; die maßgebliche und richtungweisende Leitungsentscheidung bleibt ebenso wie die Möglichkeit einer Rückkehr zu altbewährten Informationsquellen dem Vorstand vorbehalten.95 Ganz allgemein ist schließlich zu beachten, dass der Prozess der Digitalisierung stark dynamisch verläuft, sodass auch die KI/ITspezifischen Sorgfaltspflichten einem fortlaufenden Wandel unterliegen werden.96

Verantwortung für Künstliche Intelligenz, S. 223 ff. schlussfolgernd Haagen, Verantwortung für Künstliche Intelligenz, S. 226 bezogen auf den Kreis der KI-Hersteller. 91  Beispielsweise im Bereich des autonomen Fahrens oder in der KI-gesteuerten Chirurgie. 92  Sowohl auch Haagen, Verantwortung für Künstliche Intelligenz, S. 219 f. 93  In ähnlicher Weise Haagen, Verantwortung für Künstliche Intelligenz, S. 228, der das Beispiel einer vorgeschalteten KI-gestützten Bonitätsprüfung anführt, wobei der Bankmitarbeiter die Letztentscheidung zu treffen hat. 94  So i. E. auch Haagen, Verantwortung für Künstliche Intelligenz, S. 230. 95  Dieser Aspekt würde jedoch dann relevant, wenn KI in ferner Zukunft selbst über die Leitung der AG (mit-)entscheidet. 96  Ähnlich Heuer-​James/Chibanguza/Stücker, BB 2018, 2818, 2830. 89  Haagen, 90  Ähnlich

104

Teil 2: Das Pflichtenprogramm des Vorstands

b) KI-spezifische Residualpflichten Da die Einzelpflichten des Vorstands im Umgang mit KI nach der hier vertretenen Ansicht – wie festgestellt – jedenfalls maßgeblich auf dem Pflichtengefüge zur vertikalen Delegation an Mitarbeiter fußen, ist vorangehend zu eruieren, welche Verpflichtungen den Vorstand in diesem „klassischen Fall“ der Aufgabenübertragung treffen. Judikatur und Schrifttum gehen hier mehrheitlich von einer Pflichtentrias aus.97 Danach sei der Vorstand zur sorgfältigen –– Auswahl (lat.: cura in eligendo), –– Einweisung (lat.: cura in instruendo) und –– Überwachung (lat.: cura in custodiendo) des Delegationsempfängers verpflichtet.98 Nach diesseitiger Auffassung geht dieses etablierte „Dreiergespann“ jedoch nicht weit genug bzw. ist jedenfalls zu konkretisieren.99 Es sollte vollständiger Weise um die Pflicht zur –– hinreichenden Ausstattung mit personellen und/oder sachlichen Ressourcen ergänzt werden.100 Die konkrete Ausformung dieser abstrakt beschriebenen Pflichten bleibt der Einzelfallbetrachtung vorbehalten.101 In der rechtswissenschaftlichen Literatur hat sich bereits eine unübersichtliche Fülle an spezifizierten Residualpflichten im Bereich der KI-unterstützten Unternehmensleitung angesammelt.102 Die anschließende Darstellung der Einzelpflichten 97  BGH, Urt. v. 19.12.2017 – Az.: II ZR 88/16 = NJW 2018, 1089 Rn. 26 (für die GmbH); FG München, Urt. v. 15.07.2010 – Az.: 14 V 1552/10 = BB 2011, 227, 230 (ebenfalls für die GmbH); Dreher, in: FS Hopt, 517, 536; Müller, NZA-Beilage 2014, 30, 35; Seibt, in: FS K. Schmidt, 1463, 1481; auf den KI-Einsatz bezogen auch vgl. Becker/Pordzik, ZfPW 2020, 334, 348 ff. 98  Fleischer, in: BeckOGK/AktG, § 93 Rn. 134 ff.; ders., in: Vorstandsrecht, § 8 Rn. 28; Knierim, in: WirtschaftsStrafR-HdB, Kap. 5 Rn. 43; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 97 ff. ausführlich und mit praktischen Beispielen unterlegt; Schulze, NJW 2014, 3484, 3485; ebenso Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 14. 99  In diesem Sinne auch Hegnon, CCZ 2009, 57, 58; Linnertz, Die Delegation durch den Vorstand einer AG, S. 239. 100  Hauschka, AG 2004, 461, 467; Hegnon, CCZ 2009, 57, 58; Lücke, BB 2019, 1986, 1992 – soweit die Autoren zudem von der Pflicht zur sorgfältigen Interven­ tionsorganisation sprechen, darf diese im Bereich der bloß vorbereitenden Entscheidungsunterstützung vernachlässigt werden. 101  So auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 100. 102  Vgl. nur den 10-Punkte-Pflichtenkanon von Lücke, BB 2019, 1986, 1993; ebenfalls umfassend Becker/Pordzik, ZfPW 2020, 334, 348 ff. und Möslein, ZIP 2018, 204, 211 ff.



B. Sorgfaltspflichten des Vorstands105

orientiert sich im Wesentlichen an der handlungschronologischen Abfolge. Hierbei wird versucht, eine gewisse Ordnung in den angewachsenen „Pflichtendschungel“ zu bringen und den Diskurs durch weitere Überlegungen voranzutreiben. aa) Make-or-Buy-Entscheidung103 Die o. g. und nachfolgend untersuchten Residualpflichten sind in ihrem Umfang entscheidend davon abhängig, welche Bezugsquelle der Vorstand zur Beschaffung des KI-Assistenzsystems nutzt – wird die Technik unternehmensintern entwickelt, eingekauft oder angemietet?104 Die Entscheidung hierüber, steht im Ermessen des Vorstands.105 Fällt die Wahl auf eine der beiden letzteren Nutzungswege, hat dies in der Regel eine gewisse Herabsetzung der organschaftlichen Sorgfaltspflichten zur Folge. Das liegt insbesondere daran, dass sich der Erwerber eines IT-Produktes grundsätzlich darauf verlassen darf, dass der Hersteller das betreffende Produkt – nach dem Stand der Technik – mit größtmöglicher Sorgfalt entwickelt und produziert hat.106 Dennoch darf der Vorstand dies keinesfalls als Freibrief verstehen – einerseits treffen ihn selbst ebenfalls gemäß § 93 Abs. 1 S. 1 AktG erhöhte Sorgfaltsanforderungen und andererseits handelt es sich gerade nicht um ein gewöhnliches, sondern vielmehr um ein aus unternehmerischer Sicht systemrelevantes IT-Produkt. Eine Entwicklung in Eigenregie stellt den Vorstand demgegenüber vor die Herausforderung, den internen Entwicklungsprozess sorgfältig und gewis­ senhaft steuern und überwachen zu müssen. Die Auswahl, Unterweisung und Überwachung versierter Softwareentwickler, KI-Spezialisten und Data-­ Scientists wäre nur ein Teilbereich von vielen. Vor diesem Hintergrund ist einsichtig, dass die Beschaffung von KI-Produkten in Unternehmen sowohl aus einer ökonomischen Notwendigkeit heraus als auch aus rein praktischen Gründen zumeist über Dritte und häufig in Form von Einheitslösungen er­ folgt,107 zumal jedenfalls in kleineren und mittelgroßen Unternehmen (KMU) 103  Das

Schlagwort ebenfalls verwendend Lücke, BB 2019, 1986, 1993. ist außerdem die Inanspruchnahme des KI-Systems als einmalige oder wiederholte Servicedienstleistung (KI as a Service), wobei diese Form der Nutzung im Rahmen der Untersuchung unter der Überschrift „Auslagerung“ besprochen wird, vgl. Teil 2 B. II. 1. 105  Lücke, BB 2019, 1986, 1990. 106  Haagen, Verantwortung für Künstliche Intelligenz, S. 201 f. 107  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 130 und Picciau, 17 Hastings Business Law Journal 67, 128 f. weisen in diesem Zusammenhang darauf hin, dass die spezifischen Bedürfnisse an KI je nach Unter104  Möglich

106

Teil 2: Das Pflichtenprogramm des Vorstands

überwiegend das entsprechende IT-Know-how fehlen wird.108 In nächster Zukunft wird die unternehmensinterne KI-Systementwicklung deshalb die Ausnahme bleiben. Hieran orientiert, beschränken sich die folgenden Ausführungen lediglich auf die Untersuchung der Vorstandspflichten im Falle des KI-Bezugs als Einkauf oder Anmietung.109 bb) Sorgfältige Auswahl Besondere Sorgfalt hat der Vorstand im Rahmen des Auswahlprozesses walten zu lassen. Der Wahl des geeigneten KI-Produkts kommt insbesondere auch deshalb entscheidende Bedeutung zu, weil sich die Funktionsweise und die Eigenschaften des auserkorenen Systems auf die weiteren Residualpflichten, namentlich die Einweisung, die Ressourcenausstattung und die Überwachung ebenso wie auf den Umfang der Plausibilisierungsverpflichtung auswirken.110 Unter den Obergriff der Auswahlsorgfalt lassen sich zunächst die qualitativen Anforderungen an das – den Vorstand unterstützende – KI-System fassen. Darauf aufbauend wird untersucht, welche Möglichkeiten sich dem Vorstand bieten bzw. in Zukunft bieten könnten, um sich der zuvor erarbeiteten Auswahlkriterien zu vergewissern. Zuletzt werden die Organisa­ tionspflichten des Vorstands im Rahmen des Erwerbsprozesses in groben Zügen vorgestellt. (1) Auswahlkriterien Welche Ausgangsvoraussetzungen ein KI-System zur Vorbereitung von unternehmerischen Leitungsentscheidungen erfüllen muss, ist bislang kaum diskutiert. Klar ist aber Folgendes: So vielseitig die vorbereitenden Aufgaben zur Leitungsunterstützung ausfallen, so unterschiedlich gestalten sich die an das KI-System zu stellenden Anforderungen.111 Die Messlatte ist – wie bereits mehrfach erwähnt – niedriger anzulegen, sofern bloß der Einsatz eines KI-gestütztes Informationsbeschaffungstools geplant ist. Steht indessen der nehmen variieren und sich in der Regel nicht durch am Markt verfügbare Produkte „von der Stange“ befriedigen lassen werden. 108  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  127 ff. 109  Die Inanspruchnahme externer Dienstleister bzw. die Verwendung von KIServices über eine Web-Plattform und deren Auswirkungen auf das Pflichtenprogramm des Vorstands wird – wie bereits erwähnt – unter Teil 2 B. II. diskutiert. 110  Hierzu im Allgemeinen Linnertz, Die Delegation durch den Vorstand einer AG, S. 239. 111  Ähnlich Becker/Pordzik, ZfPW 2020, 334, 349 bezogen auf Mitarbeiter.



B. Sorgfaltspflichten des Vorstands107

Gebrauch eines selbstständig evaluierenden KI-Systems zur Vorstandsberatung in Rede, sind zwangsläufig strengere Auswahlvorgaben einzuhalten. Zwar liegt die Sicherstellung der Software-Qualität – wie bereits erwähnt112 – in erster Linie im Verantwortungsbereich des Herstellers bzw. Anbieters; gleichwohl können etwaige Funktions- bzw. Leistungsmängel auch auf Ebene des Vorstands, mithin der Erwerberseite, zum Tragen kommen, sofern die Insuffizienzen unter Zugrundelegung eines sorgfältigen Auswahlprozesses hätten vermieden werden können.113 Die Wahl der geeigneten Technik wird für den Vorstand insbesondere unter zwei Gesichtspunkten relevant. Auf der einen Seite ist die Auswahlentscheidung im Lichte der Vorstandspflicht zum verantwortungsvollen Umgang mit dem Gesellschaftsvermögen zu betrachten (Kosten-Nutzen-Abwägung).114 Erwirbt der Vorstand beispielsweise ein störanfälliges oder für die zugedachte Aufgabe fachlich unqualifiziertes KI-Produkt, kann dies u. U. als verschwenderische Anschaffung („corporate waste“) gewertet werden und sich damit als Sorgfaltspflichtverletzung des Vorstands entpuppen.115 Der BGH hat bereits in den Neunzigerjahren klargestellt, dass die kostenpflichtige Beauftragung eines nicht hinreichend qualifizierten Beraters als nicht vertretbare Disposition über das Vermögen der Gesellschaft anzusehen ist.116 Dieser Gedanke lässt sich auch auf den Bereich der Informationstechnologie übertragen.117 Auch insoweit gilt die Maxime, nur solche Technik zu erwerben, die dem Unternehmen einen zusätzlichen und wirtschaftlich nachvollziehbaren Nutzen bringt. Ein KI-System darf nicht mehr Probleme schaffen, als es löst. Auf der anderen Seite stellt die sorgfältige Auswahl des Entscheidungsassistenzsystems eine wichtiges Puzzleteil zur Einfahrt in den „safe harbour“ der BJR dar. Die Geschäftsleitung sollte stets im Blick behalten, ob die durch das KI-System bereitgestellten Informationen, Prognosen und Empfehlungen als taugliche, d. h. „angemessene Informationsgrundlage“ im Sinne der BJR verwendet werden können. Dieser Aspekt ist einerseits durch nachgelagerte Plausibilisierungsmaßnahmen sicherzustellen,118 sollte aber in jedem Fall 112  Siehe

cc).

hierzu bereits Teil 2 B. I. 2. b) aa) und sogleich unten Teil 2 B. I. 2. b)

113  Conrad/Streitz, in: IT-HdB, § 33 Rn. 174 allgemein zur Risikobewertung unternehmenskritischer Softwareanwendungen. 114  Zur Einholung menschlicher Beratung so auch Weißhaupt, ZHR 185 (2021), 91, 99. 115  Allgemein hierzu (ohne KI-Bezug) Fleischer, in: Vorstandsrecht § 7 Rn. 71. 116  BGH, Urt. v. 09.12.1996 – Az.: II ZR 240/95 = NJW 1997, 741, 742; so auch Bachmann, NZG 2013, 1121, 1127. 117  BGH, Urt. v. 13.07.1998 – Az.: II ZR 131/97 = NZG 1998, 726, 727 zum Erwerb überteuerter EDV-Hardware. 118  Dazu Teil 2 B. I. 2. b) gg) (3).

108

Teil 2: Das Pflichtenprogramm des Vorstands

darüber hinaus bereits im Rahmen der Erwerbsentscheidung berücksichtigt werden. In welcher Form Letzteres zu geschehen hat und welche Auswahlkriterien schließlich den Ausschlag geben sollten, ist noch völlig offen. Aufgrund der Vielzahl möglicher Anwendungsfelder eines KI-Assistenzsystems im Leitungsbereich sind zahlreiche Abstufungen und Konkretisierungen der erforderlichen KI-Eigenschaften vorstellbar. Die nachfolgende Auflistung beschränkt sich dementsprechend auf eine zusammengefasste Darstellung der – nach hiesiger Einschätzung – elementaren Anforderungen an ein vorstandsunterstützendes KI-System. (a) Funktionalität (technische Zuverlässigkeit) Entscheidend ist zunächst eine Kontrolle der allgemeinen Funktionstüchtigkeit des Systems (Robustheit).119 Die KI-Software muss ihre Aufgaben störungs- und fehlerfrei sowie mit ausreichend Rechenleistung verrichten. Darüber hinaus bedarf es einer hinreichenden Widerstandsfähigkeit gegen Fremdeinwirkungen.120 Das KI-System sollte deshalb – soweit programmtechnisch möglich – bereits ein grundsolides Cyber-Sicherheitsniveau besitzen; dies kann sich beispielsweise in einem systemintegrierten Passwortschutz oder auch einer besonderen Sicherung des Quellcodes (sog.121 Listschutz) verwirklichen. Zudem existieren einige sichere Codierungsstandards, zu nennen seien etwa die SEI CERT Coding Standards,122 deren Beachtung der Vorstand einzelfallabhängig als Anhaltspunkt für eine geschützte Programmierung werten kann.123 Von besonderer Wichtigkeit ist auch, dass sich das KI-System ohne größere Schwierigkeiten bedienen bzw. kontrollieren lässt, um die menschliche Handlungsfähigkeit und Beherrschbarkeit zu ­gewährleisten. Die Administratorenrechte müssen stets beim Menschen verbleiben, wobei diese Vorgabe für lediglich entscheidungsunterstützende KISysteme problemlos zu erreichen sein dürfte.124

119  Becker/Pordzik, ZfPW 2020, 334, 349; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 137. 120  Assessment List for Trustworthy Artificial Intelligence der HEG-KI vom 17.07.2020, S. 9 (s. Einführung Fn. 49); Ethics Guidelines for Trustworthy Artificial Intelligence der HEG-KI vom 08.04.2018, S. 20 Rn. 67 (s. Einführung Fn. 48). 121  Ernst, in: MMR-HdB, Teil 7.1, Rn. 11; ders., MMR 2001, 208. 122  Diverse SEI CERT Coding Standards erläutert unter https://wiki.sei.cmu.edu/ confluence/display/seccode (zuletzt abgerufen am 24.04.2022). 123  Weitere Cybersicherheitsmaßnahmen werden unter Teil 2 I. B. 2. b) ff) (1) im Rahmen der Überwachungssorgfalt behandelt. 124  Ähnlich Bomhard/Merkle, RDi 2021, 276, 281, welche die gleiche Vorgabe im Entwurf der europäischen KI-Verordnung kritisieren.



B. Sorgfaltspflichten des Vorstands109

(b) K  ompetenz (fachliche Zuverlässigkeit) – das KI-System als fachlich qualifizierter Berufsträger i. S. d. ISION-Rechtsprechung? Nicht weniger bedeutsam ist auch der Aspekt der fachlichen Eignung und Zuverlässigkeit – ein Faktor, der erheblichen Einfluss auf die Ergebnisqualität hat.125 Es bietet sich an dieser Stelle an, zu Zwecken der Rechtsfortbildung auf die ISION-Kriterien zur Auswahl geeigneter Rechtsberater zu rekurrieren. In der ISION-Entscheidung verlangt der BGH vom Vorstand die Auswahl eines fachlich qualifizierten Berufsträgers.126 Ob und inwieweit sich dieses Erfordernis auch auf KI-Systeme transferieren lässt, ist im Folgenden zu erörtern. (aa) Die Berufsträgereigenschaft Zunächst ist der Begriff des Berufsträgers zu untersuchen. Als solche werden im allgemeinen Sprachgebrauch wohl überwiegend insbesondere freiberufliche Rechtsanwälte, Wirtschaftsprüfer und Steuerberater verstanden.127 Im Bereich unternehmerischer Beratung ist eine solche Einschränkung hingegen nicht angebracht.128 Soweit es um wirtschaftliche Entscheidungen geht, ist der Kreis der ggf. zu konsultierenden Experten wesentlich größer zu ziehen, da dem Vorstand hinsichtlich der Auswahl der jeweiligen Informationsquellen ein weitreichender Entscheidungsspielraum zukommt.129 In Fällen unternehmerischer Handlungsalternativen werden zur Erarbeitung der Entscheidungsvorlagen nicht selten beispielsweise Ratingagenturen, Unternehmensberatungen, Aktuare, Sachverständige, Investmentbanken, Analysten und/oder Hochschullehrer unterschiedlichster Fachrichtungen zu Rate gezogen. Zuzustimmen ist insoweit Strohn, der konstatiert, dass es maßgeblich nicht auf die Berufsträgereigenschaft, sondern auf die erforderliche Expertise ankommt.130 Auch der BGH hat bereits andeuten lassen, dass die Beratung nicht zwingend durch die o. g. Berufsträger erfolgen müsse, sondern auch „Angehörige anderer Berufsgruppen gleichfalls zur Entlastung des Geschäfts­ führers genügen“ können.131 Dieses weite Verständnis darf konsequenterweise auch vor technischen Produkten, insbesondere vor KI-Systemen nicht 125  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  122 f. 126  BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271, 1273. 127  So verstanden wohl auch Selter, AG 2012, 11, 16. 128  Dies auch schon für den Bereich der Rechtsberatung fordernd Berger, Vorstandshaftung und Beratung, S. 230 f. 129  Binder, AG 2008, 274, 281; Weißhaupt, ZHR 185 (2021), 91, 94. 130  Strohn, CCZ 2013, 177, 180 f. 131  BGH, Urt. v. 27.03.2012 – Az.: II ZR 171/10 = NZG 2012, 672 Rn. 17.

110

Teil 2: Das Pflichtenprogramm des Vorstands

Halt machen.132 Eine generelle Ablehnung der Unterstützung durch ein di­ gital fortschrittliches System zur Informationsbeschaffung mit dem Verweis auf das Fehlen einer Berufsträgereigenschaft oder Berufsgruppenzugehörigkeit lässt sich nach hiesigem Verständnis nicht rechtfertigen. Eine solche Forderung ist für das (unternehmerische) Beratungsmandat als rückschritt­ liche Innovationsbremse zurückzuweisen. Ob stattdessen äquivalente Qualitätsnachweise erforderlich sind, wird im nachfolgenden Abschnitt erörtert. (bb) Die fachliche Qualifikation Entscheidendes Kriterium bildet, wie bereits erwähnt, die fachliche Expertise des Unterstützers. Es muss sichergestellt sein, dass der Vorstand eine Person bzw. im Kontext der hiesigen Untersuchung eine KI auswählt, die in der Lage ist, die zu bewältigende Aufgabe mit der nötigen Fachkompetenz zu erledigen.133 Vereinzelt wird davon gesprochen, der Vorstand müsse den für die Fragestellung „abstrakt kompetenten Berater“ heranziehen.134 Noch keine abschließende Klarheit besteht allerdings über die Frage, nach welchen Gesichtspunkten die geforderte Sachkenntnis zu bemessen ist – auch nicht soweit es um eine Beratung durch natürliche Personen geht.135 Teilweise wird hier auf eine Formalqualifikation, beispielsweise auf eine staatlich anerkannte Zertifizierung als Mindeststandard, abgestellt,136 da nur diese ein Vertrauen in den Berater mit haftungsbefreiender Wirkung begründen könne.137 Andere sehen ein formelles Qualitätsmerkmal lediglich als Anhaltspunkt und fordern zusätzlich das Hinzutreten weiterer Umstände, die auf die tatsächliche Sachkunde schließen lassen.138 Teile der Literatur sprechen sich für eine „inhaltlich nachweisbar vorhandene Fachkunde des Beraters in 132  Auch Noack, in: FS Windbichler, 947, 954 hält das einschränkende Kriterium der Berufsträgereigenschaft für KI-Systeme ungeeignet, da es schon an Zeugnissen mangele, die als Nachweis der fachlichen Qualifikation dienen könnten. 133  Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133 fordern, dass „die zur Erfüllung der konkreten Aufgabe erforderliche Sachkunde Eingang in die Programmierung“ finden muss; ähnlich auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 8. 134  Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 60. 135  Berger, Vorstandshaftung und Beratung, S. 217. 136  Fleischer, in: BeckOGK/AktG, § 93 Rn. 46; Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S.  86 ff. 137  Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S. 87. 138  Gottschalk/Weng, GWR 2013, 243, 244.



B. Sorgfaltspflichten des Vorstands111

Form von einschlägiger Berufserfahrung“ aus.139 Ohne Zweifel ist ein spezielles Fachwissen für den jeweiligen Entscheidungsgegenstand zu fordern.140 Nach diesseitiger Einschätzung sollte die Auswahlentscheidung zugunsten eines KI-Systems aber nicht schlechthin am Mangel einer formellen Quali­ fikation scheitern. Vielmehr könnte sich ggf. eine differenzierte risikobasierte Betrachtung je nach Art der anstehenden Entscheidung anbieten. Erstreckt sich das Einsatzgebiet der KI auf besonders sensible, folgenschwere und hochkomplexe Beratungsbereiche (z.  B. Anlage-, Versicherungs-, Steueroder Rechtsberatung), wird kein Weg an dem Erfordernis einer Formalqualifikation vorbeiführen. Anders sieht es dagegen aus, wenn Themen, wie Marketing- oder Produktstrategien Gegenstand der KI-Unterstützung sind. In diesen und ähnlichen Bereichen sollte es ausreichen, die Qualifikation des Informations-/Beratungsmediums durch vergangene Erfahrungen, ausführ­ liche Vorführung und/oder Testungen im Vorfeld sicherzustellen;141 ein Defizit an nachweislicher Qualifikation lässt sich nach hiesiger Auffassung auch durch angemessene Sicherheitsmaßnahmen in Form einer „Misstrauensorga­ nisation“142 ausgleichen. Dem Vorstand ist – in Anlehnung an Personalauswahlprozesse143 – ein weites Auswahlermessen zuzubilligen. Eine ähnliche Perspektive ist nach diesseitiger Auffassung auch dann einzunehmen, wenn das jeweilige KI-System bloß Tätigkeiten der Informationsbeschaffung verrichten soll. Unterstützungssysteme, die lediglich zur Aufgabe haben, Informationen zu extrahieren und zusammenzufassen, bergen kein solches Risiko der Scheinsicherheit und Beeinflussung in sich, wie es von einer reflektierenden und interpretierenden KI ausginge. Der komplexe Beurteilungs- und Schlussfolgerungsprozess bliebe in diesem Anwendungsfall ausschließlich dem Vorstand vorbehalten. Es sollten daher auch hier weniger strenge Anforderungen gelten. Eine Zertifizierung dürfte zwar nützlich, nicht aber erforderlich sein. Sicherzustellen ist bloß, dass die KI weiß, an welchen Stellen sie suchen und nach welchen Maßstäben sie selektieren muss. Dennoch wird der Vorstand bei Fehlen einer ausgewiesenen Formalqualifikation in einem Innenhaftungsprozess womöglich vor der faktischen Schwierigkeit stehen, die Vernünftigkeit und Angemessenheit der Informa­ Vorstandshaftung und Beratung, S. 221. von Harder, BB 2017, 707, 708; so i. E. auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 106. 141  So auch Kiefner/Krämer, AG 2012, 498, 501; Wehlage, Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern bei der Einholung externer Beratung, S.  57 f. 142  Zum Begriff der Misstrauensorganisation im Allgemeinen Müller, NZA-Beilage 2014, 30, 35; zu den Organisationsmaßnahmen ausführlich siehe Teil 2 B. I. 2. b) ff). 143  Kania, in: Küttner Personalbuch, Kap. Personalauswahl Rn. 4. 139  Berger,

140  Graewe/Freiherr

112

Teil 2: Das Pflichtenprogramm des Vorstands

tionsgrundlage darzulegen und diese notfalls zu beweisen.144 Es drängt sich folglich das rechtspraktische Bedürfnis einer einheitlichen und verlässlichen KI-Zertifizierung auf.145 So halten einige Autoren die nachweisliche Beurteilung eines KI-Systems als qualifiziert erst dann für möglich, wenn sich objektive Zertifizierungsstandards für KI etabliert haben.146 Aus gleichem Grunde bezweifelt auch Zetzsche die Gleichsetzung eines KI-Systems mit einem natürlichen Experten nach derzeitigem Stand.147 (c) Neutralität Ein weiteres Auswahlkriterium bildet die sachliche Neutralität des entscheidungsunterstützenden KI-Systems. Der Vorstand hat im Rahmen seiner Möglichkeiten sicherzustellen, dass die KI widerstandsfähig gegen Beeinflussungen ist und einen adäquaten Schutz vor Manipulationen besitzt. Auch im Rahmen der ISION-Kriterien wird die Unabhängigkeit des jeweiligen Beraters gefordert.148 Diese personelle Anforderung lässt sich jedoch nicht eins zu eins auf KI-Systeme übertragen. Selbstverständlich dürfen hier wie dort keinesfalls Zweifel an der Objektivität der Informationsbeschaffung bzw. Beratungsleistung aufkommen.149 Soweit es um die Anfälligkeit für sachfremde Erwägungen und fehlgeleitete Entscheidungen geht, zeigen sich aber deutliche Unterschiede zwischen Mensch und Maschine. Gerade auf diesem Feld könnte die Stärke und Überlegenheit künstlicher gegenüber natürlicher Intelligenz deutlich werden. Menschliche Experten und Assistenten sind ungeachtet etwaiger Neutralitätsverpflichtungen auf unterschiedlichste Weise suggestibel – das ist eine offensichtliche Schwachstelle. Häufig besteht ein mittel- oder unmittelbares Eigeninteresse der Berater an einer bestimmten Richtung der Entscheidung, beispielsweise um einer Regresshaftung aufgrund mangelhafter Vorbefassung zu entgehen.150 Nicht selten zwingt die finanzielle Abhängigkeit zu einer „geschönten“ oder gar falschen Auskunft. Auch denkbar ist zudem eine gewisse „Betriebsblindheit“ infolge routinemäßiger Arbeitsschritte und sich einstellender Gewöhnungseffekte.151 Solche und ähnliche Unzulänglichkeiten sind in einem KI-System grundsätz-

GWR 2013, 243, 244. ausführlich unten Teil 2 B. I. 2. b) bb) (2) (a). 146  Becker/Pordzik, ZfPW 2020, 334, 350. 147  Zetzsche, AG 2019, 1, 8. 148  Vgl. bereits Teil 2 B. I. 1. b) aa). 149  Zetzsche, AG 2019, 1, 16. 150  Hölters/Hölters, in: Hölters/Weber, AktG, § 93 Rn. 233. 151  Klöhn, DB 2013, 1535, 1539. 144  Gottschalk/Weng, 145  Hierzu



B. Sorgfaltspflichten des Vorstands113

lich nicht angelegt.152 Eine Maschine ist weder „käuflich“ noch hat sie besondere Präferenzen, die in Interessenkonflikte und mangelhafte Leistungen münden könnten. Es lässt sich insoweit von einer technikimmanenten Distanz zu menschlichen Beeinflussungsfaktoren sprechen. KI-Systeme arbeiten sich rational durch das Künstliche Neuronale Netzwerk und geben dem Grunde nach ein rein faktenbasiertes Ergebnis aus. Zur Wahrheit gehört es aber auch, dass gewisse IT-spezifische Manipula­ tionsrisiken nicht auszuschließen sind und durch geeignete Maßnahmen eingedämmt werden müssen. Einerseits besteht die Gefahr einer voreingenommenen Startprogrammierung.153 Insofern macht es Sinn, die Programmierung auf einen vertrauenswürdigen und bewährten Dienstleister zu verlagern; gleichwohl reicht dieser Schritt zur Sicherstellung einer Resistenz des Systems gegen exogene und endogene Einflussfaktoren nicht aus. Das KI-System nutzt nämlich außerdem menschlich erhobene und verarbeitete Daten als fortlaufende Trainingsgrundlage, weshalb es nicht verwundert, dass die KI auch im Rahmen des Lernprozesses bzw. im laufenden Betrieb Vorurteile, Denkfehler oder Ressentiments entwickeln kann.154 Das Risiko einer einseitigen Beratung durch das KI-System besteht andererseits auch unter dem Blickwinkel des feedbackgestützten Lernprozesses.155 Gibt der Vorstand dem KI-System beispielsweise fortlaufend die Rückmeldung, das ausgegebene Ergebnis sei falsch, da es nicht den Vorstellungen der Geschäftsleitung entspreche, könnte dies das KI-System dazu veranlassen, autonom die oberste Leitlinie zu implementieren, stets eine dem Vorstand gefallende Lösung zu präsentieren.156 Antworten auf diese Achillesfersen muss die Informatik finden. Möglicherweise kann dem Risiko dadurch begegnet werden, dass bestimmte Parameter als unveränderlich programmiert werden (sog. Hartkodierung). Orientierungshilfe im Auswahlprozess könnte ggf. ein Neutralitätszer152  Ähnlich

auch Gassner, in: Digital Law, S. 91. 83 Alb. L. Rev. 43 (2019), S. 13 s. Teil 2 Fn. 74; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 126; so i. E. auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 14; Noack, in: FS Windbichler, 947, 955. 154  Ähnlich sieht auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 126 fehlerhafte Eingabedaten und Benutzer-Feedbacks als Trigger für programmierte Voreingenommenheit; Shrestha/Ben-Menahem/von Krogh, California Management Review Organizational Decision-Making Structures in the Age of Artificial Intelligence, S. 12 s. Teil 1 Fn. 32; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 24. 155  Kamalnath, 83 Alb. L. Rev. 43 (2019), S. 13 s. Teil 2 Fn. 74. 156  Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 24 diskutieren aus diesem Grund ein Anlernen durch den Aufsichtsrat oder sonstige Dritte; ebenfalls Bedenken äußernd Weber/Kiefner/Jobst, NZG 2018, 1131, 1133. 153  Kamalnath,

114

Teil 2: Das Pflichtenprogramm des Vorstands

tifikat bieten, welches die geprüfte Unbeeinflussbarkeit nachweist.157 Ob ein solches Neutralitätssiegel tatsächlich unabdingliche Voraussetzung für die Annahme einer angemessenen Informationsbasis im Sinne des § 93 Abs. 1 S. 2 AktG sein sollte, bleibt indes zweifelhaft. Das Kriterium der Unabhängigkeit darf zumindest nicht verabsolutiert werden.158 Eine gewisse Unsicherheit ist nicht vermeidbar. So lässt sich auch menschliche Unabhängigkeit im Vorfeld nur schwer beurteilen, sofern nicht bereits die Seriosität gewisser Berufsstände ein berechtigtes Objektivitätsvertrauen begründet. Im Regelfall ist lediglich zu fordern, dass der Vorstand naheliegende Beeinflussungsfak­ toren prüft und ggf. ausschließt.159 Beizupflichten ist in diesem Zusammenhang auch Li, die darauf hinweist, dass sich betriebsbedingt nachgelagert begründete Neutralitätsprobleme durch verfälschte Daten oder beeinflusste Rückmeldungen nicht oder jedenfalls nur mäßig durch eine im Vorfeld des Erwerbs durchzuführende Voreingenommenheitsprüfung aufdecken lassen, sondern vielfach erst im Rahmen der späteren Ergebnisplausibilisierung zu Tage treten.160 Die Tatsache, dass das KI-System als unternehmenseigenes System ohne Einbindung von Drittanbietern eingesetzt wird, ist für sich genommen nicht als K.O.-Kriterium für die Neutralität anzusehen. Insofern lässt sich eine Parallele zur Frage der unabhängigen Beratung durch eine unternehmensinterne Rechtsabteilung ziehen.161 Die Beratung des Vorstands durch die eigene Rechtsabteilung wird im juristischen Schrifttum ganz überwiegend dem Grunde nach als ebenso unabhängig erachtet, wie die eines externen Rechtsdienstleisters; es komme einzig auf die sachliche – nicht auf die persönliche – Unabhängigkeit an.162 Entscheidend ist allein die ohne Beeinflussung erfolgende Stellungnahme im Einzelfall.163

157  Zur Möglichkeit der Überprüfung der KI-Eigenschaften ausführlich unter Teil 2 B. I. 2. b) bb) (2). 158  Spindler, in: MüKo/AktG, § 93 Rn. 94. 159  Ähnlich auch Grigoleit/Tomasic, in: Grigoleit, AktG, § 93 Rn. 61. 160  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 126. 161  So auch Hoch, AcP 219 (2019), 648, 676. 162  BGH, Urt. v. 28.04.2015 – Az.: II ZR 63/14 = NZG 2015, 792 Rn. 36; Binder, ZGR 2012, 757, 770 f.; Hölters/Hölters, in: Hölters/Weber, AktG, § 93 Rn. 233; Rieckers, in: Beck’sches M&A-HdB, Kap. 5. § 26 Rn. 77; Spindler, in: MüKo/AktG, § 93 Rn. 94; Steber, DStR 2015, 2391, 2394; Strohn, ZHR 176 (2012), 137, 140; a. A. Heckschen, in: BeckNotar-HdB, § 23 Rn. 200. 163  Ähnlich Junker/Biederbick, AG 2012, 898, 902 f.



B. Sorgfaltspflichten des Vorstands115

(d) Rechenschaftsfähigkeit Sich rechtfertigen und erklären können – was im Kontext menschlicher Beratung keiner konkreten Erwähnung bedarf,164 ist im Bereich der Entscheidungsunterstützung durch KI als besondere Herausforderung einzustufen.165 So verlangt bereits Art. 13 Abs. 1 S. 1 VO-E Artificial Intelligence Act für Hochrisiko-KI-Systeme eine Konzeption, die der Unverständlichkeit und Komplexität der technischen Vorgänge entgegenwirkt, „damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können“.166

Bereits im ersten Teil der Untersuchung wurde indessen festgestellt, dass KI-Systeme nach derzeitigem Stand der Wissenschaft und Technik kaum in der Lage sind, ihre Resultate für Menschen verständlich zu begründen (Blackbox-Problematik); als Untersuchungsergebnis wurde weiterhin festgehalten, dass das Merkmal der Nachvollziehbarkeit bzw. Rechenschaftsfähigkeit zumindest für KI-Systeme im informationsbeschaffenden Bereich gerade keine unabdingbare Nutzungsvoraussetzung darstellt.167 Unbeschadet dessen ist die Fähigkeit des KI-Systems, seine Ergebnisse argumentativ zu untermauern, für den Vorstand von besonderer Wichtigkeit und gerade für Programme mit beratender Funktion überaus bedeutsam.168 Ein Algorithmus, der lediglich die Richtung aufzeigt, ohne sie zu begründen, dessen Ausgabevariation auf schlichte Handlungsempfehlungen oder Ergebnisse, wie „Ja“ und „Nein“ beschränkt ist, wird als singuläre Informationsquelle zur unternehmerischen Unterstützung in absehbarer Zukunft wohl nicht tauglich sein, da es sowohl an einer Verständnis- als auch an einer Verlässlichkeitsgrundlage fehlt.169 Gleichwohl wird von einer Eignung und Brauchbarkeit intelligenter Software nicht erst auszugehen sein, wenn eine lückenlose Trans­ parenz und menschlich-laienhafte Nachvollziehbarkeit gewährleistet ist, son164  Die Anforderung der Rechenschaftsfähigkeit lässt sich – wenn überhaupt – nur zwischen den Zeilen der (auf menschliche Beratung zugeschnittenen) ISION-Rechtsprechung wiederfinden. Soweit dort gefordert wird, der Vorstand müsse die Experten-Stellungnahme plausibilisieren, impliziert dies, dass das gutachterliche Beratungsergebnis umfassend zu begründen ist. 165  Siehe hierzu bereits Teil 1 B. I. 1. a) aa). 166  Vgl. hierzu auch Erwägungsgrund Nr. 47 des VO-E Artificial Intelligence Act COM(2021) 206 final. 167  Siehe hierzu Teil 1 B. I. 1. b). 168  Rechtfertigungsdefizite führen nicht bloß zu einer eingeschränkten Tauglichkeit der KI-Ergebnisse als Informationsgrundlage, sie machen das KI-System auch anfälliger für versteckte Angriffe und unerkannte Manipulationen, vgl. Shrestha/BenMenahem/von Krogh, California Management Review Organizational Decision-­ Making Structures in the Age of Artificial Intelligence, S. 5 s. Teil 1 Fn. 32. 169  Enriques/Zetzsche, ECGI Law WP 457/2019, S. 35.

116

Teil 2: Das Pflichtenprogramm des Vorstands

dern alternativ auch dann, wenn sich durch häufiges Testen und korrekte Ergebnisse die Leistungsfähigkeit bzw. der Mehrwert der (Blackbox-)KI belegen lässt.170 So kann nach hiesiger Einschätzung beispielsweise auch die nicht begründete Einstellungsempfehlung des sorgfältig ausgewählten und überwachten, langjährig im Recruiting tätigen und verlässlichen (menschlichen) Mitarbeiters eine nützliche und ausschlaggebende Information für den Vorstand darstellen.171 Dementsprechend werden nach hier vertretener Auffassung auch die Anforderungen an die Erklärbarkeit KI-gestützter Ergebnisse auf der Zeitachse gesehen, parallellaufend mit dem digitalen Fortschritt und der Marktetablierung, kontinuierlich abnehmen. Gegenwärtig bietet sich jedenfalls die folgende Differenzierung an: Sofern eine Begründung des KIErgebnisses nach dem jeweiligen Stand der Technik mit zumutbarem Aufwand erzeug- und einsehbar ist, muss auch der sorgfältige Geschäftsleiter, d. h. der Vorstand, diesen Anspruch an das potenzielle KI-System stellen. Fehlt dem System hingegen die Fähigkeit, „Rede und Antwort zu stehen“, ist es als digitales Hilfsmittel zur Leitungsberatung wohl nicht generell als untauglich anzusehen. Der Vorstand dürfte das unbegründete KI-Ergebnis aufgrund der beschränkten Aussagekraft172 aber ohne vernünftige und objektive Zuverlässigkeitsindizien lediglich ergänzend als Teil einer Informationskette behandeln und seiner Leitungsentscheidung nicht als alleinige Faktenbasis zugrunde legen. Er dürfte vielmehr nur auf das KI-Ergebnis aufsetzen und müsste zusätzlich andere Informationsquellen in den Entscheidungsprozess einbeziehen und eigene Überlegungen anstellen.173 Anderenfalls würde sich das Leitungsorgan bewusst auf einen Blindflug begeben, indem es auf ein „wortkarges Orakel“ vertraut. Mit einem Handeln auf der Grundlage ange-

170  Bitkom e. V., Entscheidungsunterstützung mit Künstlicher Intelligenz, S. 8, a­brufbar unter: http://www.kmu-digital.eu/de/service-kompetenz/publikationen/doku mente/studien/412-entscheidungsunterstuetzung-mit-kuenstlicher-intelligenz (zuletzt abgerufen am 24.04.2022). 171  Auch stellt Fleischer, in: Vorstandsrecht, § 8 Rn. 33 fest, dass „die Anforderungen an die Überwachung bei einer langjährigen vertrauensvollen Zusammenarbeit“ sinken; ähnlich betont Weißhaupt, ZHR 185 (2021), 91, 99, 123, dass der Vorstand „auf Prüfungen von Vor- und Fachfragen sowie Zusammenfassungen und sonstige Informationsverdichtungen im Rahmen von Entscheidungsvorlagen vertrauen“ dürfe, solange sich keine Widersprüche oder Unvollständigkeiten ergäben; des Weiteren dürften die Anforderungen an die „Plausibilisierung der Rückmeldung […] abhängig von der Tragweite“ der Entscheidung nicht überspannt werden. 172  Auch nach Weber/Kiefner/Jobst, NZG 2018, 1131, 1133 ist ein alleiniges Vertrauen auf das KI-Ergebnis im Falle nicht gegebener Nachvollziehbarkeit undenkbar. 173  Im Allgemeinen so auch Herberger, NJW 2018, 2825, 2828; ähnlich Gassner, in: Digital Law, S. 95; Noack, in: FS Windbichler, 947, 954; Weber/Kiefner/Jobst, NZG 2018, 1131, 1133; auch Harbarth, ZGR 2017, 211, 231 betont, ein naives Vertrauen werde nicht geschützt.



B. Sorgfaltspflichten des Vorstands117

messener Informationen hätte ein solches Verhalten nichts mehr zu tun.174 Von der an dieser Stelle untersuchten Fragestellung der Rechenschaft als besonderes Auswahlkriterium streng zu trennen ist freilich die Frage, ob den Vorstand die Pflicht trifft, das KI-Resultat finalisierend selbst zu würdigen.175 Näherer Betrachtung bedarf weiterhin, welcher Erklärungssaufwand dem „algorithmischen Unternehmensberater“ – bei arbeitshypothetisch vorausgesetzter technischer Umsetzbarkeit – abverlangt werden sollte. Hier liegt es nahe, die Anforderungen der Business Judgement Rule (§  93 Abs.  1 S. 2 AktG) als Orientierungspunkt heranzuziehen. Dementsprechend ist zunächst die Offenlegung der Informationsgrundlage zu fordern.176 Von welchem Sachverhalt und welcher Fragestellung ist das System ausgegangen? Welche Daten wurden verarbeitet und aus welchen Quellen stammen sie? Welche Informationen wurden als besonders ergebnisrelevant eingestuft?177 Auch die entscheidenden Subsumtionsvorgänge und Schlussfolgerungen sollten für den Vorstand einsehbar sein. Die Begründung ist so auszugestalten, dass sie dem technisch unerfahrenen Vorstand ermöglicht, die „Gedankengänge“ bzw. das Argumentationsmuster der KI in den wesentlichen Zügen nachzuvollziehen.178 Ebenjene Angaben sollten neben einer „Executive Summary“ in einem „Rechtfertigungsteil“ textlich übersichtlich und in verständlicher Sprache von der KI generiert werden.179 Die Erläuterung sollte einen der jeweiligen Aufgabenstellung gerecht werdenden (ggf. auch optional auf-

174  So auch Noack, in: FS Windbichler, 947, 954; Weber/Kiefner/Jobst, NZG 2018, 1131, 1133. 175  Hierzu ausführlich Teil 2 B. I. 2. b) gg) (3) (a). 176  Ähnlich auch Weber/Kiefner/Jobst, NZG 2018, 1131, 1133, wobei darauf hingewiesen wird, dass die Unmenge an Verknüpfungen einer Nachvollziehbarkeit dennoch im Wege stünde; Überlegungen zur Ausgestaltung der Begründung einer Rechtsberatung durch Legal Robots auch bei Hoch, AcP 219 (2019), 648, 653, 681. 177  Kamalnath, 83 Alb. L. Rev. 43 (2019), S. 13 s. Teil 2 Fn. 74 spricht sich dafür aus, die wichtigsten Informationen besonders hervorzuheben; auch Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 29 hält eine entsprechende „Filterfunktion“ für sinnvoll. 178  Thematisierend auch Belcastro, 4 Geo. L. Tech. Rev. 263, 274, wobei darauf hingewiesen wird, dass es schwer möglich ist, die Erwägungen des KI-Systems offenzulegen. Es solle daher genügen, dass die der Entscheidung zugrundeliegenden Informationen wie auch die Umstände, unter denen die Entscheidung getroffen wurde, dargelegt werden; auch Strohn, CCZ 2013, 177, 183 plädiert für eine laienhafte Verständlichkeit des Gutachtens (allerdings bezogen auf den Bereich der Rechtsberatung). 179  So auch Linardatos, ZIP 2019, 504, 505; ähnlich Wagner, BB 2018, 1097, 1103.

118

Teil 2: Das Pflichtenprogramm des Vorstands

fächerbaren) angemessenen Detailgrad besitzen.180 Nur auf diese Weise lässt sich der KI-Lösungsvorschlag Schritt für Schritt nachvollziehen und überprüfen. Zweckdienlich wäre auch eine Funktion, die es erlaubt, das KI-System mit Rückfragen zu konfrontieren. Auf diese Weise könnten Verständnisprobleme interaktiv zwischen der Geschäftsleitung und dem KI-System zügig beseitigt werden. Nicht erforderlich ist nach diesseitiger Auffassung eine zusätzliche Erläuterung der grundsätzlichen Wirkungsweise der verwendeten Algorithmen.181 Sofern das KI-Ergebnis ausreichend sachlich begründet wird, ist eine Offenlegung der Lernalgorithmen überflüssig und im Übrigen für den Vorstand wahrscheinlich kaum verständlich. (2) Überprüfung der KI-Eigenschaften Es schließt sich die Frage an, welche Anstrengungen der Vorstand im Vorfeld unternehmen muss, um die vorstehend aufgezeigten Programmeigenschaften und KI-Qualitätsmerkmale sicherzustellen. Diskussionswürdig ist insbesondere, an welchen Qualitätsmaßstäben sich die Geschäftsleitung orientieren sollte. (a) Z  ertifikate, Gütesiegel, Standards, Prüfzeichen, Sicherheitskennzeichen und Testate KI-Systeme sind komplexe und undurchsichtige Technologieprodukte. Diese Tatsache erschwert den Erwerbern ein gesamtheitliches Verständnis der technischen Hintergründe und Funktionen. Zertifikate und Gütesiegel könnten daher ggf. verlässliche Anhaltspunkte bilden und ex ante eine erste Beurteilung der technischen Qualität und Leistungsvielfalt ermöglichen.182 Teilweise wird in diesem Kontext differenzierungslos die These aufgestellt, ein assistierendes KI-System im Leitungsbereich einer Aktiengesellschaft dürfe erst dann zum Einsatz kommen, wenn eine entsprechende Zertifizierung bzw. Konformitätsbewertung durchgeführt wurde.183 Wieder andere 180  Martini, Blackbox Algorithmus, S. 197 bespricht in einem anderen Kontext die Tiefe der Entscheidungsbegründung. Hierbei orientiert er sich an § 39 Abs. 1 S. 2 VwVfG und fordert, der Anwender müsse über „die grundsätzliche Entscheidungsstruktur und die im Einzelfall entscheidungsleitenden Prinzipien“ in Kenntnis gesetzt werden. 181  A. A. Wagner, BB 2018, 1097, 1103. 182  Martini, Blackbox Algorithmus, S. 323; Noack, ZHR 183 (2019), 105, 128. 183  Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 16 (s. Einführung Fn. 16); nach diesseitigem Verständnis sollte ein risikobasierter Ansatz verfolgt werden (vgl. hierzu bereits Teil 2 B. I. 2. b) bb) (1) (b) (bb)).



B. Sorgfaltspflichten des Vorstands119

Autoren vertreten den Standpunkt, eine in Ermangelung von Standards und Richtlinien unzureichende Qualitätsbeurteilung im Vorhinein könne durch besonders engagierte Überwachungsmaßnahmen ausgeglichen werden.184 Es kann jedenfalls nicht als ausreichend angesehen werden, dass sich der Vorstand lediglich auf die Qualifikation des KI-Anbieters bzw. Herstellers zurückzieht.185 (aa) Zertifizierungen und Standards nach derzeitigem Stand Der praktische Bedarf, „Qualitäts-KI“ zügig anhand bestimmter Merkmale oder Kennzeichen zu identifizieren, ist bereits seit längerer Zeit erkannt. Seitdem betätigen sich verschiedenste Institutionen auf diesem Gebiet. Während erste KI-Standards bereits veröffentlicht wurden, befinden sich einige Normungs- und Zertifizierungsprojekte in der Planung und entwickeln sich rasant fort.186 Auf nationaler Ebene hat das Deutsche Institut für Normierung (DIN e. V.) beispielsweise bereits im April 2019 und im Dezember 2020 zwei DINSpezifikationen (DIN SPEC 920011 und -2) veröffentlicht, welche die Qualitätssäulen Funktionalität, Leistung, Robustheit und Verständnis aufgreifen und hierzu einheitliche KI-Standards definieren.187 Ferner hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) im Februar 2021 einen Kriterienkatalog für KI-basierte Cloud-Dienste (Artificial Intelligence Cloud Services Compliance Criteria Catalogue, kurz: AIC4) entwickelt. Der Katalog legt ein Basisniveau fest und lässt auf diese Weise eine Bewertung Cloudbasierter KI-Systeme unter dem Aspekt der Informationssicherheit zu.188 Hervorzuheben ist in diesem Zusammenhang auch die Initiative „Zertifizierte KI“ der interdisziplinären Kompetenzplattform KI.NRW,189 welche es sich zum Ziel gesetzt hat, „eine Zertifizierung für KI-Anwendungen zu entwickeln, 184  In diese Richtung tendierend wohl Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133. 185  Ähnlich auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133. 186  Auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 124 erläutert knapp die KI-bezogenen Normungsbestrebungen. 187  Um die KI-Qualität nachhaltig sicherzustellen, sind lt. DIN eV weitere Standards, aufbauend auf der DIN SPEC 92001-1 und -2, geplant. 188  AIC4-Kriterienkatalog des BSI, abrufbar unter: https://www.bsi.bund.de/DE/ Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenst liche-Intelligenz/AIC4/aic4_node.html (zuletzt abgerufen am 24.04.2022). 189  Grundlage bildet eine Kooperationsvereinbarung zwischen dem Frauenhofer IAIS und dem BIS, vgl. die Pressemitteilung vom 24.11.2020, abrufbar unter: https:// www.ki.nrw/wp-content/uploads/2020/11/PI_KI-Zertifizierung_MWIDE_KINRW_ 24.11.2020.pdf (zuletzt abgerufen am 24.04.2022).

120

Teil 2: Das Pflichtenprogramm des Vorstands

die neben der Absicherung der technischen Zuverlässigkeit auch einen verantwortungsvollen Umgang aus ethisch-rechtlicher Perspektive prüft“.190 Ebenso energisch wird die Zertifizierungsthematik auf unionaler Ebene vorangetrieben. Wie bereits in der Einführung angedeutet,191 hat die Hochrangige Expertengruppe für künstliche Intelligenz im Juli 2020 mit der „­Assessment List for Trustworthy Artificial Intelligence“ einen ersten Fragenkatalog entwickelt, der KI-Entwicklern und Anwendern als Leitfaden dienen soll und die Themenkomplexe menschliche Autorität und Aufsicht, technische Robustheit und Sicherheit, Datenschutz und Data Governance, Transparenz, Vielfalt, Nicht-Diskriminierung und Fairness, ökologisches und gesellschaftliches Wohlverhalten und Verantwortlichkeit in den Fokus nimmt. Aber auch legislativ könnte sich in absehbarer Zeit eine EU-weite Zertifizierung von KI-Systemen durchsetzen. So sieht Art. 19 VO-E Artificial Intelligence Act für Anbieter von Hochrisiko-KI-Systemen192 vor, dass diese das jeweilige KI-System vor dem Inverkehrbringen einer ex-ante-Konformitätsprüfung gemäß Art. 43 VO-E Artificial Intelligence Act unterziehen, wobei die Überprüfung nach derzeitigem Entwurfsstand je nach Fallgestaltung zwei unterschiedliche Durchführungswege vorsieht.193 Vorgesehen ist für die Mehrzahl der Fälle eine interne Selbstkontrolle und nur in Ausnahmefällen eine Bewertung des Qualitätsmanagementsystems unter Beteiligung einer notifizierten Konformitätsbewertungsstelle (vgl. Art. 43 Abs. 1 S. 1 lit. a, lit. b VO-E Artificial Intelligence Act). Es spricht nach hiesiger Auffassung einiges dafür, Konformitätsbewertungsverfahren dieser Art auf freiwilliger Basis auch für KI-Systeme ohne eine entsprechend hohe Risikoklassifizierung anzubieten, wobei Skepsis angebracht ist, ob eine Selbstbewertung überhaupt den Schutzund Kennzeichnungszweck erfüllt.194 Eine für Außenstehende sichtbare EUweite CE-Konformitätskennzeichnung, wie sie in Art. 49 VO-E Artificial Intelligence Act für den Fall einer positiven Konformitätsbewertung vorgesehen ist, besäße jedenfalls das Potential, sektorübergreifend als Testat bzw.

190  Whitepaper des Fraunhofer Institut für Intelligente Analyse- und Informationssysteme IAIS, Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, abrufbar unter: https://www.ki.nrw/wp-content/uploads/2020/03/Whitepaper_KI-Zertifizierung. pdf (zuletzt abgerufen am 24.04.2022). 191  Siehe hierzu Einführung B. II. 2. 192  Näher spezifiziert in Anhang III des VO-E Artificial Intelligence Act COM(2021) 206 final. 193  Feststellend auch Ebert/Spiecker, NVwZ 2021, 1188, 1191. 194  Zweifelnd auch Ebert/Spiecker, NVwZ 2021, 1188, 1193; ebenso Ebers/Hoch/ Rosenkranz/Ruschemeier/Steinrötter, RDi 2021, 528, 533; auch Enriques/Zetzsche, ECGI Law WP 457/2019, S. 56, sehen jedenfalls eine private Zertifizierungsmöglichkeit ohne staatliche Überwachung kritisch.



B. Sorgfaltspflichten des Vorstands121

allgemeines Qualitätsmerkmal anerkannt zu werden und könnte dem Vorstand ggf. eine Orientierungshilfe bieten. Nicht zuletzt arbeitet auch die International Organization for Standardization (kurz: ISO) bzw. deren Komitee ISO/IEC JTC 1/SC 42 Artificial Intelligence seit Mai 2021 u. a. an einer Qualitätsbewertungsrichtlinie für KI-Systeme (ISO/IEC AWI TS 5471). (bb) Zweck und Nutzen der Zertifizierung Soweit einheitliche Standards und Zertifizierungsverfahren existieren, können Anbieter von KI-Systemen Qualitätsversprechen bzw. Selbstverpflichtungen auf den jeweiligen Standard abgeben195 und/oder Konformitätsprüfungen durch unabhängige Auditoren durchführen lassen. Anzumerken ist in diesem Zusammenhang aber, dass die derzeit verfügbaren und in Planung befindlichen Standards und Leitlinien überwiegend generell gehalten sind, mithin sämtliche KI-Systeme und Wirtschaftsakteure erfassen sollen.196 Dieser Grad an Abstraktheit erscheint im derzeitigen Stadium der Entwicklung und Markterschließung von KI-Systemen nachvollziehbar und angebracht. Er wirkt sich jedoch negativ auf eine aussagekräftige Qualitäts- und Konformitätsbewertung spezialisierter KI-Systeme aus.197 Zum Teil wird auch kritisiert, dass Zertifikate bloß ein Urteil über den Status quo des KI-Systems im Testzeitraum zulassen.198 Zu beachten ist deshalb, dass die Eignung entsprechender Zertifikate stets einzelfallabhängig zu beurteilen ist und diese von Fall zu Fall möglicherweise nur eine Scheinsicherheit vermitteln. Faktoren, wie der Umfang des vom Zertifikat erfassten Prüfkatalogs, die Neutralität und Expertise des Auditors, die Qualität des Prüfberichtes und der konkret beabsichtigte Anwendungsfall der KI haben maßgeblichen Einfluss auf die Aussagekraft des jeweiligen Zertifikats. Wird die Bewertung durch eine nicht-staatliche bzw. nicht staatlich akkreditierte Prüfstelle durchgeführt, besteht außerdem die erhöhte Gefahr einer Ausstellung von Gefälligkeitsbescheinigungen – dies veranschaulicht den dringenden Bedarf einer unabhän-

195  Hierzu

auch Vogel, Künstliche Intelligenz und Datenschutz, S. 227 ff. bemängelnd Dettling, PharmR 2019, 633, 639 f., jedoch bezogen auf den KI-Einsatz im Gesundheitswesen. 197  In der Tendenz so auch Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 15; ebenso Zetzsche, AG 2019, 1, 8, der darauf hinweist, dass die „konkrete Anwendung im Unternehmenskontext“ regelmäßig nicht vom Zertifizierungsgegenstand erfasst sei. 198  Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 15 sprechen insoweit von einer „Momentaufnahme“; Zetzsche, AG 2019, 1, 8. 196  Ebenfalls

122

Teil 2: Das Pflichtenprogramm des Vorstands

gigen behördlichen Zertifizierung von KI-Systemen.199 Kurz gesagt impliziert das Vorhandensein eines Zertifikats nicht in jedem Fall die Sorgfältigkeit der Auswahlentscheidung des Vorstands. Prüfungsstandards besitzen grundsätzlich keine Rechtsnormqualität, vielmehr handelt es sich jeweils bloß um „Meinungsäußerungen eines fachlich kompetenten Gremiums“,200 die den Gerichten in gewissem Maße als Auslegungshilfe von Rechtsnormen dienen können.201 Der Vorstand wird deshalb häufig nicht umher kommen, ergänzend eine eigenständige Risiko-/Nutzenanalyse durchzuführen.202 (b) Zulassungspflicht Ein behördliches Produktzulassungsverfahren – was für spezielle Medizinund Arzneimittelprodukte längst gang und gäbe ist203 – könnte auch für KITools ein probates Mittel zur Steuerung der Risiken darstellen.204 Diskutieren lässt sich, ob die Markteinführung selbstlernender Software zur unterneh­ merischen Entscheidungsunterstützung und Informationsversorgung der Geschäftsleitung de lege ferenda präventiv von der Durchführung eines staat­ lichen Zulassungsverfahrens – organisiert und durchgeführt etwa von einer eigens hierfür eingerichteten Behörde, beispielsweise einer Bundesaufsicht für KI-Systeme oder dem BSI – abhängig gemacht werden sollte.205 Zugelassene Systeme könnten in ein öffentliches Verzeichnis, ein KI-Register, aufgenommen werden und eine Identifikationsnummer zur eindeutigen Zuordnung 199  Ähnliche Überlegungen anstellend Becker/Pordzik, ZfPW 2020, 334, 350, die darauf hinweisen, dass ein allg. anerkannter Software-TÜV (noch) nicht existiert; auch Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 16 (s. Einführung Fn. 16), fordern eine Regulierungsbehörde für KI-Systeme; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 124 betont, dass KI-Zertifizierungen erst dann möglich sind, wenn entsprechende KI-Normen zur Bewertung existieren. 200  Böttcher, NZG 2011, 1054, 1055. 201  Böttcher, NZG 2011, 1054, 1055 f. 202  Nach Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 22 könne die fachliche Qualifikation der KI z. B. auch durch die „Expertise der Programmierer oder die Anzahl der durchgeführten Feedbackrunden nachgewiesen werden“. 203  Vgl. §§  21 ff.  AMG. 204  Hierzu auch Vogel, Künstliche Intelligenz und Datenschutz, S. 206 ff.; Zulassungsverfahren begründen sich mit dem sog. Vorsorgeprinzip – dazu ausführlich Martini, Blackbox Algorithmus, S. 120. 205  Überlegungen hierzu für den Anwendungsfall sog. „Legal Robots“ wegen des Rechtsdienstleistungscharakters bei Hoch, AcP 219 (2019), 648, 667 f., 677 (dort Fn. 98); auch Noack beschreibt in: FS Windbichler, 947, 959 zurecht, dass in diesem Fall die „Wiederkehr des Konzessionssystems“ zu erwarten sei und die „KI-gesteuerte Unternehmensziele“ vorab kontrolliert werden müssten.



B. Sorgfaltspflichten des Vorstands123

erhalten. Je komplexer die Entscheidungsmaterie und je folgenträchtiger die Geschäftsentscheidung, desto eher könnte man geneigt sein, den Ansatz zu vertreten, ein entsprechender Regulierungsaufwand sei aus Gründen der Qualitätssicherung gerechtfertigt.206 Eine solche Betrachtungsweise ließe jedoch außer Acht, dass der Staat prophylaktisch unter Berufung auf seine grundrechtlich verbürgten Schutzpflichten nur dann in die Prozesse der freien Marktwirtschaft eingreifen darf, wenn dies als Ergebnis einer umfassenden Güterabwägung gerechtfertigt erscheint.207 Dies wird bisweilen nur bei Lebens- oder Gesundheitsgefahren angenommen. KI-Systeme als Hilfssysteme im Bereich der Unternehmensführung könnten allenfalls mittelbar – als Konsequenz der Entscheidungsumsetzung durch die Geschäftsleitung – zu Schäden dieser Art führen.208 Auch datenschutzkritische Produkte unterliegen jedenfalls bislang noch keiner Marktzulassungsschranke. Vor diesem Hintergrund ist auch zu beachten, dass Beschränkungen des Markteintritts Innovationen behindern und den technischen Fortschritt verlangsamen können.209 Zudem wird teilweise vorgebracht, stetig veränderliche und wandelbare Software sei einer vorbeugenden Zulassungskontrolle kaum zugänglich.210 Produktrisiken, die Leib und Leben nicht unmittelbar tangieren, sollten daher nach hier vertretener Ansicht weiterhin durch nachträgliche Ansätze der Sanktionierung und Schadensregulierung – etwa nach dem ProdHaftG, der DSGVO, dem Sachmängelgewährleistungsrecht und dem Deliktsrecht – aufgefangen werden. (c) Gebrauchsanweisung Als alternatives oder zusätzliches Medium zur Überprüfung der KI-Eigenschaften könnte eine Funktionsbeschreibung des Anbieters211 oder auch eine Gebrauchsanweisung mit gesetzlich fest vorgeschriebenem Inhalt, wie dies

206  Ähnliche Überlegungen bei Vogel, Künstliche Intelligenz und Datenschutz, S.  206 ff. 207  Dies diskutierend im Kontext des Arzneimittelrechts Dettling, PharmR 2005, 162, 163, 168 ff. 208  Ähnlich – jedoch allgemeiner hierzu – Martini, Blackbox Algorithmus, S. 119, 135: von der überwiegenden Zahl der KI-Systeme gehe – anders als bei autonomen Fahrzeugen Pflegerobotern o. ä. – gerade keine „substanzielle Einwirkung auf individuelle Rechtspositionen Dritter“ aus. 209  Martini, Blackbox Algorithmus, S. 122. 210  In diese Richtung tendierend Martini, Blackbox Algorithmus, S. 249. 211  Hierzu auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 125, welche exemplarisch die Produktbeschreibung des KI-Systems „IBM Cognos Analytics“ in den Blick nimmt.

124

Teil 2: Das Pflichtenprogramm des Vorstands

auch Art. 13 Abs. 2, Abs. 3 VO-E Artificial Intelligence Act vorsieht,212 dienen. Eine solche Gebrauchsanweisung wäre obligatorisch durch den Hersteller bzw. Anbieter des KI-Systems dem Vorstand als Systemnutzer bereitzustellen und sollte u. a. Informationen über die Art und Weise der Verwendung, etwaige Risiken sowie den Leistungsumfang und dessen Grenzen enthalten. Betriebsanleitungen der vorstehend beschriebenen Art könnten insoweit gleich zweierlei Aufgaben erfüllen. Einerseits könnten sie das Auswahlverfahren erleichtern, indem sie dem Vorstand anhand ihrer gesetzlich klar definierten inhaltlichen Mindestanforderungen einen ersten Überblick über die wichtigsten Systemfunktionen sowie über etwaige Risiken verschaffen. Andererseits dürfte die Gebrauchsanweisung auch als pflichtkonkretisierendes Nutzerhandbuch dienen und dem Vorstand seine Kontroll- und Organisa­ tionspflichten vorgeben und verdeutlichen.213 (d) Sachverständige Überprüfung Für den Vorstand kann sich – ähnlich wie bei den meisten größeren Anschaffungen im privaten und unternehmerischen Bereich – auch im Hinblick auf den Einkauf eines KI-Systems eine Vorprüfung durch einen spezialisierten Sachverständigen zur Qualitätsbeurteilung sowie aus Gründen der Haftungsverlagerung empfehlen. In der im Jahre 2021 neu eingefügten Vorschrift des § 80 Abs. 3 S. 2 BetrVG heißt es: „Muss der Betriebsrat zur Durchführung seiner Aufgaben die Einführung oder Anwendung von Künstlicher Intelligenz beurteilen, gilt insoweit die Hinzuziehung eines Sachverständigen als erforderlich.“

Mit dieser „Erforderlichkeitsfiktion“ bringt der Gesetzgeber zum Ausdruck, dass die Inanspruchnahme eines Experten im Rahmen der Aufgabenerfüllung des Betriebsrats in jedem Fall als zweckmäßig und berechtigt anzusehen ist, soweit es um die Überprüfung eines KI-Systems geht. Diese Grundannahme ist zum einen auf die Vielschichtigkeit, Komplexität und Unberechenbarkeit von KI-Systemen zurückzuführen.214 Zum anderen lässt sich die Regelung aber auch damit begründen, dass die Mitglieder des Betriebsrats auf diesem Gebiet noch nicht ausreichend geschult sind. Nach hier vertretener Ansicht lässt sich der zitierten Vorschrift jedenfalls eine verallgemeinerungsfähige Wertung entnehmen, die im Grundsatz auch für Führungskräfte einer Aktiengesellschaft Geltung beansprucht: Steht die betriebliche Auswahl- und Ein212  Art. 13 Abs. 3 lit. a)-e) VO-E Artificial Intelligence Act enthält einen umfassenden Katalog inhaltlicher Vorgaben an die Gebrauchsanweisung für Hochrisiko-KISysteme. 213  Siehe hierzu auch Teil 2 B. I. 2. b) ff). 214  Althoff, ArbRAktuell 2021, 151, 152.



B. Sorgfaltspflichten des Vorstands125

satzentscheidung über ein KI-System bevor, ist ein besonderer Bedarf an Unterstützung und Sachverstand durch externe Berater anzuerkennen bzw. indiziert.215 Demzufolge ist auch der Vorstand gut beraten, zur Beurteilung der Eignung, Leistung und Funktionstüchtigkeit eines leitungsunterstützenden KI-Systems im Zweifelsfall die Expertise eines Sachverständigen einzuholen. (e) Funktionstest, Vorführung Sofern praktisch umsetzbar, sollte vor Abnahme auch eine Systemerprobung in Form eines Funktionstests durchgeführt werden.216 Hierzu könnte die KI ggf. mit einer Testaufgabe konfrontiert und sodann ein Abgleich zwischen den erbrachten Resultaten und dem aufgestellten Anforderungsprofil (u. a. nach Geschwindigkeit, Lernfähigkeit, Fehleranfälligkeit, Ergebnisdarstellung und erläuterung) durchgeführt werden. Ein technisches Verständnis der systemischen Funktionsweise ist dem Vorstand im Rahmen der Auswahlentscheidung217 nach hiesiger Einschätzung aber nicht abzuverlangen.218 In gleichgelagerter Weise wird man auch von dem Erwerber eines selbstfahrenden Fahrzeugs nicht fordern können, den technischen Hintergrund der autonomen Fahrweise nachzuvollziehen oder den hinter dem führerlosen Fahren stehenden Algorithmus zu prüfen, bevor er den Fahrservice in Anspruch nimmt. Im Idealfall lässt sich ein unfach­ männischer („laienhafter“) Test durchführen, sofern das System über ein benutzerfreundliches User Interface verfügt, das für „Nicht-IT-Spezialisten“ entwickelt wurde. Sollte die Erprobung indessen technischen Sachverstand voraussetzen, könnte der Test bzw. die Vorführung ggf. unter Anleitung des 215  Ähnlicher Wortlaut in der Gesetzesbegründung zum Betriebsrätemodernisierungsgesetz BT-Drs. 19/28899, S. 14 f. 216  So auch die Vorgabe der BaFin, MaRisk AT 7.2 Tz. 3, abrufbar unter: https:// www.bafin.de/SharedDocs/Veroeffentlichungen/DE/Rundschreiben/2021/rs_1021_ MaRisk_BA.html?nn=9450904#doc16502162bodyText30 (zuletzt abgerufen am 24.04.2022), welche von Instituten die Etablierung eines Regelprozesses des Testens, der Freigabe und der Implementierung fordert. 217  Die Frage nach der Erforderlichkeit KI-technischen Sachverstands im Vorstand stellt sich zudem, soweit es einerseits um die Überwachung und Organisation i. R. d. KI-Risikomanagements geht (siehe hierzu Teil 2 B. I. 2. b) ee)) und andererseits i. R. d. Plausibilisierung des KI-Ergebnisses (siehe hierzu Teil 2 B. I. 2. b) gg) (2)). 218  So auch Becker/Pordzik, ZfPW 2020, 334, 349; ebenfalls Veith, Künstliche Intelligenz, Haftung und Kartellrecht, S. 122 mit Blick auf den durchschnittlichen KI-Nutzer; anders Altenburg, CSR und Künstliche Intelligenz, S. 6, der eine Digitalbzw. KI-Kompetenz des Vorstands für erforderlich hält, um über das Algorithmendesign und die Art und Weise der Implementierung zu entscheiden.

126

Teil 2: Das Pflichtenprogramm des Vorstands

KI-Anbieters,219 eines Sachverständigen220 oder eines kompetenten unternehmensinternen Mitarbeiters durchgeführt werden.221 Möglicherweise lässt sich mit dem KI-Anbieter auch eine längere „Pilot-Phase“ vereinbaren, innerhalb derer das KI-System auf „Herz und Nieren“ geprüft werden kann – anschließend könnte sodann auf breiter Informationsbasis über eine Langzeitverwendung entschieden werden. (f) Zwischenergebnis Es zeigt sich, dass der Stein der Weisen noch nicht gefunden wurde, soweit es um Maßnahmen zur Qualitätsbeurteilung eines informationsbeschaffenden KI-Systems geht.222 Die möglichen Maßnahmen der Erkenntnisgewinnung sind vielfältig und stecken teilweise noch in der Entwicklungsphase. Es wird deshalb bis auf weiteres eine Entscheidung des Einzelfalls bleiben, welche Anstrengungen der Vorstand im Auswahlprozess zur Qualitätssicherung unternehmen muss.223 (3) Weitere Organisationspflichten im Rahmen des KI-Erwerbsprozesses Der Bezug eines KI-Systems bedarf des Weiteren einer bedachten und möglichst lückenlosen Vertragsgestaltung sowie sorgfältiger Organisation, insbesondere durch gewissenhafte Auswahl des KI-Anbieters.224 Ist ein potenzieller Drittanbieter lokalisiert, sind mit diesem die intendierten Funktionsanforderungen an das Expertensystem zu erörtern und auf Realisierbarkeit zu prüfen. Kommt eine Standard-KI-Lösung in Betracht, erfolgt der Erwerb über einen sog. Softwareüberlassungsvertrag, der als Kauf- oder Miet- bzw. Pachtvertrag ausgestaltet werden kann.225 Sollten weitere Ser­ 219  Nach Art. 9 Abs. 7 VO-E Artificial Intelligence Act COM(2021) 206 final wäre jedenfalls der Anbieter eines Hochrisiko-KI-Systems ohnehin verpflichtet, vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Tests durchzuführen. 220  Ähnlich wie i. R. d. § 80 Abs. 3 S. 2 BetrVG für den Betriebsrat vorgesehen. 221  Tendenziell so auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 125, welche die individuelle Beratung durch kompetente Personen ebenfalls als Mittel zur Qualitätsbeurteilung ansieht. 222  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  125 f. 223  Konstatierend bereits Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 125 f. 224  So auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133, siehe hierzu im Detail die im Wesentlichen gleichgelagerten Anforderungen an die Auswahl eines geeigneten Outsourcing-Partners, Teil 2 B. II. 2. 225  Wiebe, in: MAH IT-Recht, Teil 9.6.3 Rn. 24.



B. Sorgfaltspflichten des Vorstands127

vices (z. B. Pflege/Wartung, KI-Trainings, Schulungen usw.) „miteingekauft“ werden, kann der Vertrag außerdem dienstvertragliche Elemente aufweisen.226 Auch eine Anpassung des marktverfügbaren Standard-KI-Systems an die individuellen Bedürfnisse der Gesellschaft bzw. an besondere Gesetzesoder Satzungsanforderungen ist zu erwägen und erforderlichenfalls vertraglich festzuschreiben.227 Sofern eine maßgefertigte KI-Lösung erforderlich ist, werden die funktionalen Anforderungen in einem sog. Lastenheft niedergelegt.228 Dieses dient als Grundlage für den weiteren Entwicklungsprozess und konkretisiert den Inhalt des Softwareentwicklungsvertrages, welcher regelmäßig als Werkvertrag zu qualifizieren ist.229 Während der Anpassungsbedarf bei rein informationsbeschaffender KI im Bereich der Such- und Filterfunktionen zu verorten sein dürfte, liegt der Individualisierungsschwerpunkt, sofern die KI Arbeitsschritte der Bewertung und Analyse vornimmt, eher in der Aufgabe, dem KI-System ein Werte- und Regelkorsett anzulegen und die Software auf die Unternehmensziele auszurichten (Kalibrierung).230 Die nachfolgende Untergliederung nimmt Letzteres in den Fokus und skizziert die möglicherweise vertraglich besonders zu regelnden Eigenschaften abseits der klassischen Qualitätsattribute, wobei die abstrakt gehaltenen Ausführungen weder als abschließend noch als allgemeingültig zu verstehen sind. (a) Sicherstellung der Rechtskonformität In der klassischen Arbeitsteilung hat der zur Rechtstreue verpflichtete Vorstand zu kontrollieren und darauf hinzuwirken, dass die hierarchisch nachgeordneten Personen Recht und Gesetz beachten.231 Diese Pflicht lässt sich auf die – faktisch gleichgelagerte – Situation der KI-Nutzung übertragen; parallellaufend muss sich der Vorstand in Wahrnehmung seiner Legalitätskontrollpflicht232 ebenso vergewissern, dass die Programmarchitektur des KI-Systems so entworfen ist, dass die KI gesetzes- und insbesondere auch satzungs­ konform funktioniert. Von entscheidender Bedeutung ist, dass das Programm 226  So

auch Bartsch, in: BeckFormB BHW, Kap. III. G. 2 Anm. 62. Weber/Kiefner/Jobst, NZG 2018, 1131, 1132. 228  Rockstroh/Schug, in: BeckOF Vertrag, Kap. 9.1.1 Anm. 1; eine ausführliche Darstellung des Aufbaus eines solchen Lastenhefts (dort fälschlicherweise als Pflichtenheft bezeichnet) findet sich bei Ertl, BC 2003, 153, 155. 229  Bartsch, in: BeckFormB BHW, Kap. III. G. 1 Anm. 1, 4; Wiebe, in: MAH ITRecht, Teil 9.6.3 Rn. 20 f. 230  Tendenziell so auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 137 f. 231  Verse, ZHR 175 (2011), 401, 403; hierzu auch Zenner, AG 2021, 502, 508. 232  Zum Begriff der Legalitätskontrollpflicht Hoffmann-Becking, in: Münch-HdB GesR IV, § 25 Rn. 32; allgemein zur Legalitätspflicht Spindler, in: MüKo/AktG, § 93 Rn. 86. 227  Ähnlich

128

Teil 2: Das Pflichtenprogramm des Vorstands

rechtskonforme Arbeitsmethoden verwendet und gesetzmäßige Lösungen ausgibt.233 Im untersuchungsgegenständlichen Bereich der vorgeschalteten Informationsversorgung und unternehmerischen Entscheidungsassistenz nimmt die Einhaltung der datenschutzrechtlichen Vorgaben eine herausgehobene Bedeutung ein,234 da KI-Systeme massenhaft Daten erheben und verarbeiten.235 Besondere Sensibilität bedarf der Umgang mit personenbezogenen Daten,236 wenngleich die Verarbeitung dieser Daten durch ein entscheidungsunterstützendes KI-System nicht gegen das Verbot der automatisierten Entscheidung im Einzelfall gemäß Art. 22 Abs. 1 DSGVO237 verstößt.238 Gerade dann, wenn die KI selbst Stellung bezieht und Empfehlungen ausspricht, sollten die Ergebnisse je nach Fallgestaltung zuvor eine Rechtsprüfung durchlaufen. Der bereits erwähnte Satz „Code is Law“ von Lawrence Lessig ist in diesem Zusammenhang möglicherweise etwas überspitzt formuliert. Treffender erscheint insofern die Aussage „Law has to be in the Code“. Algorithmen analysieren ihre Eingangsinformationen über Entscheidungsbäume, sodass es dem Grunde nach auch möglich ist, eine künstliche neuronale Netzwerkstruktur zu errichten, die eine rechtliche Würdigung des Falls vornimmt.239 Von der Anwendungsbereichseröffnung einer Norm über die Tatbestandsprüfung bis hin zur Rechtsfolgebeurteilung sind sämtliche Schritte algorithmisch abbildbar.240 Allein die Mannigfaltigkeit möglicher Sachver233  So

auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 135. ausführlicher Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 132 ff., welche die Möglichkeit der Datenerhebung und -verarbeitung prüft und hierbei u. a. auf personenbezogene Daten, deren Anonymisierung, die Einwilligung des Rechteinhabers (Art. 6 Abs. 1 lit. a DSGVO) und die berechtigten Interessen des Unternehmens (Art. 6 Abs. 1 lit. f DSGVO) als Rechtfertigungsgrund eingeht; hierzu allgemein auch Vogel, Künstliche Intelligenz und Datenschutz, S. 89 ff., 216 ff. (zur Anonymisierung personenbezogener Daten). 235  Haagen, Verantwortung für Künstliche Intelligenz, S. 224. 236  Hierzu ausführlich Vogel, Künstliche Intelligenz und Datenschutz, S. 89 ff. 237  Nach Art. 22 Abs. 1 DSGVO haben betroffene Personen „das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung […] beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfalte[n] oder sie in ähnlicher Weise erheblich beeinträchtig[en]“. 238  Zurecht weist Vogel, Künstliche Intelligenz und Datenschutz, S. 121 f. darauf hin, dass solche KI-Systeme, die lediglich menschliche Entscheidungen vorbereiten, keine rechtliche oder unmittelbar beeinträchtigende Wirkung entfalten. Dies gelte umso mehr, wenn der „letztentscheidende Sachbearbeiter zumindest überhaupt in der Lage [sei], eine eigenständige, von der Empfehlung des Algorithmus unabhängige Einschätzung vorzunehmen und eine ggf. abweichende Ansicht im Sinne eines ‚Übersteuerns‘ der algorithmischen Präferenz zur Geltung zu bringen“. 239  Hoch, AcP 219 (2019), 648, 653, 658; ähnlich Biallaß, in: Ory/Weth, jurisPKERV Band 1, Kap. 8 Rn. 21 ff., 59 ff. 240  Hoch, AcP 219 (2019), 648, 653, 658. 234  Hierzu



B. Sorgfaltspflichten des Vorstands129

halte und die codierte Nachbildung juristischer Methodik wird der KI-Programmierung – zumindest in der nahegelegenen Zukunft – Grenzen aufzeigen.241 Jedenfalls darf der Vorstand die Nutzung eines KI-Systems nicht als Freibrief dergestalt verstehen, eine nachträgliche Rechtsbegutachtung der Handlungsempfehlung durch einen menschlichen Berater sei per se entbehrlich. Gerade in juristisch komplexeren Angelegenheiten wird KI die recht­ liche Beratung (noch) nicht ersetzen können. (b) Implementierung von Grundwerten Rein rationale Lösungen stehen außerdem häufig in Konflikt mit demokratisch-humanistischen Grundwerten. Ethische und ökologische Grundsätze, Menschenrechte, der Schutz von Minderheiten und der Vorrang menschlicher Kontrolle sind wesentliche Faktoren, die je nach Entscheidungsthematik und Arbeitstiefe des KI-Systems im Programmcode Niederschlag finden sollten. Vor allem in moralisch aufgeladenen und ethisch konnotierten Entscheidungsfragen kommt der Vorstand nicht umhin, sich dieser Werteimplementierung zu vergewissern. Vernachlässigt die Unternehmensführung etwa gemeinwohlorientierte oder soziale Belange, droht der Gesellschaft ein merk­ licher Reputationsschaden, welcher sich letztlich auch nachteilig auf den Wert des Unternehmens auswirken kann; gerade dieses Risiko gilt es jedoch im Rahmen der Entscheidungsfindung zum Wohle der Gesellschaft zu berücksichtigen.242 Fraglich ist indessen, ob sich Fragen der praktischen Philosophie überhaupt in Form von Programmiersprache abbilden lassen. Zum Teil wird angezweifelt, dass Algorithmen jemals in der Lage sind, ökologische und soziale Prinzipien angemessen zu berücksichtigen, da es sich um komplexe und stark kontextbezogene Dilemmata handele, die weder quantifizierbar noch mathematisch fassbar seien.243 Sofern sich dies bewahrheiten sollte, wäre der Vorstand verpflichtet, die Einhaltung der genannten Belange standardmäßig im Rahmen der Plausibilisierung zu kontrollieren oder der KI-Einsatz müsste von vornherein auf rein rationale Entscheidungen beschränkt werden. Unterdessen hat die von der Europäischen Kommission eingesetzte „Hochrangige Expertengruppe für Künstliche Intelligenz“ (kurz: HEG-KI) mit der Veröffentlichung der „Ethik-Leitlinien für eine vertrauenswürdige KI“244 241  Ähnliche Bedenken äußernd Biallaß, in: Ory/Weth, jurisPK-ERV Band 1, Kap. 8, Rn. 61; Hoch, AcP 219 (2019), 648, 653, 658, 659. 242  Walden, NZG 2020, 50, 53, 60. 243  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 131; Precht, Künstliche Intelligenz und der Sinn des Lebens, S. 156. 244  Ethics Guidelines for Trustworthy Artificial Intelligence der HEG-KI vom 08.04.2018 s. Einführung Fn. 48.

130

Teil 2: Das Pflichtenprogramm des Vorstands

erste Ansätze zur Schaffung einer werteorientierten und menschenzentrierten KI auf den Weg gebracht. Als Grundlage für eine vertrauenswürdige KI rekurriert die Handlungshilfe auf die Grundrechte der EU-Verträge und den Wertekanon der EU-Grundrechtecharta.245 Zur Diskussion gestellt werden vornehmlich die folgenden Prinzipien: –– Achtung der Menschenwürde, –– Freiheit des Einzelnen (insbesondere Schutz vor unrechtmäßigem Zwang, vor ungerechtfertigter Überwachung, Täuschung und unfairer Manipula­ tion), –– Achtung der Demokratie, Gerechtigkeit und Rechtsstaatlichkeit, –– Gleichheit, Nichtdiskriminierung und Solidarität. Ob und welche Werte, in welcher Gewichtung letztlich im entscheidungsunterstützenden Algorithmus Berücksichtigung finden, ist eine einzelfallabhängige Ermessensentscheidung des Vorstands, vorausgesetzt er trägt den kapitalistischen Interessen der Aktionäre in angemessenem Umfang Rechnung.246 (c) Implementierung und Kalibrierung der Unternehmensziele247 Schließlich hat der Vorstand im Rahmen seiner Leitungsverantwortung – so auch im Wortlaut der BJR verankert – das Wohl der Gesellschaft zu beachten. Ein mit den Interessen des Unternehmens in Konflikt stehendes KIArbeitsergebnis wäre ohne Nutzen und müsste unberücksichtigt bleiben. Die Loyalitäts- bzw. Treuepflicht des Vorstands gebietet es, die festgelegten Ziele der Aktiengesellschaft stets zu wahren und Schaden von ihr abzuwenden.248 KI-Systeme sind hierfür als besonders geeignet anzusehen. Lernalgorithmen arbeiten immerhin dem Grunde nach regelbasiert, sodass sich jedenfalls die rationalen Vorgaben, nach denen die Aktiengesellschaft zu leiten ist, exakt definieren und überwachen lassen.249 Im Rahmen der Kalibrierung der unternehmensstrategischen und unternehmenspolitischen Ziele empfiehlt sich ein 245  Vgl. Ethics Guidelines for Trustworthy Artificial Intelligence der HEG-KI vom 08.04.2018, S. 12 (s. Einführung Fn. 48). 246  Allgemein zur Gewichtung von CSR-Belangen Walden, NZG 2020, 50, 59. 247  Hierzu auch Armour/Eidenmüller, ZHR 183 (2019), 169, 182 f. 248  Im Allgemeinen hierzu Hoffmann-Becking, in: Münch-HdB GesR IV, § 25 Rn.  38 ff. 249  Armour/Eidenmüller, ZHR 183 (2019), 169, 183 beschreibt mögliche Fragen der Kalibrierung: „Welche […] Ziele sind zu verfolgen, und wie soll die Zielerreichung gemessen werden? Wie sind Zielkonflikte aufzulösen? Welche Nebenbedingungen sind zu beachten?“.



B. Sorgfaltspflichten des Vorstands131

Stakeholder Value-orientierter Ansatz.250 Es ist abzusehen, dass der Fokus de lege ferenda immer weiter in Richtung Corporate Social Responsibility rückt,251 namentlich weitet die EU die Berichtspflichten größerer Unternehmen zu Themen wie Umwelt- und Arbeitnehmerschutz insbesondere durch die CSR-Richtlinie252 stetig aus. (d) Umgang mit Konflikten Schließlich lassen sich Grundwerte, Unternehmensziele und rechtliche Vorgaben nicht immer in optimalen Einklang bringen. Um solche Dilemmata aufzulösen, ist erwerberseitig sicherzustellen, dass je nach Aufgabenfeld der KI methodische Kompromissfindungsverfahren im Programmcode verankert werden. Während die Legalitätsanforderungen absolut und unverhandelbar einzuhalten sind, ist zwischen sonstigen Grundwerten und den unternehmerischen Zielen – durch gegenseitiges Annähern und Nachgeben – eine ausgeglichene Lösung anzustreben.253 Die in der Programmierung angelegte Gewichtung der einzelnen Parameter lässt sich im Idealfall unternehmensspezifisch nach den individuellen Bedürfnissen der Aktiengesellschaft ausgestalten.254 Die Implementierung einer Verhältnismäßigkeitsprüfung nach dem bewährten Schema (legitimer Zweck, Geeignetheit, Erforderlichkeit und Angemessenheit) könnte möglicherweise bestehende Spannungsverhältnisse im Sinne einer praktischen Konkordanz austarieren. Ob sich eine derartige Prüfung algorithmisch sinnvoll abbilden lässt, ist natürlich eine gänzlich andere Überlegung, die es in der KI-Informatik zu klären gilt.

250  Vgl.

hierzu bereits Einführung A. in der Präambel des DCGK heißt es u. a.: „Verpflichtung von Vorstand […], im Einklang mit den Prinzipien der sozialen Marktwirtschaft unter Berücksichtigung der Belange der Aktionäre, der Belegschaft und der sonstigen mit dem Unternehmen verbundenen Gruppen (Stakeholder) für den Bestand des Unternehmens und seine nachhaltige Wertschöpfung zu sorgen“. 252  Richtlinie 2014/95/EU des Europäischen Parlaments und des Rates vom 22. Oktober 2014 zur Änderung der Richtlinie 2013/34/EU im Hinblick auf die Angabe nichtfinanzieller und die Diversität betreffender Informationen durch bestimmte große Unternehmen und Gruppen (Überarbeitung der RL in Planung). 253  Ähnlich Ethics Guidelines for Trustworthy Artificial Intelligence der HEG-KI vom 08.04.2018, S. 16 (s. Einführung Fn. 48). 254  So auch Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 8 (s. Einführung Fn. 16), die das Beispiel anführen, dass ein Unternehmen mit klarer Positionierung für den Umweltschutz dieses Ziel prozentual höher gewichten könnte als beispielsweise die Aktionärsinteressen. 251  Auch

132

Teil 2: Das Pflichtenprogramm des Vorstands

cc) Sorgfältige Einweisung Wird ein neuer Mitarbeiter eingestellt, ist die Geschäftsleitung grundsätzlich verpflichtet, diesen entsprechend einzuweisen. Hierzu gehören u. a. Hinweise zur Ablauforganisation, zu typischen Fehlern im Arbeitsprozess und zum Arbeitsschutz; außerdem die Erläuterung des Tätigkeitsbereichs sowie – in einem sich laufend verändernden Arbeitsumfeld – auch die Pflicht zur bedarfsgerechten und regelmäßigen Fortbildung.255 In eine ähnliche Richtung bewegen sich die Vorgaben an den Vorstand auch in den Fällen der Beraterkonsultation.256 Es stellt sich die Frage, ob den Vorstand eine solche Einweisungs- und Einarbeitungsobliegenheit auch dann trifft, wenn dieser zur Vorbereitung seiner Leitungsentscheidungen auf KI-Software zurückgreift. Auch Algorithmen sind „formbar“ und lassen sich anleiten, d. h. sie können nach vorgegebenen Annahmen und Zielwerten in einem fest umrissenen Rahmen arbeiten und lernen.257 Während jedoch die Anstellung eines Mitarbeiters bilateral und auf eigene Verantwortung der Geschäftsleitung erfolgt, werden KI-Systeme regelmäßig von Drittanbietern erworben. Die entsprechende Software wird insoweit gerade deshalb bezogen, weil der potenzielle Erwerber von ihrer sorgfältigen Entwicklung ausgeht und sich als Vertragspartner auf die vereinbarten und zugesicherten Eigenschaften verlässt.258 Es bestehen somit grundlegend unterschiedliche Akquisitions- bzw. Ausgangssituationen. Möglicherweise muss das standardisierte und ausgereifte KI-System überhaupt nicht mehr justiert werden und meistert die ihm zugedachten Aufgaben ohne ergänzende Individualisierung. Solche One-size-fits-all-Systeme wird man jedoch in der Regel nur dann erwarten können, wenn die zu automatisierende Tätigkeit klassische bzw. handelsübliche Aufgaben umfasst und sich Entscheidungsunterstützungssysteme am Markt etabliert haben. In Anbetracht dessen ist eher zu erwarten, dass die werkseitige Vorprogrammierung gegenwärtig und in absehbarer Zukunft nur den Grundstein bildet und ohne eine Anpassung an die besonderen Bedürfnisse des Unternehmens nicht auskommt. Eine ebensolche Programmindividualisierung ist dann aber in erster Linie keine der Softwarebeschaffung nachgelagerte („Einweisungs-“)Aufgabe des Vorstands bzw. seiner nachgeordneten Mitarbeiter, sondern vielmehr integraler Teilausschnitt des Erwerbsprozesses und dementsprechend in Ab255  Vgl. Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133; ähnlich Fleischer, in: Vorstandsrecht, § 8 Rn. 31. 256  Hiernach sind dem jeweiligen Experten die Verhältnisse der Gesellschaft umfassend darzulegen und die zur Auftragserfüllung erforderlichen Unterlagen offenzulegen, vgl. BGH, Urt. v. 28.04.2015 – Az.: II ZR 63/14 = NZG 2015, 792, 794; BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271, 1273. 257  Ähnlich auch Armour/Eidenmüller, ZHR 183 (2019), 169, 182 f. 258  Haagen, Verantwortung für Künstliche Intelligenz, S. 201.



B. Sorgfaltspflichten des Vorstands133

stimmung mit dem KI-Hersteller oder -Anbieter aufzuarbeiten.259 Angesichts der Diversität technischer Arbeitsmethoden lässt sich jedoch, dies sei zugestanden, nicht ausschließen, dass der Vorstand bzw. die Mitarbeiter angehalten sind, die Voreinstellungen der Software – gewissermaßen als Äquivalent zur Mitarbeiterschulung – einmalig oder kontinuierlich anzupassen und die KI zu trainieren.260 In diesem Zusammenhang hat der Vorstand darauf zu achten und ggf. mit dem KI-Hersteller bzw. -Anbieter Rücksprache zu halten, inwieweit ihn selbst die Pflicht trifft, Vor- oder Funktionseinstellungen vorzunehmen.261 dd) Hinreichende Ressourcenausstattung Eine weitere wichtige Säule der delegationsbedingten Residualpflichten bildet die Ausstattung des Mitarbeiters mit den zur sachgerechten Aufgabenerfüllung erforderlichen Ressourcen.262 Eine vergleichbare Voraussetzung findet sich wiederum auch für die Fallgruppe der „herkömmlichen“ Leitungsberatung durch fachliche Experten; die aus der vertikalen Delegation bekannte „Ausstattungspflicht“ wurde in der vielzitierten ISION-Entscheidung derart konkretisiert, dass sich der Vorstand nur „unter umfassender Darstellung der Verhältnisse der Gesellschaft und Offenlegung der erforderlichen Unterlagen“263

beraten lassen darf.264 Unterrichtet der Vorstand den Delegationsempfänger fahrlässig oder gar vorsätzlich nur unvollständig oder falsch, darf dieser sich nicht auf das Arbeitsergebnis des Mitarbeiters bzw. Beraters verlassen.265 Nur sofern das Informationsdefizit des Delegationsempfängers ohne schuldhaftes Verhalten des Vorstands entstanden ist, lässt sich die Leitungsentschei259  Ähnlich Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133; siehe hierzu bereits ausführlich Teil 2 B. I. 2. b) bb) (3). 260  Knapp auf die eventuell erforderliche Anpassung eingehend Gassner, in: Digital Law, S. 96. 261  So betont auch Noack, NZG 2021, 305, 305, dass „die nach Sach- und Rechtslage richtige Startprogrammierung“ von übergeordneter Relevanz sei. 262  Altenbach, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder, § 7 Rn. 28. 263  BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271 Rn. 18. 264  Auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 140 rekurriert auf die ISION-Kriterien zur Herleitung der Pflicht des Vorstands, das KI-System qualitativ und quantitativ angemessen mit Daten auszustatten. 265  Graewe/Freiherr von Harder, BB 2017, 707, 708; Hahn/Naumann, CCZ 2013, 156, 161; ebenso Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 141.

134

Teil 2: Das Pflichtenprogramm des Vorstands

dung mit entlastender Wirkung auf die erteilte Auskunft stützen.266 Fraglich ist, welche Schlussfolgerungen sich hieraus für die Informationsversorgung und Beratung durch die KI ziehen lassen. Daten sind das primäre Arbeitsmittel der KI. Ein KI-System kann programmarchitektonisch noch so gut entworfen sein, es würde im Falle von Informationslücken oder bei Einspeisung unzutreffender und gleichwohl entscheidungsrelevanter Daten zu einem fehlerhaften Ergebnis gelangen.267 Insofern ist es nur folgerichtig, dass die Vorgabe des BGH in diesem Zusammenhang vornehmlich als Pflicht des Vorstands verstanden wird, sicherzustellen, dass das System das notwendige Datenmaterial erhält und Fehlinformationen aussortiert.268 Der Vorstand hat mithin eigenständig, delegierend oder auslagernd dafür Sorge zu tragen, dass das System in sachlicher Hinsicht von der richtigen Situation des Unternehmens ausgeht, es Zugang zu den für die Aufgabenerfüllung benötigten und validierten Daten erhält sowie letztlich zielsicher die vorbestimmte und eingegrenzte Aufgabenstellung befolgt und erledigt.269 Von besonderer Relevanz ist in jedem Fall, dass (1) die Echtheit wie auch die Qualität der Daten sichergestellt sind und (2) das System rechtskonform auf sämtliche Daten zugreifen kann, die zur adäquaten Lösung der Aufgabe benötigt werden.270 Mit welchem Engagement der Vorstand die ordnungsgemäße Informationsversorgung des KI-Systems sicherzustellen hat, hängt wiederum maßgeblich davon ab, auf welche Weise sich die Datenbeschaffung vollzieht. Die Schnittstelle des Zugriffs auf die relevanten Informationen kann je nach System unterschiedlich ausfallen. Möglicherweise besitzt das KI-System bereits sämtliche Daten zur Bewerkstelligung der jeweiligen Tätigkeit. Ebenfalls denkbar ist, dass die Informationen auf der Basis leistungssichernder Nebenpflichten (§ 241 Abs. 2 BGB) oder in Vollzug eines separaten Servicevertrages durch den KI-Anbieter bzw. Hersteller bereitgestellt271 oder autonom durch das System beispielsweise über das Internet oder angeschlossene Datenbanken

NZG 2010, 121, 124; Hahn/Naumann, CCZ 2013, 156, 161 f. Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 140 („Garbage-In-Garbage-Out Prinzip“). 268  Ähnlich wohl Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 13; Weber/Kiefner/Jobst, NZG 2018, 1131, 1133, wobei zurecht auf die Schwierigkeit dieser Aufgabe hingewiesen wird; auch Becker/ Pordzik, in: Arbeitswelt der Zukunft, S. 133 f. behaupten, dass der Vorstand dem Grunde nach verpflichtet sei, umfangreiche und qualitativ hochwertige Daten zur Verfügung zu stellen. 269  Ähnlich Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 23. 270  Diese beiden Pflichten hervorhebend auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 133. 271  Hierzu ausführlich Schrader/Engstler, MMR 2018, 356, 357 f. 266  Fleischer, 267  Ähnlich



B. Sorgfaltspflichten des Vorstands135

abgerufen werden (Selbstaneignung).272 Weiterhin kann das System alternativ oder zusätzlich auf eine manuelle Dateneingabe durch den Endnutzer angewiesen sein;273 nicht auszuschließen ist insofern auch eine Gemengelage der aufgezeigten Informationswege. (1) Gewährleistung der Datenqualität Daten bilden – wie erwähnt – die elementare Arbeitsgrundlage eines KIExpertensystems.274 Der ständig zu verarbeitende Dateninput ist gleichzeitig eine Schwachstelle der KI und lässt Spielraum für Manipulationsmöglichkeiten. Das „Weltbild“ der KI setzt sich nur aus den ihr verfügbaren Informa­ tionen zusammen. Werden entscheidende Daten bewusst oder unbewusst vorenthalten oder verfälscht, besteht das Risiko einer eingeschränkten Sicht auf das Problem.275 Die Versorgung mit qualitativ hochwertigen und unverfälschten Informationen ist dementsprechend oberste Direktive. Die bereitgestellten Informationen müssen insbesondere folgende Qualitätsprüfungen überstehen: –– ­ Originalität/Authentizität, –– ­ Aktualität und –– ­ Rechtmäßigkeit der Beschaffung und Verarbeitung.276 Geplante Projekte wie die Einführung Europäischer Datenräume und Maßnahmen zur Vereinfachung des Datenaustauschs zwischen Unternehmen und mit Behörden könnten in Zukunft einen besonderen Beitrag zur Sicherstellung der Datenqualität leisten.277 Da das Künstliche Neuronale Netzwerk des KI-Systems anhand von Trainingsdaten lernt und sich weiterentwickelt, ist von entscheidender Bedeutung, dass die Qualität gerade dieser Übungsdaten durch geeignete Maßnahmen sichergestellt wird. In den Erwägungsgründen zum VO-E Artificial Intelligence Act heißt es hierzu: „Für hochwertige Trainings-, Validierungs- und Testdatensätze müssen geeignete Daten-Governance- und Datenverwaltungsverfahren umgesetzt werden. Die Trai272  Linke, Digitale Wissensorganisation, S. 222; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132. 273  Linke, Digitale Wissensorganisation, S. 222. 274  Enriques/Zetzsche, ECGI Law WP 457/2019, S. 31, sprechen in diesem Zusammenhang von einem Datenabhängigkeitsproblem. 275  Ähnlich auch Vocelka/Langensiepen/Beismann, in: CSR und Künstliche Intelligenz, S.  43 f. 276  Zum Datenschutzrecht umfassend Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 132 ff. 277  Erwägungsgrund Nr. 45 des VO-E Artificial Intelligence Act COM(2021) 206 final.

136

Teil 2: Das Pflichtenprogramm des Vorstands

nings-, Validierungs- und Testdatensätze sollten im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ, fehlerfrei und vollständig sein.“278

Nach dem Willen der EU-Kommission sollen die vorbezeichneten DatenGovernance- und Datenverwaltungsverfahren, soweit es um Hochrisiko-KISysteme geht, standardisierte Datenerfassungs-, Datenaufbereitungs-, Datenbewertungs- und Vollständigkeitsüberprüfungsvorgänge umfassen.279 Trotz konkreter Ausformulierung der gebotenen Maßnahmen lassen sich aus dem Verordnungsvorschlag nur bedingt Rückschlüsse darüber ziehen, welches Ausmaß etwaige Datenorganisationsmaßnahmen des Vorstands annehmen müssen. Einerseits ist hervorzuheben, dass sich der Verordnungsvorschlag mit seinen relativ strengen Vorgaben weniger an die (End-)Nutzer richtet,280 sondern vorrangig als „spezifisches Produktsicherheitsrecht“281 an die Entwickler und Bereitsteller der KI, somit an Hersteller und Anbieter adressiert ist, die beabsichtigen, KI-Systeme unter ihrem eigenen Namen oder ihrer eigenen Marke – entgeltlich oder unentgeltlich – in Verkehr zu bringen oder nach außen gerichtet in Betrieb zu nehmen.282 Zum anderen ist gerade deshalb, weil Entscheidungsassistenzsysteme der hier diskutierten Art in aller Regel lediglich für interne Zwischenschritte der Entscheidungsfindung eingesetzt werden, davon auszugehen, dass diese mangels konkreten Gefährdungspotenzials für die europäischen Grundrechte nicht in den Bereich der Hochrisiko-Systeme fallen. Die entsprechenden Sorgfaltsanforderungen an die Datenbeschaffung, -aufbereitung, verwaltung und überwachung sind deshalb einzelfallabhängig zu bestimmen.283 Die jeweils angezeigten Maßnahmen können eine Bandbreite von bloß stichprobenartigen Kontrollen bis hin zu kompelexen mehrschichtigen Datenüberprüfungsmaßnahmen erreichen. Die konkrete Ausgestaltung des Pflichtenprogramms ist – wie bereits beschrieben – maßgeblich auch davon abhängig, welchen Autonomiegrad der jeweilige Algorithmus besitzt. Ist das System zur Selbstaneignung des Datenbe-

278  Erwägungsgrund

final.

279  Vgl.

final.

Nr. 44 des VO-E Artificial Intelligence Act COM(2021) 206

hierzu Art. 10 Abs. 2 VO-E Artificial Intelligence Act COM(2021) 206

280  Der Begriff des Nutzers wird nach dem VO-E Artificial Intelligence Act COM(2021) 206 final gemäß Art. 2 Nr. 4 definiert als „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“. 281  Zum Begriff Roos/Weitz, MMR 2021, 844, 845. 282  Roos/Weitz, MMR 2021, 844, 846. 283  Roos/Weitz, MMR 2021, 844, 849 gehen jedoch im Allgemeinen von einer Konkretisierungswirkung der finalen KI-VO auf die zivilrechtlichen Vorschriften aus.



B. Sorgfaltspflichten des Vorstands137

standes in der Lage oder muss der Input aufwendig von Menschenhand eingespeist werden?284 Vergleichbare Daten-Organisationsmaßnahmen, wie sie der VO-E Artificial Intelligence Act vorsieht, wird man – ungeachtet einer Hochrisiko-Einordnung – jedenfalls dann vom Vorstand verlangen müssen, wenn er nach der Programmausgestaltung als Endnutzer maßgeblichen Einfluss auf den Vorgang der Dateneinspeisung hat, sei es deshalb, weil er die KI selbst trainiert oder weil er anderweitig Einfluss auf die Informationsquellen nehmen kann. Gleiches wird gelten, wenn dem Vorstand eine angemessene Möglichkeit zur Überprüfung des Dateneingangs eröffnet ist. Anders stellt sich die Situation indessen dar, wenn die erforderlichen Daten über einen Cloud-Service des Herstellers oder über Drittanbieter auf vertraglicher Grundlage – beispielsweise in Umsetzung sog. Datenlizenzverträge285 – abgerufen werden; in diesem Fall tritt das Gewährleistungsrecht, mithin die Einstandspflicht des Dateninhabers für die vereinbarte Soll-Beschaffenheit der Informationen, ebenso wie der Aspekt der sorgfältigen Vertragsgestaltung in den Vordergrund, wohingegen das Ausmaß der Datenorganisationspflichten in die entgegengesetzte Richtung abnimmt.286 (2) Gewährleistung ausreichender Datenbestände Ebenso wichtig ist ein umfangreicher und vielschichtiger Datenbestand.287 Das KI-System muss auf einen ausreichenden Fundus an Informationen zurückgreifen können. Als mögliche Informationsquellen kommen insbesondere 1. unternehmensinterne Datenbestände, 2. externe jedermann zugängliche offene Datenbestände oder 3. externe beschränkt zugängliche (private oder staatliche) Datenquellen in Betracht. Der stetig wachsende Bedarf an Informationen stellt Hersteller und Nutzer jedoch vor ein besonders zwiespältiges Problem: Das Bestreben nach immer größeren Datenmengen gerät in Konflikt mit dem Ziel der Ge-

284  Linke, Digitale Wissensorganisation, S. 222; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132. 285  Zum Vertragstypus ausführlich Hennemann, RDi 2021, 61; Schur, GRUR 2020, 1142. 286  Apel, in: Beck’sche Online-Formulare IT- und Datenrecht, Form. 3.5 Anm. Rn. 14 stellt klar, dass allein der Datenlizenzgeber aufgrund vertraglicher Leistungspflicht für die Qualität der Daten verantwortlich ist – dem Lizenznehmer sei eine Überprüfung der zur Verfügung gestellten Daten schon faktisch kaum möglich, da dieser „im Zweifel gar nicht in jedem Fall feststellen kann, ob der Datenbestand fehlerhaft ist oder nicht“. 287  Weber/Kiefner/Jobst, NZG 2018, 1131, 1133.

138

Teil 2: Das Pflichtenprogramm des Vorstands

währleistung möglichst hoher Datenqualität.288 Je ausgeweiteter der Datenpool, desto größer auch die Herausforderung, gesicherte, einheitlich auswertbare und vor allem unverfälschte Informationen bereitzustellen. Dennoch gilt auch hier, dass die Gewährleistung eines ausreichenden Datenbestandes nur dann in den organschaftlichen Pflichtenkreis des Vorstands fällt, wenn er nach den technischen und/oder vertraglichen Gegebenheiten erhebliche Verantwortung für die Lenkung und Kontrolle des Dateneingangs übernehmen muss. Zeichnet sich eine solche Verantwortungslast ab, dürfte die Einrichtung neuer Arbeitsplätze im Bereich des Datenmanagements zu erwägen sein, um einer drohenden Überforderung des Vorstands entgegenzuwirken.289 ee) Allgemeine Informations- und Fortbildungspflicht Zutreffend geht Opitz davon aus, dass sich die Vorstandsmitglieder gemäß § 93 Abs. 1 S. 1 AktG außerdem „kontinuierlich fortzubilden [haben], um jeder Zeit über diejenigen aktuellen Kenntnisse und Fähigkeiten zu verfügen, die für die sorgfältige Wahrnehmung [ihrer] Aufgaben erforderlich sind“.290

Gerade in der Anfangsphase der Umstellung des Entscheidungsprozesses auf KI-basierte Informationen dürfte sich der Vorstand mit einer Vielzahl von Fragen – nicht zwingend technischer Natur – konfrontiert sehen. Bei einem solch konkreten – und gegebenenfalls auch laufenden – Beratungsbedarf im Nachgang an die Anschaffung291 ist der Vorstand verpflichtet, sich durch fachkundige Personen beraten zu lassen.292 Auf welche Weise der Vorstand sich informiert, liegt grundsätzlich in seinem Ermessen. Als naheliegende Möglichkeiten kommen neben Vorstandsschulungen und der Konsultation ausgewiesener Experten insbesondere (1) die Anrufung des Aufsichtsrats oder (2) die Einrichtung eines KI-Rats in Betracht.

288  Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 27; Weber/Kiefner/Jobst, NZG 2018, 1131, 1132 f. 289  Zur vertikalen Delegation der KI-Organisationspflichten vgl. Teil 2 B. I. 2. c) bb). 290  Opitz, BKR 2013, 177, 183. 291  Abzugrenzen von der sachverständigen Beratung im Rahmen des Erwerbsprozesses, vgl. hierzu Teil 2 B. I. 2. b) bb) (2) (d). 292  Allgemein Gottschalk/Weng, GWR 2013, 243, 243.



B. Sorgfaltspflichten des Vorstands139

(1) Beratung durch den Aufsichtsrat Der Aufsichtsrat soll den Vorstand als ebenbürtiges Gremium und dessen Gegenspieler beraten und überwachen.293 Es fragt sich jedoch, wie dies im Hinblick auf modernste KI-Technik geschehen soll, wenn er keine ausreichenden Kenntnisse und Erfahrungen auf diesem Gebiet besitzt.294 Aufsichtsräte sind in überwiegender Zahl nicht mit technisch oder ethisch sachkun­ digen Personen besetzt – insoweit zeigt sich eine klar zu Tage tretende Kompetenzlücke.295 Das liegt zumindest auch daran, dass der Gesetzgeber an das Beratungs- und Überwachungsorgan der Aktiengesellschaft im Allgemeinen keine besonderen fachlichen Eignungsvoraussetzungen stellt. § 100 AktG, der die persönlichen Voraussetzungen der Aufsichtsratsmitglieder festlegt, enthält keinerlei Vorgaben hinsichtlich der digitalen Kompetenzen.296 Demgegenüber hat der BGH in der sog. „Hertie“-Entscheidung bereits im Jahre 1982 verdeutlicht: „Mit [dem] Gebot persönlicher und eigenverantwortlicher Amtsausübung [sei] vorausgesetzt, dass ein Aufsichtsratsmitglied diejenigen Mindestkenntnisse und -fähigkeiten besitzen oder sich aneignen muss, die es braucht, um alle normalerweise anfallenden Geschäftsvorgänge auch ohne fremde Hilfe verstehen und sachgerecht beurteilen zu können.“297

In eine ähnliche Richtung bewegt sich auch die Soll-Vorschrift in Grundsatz 11 des DCGK.298 Danach hat sich die fachliche Aufstellung des Aufsichtsrats an dem Kompetenzbedarf des gewöhnlichen Geschäftsbetriebs der Aktiengesellschaft zu orientieren.299 Zumindest in stark IT- oder internet­ fokussierten Unternehmen wird man daher eine gewisse digitale Fachkompetenz wenigstens eines Aufsichtsratsmitglieds fordern müssen.300 Ist bekannt, dass die Unternehmensleitung Informationen eines KI-Systems zur EntscheiBKR 2010, 485, 486; Lenz, BB 2018, 2548, 2548, 2551. Bedenken äußernd Lenz, BB 2018, 2548, 2548. 295  Lenz, BB 2018, 2548, 2548; feststellend auch Noack, ZHR 183 (2019) 105, 140 m. w. N. 296  Diese Sichtweise ergibt sich auch aus einem Umkehrschluss aus § 100 Abs. 5 AktG, der für bestimmte Aktiengesellschaften lediglich fordert, dass „mindestens ein Mitglied […] über Sachverstand auf dem Gebiet Rechnungslegung und mindestens ein weiteres Mitglied […] über Sachverstand auf dem Gebiet Abschlussprüfung“ besitzen muss. 297  BGH, Urt. vom 15.11.1982 – Az.: II ZR 27/82 = NJW 1983, 991, 991 („Hertie“-Entscheidung). 298  Danach soll der Aufsichtsrat „insgesamt über die zur ordnungsgemäßen Wahrnehmung der Aufgaben erforderlichen Kenntnisse, Fähigkeiten und fachlichen Erfahrungen verfügen“. 299  So auch Lehrl, BKR 2010, 485, 486. 300  In eine ähnliche Richtung tendierend Meckl/Schmidt, BB 2019, 131, 132. 293  Lehrl,

294  Ähnliche

140

Teil 2: Das Pflichtenprogramm des Vorstands

dungsunterstützung verwendet, wird deshalb überwiegend vertreten, der Aufsichtsrat sei in diesem Fall selbst in der Pflicht, den Vorstand in Fragen der KI-Nutzung zu beraten.301 Graewe konstatiert in diesem Zusammenhang, dass sich die fachlichen Anforderungen an Aufsichtsräte im Zeitalter voranschreitender Digitalisierung zunehmend umfangreicher gestalten werden und appelliert daher an Aufsichtsräte, zur Überwachung vermehrt auch selbst auf IT-Tools („CorpTech“) zu setzen.302 Dies erscheint durchaus sinnvoll, soweit der Vorstand KI nutzt. Eine verpflichtende bedarfsunabhängige Digitalexpertise im Aufsichtsrat würde nach der hier vertretenen Auffassung aber eine Überspannung der Kompetenzanforderungen bedeuten.303 Die Idee, gesetzlich verpflichtend – nach dem Regelungsvorbild des § 100 Abs. 5 AktG304 – zumindest eine digital versierte Person in jedem Aufsichtsrat vorzusehen,305 wäre angesichts der unterschiedlich agierenden Unternehmen über das Ziel hinausgeschossen. Einerseits wird nicht jedes Unternehmen seinen Fokus primär auf Digitalisierung bzw. KI ausrichten und entsprechendes Expertenwissen im Aufsichtsrat auf Reserve vorhalten, nur weil es dann und wann Informationen einer KI im Entscheidungsprozess verwertet. Andererseits muss es dem Aufsichtsrat überlassen bleiben, seine Wissenslücken durch die Einholung externen Sachverstands zu schließen (vgl. § 109 Abs. 1 S. 2 AktG).306 (2) Einrichtung eines unterstützenden KI-Rats Erwägenswert erscheint in diesem Kontext die unternehmensinterne Einsetzung eines beratenden Expertengremiums mit besonderem KI-Knowhow. 301  Lenz, BB 2018, 2548, 2552; Strohn, ZHR 182 (2018), 371, 376; v. Schenck, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder, § 1 Rn. 16. 302  Graewe, BB 2020, Heft 11, Umschlagteil, I. 303  Anschauliche Auflistung ggf. erforderlicher Digitalkompetenzen bei Meckl/ Schmidt, BB 2019, 131, 132, wobei die Autoren dieses Anforderungsprofil als für den Aufsichtsrat nicht sachgerecht bezeichnen und stattdessen die Einsetzung eines „Digitalisierungsausschuss[es] (digital supervisory committee)“ gemäß § 107 Abs. 3 S. 1 AktG präferieren, dem ein Aufsichtsratsmitglied als „Digitalisierungsexperte (­digital expert)“ angehören soll; Noack, ZHR 183 (2019), 105, 140 appelliert, den Aufsichtsrat nicht zur fachlichen Superinstanz auszubauen, sondern ihn eher als ­verkleinertes Abbild der wesentlichen Stakeholder anzusehen; a. A. v. Schenck, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder, § 1 Rn. 16, der für die Zukunft eine KI-Professionalisierung des Aufsichtsrates erwartet, die ihn „in die Lage versetzt, sicherzustellen, dass der Vorstand in dieser Hinsicht das Erforderliche tut und neue Entwicklungen nicht verpasst“. 304  Siehe hierzu bereits Teil 2 Fn. 296. 305  In diese Richtung wohl Meckl/Schmidt, BB 2019, 131, 132. 306  Ähnlich resümierend Meckl/Schmidt, BB 2019, 131, 134.



B. Sorgfaltspflichten des Vorstands141

Ein solch fakultativer „Beirat“ könnte neue Impulse setzen, als Ansprechpartner für die KI-Anbieter oder als „dekoratives Repräsentationsgremium“307 für die Öffentlichkeit dienen, KI-Leitlinien aufstellen und dem Vorstand beispielsweise in ethischen oder technischen Fragestellungen zur Seite stehen. Zwar sind die Organe der Aktiengesellschaft im AktG abschließend definiert, sodass von Gesetzes wegen schon keine weiteren Gremien mit organschaftlichen Befugnissen geschaffen werden können;308 gleichwohl besteht die Möglichkeit, einen Expertenrat oder sonstige Ausschüsse auf schuldrechtlicher Ebene per Vorstandsbeschluss oder im Wege einer Satzungsregelung einzurichten, soweit dem jeweiligen Beraterstab keine allein den aktienrechtlichen Organen vorbehaltenen Rechte und Pflichten zugeschrieben werden.309 Das Kompetenzgefüge des KI-Rates dürfte mithin nicht zulasten der organschaftlichen Befugnisse des Aufsichtsrats ausgestaltet werden.310 Nach ständiger Rechtsprechung des BGH beinhaltet die Überwachungspflicht des Aufsichtsrats auch die Beratung des Vorstands.311 Diese Beratungstätigkeit ist allerdings nicht als ausschließlich organschaftliche Aufgabe des Aufsichtsrats zu verstehen.312 Vielmehr ist es zulässig und oftmals auch erforderlich, weitere Beratergremien zu konstituieren, solange die Beratungstätigkeit des Aufsichtsrats bloß unterstützt bzw. ergänzt und nicht ersetzt wird.313 Teilweise wird darüber hinaus gefordert, einem solchen Gremium müsse de lege ferenda ein erweiterter Kompetenzspielraum (z. B. besondere Kontrollund Mitspracherechte im Hinblick auf den KI-Erwerb) eingeräumt werden, damit die technikspezielle Aufgabe effizient ausgeführt werden könne und nicht „auf halber Strecke“ an Zuständigkeitshürden scheitere.314 Aufgrund der Störung des aktienrechtlichen Kompetenzrahmens ist dieser Vorstoß jedoch mit Skepsis zu betrachten.

307  Vgl.

Bayer/Hoffmann, AG 2009, R243. in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 1 Rn. 67 f.; Mertens/Cahn, in: KK/AktG, Vorb. § 76 Rn. 17. 309  Kubis, in: Kubis/Tödtmann, Arbeits-HdB für Vorstandsmitglieder, § 1 Rn. 68; ebenso Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 12. 310  Bayer/Hoffmann, AG 2009, R243; Robertz, MittRhNotK 1991, 239, 251; Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 12. 311  BGH, Urt. vom 25.03.1991 (1. Ls.) – Az.: II ZR 188/89 = NJW-RR 1991, 1252; Schütz, in: Der Aufsichtsrat, § 111 Rn. 343. 312  Ähnlich Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 12. 313  Habersack, in: MüKo/AktG, § 95 Rn. 6. 314  Enriques/Zetzsche, ECGI Law WP 457/2019, S. 53 f. 308  Kubis,

142

Teil 2: Das Pflichtenprogramm des Vorstands

ff) Fortlaufende Überwachung Die vertikale Übertragung einzelner Aufgaben bzw. Aufgabenkreise an unternehmensinterne Mitarbeiter geht außerdem mit der Pflicht des Vorstands einher, das eingesetzte Personal hinreichend zu überwachen.315 Die Substi­ tution des menschlichen Gehilfen durch ein KI-System ändert an dieser Rechtsfolge erst einmal nichts; die Einbindung einer nicht-regelbasierten Softwarelösung entbindet den Vorstand keinesfalls von seiner Überwachungsverantwortung. Als Nutznießer eines KI-Systems ist er zur kontinuierlichen Beaufsichtigung der verwendeten IT verpflichtet und hat ihre Funktionstauglichkeit zu erhalten.316 KI-Systeme arbeiten schnell, das ist ihre Stärke. Der eigentliche Berechnungsprozess der KI wird im Zweifel nur Bruchteile von Sekunden dauern – zu flüchtig, als dass er unter menschlicher Kontrolle in Echtzeit überwachend verfolgt werden könnte. Daher ist eine entsprechende Vorfeldüberwachung des Systems umso wichtiger. Es empfiehlt sich die Einführung eines an­ gemessenen KI-spezifischen Risikomanagementsystems,317 wobei dem Vorstand bezüglich der Art und Weise der organisatorischen Ausgestaltung grundsätzlich ein Ermessensspielraum zugutekommt.318 Auch der KI-Regulierungsvorschlag der EU-Kommission sieht in Art. 17 Abs. 1 sowie in Art. 9 Abs. 1 des VO-E Artificial Intelligence Act für Anbieter319 von Hochrisiko-KI-Systemen die verpflichtende Einrichtung und Aufrechterhaltung eines KI-Qualitäts- und Risikomanagementsystems vor. Gleiches dürfte aufgrund der herausgehobenen Leitungsverantwortung und Organisationsverpflichtung gemäß § 91 Abs. 3 AktG jedenfalls auch für KI-verwendende Vorstände börsennotierter Aktiengesellschaften gelten.320 Nach Art. 9 Abs. 2 315  Fleischer, in: BeckOGK/AktG, § 93 Rn. 138 ff.; Knigge/Junker/Pischelt/Reinhart, in: Beck’sches Rechtsanwalts-HdB, § 49 Rn. 22; Schwahn/Cziupka, in: UnternehmenStR, § 7 Rn. 38. 316  Picciau, 17 Hastings Business Law Journal 67, 121, 129. 317  Auch Gassner, in: Digital Law, S. 96 spricht von einer „angemessene[n] Risikokontrolle“; ähnlich im Allgemeinen Martini, Blackbox Algorithmus, S. 249; tendenziell auch Noack, in: FS Windbichler, 947, 952. 318  So i. E. Zenner, AG 2021, 502, 507, der dies zutreffend mit der prognostischen Entscheidungssituation begründet. 319  Zwar wäre der Vorstand wohl allenfalls als Nutzer im Sinne des Art. 29 VO-E Artificial Intelligence Act zu qualifizieren, die internen Sorgfaltsanforderungen an Geschäftsleiter dürften jedoch – jedenfalls soweit es um Leitungsentscheidungen geht – eher mit dem Sorgfaltsmaßstab eines KI-Anbieters vergleichbar sein. 320  Zwirner/Boecker, IRZ 2021, 149, 152 weisen zurecht darauf hin, dass die Pflicht zur Einrichtung eines Risikomanagementsystems – unabhängig von einer Börsennotierung der AG – bereits aus der allgemeinen Geschäftsleitersorgfalt folgt bzw. folgen kann.



B. Sorgfaltspflichten des Vorstands143

des VO-E Artificial Intelligence Act beginnt das Risikomanagement des KIAnbieters mit der – kontinuierlich zu aktualisierenden – Erforschung und Auswertung der absehbaren Risiken, die (1) von jedem Hochrisiko-KI-System ausgehen und (2) entstehen können, wenn das konkrete Hochrisiko-KISystem entsprechend seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird.321 Im Anschluss an die Risikoanalyse folgt nach dem Verordnungsvorschlag die Umsetzung adäquater Risikomanagementmaßnahmen,322 wobei die menschliche Beaufsichtigung des KI-Systems wiederum durch den jeweiligen Nutzer323 entsprechend der Vorgaben einer anbieter- bzw. herstellerseitig zur Verfügung gestellten Gebrauchsanweisung erfolgen soll (vgl. Art. 29 Abs. 1, Abs. 4 i. V. m. Art. 14 Abs. 3, Abs. 4 VO-E Artificial Intelligence Act). Insoweit bietet der Verordnungsentwurf der EU-Kommission einige wertvolle Anregungen, die sich nach diesseitiger Ansicht einzelfallabhängig und ggf. modifiziert auch auf die Organpflichten des Vorstands übertragen lassen und an nachstehender Stelle vertieft erörtert werden.324 Verbleibende Restrisiken, die sich ungeachtet der ergriffenen Organisationsmaßnahmen nicht ausschließen lassen, sind im Rahmen einer Gesamtabwägung einer Vertretbarkeitskontrolle zu unterziehen325 und nach hier vertretener Auffassung außerdem dem Aufsichtsrat mitzuteilen. Der Verordnungsentwurf der EU-Kommission hält sich, soweit es um konkrete Vorschläge für Überwachungs- und Risikobegrenzungsmaßnahmen geht, wohl bewusst bedeckt; zu vielschichtig, individuell und komplex sind die möglichen Lösungskonzepte. Die jeweils angezeigte Intensität der Aufsichtsmaßnahmen ist – wie bereits ausführlich dargestellt – situativ unter Berücksichtigung verschiedenster Einflussfaktoren zu bestimmen.326 Auch die vorliegende Arbeit kann keine erschöpfende Auflistung der möglichen Sicherheits- und Kontrollmaßnahmen präsentieren, sondern ledig321  Auf Art. 9 Abs. 2 lit. c des VO-E Artificial Intelligence Act COM(2021) 206 final wird an dieser Stelle nicht eingegangen, da dort (nach hiesiger Einschätzung ohne zusätzlichen Regelungsgehalt allein aus Klarstellungsgründen) auf die Ermittlung und Analyse von Risiken Bezug genommen wird, die aus der Auswertung der Daten aus dem in Art. 61 des VO-E vorgesehenen Beobachtungssystem der KI-Anbieter nach dem Inverkehrbringen der KI-Systeme hervorgehen. 322  Vgl. Art. 9 Abs. 2 lit. d VO-E Artificial Intelligence Act COM(2021) 206 final. 323  Es sei denn, eine entsprechende Kontrolle ließe sich unmittelbar im KI-System integrieren. 324  Ähnliche Überlegungen teilen auch Roos/Weitz, MMR 2021, 844, 849, wonach die finale Verordnung zur KI-Regulierung als öffentlich-rechtlicher Rechtsrahmen „zur Konkretisierung der Generalklauseln des zivilrechtlichen Vertrags- und Deliktsrechts herangezogen werden“ könne. 325  So auch Art. 9 Abs. 4 S. 1 VO-E Artificial Intelligence Act COM(2021) 206 final. 326  Siehe hierzu ausführlich oben Teil 2 B. I. 2. a).

144

Teil 2: Das Pflichtenprogramm des Vorstands

lich den Anspruch erheben, durch vertiefte Überlegungen und eine Auffächerung des Handlungsspektrums den Blickwinkel auf die KI-spezifischen Über­wachungspflichten des Vorstands zu erweitern. (1) Überwachung der Neutralität und Cybersicherheit Das Merkmal der Neutralität ist nicht bloß als anfängliches Auswahlkriterium zu beachten,327 sondern kontinuierlich durch geeignete Kontrollmaßnahmen sicherzustellen. Das eingesetzte System sollte in regelmäßigen Abständen auf etwaige Verzerrungen und Anomalien im Programmcode überprüft werden.328 Ein solches Monitoring dürfte sich jedoch angesichts der häufig unergründlichen Entscheidungswege der KI als schwierig erweisen. Zutreffend weist Zetzsche darauf hin, dass eine technische Möglichkeit zur Überprüfung der Neutralität von KI-Systemen nach derzeitigem Entwicklungsstand noch nicht existiert.329 Theoretisch käme als analoge Alternative die regelmäßige oder stichprobenhafte Einholung einer „Second Opinion“ von einem zur Neutralität verpflichteten menschlichen Experten in Betracht. Eine unparteiische Zweitstellungnahme – ähnlich dem Vorbild der Abschlussprüfung – könnte so lange als Überbrückungsinstrument zur Entlarvung fehlgeleiteter KI-Systeme genutzt werden, wie noch keine verlässlichen technischen Lösungen bereitstehen. Die wirtschaftliche Sinnhaftigkeit eines solchen Vorgehens bleibt hingegen zweifelhaft – es wäre jedenfalls zu begründen, warum nicht auf direktem Wege allein der menschliche Experte konsultiert wird. Angriffe von außen auf das KI-System (Cyberangriffe) stellen ebenso wie unternehmensinterne irreguläre bzw. böswillige Systemeinwirkungen besondere Gefahren für KI-Systeme dar, die unter der thematischen Überschrift Neutralität und Cybersicherheit zu diskutieren sind.330 Ein sabotagebedingter Systemausfall könnte die neu eingeführten digitalen Informationsprozesse und KI-gestützte Entscheidungswege empfindlich stören. Aber nicht nur das, die feindliche Infiltration eines Programms, das die Geschäfte und Geschicke des Unternehmens in erheblicher Weise beeinflusst, lässt sich wohl ohne Übertreibung als Worst Case bezeichnen; sofern der Angreifer in der Lage ist, die KI-Ergebnisse zu verändern, könnte er auf diese Weise versuchen, die Leitungsentscheidungen zu seinen Gunsten in eine andere Richtung zu len327  Vgl.

hierzu bereits Teil 2 B. I. 2. b) bb) (1) (c). 83 Alb. L. Rev. 43 (2019), S. 13 (s. Teil 2 Fn. 74). 329  Zetzsche, AG 2019, 1, 16. 330  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 160; in Art. 15 Abs. 4 S. 3 VO-E Artificial Intelligence Act COM(2021) 206 final ist beispielhaft das Cyberrisiko der „Datenvergiftung“ infolge einer Manipulation der Trainingsdatensätze erwähnt. 328  Kamalnath,



B. Sorgfaltspflichten des Vorstands145

ken. Für den Vorstand gilt deshalb, diese und ähnliche Risiken zu minimieren, indem angemessene Sicherheitsmaßnahmen ergriffen werden.331 Besondere Bedeutung erlangt in diesem Zusammenhang auch der Schutz und die Unversehrtheit von Daten als Teilaspekt der digitalen Unternehmensverantwortung (sog. „Corporate Digital Responsibility“).332 Im Rahmen des KIRisikomanagements sind deshalb geeignete Vorkehrungen zu treffen, um die Schwachstellen des KI-Systems frühzeitig zu erkennen und bedarfsgerechte Schutzmaßnahmen zu ergreifen.333 Zur Gewährleistung der IT-Sicherheit empfiehlt sich eine ganzheitliche Betrachtungsweise in Gestalt eines abgestimmten Schutzkonzepts. Nur auf diese Weise lässt sich ein homogenes Sicherheitslevel für sämtliche Kom­ ponenten des KI-Systems erreichen.334 Da Cybersicherheitsmaßnahmen aufgrund des rasanten Technologiefortschritts aber stets auf dem aktuellen Stand der Technik gehalten werden müssen, sollten Cybersicherheitsstrategien in enger Abstimmung und Kooperation mit IT-Sicherheitsberatern erarbeitet und umgesetzt werden. Eine ausführliche Darstellung der einzelnen Schutzund Abwehrinstrumente wäre im Rahmen der vorliegenden juristischen Ausarbeitung deplatziert, sodass nachfolgend nur kursorisch verschiedene Sicherheitsmechanismen dargestellt werden. Sichergestellt werden sollte unter anderem, dass nur ein begrenzter Kreis von Personen Zugriff auf das KI-System erhält.335 Dies ließe sich u. U. durch eine zurückhaltende Vergabe der Zugangsdaten erreichen.336 Ferner ist zu 331  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 162. 332  Unter den Sammelbegriff Corporate Digital Responsibility wird die Verantwortung der Unternehmensleitung zusammengefasst, einerseits digitale Chancen zu ergreifen und andererseits Vorkehrungen zu treffen, um das Unternehmen vor digitalen Risiken zu schützen – hierzu ausführlich Schneider, Forthcoming, European Business Law, 6/2022, S. 20, abrufbar unter: https://ssrn.com/abstract=3897263 (zuletzt abgerufen am 24.04.2022); zum Begriff auch Möslein, in: FS Hopt, 805 ff.; ders., in: Rechts-HdB AI und ML, Kap. 9 Rn. 18. 333  So auch Becker/Pordzik, ZfPW 2020, 334, 352. 334  Noack, ZHR 183 (2019), 105, 128 weist aber zurecht darauf hin, dass die Einrichtung eines eigenen IT-Sicherheitsmanagements nicht pauschal erforderlich sei, sondern stets eine Einzelfallentscheidung bleibe. 335  Kipker/Müller, in: Rechts-HdB AI und ML, Kap. 8.6 Rn. 17; Lücke, BB 2019, 1986, 1993; häufig wird insoweit auch von einer sog. „Need-to-know-Struktur“ gesprochen, wonach ein Zugriff auf das KI-System nur denjenigen Personen vorbehalten bleiben soll, die eine Zugangsberechtigung auch aus tatsächlichen Gründen (zwingend) benötigen, vgl. hierzu Partsch/Rump, NJW 2020, 118, 120 f.; Scholtyssek/Judis/ Krause, CCZ 2020, 23, 27. 336  Habbe/Gergen, CCZ 2020, 281, 284 sprechen im softwarespezifischen Zusammenhang vom sog. „Prinzip der minimalen Berechtigungsvergabe“.

146

Teil 2: Das Pflichtenprogramm des Vorstands

überlegen, individuelle Zugangskonten für sämtliche zugriffsberechtigten Personen anzulegen, um die protokollierten Datenverarbeitungsvorgänge dem jeweiligen Nutzer zuordnen zu können; im Verdachtsfall könnte die Fehlerquelle auf diese Weise ggf. zügiger ausfindig gemacht werden. Selbstredend ist auch auf die Verwendung hinreichend sicherer Passwörter zu achten.337 Ein weitergehender Schutz lässt sich durch die Verwendung einer ZweiFaktor-Authentifizierung erreichen.338 Maßnahmen der vorstehenden Art könnten über eine interne KI-Zugangssteuerungsrichtlinie eingeführt werden.339 Begleitend sollte zum Schutz sensibler Daten auch auf Kryptographie zurückgegriffen werden; dies auch deshalb, weil Maßnahmen solcher Art auch als „angemessene Geheimhaltungsmaßnahmen“ im Sinne von § 2 Nr. 1 lit. b) des Gesetzes zum Schutz von Geschäftsgeheimnissen (GeschGehG) gewertet werden können, was wiederum zur Folge hätte, dass nicht offenkundige Informationen insoweit dem besonderen Schutz der §§ 6 ff.  GeschGehG unterfallen.340 Zur Abwehr unbefugter Zugriffe über das Internet auf das KI-System oder dessen Datenbestand ist die Installation einer Firewall in Betracht zu ziehen, wobei besonderes Augenmerk auf eine angemessene Konfiguration ihrer Filterfunktion zu legen ist – eine zu schwache Firewall bietet keinen ausreichenden Schutz, während eine zu strenge Firewall die Performance beeinträchtigen kann.341 Auch ein individuell zugeschnittener Virenscanner kann das KI-System vor eingeschleusten Schadprogrammen schützen.342 Für den Fall der Fälle empfiehlt sich die präventive Erstellung eines Notfallplans.343 Dieser könnte bei einem Cyberangriff die nötige Ruhe vermitteln und einen alternativen Weg der Entscheidungsunterstützung vorsehen. Inhalt und Umfang der jeweiligen IT-Sicherheitsmaßnahmen sind jedoch stark von den konkreten Umständen des Einzelfalles abhängig,344 insbesondere auch von der Vernetzung der jeweiligen KI. Wird das KI-System quasi „offline“ betrieben, bestehen naturgemäß weniger hohe Anforderungen. Ist 337  Hierzu

allgemein Habbe/Gergen, CCZ 2020, 281, 284. in: Rechts-HdB AI und ML, Kap. 8.6 Rn. 23. 339  Kipker/Müller, in: Rechts-HdB AI und ML, Kap. 8.6 Rn. 20 f. 340  Hauck, in: MüKo/UWG, GeschGehG, § 2 Rn. 23. 341  Deusch/Eggendorfer, in: ComputerR-HdB, Abschnitt 50.1 Rn. 398; ähnlich Kipker/Müller, in: Rechts-HdB AI und ML, Kap. 8.6 Rn. 7. 342  Zum technischen Basisschutz in Unternehmen allgemein Habbe/Gergen, CCZ 2020, 281, 284. 343  Grob zum Inhalt eines solchen Notfallplans Habbe/Gergen, CCZ 2020, 281, 284; möglicherweise findet sich eine solche Handlungsanleitung für Notfälle auch in der herstellerseitigen Gebrauchsanweisung, vgl. hierzu bereits Teil 2 B. I. 2 b) bb) (2) (c). 344  Spindler, in: Cybersecurity als Unternehmensleitungsaufgabe, S. 39. 338  Kipker/Müller,



B. Sorgfaltspflichten des Vorstands147

die jeweilige KI hingegen an das Unternehmensnetzwerk angeschlossen und insofern einerseits mit den IT-Systemen des Unternehmens und andererseits mit dem Internet verbunden, bietet dies eine größere Angriffsfläche. (2) KI-Qualitätsmanagement und regelmäßige Audits Systemimmanente Programmfehler können die Funktionsfähigkeit der KI und die Korrektheit der Arbeitsergebnisse gefährden. Es besteht die Gefahr, dass ein entwicklerseitig falsch gewichteter Parameter oder ein sonstiger Konstruktionsfehler im neurologischen Netzwerk das KI-System unbrauchbar macht. Werden KI-Ergebnisse der Vergangenheit als Teilmenge neuer Eingabedaten automatisiert wiederverwendet (sog. „­Rückkopplungsschleifen“), besteht außerdem das Risiko dauerhaft verzerrter Ergebnisse, weil fehlerhafte Resultate die Basis neuer Berechnungen bilden könnten.345 Es ist zentrale Aufgabe des Vorstands, die IT-Systeme der Aktiengesellschaft in einem funktionsfähigen Zustand zu erhalten.346 Die Auswahl geeigneter Qualitätssicherungsmaßnahmen liegt in dessen Ermessen.347 Die regelmäßige Überprüfung auf Systemaktualisierungen (Updates, Patches, Bugfixes usw.) gehört ebenso wie die Beobachtung neuer Systemgenerationen zu den wichtigsten Qualitätssicherungspflichten – das KI-System muss, gerade soweit es um unternehmenslenkende und unmittelbar das Wohlergehen der Aktiengesellschaft betreffende Leitungsentscheidungen geht, den jeweils aktuellen Stand der Technik besitzen.348 Eine solche Pflicht zur Aktualisierung kann freilich nur zum Tragen kommen, wenn der Hersteller entsprechende Korrekturversionen und Verbesserungslösungen bereitstellt349 oder die notwendigen Anpassungen ohne weiteres durch den Nutzer selbst vorgenommen werden können. Ist allerdings erkennbar, dass die Leistung des KI-Systems nicht die erforderliche Qualität erreicht und diese auch nicht durch etwaige Aktualisierungen hergestellt werden kann, muss der Vorstand von der Verwendung des Programms Abstand nehmen. Des Weiteren ist das System in regelmäßigen Abständen auf Funktions­ fähigkeit und Stabilität zu prüfen.350 Zur Qualitätssicherung und Testung der Wirksamkeit des eingerichteten KI-Risikomanagementsystems bietet sich 345  Art. 15 Abs. 3 VO-E

Artificial Intelligence Act COM(2021) 206 final. in: ComputerR-HdB, Abschnitt 50.1 Rn. 398. 347  Deusch/Eggendorfer, in: ComputerR-HdB, Abschnitt 50.1 Rn. 399. 348  Zur Begriffsdefinition ausführlich Conrad, in: IT-R-HdB, § 33 Rn. 204 ff. 349  Zur Updatepflicht des Herstellers ausführlich Haagen, Verantwortung für Künstliche Intelligenz, S. 275 f. 350  Dies schlägt auch Lücke, BB 2019, 1986, 1993 bereits in seinem 10-PunktePflichtenkatalog vor. 346  Deusch/Eggendorfer,

148

Teil 2: Das Pflichtenprogramm des Vorstands

eine zyklische Durchführung eines Auditierungsverfahrens an. Als Prüfungsorganisation käme entweder eine staatliche Aufsichtsbehörde oder ein unabhängiger privater Auditor in Betracht.351 Teil der Auditierung könnten sog. Penetrations- oder Stresstests sein, die gezielt die Robustheit, Widerstands­ fähigkeit und den Schutz des KI-Systems überprüfen.352 Linardatos und Bitter geben indes zu bedenken, dass sich die Entwicklung eines effizienten Auditierungsprozesses aufgrund der intransparenten Entscheidungsalgorithmen schwierig gestalten könnte.353 Als weitere Qualitätssicherungsmaßnahmen kommen u. a. stichprobenartige Testungen in Betracht.354 Beispielhaft könnte der Umgang des KI-Systems mit bewusst fehlerhaften Eingabedaten überprüft werden (Fehlerkonfrontationen). Alternativ oder kumulativ hierzu könnte das KI-System auf die Probe gestellt werden, indem es mit einer Auf­ gabe konfrontiert wird, deren optimales Resultat bereits bekannt ist (Testaufgabenkonfrontation). Wird der Erwartungshorizont nicht erfüllt, schließen sich entsprechende Folgepflichten an (Herstellerregress, vorläufiger Nichtgebrauch des Programms, Fehlersuche etc.). Je nachdem welche Bedeutung und Aufgabenvielfalt dem System im Rahmen der Entscheidungsunterstützung zukommt, inkludiert das Kontrollverfahren – unter der Prämisse technischer Umsetzbarkeit – außerdem die Überwachung des Programmcodes und die Inspektion der verfügbaren In­ formationsquellen im Hinblick auf ihre Verlässlichkeit und das Qualitäts­ niveau.355 Auch das KI-System überwachende Algorithmen (sog. Kontroll­ algorithmen oder auch Kontroll-KI) könnten geeignete Werkzeuge darstellen, um Unregelmäßigkeiten in der Arbeitsweise oder dem Ergebnis der KI aufzuspüren.356 Sattler plädiert in diesem Zusammenhang für die Entwicklung von „Anwenderprogrammen“, um programmimmanente Folgefehler zügig nachvollziehen und beseitigen zu können.357 Schließlich ist dem Vorstand zur Sicherung des Datenbestandes auch anzuraten, eine adäquate Backup-Strategie zu entwickeln bzw. entwickeln zu lassen.358

NJW 2020, 2142, 2146. sog. Stresstest auch Martini, Blackbox Algorithmus, S. 151 bezugnehmend auf die regelmäßige Überprüfung von Algorithmen durch Wertpapierdienstleistungsunternehmen. 353  Linardatos/Bitter, MMR-Aktuell 2020, 434002. 354  So i. E. auch Martini, Blackbox Algorithmus, S. 155. 355  Ähnlich Martini, Blackbox Algorithmus, S. 351. 356  Hierzu Martini, Blackbox Algorithmus, S. 351; ders., JZ 2017, 1017, 1022; ebenso Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 29. 357  Sattler, BB 2018, 2243, 2248. 358  Noack, ZHR 183 (2019), 105, 128. 351  Hacker, 352  Zum



B. Sorgfaltspflichten des Vorstands149

(3) Einrichtung einer unternehmensinternen KI-Richtlinie Fraglich ist, ob im untersuchungsgegenständlichen Kontext auch die Einführung einer KI-Richtlinie bzw. eines KI-Kodex geboten erscheint und insoweit dem Pflichtenkreis des Vorstands zuzuordnen ist. Unternehmensinterne Richtlinien wenden sich vorrangig als Verhaltensanweisung an die Mitarbeiter (§ 106 GewO),359 können jedoch auch zur Selbstverpflichtung als Konzeptpapier durch den Vorstand eingeführt werden.360 Ob das Verfassen einer KI-Richtlinie einen Mehrwert bringt und sorgfältiger Unternehmensleitung entspricht, ist folglich unter Würdigung aller Umstände des Einzelfalls zu entscheiden. Wird beispielsweise zur Organisation und Überwachung des KISystems eine große Zahl an Mitarbeitern eingesetzt, kann ein interner Verhaltenskodex dabei unterstützen, die Grundsätze im Umgang mit KI zu kommunizieren, Zuständigkeiten festzulegen und Vertrauen, Akzeptanz und Sensi­ bilität zu schaffen. Auch die Europäische Kommission hat in ihrem Ver­ ordnungsvorschlag unter Art. 69 VO-E Artificial Intelligence Act explizit die Förderung unternehmensinterner KI-spezifischer Verhaltenskodizes vorgesehen und insoweit den Nutzen derartiger Regelwerke hervorgehoben.361 Auch Moosmayer spricht sich dafür aus, KI in den Blickpunkt der internen Regelwerke zu nehmen; dies sei der Anspruch an ein fortschrittliches und digital aufgeschlossenes „Reputationsmanagement“, zumal die Technik „gravierende Fragen […] etwa nach der Letztverantwortung im Unternehmen“ aufwerfe.362 gg) Pflicht zur Auseinandersetzung mit der Entscheidungsgrundlage Schließlich verhält sich der Vorstand auch dann pflichtwidrig, wenn er die Leitungsentscheidung „leichtfertig ohne genaue Prüfung und Abwägung“363 trifft. Streng genommen handelt es sich hierbei nicht mehr um eine delega­ tionsbedingte KI-Organisationspflicht, sondern um die originäre Letztent359  Zur Verhaltensanweisung vgl. Rothenburg, in: Goette/Arnold, HdB Aufsichtsrat, § 4 Rn. 268; Dworschak/Umnuß, in: Compliance-Checklisten, Kapitel 1. Arbeitsrecht und Sozialversicherungsrecht, Rn. 210 f. 360  In ähnlicher Weise sprechen sich Bahreini/Charton/Lucas, RDi 2021, 548, 548 für einen sog. Code of Digital Ethics aus: „Um angesichts regulatorischer Unsicherheit unternehmerische Entscheidungen mit ethischen Implikationen möglichst fundiert zu treffen, können selbstauferlegte ethische Leitlinien eine wichtige Rolle spielen“. 361  So auch Ebert/Spiecker, NVwZ 2021, 1188, 1192; Art. 69 VO-E Artificial Intelligence Act COM(2021) 206 final richtet sich sowohl an Anbieter als auch an Nutzer (vgl. Abs. 3) nicht-hochriskanter KI-Systeme. 362  Moosmayer, in: Compliance, Rn. 163a. 363  Spindler, in: MüKo/AktG, § 93 Rn. 187.

150

Teil 2: Das Pflichtenprogramm des Vorstands

scheidungsverantwortung. Noch nicht abschließend geklärt ist, ob und in welchem Ausmaß den Vorstand die Pflicht trifft, das KI-Arbeitsergebnis zu hinterfragen. Welche Anforderungen an die „Letztüberprüfung“ bzw. an die Aufarbeitung des KI-Ratschlags zu stellen sind, ist in der Diskussion bislang völlig offen.364 Als Vorüberlegung sei zunächst darauf hingewiesen, dass sich eine Delegation grundsätzlich nur dort rentiert, wo sie dem Deleganten (hier: dem Vorstand) eine Form der Arbeitserleichterungen verschafft.365 Müsste die Ergebnisausgabe des KI-Systems in sämtlichen Verästelungen nachvollzogen werden, könnte der Vorstand die entscheidungsvorbereitenden Tätigkeiten gleich selbst erledigen.366 Nichtsdestotrotz muss an dieser Stelle auch berücksichtigt werden, dass ein unbesehenes „Durchwinken“ oder Verwerten des KI-Outputs weder der dem Vorstand obliegenden allgemeinen Sorgfaltspflicht noch seiner Leitungsverantwortung gegenüber der Gesellschaft gerecht würde – obgleich er das System im Vorfeld ordnungsgemäß ausgewählt, eingerichtet und fortlaufend überwacht bzw. Dritte hierzu angewiesen hat.367 Gemeinhin gilt der Vorstand in diesem herausgehobenen Teilbereich der Geschäftsleitung als letzte Kontroll- bzw. Beurteilungsinstanz. Dieser Verantwortungslast wird er nur dann gerecht, wenn er die ihm gesetzlich zwingend zugeordneten Aufgaben tatsächlich, höchstpersönlich und unter Anwendung der jeweils gebotenen Sorgfalt wahrnimmt. Das Maß der erforderlichen Kontrolle ist dort erreicht, wo der sog. Vertrauensgrundsatz ansetzt.368 Nach Harbarth darf auf die sorgfältige Arbeit eines Dritten solange vertraut werden, wie ein pflichtwidriges Verhalten nicht erkannt oder erkennbar ist.369 Der auslegungs- und konkretisierungsbedürftige Begriff der Erkennbarkeit ist aber, jedenfalls soweit es um KI-Unterstützung im aktiengesellschaftsrecht­ lichen Leitungsbereich geht, noch nicht abschließend definiert bzw. konkretisiert. Aufgrund dessen hat ein überschaubarer Kreis juristischer Autoren diese Thematik aufgegriffen und erste Ansätze zur inhaltlichen Ausgestaltung 364  Auch Noack, in: FS Windbichler, 947, 952 stellt klar: „Die eigentliche Frage lautet, ob jede KI-Entscheidung menschlich geprüft werden muss oder nur wesent­ liche oder ob es ausreicht, dass das Gesamtsystem dem Design und der Kontrolle menschliche Geschäftsleiter unterliegt“. 365  Ähnlicher Ansatz auch bei Weißhaupt, ZHR 185 (2021), 91, 97, der die Plausibilitätskontrolle aus diesem Grund im Regelfall auf eine „Durchsicht auf Evidenz und Widerspruchsfreiheit“ beschränken möchte. 366  Ähnlich Linnertz, Die Delegation durch den Vorstand einer AG, S. 186. 367  So wohl auch Lane, Representing Corporate Officers and Directors and LLC Managers, § 4.11 S. 62 f.; Locke/Bird, Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff. (abrufbar: s. Fn. 9 – im Dokument S. 18); Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 11. 368  Balke/Klein, ZIP 2017, 2038, 2044; Fleischer, AG 2003, 291, 294 f.; Knierim, in: WirtschaftsStrafR-HdB, Kap. 5 Rn. 48. 369  Harbarth, ZGR 2017, 211, 216.



B. Sorgfaltspflichten des Vorstands151

der Anforderungen an die Letztentscheidungssorgfalt im Umgang mit KI im unternehmerischen Bereich entwickelt. Während Linardatos die Pflicht des Vorstandes zur Plausibilitätskontrolle auf die „generelle Systemfunktionalität“ beschränken möchte,370 hält ein anderer Teil der Lehre eine „Verplausibilisierung“ bzw. eine darüberhinausgehende kritische Bewertung des Aus­ gabeergebnisses der KI unter Berücksichtigung externer Erkenntnisse und Erfahrungen für erforderlich.371 Nach diesseitiger Auffassung ist eine – nachfolgend dargestellte – differenzierte Betrachtung geboten. (1) Technischer Funktionalitätscheck Muss sich der Vorstand, bevor er das ausgegebene KI-Ergebnis als Informationsbasis seiner Entscheidung zugrunde legt, davon überzeugen, dass das System im Nutzungsbetrieb technisch einwandfrei funktioniert hat? Diese Frage kann nicht mit einem schlichten „Ja“ oder „Nein“ beantwortet werden. Technische Risiken sollten im Wesentlichen bereits durch vorgelagerte Maßnahmen sorgfältiger Auswahl, laufender Überwachung und durch regelmäßige Systemaktualisierungen ausgeräumt werden.372 Andererseits zeigt ein bereichsübergreifender Blick auf das Themengebiet der zivilen Luftfahrt exemplarisch, dass eine technische Vorprüfung neben kontinuierlichen Wartungen einen wichtigen Baustein darstellen kann: Piloten verlassen sich die meiste Zeit des Fluges auf ein autonomes Autopilotensystem, das sog. „Auto Flight System“ (AFS); sie führen jedoch vor jedem Flug einen sog. PreflightCheck durch.373 Eine solche technische Letztüberprüfung kann von der Geschäftsleitung jedoch nur dann gefordert werden, wenn das KI-Arbeitsergebnis eine besonders risikoreiche und komplexe Leitungsentscheidung zum Gegenstand hat.374 Zu überprüfen wäre in diesem Fall, ob das System ohne technische Störungen und Fehlermeldungen gearbeitet hat und ob der Pro-

ZIP 2019, 504, dort Fn. 58. BB 2019, 1986, 1993 f. spricht insoweit von „human intelligence challenges artificial intelligence“; Noack, in: FS Windbichler, 947, 954; Picciau, 17 Hastings Business Law Journal 67, 121, 130; Schubert, Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 33. 372  Hierzu ausführlich bereits unter Teil 2 B. I. 2. b) bb) (a) und Teil 2 B. I. 2. b) ff) (1), (2). 373  Insbesondere sind sie verpflichtet, sich davon zu überzeugen, dass „erforder­ liche Instrumentierung und Ausrüstung im Luftfahrzeug installiert und betriebsbereit“ ist, vgl. Luftfahrt-Grundverordnung (EU) 2018/1139 Anhang V Nr. 2 lit. c) iii). 374  Ähnlich auch Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 25. 370  Linardatos, 371  Lücke,

152

Teil 2: Das Pflichtenprogramm des Vorstands

zess der Dateneinspeisung regelgerecht abgelaufen ist.375 Ein technisches Verständnis des Vorstands ist für einen solchen „Tech-Check“ jedenfalls nicht zu fordern. Ausreichen sollte eine Erkundigung bei den zuständigen IT-Mitarbeitern oder einem externen IT-Support. In den weniger komplizierten bzw. riskanten Fällen sollte der Vorstand von einem solchen technischen SchlussCheck absehen dürfen und sich auf die sorgfältige, im Vorfeld durchgeführte KI-Compliance berufen können. (2) Technische Herleitungsplausibilisierung Von dem vorstehend skizzierten Funktionalitätscheck abzugrenzen ist die Frage, ob der Vorstand das konkrete KI-Ergebnis zudem nicht bloß unternehmerisch, sondern auch technisch hinterfragen muss, mithin eine technische „Herleitungsplausibilisierung“ durchführen muss.376 Ein solches technisches Erschließen der KI-Lösung wird von einem nicht unerheblichen Teil des Schrifttums gefordert.377 Dem kann nicht zugestimmt werden.378 Eine derartige Fachkompetenz wird man von den Vorstandsmitgliedern nicht fordern können.379 So, wie die Plausibilisierung eines Rechtsrats keine juristischen Fachkenntnisse voraussetzt380 oder die Delegation an nachgeordnetes Perso375  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 116; Zetzsche, AG 2019, 1, 8 f. 376  Zum Begriff der technischen „Herleitungsplausibilisierung“ Becker/Pordzik, ZfPW 2020, 334, 352. 377  So i. E. Möslein, ZIP 2018, 204, 209; Wagner, BB 2018, 1097, 1101 und Weber/Kiefner/Jobst, NZG 2018, 1131, 1132 halten ein gewisses technisches Grundverständnis des Vorstands von KI und deren Algorithmen für unabdingbar; auch Altenburg, in: CSR und Künstliche Intelligenz, S. 6, sieht es als erforderlich an, dass „Manager interne Kompetenzen aufbauen, um über das Algorithmendesign [und] die Interpretation der Ergebnisse […] zu entscheiden“; nach Mosco, European Company Law 17(3):87, 94 sei ein KI-spezifisches Technikverständnis eines Vorstandsmitglieds ausreichend; Gassner, in: Digital Law, S. 95 f., fordert „auf Seiten der Geschäftsleitung […] ein technisches Grundverständnis für technologische Entwicklungen“, betont gleichwohl aber auch, es sei der Geschäftsleitung nicht vorzuwerfen, wenn sie KI einsetzt, obwohl sie deren Entscheidungsparameter nicht nachvollziehen könne (dort S. 98). 378  Ebenso Becker/Pordzik, ZfPW 2020, 334, 352; Hoch, AcP 219 (2019), 648, 653, 682; Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 137; Noack, ZHR 183 (2019), 105, 118. 379  Hoch, AcP 219 (2019), 648, 653, 682; Gassner, in: Digital Law, S. 98. 380  BGH, Urt. v. 28.04.2015 – Az.: II ZR 63/14 = NZG 2015, 792, 795: „Die Plausibilitätsprüfung besteht nicht in einer rechtlichen Überprüfung der erhaltenen Rechtsauskunft. Sie beinhaltet vielmehr eine Überprüfung, ob dem Berater nach dem Inhalt der Auskunft alle erforderlichen Informationen zur Verfügung standen, er die Informationen verarbeitet hat und alle sich in der Sache für einen Rechtsunkundigen



B. Sorgfaltspflichten des Vorstands153

nal kein Nachvollziehen der „menschlichen inneren biochemischen Erinnerungs- und Entscheidungsprozesse“381 erfordert, darf auch die Plausibilisierung eines unternehmerischen Rates durch ein KI-System keine technischen Fachkenntnisse verlangen. Das Aktiengesetz selbst schweigt, soweit es um die fachlichen Anforderungen an Vorstandmitglieder geht. § 76 Abs. 3 AktG sieht lediglich gewisse Bestellungshindernisse vor und legt in Satz 1 fest, dass dem Vorstand nur natürliche, unbeschränkt geschäftsfähige Personen angehören dürfen. Auch außerhalb der rechtlichen Betrachtung stellt sich die Frage, ob eine derartige IT-Plausibilisierung überhaupt umsetzbar ist. Zum einen besteht jedenfalls nach dem gegenwärtigen Stand der Technik das bereits an anderer Stelle näher beschriebene Black-Box-Dilemma, welches ein transparentes Nachvollziehen der algorithmischen Rechenoperationen nahezu unmöglich macht.382 Zum anderen hat der überwiegende Teil der Vorstände keinen vertieften IT-Hintergrund. Manager der ersten Führungsebene haben zumeist ein Studium der Wirtschaftswissenschaften belegt, wieder andere haben Ingenieurs- oder Rechtswissenschaften studiert; nur die wenigsten Vorstände können ein Studium der Informatik oder eine vergleichbare ITgeprägte akademische Laufbahn vorweisen.383 Dementsprechend besitzen Vorstände regelmäßig keine vertieften IT-Kenntnisse. Hoch weist vor diesem Hintergrund richtigerweise auf die Gefahr einer nicht praktikablen Erweiterung des Anforderungskatalogs an Vorstandsmitglieder hin.384 Zwar mag sich das Verhältnis technikversierter Vorstände in den nächsten Jahren verschie­ ben,385 dennoch stellt sich auch insoweit die Frage, ob allein ein IT-Studium ein Vorstandsmitglied in die Lage versetzt, die komplexe algorithmische Logik einer KI zu verstehen. Auch ein bloßes Grundverständnis der technischen Wirkungsweise, wie dies teilweise gefordert wird,386 ist abzulehnen. aufdrängenden Fragen widerspruchsfrei beantwortet hat oder sich auf Grund der ­Auskunft weitere Fragen aufdrängen“; auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 112; Strohn, CCZ 2013, 177, 183; Vetter, NZG 2015, 889, 894. 381  Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 11. 382  Vgl. hierzu bereits Einführung C. I. 1. sowie Teil 1 B. I. 1. a) aa). 383  Vgl. hierzu Odgers Berndtson, 9. DAX-Vorstandsreport, S. 8 f. abrufbar unter: https://www.odgersberndtson.com/media/10797/dax-report-2021_odgers-berndtson. pdf (zuletzt abgerufen am 24.04.2022). 384  Hoch, AcP 219 (2019), 648, 653, 682. 385  In diese Richtung tendierend Siebecker, 45 The Journal of Corporation Law 95 (2019), S. 143 f., der von Vorstandsmitgliedern eine Offenheit für die datengesteuerte Entscheidungsfindung fordert. 386  So Möslein, ZIP 2018, 204, 209; ähnlich auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 150, 157; ebenso Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 10.

154

Teil 2: Das Pflichtenprogramm des Vorstands

Einerseits drängt sich die Frage auf, worin der Mehrwert eines solchen Grundverständnisses liegt. Ein rein oberflächliches Wissen wird den Vorstand nicht dazu befähigen, den Entscheidungsbaum der KI bzw. deren Rechenoperationen nachzuvollziehen. Andererseits bleibt unklar, wo ein solch unspezifisches Grundverständnis anfängt respektive aufhört. (3) Sachlich-inhaltliche Plausibilitätskontrolle Vertraut der Vorstand zur Erledigung eigener Aufgaben auf das Arbeits­ ergebnis eines vorbefassten Delegationsempfängers, tritt den vorgelagerten Organisationspflichten387 die Pflicht zur Plausibilisierung hinzu.388 Das Erfordernis der Plausibilitätskontrolle hat im gesellschaftsrechtlichen Be­ reich durch die Fallgruppe des Verlassens auf qualifizierte und unabhängige Rechts­beratung Bekanntheit erlangt.389 Hiernach ist der Vorstand verpflichtet, die vorbereitete Stellungnahme nochmals kritisch zu reflektieren. Ob die in der Rechtsprechung und Literatur entwickelten Anforderungen an die Plausibilitätskontrolle unverändert auch auf Informations- bzw. Beratungsleistungen durch KI-Assistenzsysteme übertragen werden können bzw. welche Modifikationen ggf. erforderlich sind, bedarf der Klärung. Festzuhalten ist zunächst ganz allgemein: Lässt sich der Vorstand im Rahmen seiner Leitungstätigkeit durch ein KI-System unterstützen, darf er nicht pauschal mit der Erwartungshaltung ans Werk gehen, die KI ersetze das eigene Durchdenken und Abwägen der Entscheidung.390 Der Vorstand darf die erarbeitete ­Informationsgrundlage bzw. den unternehmerischen Vorschlag eines KI-Systems nicht anders behandeln als sonstige (wertfreie) Informationen.391 Mit Recht stellt deshalb auch der Prüfkatalog ALTAI der EU die Frage:

387  Gemeint sind Auswahl, Einweisung, Ressourcenausstattung, Überwachung und Intervention. 388  Harbarth, ZGR 2017, 211, 230. 389  Vgl. nur BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271 Rn. 18; Heckschen, in: BeckNotar-HdB, § 23 Rn. 200. 390  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 134, 136; auch die BaFin vertritt einen Human-in-the-loop-Ansatz und stellt in ihrem Prinzipienpapier vom 15. Juni 2021 „Big Data und künstliche Intelligenz: Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“, abrufbar unter https://www.bafin.de/SharedDocs/ Downloads/DE/Aufsichtsrecht/dl_Prinzipienpapier_BDAI.pdf?__blob=publicationFile &v=1 (zuletzt abgerufen am 24.04.2022), klar: Menschen „sollten in die Interpretation und Verwertung der algorithmischen Ergebnisse für die Entscheidungsfindung angemessen eingebunden werden. Wie stark sie eingebunden werden, sollte davon abhängen, wie geschäftskritisch der Entscheidungsprozess ist und mit welchen Risiken er behaftet ist“. 391  Siehe hierzu bereits allgemein Teil 2 B. I. 2. b) aa) (1) (b).



B. Sorgfaltspflichten des Vorstands155 „Did you put in place procedures to avoid that end-users over-rely on the AI system?“392

Fleischer formuliert zutreffend, die Delegation von Aufgaben zur Entscheidungsvorbereitung sei zulässig, sofern der Vorstand jedenfalls „am Schluss wohlerwogen und in eigener Verantwortung entscheidet“.393 Ob sich der Vorstand im Rahmen der Plausibilisierung bloß auf die Würdigung der KI-seitig ausgegebenen Ergebnisbegründung beschränken darf („KI-Plausibilisierung“) oder darüber hinaus weitere Informationsquellen einbeziehen und das Ergebnis generell unter Berücksichtigung aller in Betracht kommenden Umstände hinterfragen muss („Entscheidungsplausibilisierung“), wird nachfolgend erörtert. (a) Sachlich-inhaltliche KI-Plausibilisierung Die betriebswirtschaftlich-unternehmerische KI-Plausibilisierung, also die Auseinandersetzung allein mit den Argumenten und Informationen der KI-erzeugten Erläuterung, kann zwangsläufig schon nur dann erfolgen, wenn die KI überhaupt fähig ist, das ausgegebene Ergebnis laienhaft-untechnisch und nachvollziehbar zu begründen. Soweit ersichtlich, ist aber gerade dies bislang eine der großen Herausforderungen in der KI-Forschung.394 Nach derzeitigem Stand sind nur die wenigsten KI-Systeme in der Lage, ihre Empfehlungen und Analysen auch zu erklären.395 Die Vorfrage, ob dem Vorstand KI-Technik im Leitungsbereich als nicht der Geschäftsleitersorgfalt gerecht werdendes Hilfsmittel von vornherein solange verwehrt bleiben sollte, wie die Erklärbarkeit der Ergebnisse nicht gewährleistet werden kann, wurde an anderer Stelle bereits verneinend beantwortet.396 Nach hiesiger Ansicht darf demnach auch das von einer intransparenten Blackbox-KI stammende Arbeitsergebnis jedenfalls als Anhaltspunkt im Rahmen einer Gesamtbeurteilung berücksichtigt werden.397 Richtigerweise konstatiert Linardatos, dass den Vorstand keine Obliegenheit treffe, die Blackbox-KI umfassend zu verstehen.398 Ist eine Begrün392  Assessment List for Trustworthy Artificial Intelligence der HEG-KI vom 17.07.2020, S. 7 (s. Einführung Fn. 49). 393  Fleischer, in: BeckOGK/AktG, § 93 Rn. 133; ähnlich auch Möllmann, GmbHR 2021, 1033, 1037, der dies konkret auch für den Einsatz von KI-Systemen annimmt. 394  Vgl. hierzu bereits Teil 1 B. I. 1. a) aa). 395  So bereits Noack, in: FS Windbichler, 947, 950, 954; Strohn, ZHR 182 (2018), 371, 375 bezeichnet die Intransparenz gar als „systembedingte Folge“ des KI-Einsatzes. 396  Siehe hierzu ausführlich S. Teil 1 B. I. 1. b). 397  A. A. wohl Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  145 f. 398  Linardatos, ZIP 2019, 504, 506.

156

Teil 2: Das Pflichtenprogramm des Vorstands

dung der KI gleichwohl einsehbar, darf diese freilich nicht unberücksichtigt bleiben und ist sorgfältig zu plausibilisieren.399 Die Prüfungstiefe bestimmt sich einzelfallabhängig unter Betrachtung der jeweiligen Entscheidung und der Zuverlässigkeit des verwendeten KI-Systems.400 Dass die Nutzung einer KI als (bloße) Informationsbeschaffungssoftware rechtlich anders zu bewerten ist als deren Einsatz zur Beratung, wurde bereits mehrfach betont.401 Weißhaupt sieht die Plausibilitätsanforderungen zurecht in einem dynamischen System in Abhängigkeit von der Tragweite der delegierten Aufgabe.402 Die Überwachungssorgfalt des Vorstands findet bekanntlich ihre Grenzen einerseits in dem Grundsatz der Eigenverantwortung des Delegationsempfängers und andererseits in der objektiv (ex ante) vernünftigen Annahme, dass dieser seine Aufgabe korrekt erfüllt (sog. Vertrauensgrundsatz).403 Möchte der Vorstand Informationen, die ein KI-Assistenzsystem recherchiert, geordnet und zusammengefasst hat, seiner Entscheidung als Erkenntnisquelle zugrunde legen, sind geringere Anforderungen an die Plausibilitätsprüfung zu stellen. Ausreichen dürfte eine stichprobenartige Evidenzkontrolle auf Vollständigkeit, Richtigkeit der zugrundeliegenden Informationen, Seriosität der Bezugsquellen sowie eine Überprüfung der Einhaltung des Arbeitsauftrags.404 Steht indessen eine entscheidungsnahe Beratungsleistung der KI auf dem Prüfstand, sind dem Vorstand strengere Kontrollabwägungen abzuverlangen, d. h. er ist verpflichtet, die Begründung der KI auf Stringenz zu prüfen und muss sie auf Widersprüchlichkeiten, Diskriminierungen sowie auf sachfremde Erwägungen durchsehen; außerdem hat er die dargelegten Argumente für sich zu gewichten und auf dieser Grundlage eine eigenständige unternehmerische ­ ­Abwägungsentscheidung zu treffen.405 399  Strohn, ZHR 176 (2012), 137, 142 führt zur Plausibilisierung im Allgemeinen aus, der Vorstand müsse „überlegen, ob er aus seinem insoweit laienhaften Verständnis heraus die Darlegungen versteht und sie ihm einleuchten“. 400  Insoweit auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 154. 401  Vgl. hierzu bereits Teil 2 B. I. 2. b) bb) (1) sowie im Allgemeinen auch Teil 2 B. I. 1. b) aa) (1) (b). 402  Weißhaupt, ZHR 185 (2021), 91, 97 (sowie dort Schaubild 1); ähnlich auch Vocelka/Langensiepen/Beismann, in: CSR und Künstliche Intelligenz, S. 47, ebenso weist Piepenbrock, „Defense of Reliance“ im deutschen Aktienrecht, S. 266 f. darauf hin, dass die Plausibilisierungsanstrengungen fallabhängig variieren können und sich insbesondere auch nach der Zuverlässigkeit der Auskunftsquelle richten. 403  Knierim, in: WirtschaftsStrafR-HdB, 5. Kap. Rn. 48. 404  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 136; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 144 f. bezeichnet diese Prüfpflicht als „formale Prüfung“. 405  Zur Aufdeckung von Gefälligkeitsgutachten und Diskriminierungen als Teil der KI-Plausibilisierung bereits Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 150 ff.



B. Sorgfaltspflichten des Vorstands157

Die Vor- und Hilfsarbeiten der Plausibilisierung, beispielsweise die Aufarbeitung oder Zusammenfassung der KI-Auskunft oder die Erstellung eines Vorab-Resümees, lassen sich wiederum delegieren – horizontal wie auch vertikal.406 Teilweise wird außerdem gefordert, der Vorstand müsse das Ergebnis der KI in jedem Fall „durch eine fachlich qualifizierte Person“ überprüfen lassen407 – in diesem Fall ließe sich über den Mehrwert eines KIEinsatzes streiten. Neben einer Überprüfung der – ggf. vorhandenen – KI-Erklärung kommt bei vorausgesetzter technischer Umsetzbarkeit überdies auch eine Gegenprobe der KI als Plausibilitätsprüfung in Betracht. Anstatt die KI nach dem Rat bzw. Ziel zu fragen, könnten Grundvoraussetzungen zur Erreichung des Ziels abgefragt und auf sachliche Richtigkeit überprüft werden (Abfrage entscheidungsrelevanter Vorfragen).408 Auf diese Weise ließe sich kontrollieren, ob die KI von falschen Vorbedingungen ausgeht. (b) Entscheidungsplausibilisierung Fraglich ist weiterhin, ob ein Tunnelblick auf die Auskunft der KI ausreicht oder der Vorstand eine erweiterte Perspektive einnehmen muss. Für den Bereich der Rechtsberatung gilt, dass sich der Vorstand unter der Prämisse, dass die ISION-Kriterien beachtet wurden, grundsätzlich auf die juristische Stellungnahme verlassen darf. Lediglich dann, wenn „besondere Umstände die objektive Verlässlichkeit der Auskunft […] infrage stellen“, „Zweifel an der Belastbarkeit des Ergebnisses“ im Raum stehen oder „angesichts der Tragweite der Entscheidung und verbleibender Unsicherheiten eine zusätzliche Absicherung angezeigt ist“, sollte der Vorstand eine Zweitmeinung einholen.409 Ähnliche Regeln wird man auch für die KI-gestützte Entscheidungsvorbereitung aufzustellen haben, mit dem Unterschied, dass die unternehmerische Drittmeinung der KI – wie bereits erörtert, anders als ein

406  Allgemein hierzu Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 114 f. 150, 154 f. m. w. N. 407  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 128. 408  In ähnlicher Weise schlagen Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 116 und Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 25 unter Verweis auf Noack, ZHR 183 (2019), 105, 119 vor, eine „Zweitmeinung“ bzw. Plausibilisierung dadurch herbeizuführen, dass die Parameter des KI-Systems verändert werden. 409  Grigoleit/Tomasic, in: Grigoleit, AktG, § 93 Rn. 64 f.; auch Buck-Heeb, BB 2016, 1347, 1354 und Rieckers, in: Beck’sches M&A-HdB, Kap. 5 § 26 Rn. 79 weisen da­rauf hin, dass eine sog. „Second Opinion“ zwar nicht stets, aber bei Zweifeln in Betracht zu ziehen sei.

158

Teil 2: Das Pflichtenprogramm des Vorstands

Rechts­rat410 – in jedem Fall einer eigenen Abwägungsentscheidung zu unterziehen ist. Es lässt sich daher nicht pauschal beantworten, ob sich die Plausibilisierung auf die Überprüfung der ggf. vorhandenen KI-generierten Begründung beschränken darf. Ganz grundsätzlich muss sich der Vorstand in dem Umfang informieren, der vernünftigerweise als angemessen angesehen werden darf.411 Zumindest für den Fall, dass überhaupt keine KI-Begründung einsehbar wäre, müsste der Vorstand nach diesseitiger Auffassung seinen Blickwinkel weiten und „über den Tellerrand“ der KI hinausschauen. Generiert das System weder eine nachvollziehbare Begründung noch ein nachweislich verlässliches Ergebnis, muss der Vorstand zusätzliche Abwägungen anstellen sowie seine außerhalb der algorithmischen Informationsgrundlage gewonnenen Erfahrungen und Kenntnisse einbringen.412 Ferner hat er erforderlichenfalls weitere Informationen zu beschaffen und seiner Entscheidung zugrunde zu legen.413 Die Einbringung eigener Überlegungen ist zudem auch dann zu verlangen, wenn die Leitungsentscheidung eine klassische, dem Vorstand fachlich und/oder geschäftlich vertraute Materie zum Gegenstand hat oder mit weitreichenden Folgen bzw. erheblichen Risiken verbunden ist.414 Sofern eine verständliche Ergebnisbegründung der KI einsehbar ist, gilt umgekehrt: Je weiter sich der Beratungsgegenstand vom allgemein betriebswirtschaftlichen Geschäft und Verständnishorizont des Vorstands entfernt, desto eher wird sich der Vorstand auf eine summarische Analyse und Würdigung der KI-Begründung beschränken können, vorausgesetzt es bestehen keine ernsten Zweifel an der Richtigkeit der algorithmisch erzeugten Auskunft und die Tragweite der Entscheidung verlangt keine mehrfache Absicherung.415 410  Allgemeine

Ausführungen hierzu bereits oben Teil 2 B. I. 1. b) aa) (1) (b). Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff. (abrufbar: s. Fn. 9 – im Dokument S. 19); auch nach Mertens/Cahn, in: KK/AktG, § 93 Rn. 34 muss „die Informationsauswahl […] aus Sicht eines ordentlichen Geschäftsleiters im Zeitpunkt der Entscheidungsfindung vertretbar erscheinen“. 412  Allgemein hierzu Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 113 unter Verweis u. a. auf Hahn/Naumann, CCZ 2013, 156, 162, die in Bezug auf die Plausibilisierung allgemein verlangen, dass die Vorstandsmitglieder die getroffenen Schlussfolgerungen des Beraters „mit ihren persönlichen Erfahrungen aus dem Geschäfts- und Wirtschaftsleben abgleichen“. 413  Ähnlich Lücke, BB 2019, 1986, 1993; Weber/Kiefner/Jobst, NZG 2018, 1131, 1133. 414  In ähnlicher Weise weisen Hölters/Hölters, in: Hölters/Weber, AktG, § 93 Rn. 232 darauf hin, dass die wirtschaftliche Beurteilung von Leitungsentscheidungen gerade die Aufgabe des Vorstands sei und demnach eine Entlastungswirkung des Ratschlags in aller Regel entfalle. 415  Tendenziell so auch Hölters/Hölters, in: Hölters/Weber, AktG, § 93 Rn. 232, die eine Entlastungswirkung der Beratungsleistung dann annehmen, wenn Geschäftsfragen in Rede stehen, die wirtschaftlich-technisch verknüpft sind. 411  Locke/Bird,



B. Sorgfaltspflichten des Vorstands159

(4) Dokumentationsobliegenheit Zu Beweiszwecken sollten der Akt und das Ergebnis der Plausibilisierung ausreichend dokumentiert wund die Protokollierung sicher aufbewahrt werden.416 Schlägt der Vorstand eine andere Richtung ein, als es die KI empfiehlt – dies liegt grundsätzlich in seinem Ermessen417 –, sind die Gründe für die entgegengesetzte Entscheidung ebenfalls schriftlich niederzulegen.418 Zu beachten ist wohlbemerkt, dass der Begründungsaufwand für eine abweichende Entscheidung mit zunehmender Nachvollziehbarkeit und Verlässlichkeit des genutzten KI-Systems wächst.419 c) Personelle Maßnahmen zu Zwecken der Arbeitsteilung Die vorbezeichneten Organisations- und Überwachungspflichten420 treffen in erster Linie den Vorstand selbst qua Amtes. Zur adäquaten Erfüllung dieser neuen Herausforderungen kann im Einzelfall jedoch ein technisches Wissen über die Funktionsweise und Veränderbarkeit der angewandten Algorithmen oder auch ein besonderes Verständnis für die einzupflegenden Daten erforderlich sein.421 Die Lebenswirklichkeit wird zeigen, dass dem Vorstand gerade diese Expertise häufig fehlt.422 Zwar ist es dem Vorstand – wie bereits untersucht423 – nicht verwehrt, sich über verschiedene Kanäle (Vorstandsschulungen, KI-Rat usw.) zu informieren; zum Wissensdefizit gesellt sich jedoch auch ein Mangel an Zeit, da das Leitungsgremium in aller Regel ­einen breitgefächerten Katalog anderweitiger Geschäftsführungsaufgaben zu erledigen hat. Schon aus praktischen Gründen muss die technikspezielle ­Organisations- und Überwachungsarbeit deshalb delegiert werden. Unternehmensintern kommen hierzu zwei Wege der Arbeitsteilung in Betracht, alternativ oder auch kumulativ.

416  Lücke, BB 2019, 1986, 1994; Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 10. 417  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 158. 418  Lücke, BB 2019, 1986, 1994. 419  Lücke, BB 2019, 1986, 1994. 420  Gemeint sind im Wesentlichen die Einweisungs-, Ausstattungs- und Überwachungspflichten. 421  So i. E. auch Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 135; Picciau, 17 Hastings Business Law Journal 67, 121, 130. 422  Hierzu bereits Teil 2 B. I. 2. b) gg) (2). 423  Hierzu bereits Teil 2 B. I. 2. b) ee).

160

Teil 2: Das Pflichtenprogramm des Vorstands

aa) Horizontale Delegation an ein fachkompetentes Vorstandsmitglied Strukturell übergeordnet ist zunächst eine Erweiterung der ersten Führungsriege in Erwägung zu ziehen. Es liegt primär – bei vorausgesetzter Offenheit der Satzung – im Ermessen des Aufsichtsrats, per Beschluss in der Geschäftsordnung des Vorstands ein neues Ressort für Digitalisierung und KI zu integrieren und die entsprechende Position mit einer sachverständigen und praxiserfahrenen Person zu besetzen.424 Li spricht sich in diesem Zusammenhang für die Einführung eines Chief Digital Officers aus, dessen primäre Aufgabe es sei, den Prozess des KI-Einsatzes als zuständige Führungsperson in eigener Ressortverantwortung zu leiten und in enger Kommunikation mit den zuständigen Mitarbeitern und externen Dienstleistern zu organisieren.425 Die KI-spezifischen Organisationspflichten sind zum größten Teil bloß als Geschäftsführungsmaßnahmen zu qualifizieren, sodass etwa der Auswahlprozess, die Aufgabe der Data Governance und die laufende Überwachung auch einzelnen Vorstandsmitgliedern übertragen werden darf.426 An seine Grenzen stößt das Instrument der horizontalen Delegation aber dann, wenn Leitungsentscheidungen zu treffen sind; diese fallen zwingend in den Aufgabenkreis des Gesamtvorstands.427 Der CDO wäre mithin nicht befugt, ohne Beteiligung des Gesamtvorstands über die richtungweisende und taktische Frage des Einsatzes von KI zur Entscheidungsunterstützung im Leitungsbereich zu entscheiden428 oder die abschließende Auseinandersetzung mit der KI-Auskunft zu übernehmen. Die übrigen Vorstandsmitglieder bleiben außerdem im Rahmen ihrer Gesamtverantwortung verpflichtet, sich regelmäßig und anlassbezogen über die Tätigkeiten des CDO zu informieren und erforder­ lichenfalls zu intervenieren, insbesondere sofern sich Verdachtsmomente für eine Missorganisation ergeben.429 Umgekehrt muss der ressortzuständige CDO die übrigen Vorstandskollegen über die Arbeitsergebnisse der KI unterrichten und diese für die Vorstandssitzungen verständlich aufbereiten.430 424  Hierzu

allgemein Kalss, in: MüKo/AktG, § 77 Rn. 78. KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 77 ff. beschreibt ausführlich die Tätigkeit des CDO und grenzt sie von dem Aufgabenbereich des CIO ab, wobei Überschneidungen möglich seien (s. dort S. 85 f.). 426  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  88 f.; ähnlich Lücke, BB 2019, 1986, 1993. 427  Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 33. 428  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 88. 429  Allgemein hierzu Hoffmann-Becking, NZG 2021, 93, 94; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 79 f., 87 ff. zur ressortübergreifenden Überwachung des CDO. 430  Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 91. 425  Li,



B. Sorgfaltspflichten des Vorstands161

Plant der Aufsichtsrat eine entsprechende Geschäftsverteilung, trifft diesen die Verantwortung, eine ressort-geeignete Person zu finden.431 Neben einem in jedem Fall erforderlichen Grundstock an IT-Kenntnissen kann das jeweilige Anforderungsprofil an den CDO sehr unterschiedlich ausfallen und richtet sich nach den unternehmensinternen Anforderungen und Erwartungen an das Amt.432 Ob ein Digitalressort jedoch tatsächlich Sinn macht, beurteilt sich nach den konkreten Bedürfnissen des Unternehmens.433 Soll die digitale Trans­ formation ganzheitlich vorangetrieben werden und ist ein dauerhafter, verzweigter und facettenreicher KI-Einsatz beabsichtigt, spricht dies für eine horizontale Geschäftsverteilung.434 Entbehrlich erscheint eine KI-getriebene Vorstandserweiterung nach diesseitiger Einschätzung hingegen dann, wenn das entscheidungsunterstützende KI-System nur sporadisch durch den Vorstand eingesetzt wird oder die Verwendung intern keinen besonderen Verwaltungs- und Organisationsaufwand auslöst. bb) Vertikale Delegation an fachkompetente Mitarbeiter Vor allem zur Unterstützung eines Kompetenzträgers im Vorstand bestünde außerdem die Möglichkeit, eine dem Vorstand nachgeordnete Hierarchie­ pyramide in Form einer Fachabteilung oder einzelner Facheinheiten zu eta­ blieren, die durch einen Leiter Digitalisierung/KI gesteuert und mit diversem Fachpersonal ausgestattet würde/n.435 Ein solches Vorgehen bietet sich vornehmlich dann an, wenn der KI-Einsatz eine Vielzahl komplexer organisatorisch anspruchsvoller Tätigkeiten auslöst, die der vertikalen Delegation fähig sind.436 Schlägt der Vorstand den aufgezeigten Weg ein, wandeln sich dessen KI-Organisationspflichten in sog. „Oberaufsichtspflichten“ (sog. „mehrstu-

NZG 2021, 93, 95. KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG,

431  Hoffmann-Becking, 432  Li,

S. 80.

433  Schuster, in: HdB Corporate Governance von Banken und Versicherungen, § 7 Rn.  81 f.; Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S.  79 f., 82 f. 434  Ähnlich auch Lücke, BB 2019, 1986, 1993. 435  Tendenziell so auch Linardatos, ZIP 2019, 504, 507; Lücke, BB 2019, 1986, 1993; ebenfalls erwägend Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 38; Sattler, BB 2018, 2243, 2248; ähnlich auch Lee/Underwood, AI in the boardroom: let the law be in the driving seat (26. Juni 2021), S. 15 f. (s. Einführung Fn. 16). 436  So auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 130 f. (Delegation der Auswahl und Einrichtung); Noack, in: FS Windbichler, 947, 952; Picciau, 17 Hastings Business Law Journal 67, 121, 130 f.

162

Teil 2: Das Pflichtenprogramm des Vorstands

fige Überwachung“ bzw. „Meta-Überwachung“).437 In diesem Fall wäre der Vorstand bloß noch für die sorgfältige Auswahl, Anweisung und Überwachung des entsprechenden KI-Fachpersonals verantwortlich.438 Hierzu zählt auch das Anbieten geeigneter Fortbildungs- und Schulungsangebote zur Weiterbildung und Sensibilisierung der Mitarbeiter.439 Entschließt sich der Vorstand, diesen Weg zu gehen, sollten der Akt der Delegation ebenso wie die durchgeführten Überwachungsmaßnahmen aus Gründen der Haftungsvermeidung schriftlich präzise dokumentiert werden.440

II. Auslagerung Alternativ zur betriebsinternen KI-Verwendung kommt – wie bereits eingangs erwähnt441 – auch ein Rückgriff auf externe Anbieter in Frage. Ob man in diesem Fall rein rechtlich von einer kompetenzübertragenden Aus­ lagerung spricht oder bloß eine klassische Beratungsdienstleistung ohne Gewährung von Geschäftsführungsbefugnissen in Anspruch genommen wird, richtet sich nach den Umständen des Einzelfalls.442 Die Trennlinie verläuft fließend. Auch der zu beachtende Pflichtenkatalog des Vorstands ist in beiden Fällen weitestgehend identisch.443 Entscheidende Meilensteine eines jeden Auslagerungsprozesses bilden die Wahl des Auslagerungsmodells (1.), die Auswahl eines geeigneten Anbieters (2.), die Ausgestaltung des Outsourcing-Vertrages (3.) sowie ein funk­ tionsfähiges Auslagerungscontrolling (4.).

437  Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 135; dies., ZfPW 2020, 334, 352 f.; Fleischer, in: BeckOGK/AktG, § 93 Rn. 145; Hegnon, CCZ 2009, 57, 59; Wagner, CCZ 2009, 8, 14. 438  Ähnlich auch Deusch/Eggendorfer, in: ComputerR-HdB, Abschnitt 50.1 IT-­ Sicherheit Rn. 401; Becker/Pordzik, in: Arbeitswelt der Zukunft, S. 135 weisen zurecht daraufhin, dass die Oberaufsicht einem einzelnen Vorstandsmitglied „als Ressortaufgabe“ übertragen werden könnte. 439  So auch Habbe/Gergen, CCZ 2020, 281, 284; ein ähnlicher Ansatz findet sich in Erwägungsgrund Nr. 73 des VO-E Artificial Intelligence Act COM(2021) 206 final. 440  Vgl. hierzu Müller/Masson, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 J. Rn. 10. 441  Siehe hierzu bereits Teil 2 A. 442  Zur Abgrenzung Linnertz, Die Delegation durch den Vorstand einer AG, S. 151. 443  Aus Gründen der Vereinfachung wird nachfolgend bloß noch von einer Auslagerung gesprochen.



B. Sorgfaltspflichten des Vorstands163

1. Wahl des Auslagerungsmodells Wird eine Auslagerung des KI-Einsatzes präferiert, stehen unterschiedliche Durchführungswege zur Verfügung. Zu nennen ist einerseits das cloud- bzw. webbasierte IT-Outsourcing-Modell „Software as a Service“ (kurz: SaaS) bzw. im Falle von KI auch als „KI as a Service“ bezeichnet.444 Bei dieser Auslagerungsvariante erhält der Kunde über einen Webbrowser Zugang zu der KI-gestützten Expertensoftware.445 Eine Softwareinstallation auf den ITSystemen des Kunden (hier: der AG) ist nicht erforderlich.446 Dieser kann Daten einpflegen und die Software selbstständig bedienen.447 Auf diese Weise bewahrt sich der Vorstand direkte Steuerungsmöglichkeiten und gibt nicht sämtliche „Zügel aus der Hand“. Als weiterer Durchführungsweg bietet sich die KI-Nutzung als „Managed Service“ an.448 Hierbei übernimmt der KI-Dienstleister (sog. Managed Service Provider) die gesamte Steuerung und Überwachung des Leistungsprozesses;449 der Kunden erhält lediglich das fertiggestellte Arbeitsergebnis des KI-Systems. 2. Sorgfältige Auswahl des externen Dienstleisters Schon die Wahl des geeigneten Vertragspartners hat der Vorstand mit äußerster Sorgfalt zu treffen, da diese das Fundament einer erfolgreichen und langfristigen Zusammenarbeit bildet. Hierbei sollte sich das auslagerungsinteressierte Vorstandsgremium zu Beginn einen Überblick über die am Markt befindlichen KI-Dienstleister verschaffen (sog. Marktanalyse) und anschließend nach pflichtgemäßem Ermessen einen oder mehrere Anbieter auswählen. Entscheidungsleitend sollten insbesondere die folgenden Kriterien sein: –– Bekanntheit und Bewährtheit (Reputation, bisherige Kooperationen, geschäftliche Erfolge usw.), –– fachliche Kompetenz, –– vertragliche Flexibilität, –– Zuverlässigkeit und Erreichbarkeit, –– Belastbarkeit und –– Diskretion. 444  Hierzu auch Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 127 f. 445  Bräutigam/Thalhofer, in: IT-Outsourcing und Cloud-Computing, Teil 14 Rn. 14. 446  Ertl, BC 2003, 153, 155. 447  Ertl, BC 2003, 153, 155. 448  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 2. 449  Küchler, in: IT-Outsourcing und Cloud Computing, Teil 1 Rn. 77.

164

Teil 2: Das Pflichtenprogramm des Vorstands

Häufig müssen dem Outsourcing-Dienstleister tiefe Einblicke in geschäftliche Interna und Kundendaten gewährt werden, um das KI-System mit den nötigen Informationen auszustatten. Die erste Kontaktaufnahme sollte daher zum Schutz von Geschäftsinformationen zumindest auch den Abschluss einer Vertraulichkeitsvereinbarung zum Inhalt haben.450 Als weitere Schritte folgen eine Verständigung über das Vorhaben bzw. die Zielvorstellungen des Vorstands, die Einholung eines Angebots sowie gelegentlich der Abschluss eines Vorvertrages oder Letter of Intent.451 Einen Sonderfall stellt die Auslagerung an eine konzernverbundene Gesellschaft (sog. Shared Service-Gesellschaften) dar.452 Sofern durch die Konzernierung ausreichend Einflussmöglichkeiten sichergestellt sind, kann in diesem Fall eine Outsourcing-Vereinbarung entbehrlich sein.453 3. Kautelarjuristische Ausgestaltung des Outsourcing-Vertrages Ist ein potenzieller Vertragspartner gefunden, schließt sich der Prozess der Vertragsgestaltung an. Der präzisen und umfassenden Ausarbeitung des ­Auslagerungsvertrages kommt eine herausgehobene Bedeutung zu.454 Eine Outsourcing-Vereinbarung ersetzt die fehlende arbeitsrechtliche Direktionsbefugnis bzw. im Falle des externen KI-Einsatzes den Mangel an direkten Kontroll- und Zugriffsrechten auf die Technik. Sie sichert dem auslagernden Unternehmen die Einflussmöglichkeiten auf den „outgesourcten“ Arbeitsprozess durch schuldrechtliche Steuerungs- und Aufsichtsrechte gegenüber dem externen Dienstleister.455 Aufgrund der Fülle an vertraglichen Gestaltungsmöglichkeiten soll im Folgenden lediglich ein kurzer Überblick über die Struktur und die wesentlichen Eckpunkte eines KI-Outsourcing-Vertrages gegeben werden.456

450  Bräutigam, 451  Vertiefend

in: IT-Outsourcing und Cloud-Computing, Kap. B Rn. 51. hierzu ders., in: IT-Outsourcing und Cloud-Computing, Kap. B

Rn.  52 ff. 452  Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 34. 453  Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 36. 454  So auch Linnertz, Die Delegation durch den Vorstand einer AG, S. 242 f. 455  Langheld, in: IT-Outsourcing und Cloud Computing, Teil 7, Rn. 17; Linnertz, Die Delegation durch den Vorstand einer AG, S. 248; Nolte/Becker, BB Special 5 (zu BB 2008, Heft 25), 23, 25; Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 229; Went­ rup, in: Münch-HdB GesR IV, § 19 Rn. 36. 456  Umfassend zur vertraglichen Gestaltung von Cloud-Computing-Verträgen Schneider, in: HdB EDV-Recht, Kap. U Rn. 64 ff.



B. Sorgfaltspflichten des Vorstands165

a) Allgemeine Gestaltungshinweise In der Auslagerungspraxis hat sich ein sog. modularer Vertragsaufbau durchgesetzt.457 Dabei handelt es sich um eine vertragliche Regelungstechnik nach dem Baukastenprinzip.458 Grundstein bildet der Auslagerungsvertrag als Rahmenvertrag, welcher neben allgemeinen Regelungen zum OutsourcingVerhältnis eine Inkorporationsklausel zur Einbeziehung eigenständiger Leistungsbeschreibungen enthalten sollte;459 die konkreten Leistungsvereinbarungen werden jeweils separiert – und ggf. auch sukzessive – als Begleitdokumente zum Rahmenvertrag geschlossen (sog. Service Level Agreements (kurz: SLAs)).460 Ein solcher Aufbau bietet sich gleichermaßen für die Auslagerung von KI-Dienstleistungen an. Die einzelnen Unterstützungsaufgaben des KI-Systems könnten in den SLAs definiert werden, welche wiederum Anlagen zum Rahmenvertrag darstellen. Die jeweilige Aufgabenstellung bzw. das Informationsverlangen des Vorstands ist an dieser Stelle so detailliert und umfassend wie nur möglich zu formulieren. Es dürfen keine Unklarheiten dahingehend bestehen, ob lediglich ein Informationskonvolut oder vielmehr eine abgewogene Strategieempfehlung geschuldet ist. Auch konkrete Vorgaben zur Leistungsqualität und zum Leistungsumfang sind essen­ ziell. Hinsichtlich der inhaltlichen Ausgestaltung des Rahmenvertrages kann als Orientierungshilfe erneut auf die MaRisk rekurriert werden. Unter AT 9 Tz. 7 MaRisk fordert die BaFin von den Instituten, dass diese im Falle wesentlicher Auslagerungsprozesse sicherstellen, dass im jeweiligen Vertrag insbesondere Folgendes vereinbart wird: 1. Spezifizierung und ggf. Abgrenzung der vom Auslagerungsunternehmen zu erbringenden Leistung, 2. Datum des Beginns und ggf. des Endes der Auslagerungsvereinbarung, 3. vereinbarte Dienstleistungsgüte mit eindeutig festgelegten Leistungszielen, 4. ggf. ein Versicherungsnachweis des Dienstleisters für besondere Risiken, 5. Festlegung angemessener Informations- und Prüfungsrechte sowie die Regelung von Berichtspflichten, 6. Weisungsrechte, soweit erforderlich, in: IT-HdB, § 19 Rn. 44. in: IT-HdB, § 19 Rn. 44. 459  Ähnlich Bartsch, in: BeckFormB BHW, Kap. III. G. 7. § 7 des Musters und Anm. 14. 460  Dahmen, BKR 2019, 533, 537; Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 44, 48. 457  Thalhofer/Żdanowiecki, 458  Thalhofer/Żdanowiecki,

166

Teil 2: Das Pflichtenprogramm des Vorstands

7. Regelungen zur Sicherung datenschutzrechtlicher Bestimmungen, 8. und Regelungen über Kündigungsrechte sowie angemessene Kündigungsfristen. Da der Leitungsunterstützung ebenfalls zentrale Bedeutung zukommt, liegt der Schluss nahe, die Anforderungen der BaFin in diesem Bereich branchenübergreifend als grobe Leitlinie heranzuziehen.461 Insoweit wird teilweise auch von einer Ausstrahlung des Aufsichts- auf das Aktienrecht gesprochen.462 Von besonderer Praxisrelevanz sind ferner die vertraglichen Haftungsmodalitäten, vor allem, weil das KI-System nicht als Haftungsadressat zur Verfügung steht. Hat der Outsourcing-Partner die KI fehlerhaft eingerichtet und der Vorstand auf dem KI-Ergebnis basierend eine falsche Leitungsentscheidung getroffen, sind Haftungsfragen vorprogrammiert. Die Unternehmensleitung hat vor diesem Hintergrund sicherzustellen, dass die Möglichkeit einer Regresshaftung offensteht. Hierbei ist darauf zu achten, dass die Inanspruchnahme des Dienstleisters vertraglich nicht auf vorsätzliche oder grob fahrlässige Vertragsverletzungen begrenzt wird.463 Würde sich die Geschäftsleitung auf einen solchen Haftungsausschluss für Folgeschäden einlassen, ließe sich über eine Sorgfaltspflichtverletzung diskutieren. Schlechtleistungen, Störungen der Verfügbarkeit und Leistungsverzögerungen sollten vielmehr vertragstypisch durch pauschal-gestaffelte Minderungsrechte oder Schadens­ ersatzansprüche geregelt werden.464 Auch (schadensunabhängige) Vertragsstraferegelungen lassen sich zur Sanktionierung negativer Abweichungen vom geschuldeten Leistungs-Soll vereinbaren.465 Uneinheitlich beurteilt wird, welche vertraglichen Loslösungsmöglichkeiten zur Sicherstellung der Kontrolle erforderlich sind. Während einerseits gefordert wird, der Vorstand müsse sich ein Recht zur jederzeitigen Kündigung einräumen lassen,466 wird an anderer Stelle die Auffassung vertreten, ein solch weitreichendes Kün­ digungsrecht sei nicht notwendig.467 Richtigerweise sollte der Vorstand aus Gründen organisatorischer wie finanzieller Flexibilität im Rahmen der Ver461  Ähnlich Spindler, in: MüKo/AktG, § 76 Rn. 19 f.; Weber, in: Hölters/Weber, AktG, § 76 Rn. 14. 462  Fleischer, in: BeckOGK/AktG, § 93 Rn. 67. 463  Zumindest individualvertraglich ließe sich ein Haftungsausschluss für grobe Fahrlässigkeit und vorsätzliche Pflichtverletzungen von Erfüllungsgehilfen erreichen, vgl. hierzu Thalhofer/Żdanowiecki, in: IT-R-HdB, § 19 Rn. 142. 464  Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 186. 465  Berberich/Conrad, in: Rechts-HdB KI und Robotik, § 30 Rn. 35; Thalhofer/ Żdanowiecki, in: IT-HdB, § 19 Rn. 219. 466  So wohl Spindler, in: MüKo/AktG, § 76 Rn. 18. 467  Wentrup, in: Münch-HdB GesR IV, § 19 Rn. 36.



B. Sorgfaltspflichten des Vorstands167

tragsverhandlungen Wert auf möglichst kurze Kündigungsfristen legen.468 Ein jederzeitiges Kündigungsrecht ist im Bereich der Entscheidungsunterstützung aber nicht zu fordern, da der Outsourcing-Partner notfalls auch im Rahmen der laufenden Vertragsbeziehung substituiert werden könnte und die Letztentscheidungsmacht ohnehin beim Vorstand verbleibt; ein Kontrollverlust ist daher nicht zu befürchten. Auf der anderen Seite sollten die Loslösungsrechte des Outsourcing-Partners möglichst streng und langfristig ausgestaltet werden. Dies schafft Rechtssicherheit und ermöglicht eine geordnete Übergangsphase auf einen anderen Dienstleister bzw. ein „Wiederhochfahren“ eigener Strukturen.469 Im Falle der Vertragsbeendigung empfiehlt sich zur Absicherung einer geordneten und unterbrechungsfreien Abwicklung ­außerdem eine sog. Demigrationsklausel.470 Danach wird der KI-Anbieter verpflichtet, alle erforderlichen Maßnahmen zu ergreifen, damit die Entscheidungsunterstützung wieder durch die AG in Eigenregie oder nach ihren Vorgaben durch einen anderen Anbieter erbracht werden kann.471 b) KI-spezifischer Vertragsinhalt Als KI-spezifische Besonderheiten sollte der Vorstand bei den Vertragsverhandlungen insbesondere folgende Gesichtspunkte im Blick behalten: –– die individuelle Entwicklung des KI-Systems472 und den geforderten Tech­ nikstandard,473 –– die Beschreibung des Trainingsprozesses und Regelungen zum Daten­ input474 sowie –– die Festlegung der Nutzungs- und Verwertungsrechte. aa) Entwicklung des KI-Assistenzsystems Auf den Anwendungsfall der Leitungsunterstützung bezogen, dürfte – unabhängig vom Auslagerungsmodell – zumeist eine individuell auf die Bedürfnisse der AG zugeschnittene Programmierung bzw. Adaption (sog. Cus­ 468  In diese Richtung tendierend auch Linnertz, Die Delegation durch den Vorstand einer AG, S. 250. 469  Linnertz, Die Delegation durch den Vorstand einer AG, S. 250. 470  Bartsch, in: BeckFormB BHW, Kap. III. G. 7. Anm. 58; Nolte/Becker, BB Special 5 (zu BB 2008, Heft 25), 23, 26; hierzu allgemein Schuster/Hunzinger, CR 2015, 277. 471  Bartsch, in: BeckFormB BHW, Kap. III. G. 7. Anm. 58. 472  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 6. 473  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 12. 474  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 13.

168

Teil 2: Das Pflichtenprogramm des Vorstands

tomizing)475 des KI-Assistenzsystems erforderlich sein, da Leitungsentscheidungen aufgrund ihrer Komplexität und Vielschichtigkeit regelmäßig nicht der Vereinheitlichung bzw. Standardisierung zugänglich sind.476 Aus Gründen der Übersichtlichkeit bietet sich hierzu die Erstellung eines eigenständigen SLAs zur Entwicklung bzw. Individualisierung des KI-Systems an. Insoweit kommt der Auslagerungsvereinbarung als typengemischtes Regelwerk werkvertraglicher Charakter zu.477 Da in diesem Bereich eine große Ähnlichkeit zu den sog. Software-Entwicklungsverträgen besteht, kann die Kautelar­praxis auf hierzu veröffentlichte Rechts- und Formularliteratur als Wegweiser zurückgreifen. Gestaltungsschwerpunkte bilden neben der Art der KI-Trainings­ methode (überwacht/nicht überwacht) und der strukturierten und detaillierten Regelung des Abnahmeprozesses die Ausarbeitung der leistungsbezogenen Spezifika.478 Zur vertraglichen Festlegung der Qualitätsanforderungen an die KI-Technik kann bereits auf erste Standards zurückgegriffen werden.479 Durch eine vertragliche Bezugnahme auf derartige Normen entfalten die jeweiligen Vorgaben für die Outsourcing-Parteien schuldrechtliche Bindungswirkung.480 bb) Anforderungen an den Umfang und die Qualität der Daten Eine besondere juristische Herausforderung stellt überdies die vertragliche Beschreibung des erforderlichen Dateninputs dar. Diesbezüglich ergeben sich gleich mehrere Fragen, die es im Vertragswerk zu beantworten gilt. KI-Anbieter und Outsourcing-Kunde müssen sich eng abstimmen, wer welche Daten, in welcher Menge und Beschaffenheit, welchem Format und innerhalb welchen Zeitfensters zur Verfügung zu stellen hat.481 Aufgabe des Rechts­ beraters ist es, den gemeinsam abgesteckten Datenbedarf und etwaige Mitwirkungspflichten auf verständliche Weise in Vertragsform zu gießen, um nachträglichen Konflikten und Unklarheiten vorzubeugen. Erfordert der Anlern- bzw. Trainingsprozess die Mitwirkung der AG bzw. des Vorstands, ist dieser vor Vertragsunterzeichnung gehalten, zu validieren, ob ihm die Bereit475  Zum Begriff im Kontext von Softwareentwicklung allgemein Conrad, in: ITHdB, § 11 Rn. 177 ff. 476  Vgl. hierzu bereits Teil 1 B. I. 3. b). 477  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 6; Schneider, in: HdB EDV-Recht, Kap. U Rn. 15 f.; Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 36 ff. 478  Söbbing, MMR 2010, 222, 224; Stummel, in: Standardvertragsmuster, Kap. X Nr. 1; Thalhofer/Żdanowiecki, in: IT-HdB, § 19 Rn. 182. 479  Vgl. hierzu oben Teil 2 B. I. 2. b) bb) (2) (a) (aa). 480  So auch Ammann, in: Rechtshandbuch AL und ML, Kap. 53 Rn. 7. 481  So auch Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 13 f.; ähnlich Redeker, IT-Recht Rn. 518.



B. Sorgfaltspflichten des Vorstands169

stellung der Daten in der festgelegten Form überhaupt möglich ist. Außerdem ist sicherzustellen, dass sensible betriebliche Informationen dem GeschGehG unterfallen482 und sämtliche bereitgestellten Trainingsdaten datenschutzkonform weitergegeben bzw. verarbeitet werden.483 cc) Nutzungs- und Verwertungsrechte Für den Vorstand dürfte schließlich von besonderer Relevanz sein, dass der AG das exklusive Nutzungs- und Verwertungsrecht im Hinblick auf die ausgegebene KI-Lösung („Output“) zukommt.484 Welchen Wert hätte eine Investmentempfehlung oder Marketingstrategie, wenn die Informationen mit Wettbewerbern geteilt werden müssten? Das Arbeitserzeugnis der KI, also die Unterstützungsleistung, ist nicht als persönliche geistige Schöpfung im Sinne des § 2 Abs. 2 UrhG einzuordnen.485 Erforderlich wäre, dass dem Output ein natürlicher, also menschlicher Handlungswille zugrunde liegt.486 Hieran fehlt es aber gerade. Das Ergebnis der Ausgabeschicht ist nicht mehr auf eine menschliche Eigenleistung zurückzuführen, sondern wird autonom und artifiziell durch das Neuronale Netzwerk bzw. dessen lernfähige KI-Algorithmen geschaffen.487 Um dieser Gesetzeslücke nicht anheim zu fallen, sollte die immaterialgüterrechtliche Zuordnung der erzeugten KI-Lösung vertraglich ausschließlich der AG zugeschrieben werden.488 4. Auslagerungscontrolling Die vierte Säule des Outsourcings bildet die Überwachung des KI-Dienstleisters (sog. Auslagerungscontrolling). Nach AT 9 Tz. 9 der MaRisk haben Institute die „ausgelagerten Aktivitäten und Prozesse ordnungsgemäß zu über­wachen“. Dasselbe gilt auf der Grundlage des § 93 Abs. 1 S. 1 AktG 482  Vertiefend hierzu Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 38 ff.; Berberich/Conrad, in: Rechts-HdB KI und Robotik, § 30 Rn. 35, 43 f. 483  Ausführlich Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 41 ff.; Redeker, IT-Recht Rn. 518. 484  Ebenfalls von Wichtigkeit ist der immaterialgüterrechtliche Schutz von KITrainingsdaten – umfassend hierzu Hacker, GRUR 2020, 1025. 485  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 34 f.; Heinze/Wendorf, in: Rechts-HdB KI und Robotik, § 9 Rn. 55 ff.; Hetmank/Lauber-Rönsberg, GRUR 2018, 574, 577. 486  Ahlberg, in: BeckOK UrhR, § 2 Rn. 54; Loewenheim/Leistner, in: Schricker/ Loewenheim UrhG § 2 Rn. 38; Schulze, in: Dreier/Schulze UrhG § 2 Rn. 8. 487  Loewenheim/Leistner, in: Schricker/Loewenheim UrhG § 2 Rn. 41. 488  Ammann, in: Rechts-HdB AI und ML, Kap. 5.3 Rn. 35, 85.

170

Teil 2: Das Pflichtenprogramm des Vorstands

auch für AG-Vorstände außerhalb des Finanzsektors. Parallel zum Auslagerungsvertrag muss mithin auch die AG so organisiert sein, dass sie ihre Kontrollaufgabe sachgerecht wahrnehmen kann.489 Zum Auslagerungs­ management gehört exemplarisch auch die Entwicklung einer tragfähigen Exit-Strategie, beispielsweise durch Bereithalten eigener „Reservekompetenzen“ oder einer Vorauswahl ersatzweise einsetzbarer Dienstleister.490

489  Linnertz,

490  Wentrup,

Die Delegation durch den Vorstand einer AG, S. 150. in: Münch-HdB GesR IV, § 19 Rn. 36.

Teil 3

Die Haftung des Vorstands im Umgang mit entscheidungsunterstützenden KI-Systemen im Leitungsbereich Obwohl die Aufgabendelegation an hierarchisch nachgeordnete Mitar­beiter und externe Dritte gemeinhin zu einer Verantwortlichkeitsverschiebung führt, verbleibt – wie bereits umfassend erörtert – eine residuale Verantwortung und insoweit auch ein ernstzunehmendes Haftungsrisiko des Vorstands.1 Selbiges gilt gleichermaßen für den Fall, dass sich der Vorstand von einem KISystem unterstützen lässt.2 Der Umgang mit selbstlernender Technik führt jedoch zu haftungsrechtlich erschwerten Bedingungen und verkompliziert die Aufklärung des Sachverhalts. Mehrdimensionale Netzwerke sowie eine Vielzahl von Akteuren und Intermediären lassen die Erforschung des ursächlichen Zusammenhangs wie die „Nadelsuche im Heuhaufen“ erscheinen.3 Stellt sich eine auf der Grundlage von Informationen der KI getroffene unternehmerische Leitungsentscheidung als verlustbringend oder reputationsschädigend heraus, beginnt die Suche nach der Fehlerquelle und dem „Schuldigen“. Eine Eigenhaftung des KI-Systems scheidet – wie bereits mehrfach erwähnt4 – schon deshalb aus, weil algorithmische Programme de lege lata keine Rechtspersönlichkeit besitzen.5 Vielmehr konzentriert sich der wissenschaftliche Diskurs auf die organschaftliche Binnenhaftung des Vorstands. Vorstandsmitglieder, die ihre Pflichten verletzen, sind der Gesellschaft zum Ersatz des daraus entstehenden Schadens als Gesamtschuldner verpflichtet – so sieht es § 93 Abs. 2 S. 1 AktG vor. Zu beleuchten ist, welche Auswirkungen die Zwischenschaltung eines KI-Systems auf das aktienrechtliche Haftungsgefüge hat. Nachfolgend werden deshalb lediglich problemorientiert bestimmte KI-relevante Haftungsaspekte hervorgehoben – auf eine schemati-

1  Ähnlich

Linnertz, Die Delegation durch den Vorstand einer AG, S. 34 ff., 145 ff. auch Möslein, ZIP 2018, 204, 210. 3  Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S. 184; Spindler, in: Digitalisierung, Automatisierung, KI und Recht, S. 256 f. 4  Ausführlich hierzu Teil 1 B. I. 1. a) bb) sowie Teil 1 B. I. 3. b). 5  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 135; Möslein, ZIP 2018, 204, 210. 2  So

172

Teil 3: Die Haftung des Vorstands

sche Abhandlung der Einzelvoraussetzungen des § 93 Abs. 2 S. 1 AktG wird verzichtet.

A. Anknüpfungspunkt der Pflichtverletzung Näher zu betrachten sind zunächst die möglichen schadensersatzbegründenden Anknüpfungstatbestände.

I. Zurechnung der fehlerhaften Arbeitsleistung des KI-Systems Fraglich ist zunächst, ob dem Vorstand die mangelhafte Arbeitsleistung des KI-Systems als vorstandseigenes Arbeitsprodukt zuzurechnen ist. Erwägenswert erscheint eine Heranziehung der Zurechnungsnorm des § 278 BGB in direkter oder entsprechender Anwendung.6 Nach dieser Vorschrift hat der Schuldner, untersuchungsgegenständlich der Vorstand, ein Verschulden der Personen, derer er sich zur Erfüllung seiner Verbindlichkeit bedient, in gleichem Umfang zu vertreten wie eigenes Verschulden. Die Verwendung von Hard- und Software lässt sich als digitale Form der Arbeitsteilung begreifen.7 Programme, Maschinen und KI-Systeme können mangels Rechtssubjektqualität aber gerade nicht als „Personen“ unter die Vorschrift subsumiert werden.8 Es kommt mithin bloß eine Analogie in Betracht.9 Eine Zurechnung des technischen Versagens unter entsprechender Heranziehung des § 278 BGB scheidet nach diesseitiger Auffassung jedoch gleich aus mehreren Gründen aus.10 1. Kein Handeln in Erfüllung der Verbindlichkeiten des Vorstands Als Hauptargument gegen die Anwendung des § 278 BGB auf Mitarbeiter und externe Berater wird von der ganz herrschenden Meinung angeführt, diese seien ausschließlich im Pflichtenkreis ihres Arbeitgebers bzw. ihres Auftraggebers, mithin bloß für die AG tätig, sodass die Zurechnung ihres Verschuldens auf den Vorstand schon deshalb ausscheide;11 die schuldhafte 6  Möslein, RDi 2020, 34, 38 Rn. 11; Schulze, NJW 2014, 3484, 3486; Weber/ Kiefner/Jobst, NZG 2018, 1131, 1132. 7  Häuser, in: MüKo/HGB, Band 6, B. Überweisungsverkehr Rn. 405. 8  Linke, MMR 2021, 200, 201; ebenso Möslein, RDi 2020, 34, 38. 9  Auch erwägend Bischof/Intveen, ITRB 2019, 134, 137; Zech, ZfPW 2019, 198, 211. 10  Hierzu auch Möslein, ZIP 2018, 204, 210. 11  So führt der BGH, Urt. v. 20.09.2011 – Az.: II ZR 234/09 = NZG 2011, 1271, 1273 (Rn. 17) aus, „eine Zurechnung des Verschuldens beauftragter Dritter nach



A. Anknüpfungspunkt der Pflichtverletzung 173

Erarbeitung einer fehlerhaften Informations- und Entscheidungsgrundlage sei dem Leitungsorgan nicht anzulasten.12 Ausschlaggebend sei die eigene vertragliche Bindung der Hilfspersonen gegenüber dem Unternehmen, sie selbst seien deshalb allein Schuldner der Gesellschaft.13 Zu klären bleibt, ob sich dieser Gedanke auch auf die Nutzung von KI-Systemen übertragen lässt. Ist das KI-System als Gehilfe des Vorstands zu verstehen, einem Erfüllungsgehilfen der Aktiengesellschaft vergleichbar oder lässt es sich als Sonderfall in keine der beiden Kategorien einordnen? Erfüllungsgehilfe ist, wer nach den tatsächlichen Gegebenheiten bei der Erfüllung einer Verbindlichkeit des Schuldners mit dessen Willen als dessen Hilfsperson tätig wird.14 Soweit sich im Schrifttum Stimmen finden, die sich mit der Zurechnung von KIFehlern im Kontext der Vorstandsunterstützung befassen, wird auch diesbezüglich eine Anwendung von § 278 BGB insbesondere mit dem Hinweis darauf abgelehnt, dass „die Deleganten nicht als Erfüllungsgehilfen der Geschäftsleiter tätig werden, sondern ausschließlich im Pflichtenkreis der Gesellschaft handeln“.15 Diese Auffassung ist im Ergebnis zutreffend, bedarf in der untersuchungsgegenständlichen Fallkonstellation der KI-Konsultation jedoch näherer Begründung. Auf ein Rechtsverhältnis bzw. eine vertragliche Pflichtenbindung zwischen der AG und der – nicht mit Rechtspersönlichkeit ausgestatteten – KI lässt sich jedenfalls nicht abstellen. Das eingekaufte System wird allenfalls mit Mitteln der Gesellschaft finanziert und in ihrem Namen erworben; eine dauerhafte Pflichtenbeziehung besteht aber gerade § 278 BGB komm[e] nur in Frage, wenn das Vorstandsmitglied eine Hilfsperson in die Erfüllung eigener Verbindlichkeiten einschaltet. Wenn ein Vorstand im Namen der Gesellschaft Dritte einschaltet, bedient er sich dieser regelmäßig nicht zur Erfüllung eigener Verbindlichkeiten, vielmehr sollen diese im Pflichtenkreis der Gesellschaft tätig werden.“; als Stimmen aus der Literatur Bürgers, in: Bürgers/Körber/Lieder, AktG, § 93, Rn. 13, 21c; Fleischer, AG 2003, 291, 292; Grigoleit/Tomasic, in: Grigoleit, AktG, § 93 Rn. 56; Rieckers, in: Beck’sches M&A-HdB, Kap. 5 § 26 Rn. 72; Koch, in: Koch, AktG, § 93 Rn. 46; Kock/Dinkel, NZG 2004, 441, 448; Linnertz, Die Delegation durch den Vorstand einer AG, S. 145 f.; Liebscher, in: Beck-HdB AG, § 6 Rn. 139; Strohn, ZHR 176 (2012), 137, 142; Weyland, NZG 2019, 1041, 1042. 12  Vereinzelt wird an diesem Ansatz Kritik geübt, da die Entscheidungsvorbereitung gerade eine originäre Organpflicht der Geschäftsleitung darstelle, vgl. hierzu Binder, ZGR 2012, 757, 769; so auch Cahn, WM 2013, 1293, 1302; a. A. Wagner, BB 2012, 651, 655, welcher die Überschneidung mit dem Interessenkreis des Vorstands als bloßen „Reflex“ bezeichnet. 13  So führt Liebscher, in: Beck-HdB AG, § 6 Rn. 139 aus, Geschäftsherr der Angestellten der Gesellschaft im Sinne der §§ 278, 831 BGB sei allein die Gesellschaft; Mertens/Cahn, in: KK/AktG, § 93 Rn. 48; ebenso Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S. 64; Dreher, in: FS Hopt, 517, 535. 14  BGH, Urt. v. 21.04.1954 – Az.: VI ZR 55/53 = NJW 1954, 1193; Rieble, NJW 1990, 218, 219; Schulze, in: HK-BGB, § 278 Rn. 5. 15  Möslein, ZIP 2018, 204, 210; ders., in: Rechts-HdB AI und ML, Kap. 9 Rn. 9.

174

Teil 3: Die Haftung des Vorstands

nicht – weder zur Gesellschaft noch zum Vorstand. Weniger eindeutig ist die Sachlage für den Fall der ausgelagerten KI-Nutzung, da insofern zumindest eine Vertragsbeziehung zwischen der AG und dem Outsourcing-Partner bestünde, in welche die algorithmischen Leistungen möglicherweise einzubeziehen wären. Hierauf kommt es jedoch schon deshalb nicht an, weil die Art der zwischen dem Schuldner und der Hilfsperson bestehenden Beziehung ohne Belang ist, diese mithin auch in einer rein tatsächlichen Zuarbeit liegen kann.16 Das KI-System wird, gleich über welchen Nutzungsweg, bestimmungsgemäß als technisches Werkzeug zur Erfüllung leitungsunterstützender Aufgaben der Gesellschaft, also allein im Interessenkreis der AG verwendet. Insofern ist auch ohne rechtsgeschäftliche Verbindung allenfalls von einer Nutzung der KI in Erfüllung der Verbindlichkeiten der AG auszugehen; der Vorstand übt die Verfügungs- bzw. Nutzungsgewalt über die KI bloß für die Gesellschaft aus (Organbesitz) – nur ihr wird die Technologie als Gefahrenquelle zugerechnet,17 wobei den Vorstand freilich organschaftliche Sicherungs- und Organisationspflichten treffen.18 Ungeachtet, ob man dem vorstehenden Ansatz folgt, lassen sich daneben weitere Gründe gegen eine Analogie zu § 278 BGB identifizieren. 2. Fehlende Verschuldensfähigkeit Einerseits fehlt dem KI-System die Verschuldensfähigkeit.19 § 278 BGB setzt nach seinem klaren Wortlaut eindeutig ein schuldhaftes Fehlverhalten der eingesetzten Hilfsperson voraus und Schuldhaftigkeit erfordert neben einem objektiv vorsätzlichen bzw. fahrlässigen Fehlverhalten (§ 276 BGB) stets als Basis auch Verschuldensfähigkeit nach § 827 BGB, an welcher es gerade bei KI-Systemen fehlt. Denn Software besitzt kein Bewusstsein – es mangelt ihr jedenfalls an dem allen Verschuldensformen innewohnenden voluntativen Element.20 Gleichwohl vertritt ein nicht unerheblicher Teil der Literatur, dass auch die Handlungen eines nicht verschuldensfähigen Gehilfen dem Schuldner zugerechnet werden können.21 Dies wird etwa deshalb für angebracht und 16  Lorenz, 17  Hierzu

in: BeckOK/BGB, § 278 Rn. 11. allgemein v. Falkenhausen/H. C. Schneider, in: Münch-HdB GesR IV,

§ 20 Rn. 9. 18  Vgl. hierzu ausführlich Teil 2 B. I. 2. b). 19  Bischof/Intveen, ITRB 2019, 134, 137; Möslein, RDi 2020, 34, 38; Zech, ZfPW 2019, 198, 211. 20  Hoerdemann-Napp/Pauli, in: FS Reuter, 127, 135; hierzu allgemein auch Grundmann, in: MüKo/BGB § 276 Rn. 53. 21  Dafür u. a. Grundmann, in: MüKo/BGB § 278 Rn. 50; Schaub, in: BeckOGK/ BGB, § 278 Rn. 89; ebenso Lohmann/Preßler, RDi 2021, 538, 540; dagegen aus der Rspr. u. a. OLG Düsseldorf, Beschl. v. 07.04.1995 – Az.: 3 Wx 472/94 = NJW-RR



A. Anknüpfungspunkt der Pflichtverletzung 175

erforderlich erachtet, weil sich der Schuldner ansonsten durch Einschaltung unzurechnungsfähiger Personen einer Haftung entziehen könne.22 Folgt man dieser Auffassung, stellt die Willenlosigkeit eines KI-Systems jedenfalls kein der Analogie zwingend entgegenstehendes Hindernis dar. Weitergedacht muss jedoch berücksichtigt werden, dass sich der einzuhaltende Sorgfaltsmaßstab danach bestimmt, welches Verhalten vom Schuldner, mithin dem Vorstand, zu erwarten wäre.23 In diesem Aspekt liegt aber gerade die Crux: Wie lässt sich das Versagen des KI-Systems aufgrund eines unvorhersehbaren Programmfehlers als (menschliche) Sorgfaltspflichtverletzung des Vorstands fassen?24 Ein solch technisch-autonomer Fehler lässt sich nicht sinnvoll auf der Grundlage menschlicher Verschuldensmaßstäbe beurteilen.25 Eine Einordnung des KI-Fehlers in die Schubladen „Vorsatz“ und „Fahrlässigkeit“ ist kaum vorstellbar. Das stellvertretende Abstellen auf einen objektiv vernünftig handelnden Menschen bzw. den gewissenhaften Vorstand scheidet aus; hypothetische Überlegungen dieser Art erscheinen noch möglich, soweit sie triviale, ursprünglich menschliche, bloß rationalisierte und automatisierte Handlungsabfolgen betreffen,26 sie stoßen jedoch an ihre Grenzen, wenn es um komplexe und vielschichtige Berechnungsprozesse geht. Die hypothetische Kontrollfrage, ob der dem KI-System unterlaufene Fehler, wenn er dem Vorstand in der Situation der Maschine passiert wäre, als schuldhaft zu qualifizieren wäre, ist schlicht nicht zu beantworten.27 Ebenso wenig kommt ein Abstellen auf ein idealtypisches und ordnungsgemäß funktionierendes KI-System in Betracht.28 Zum einen ist gerade auf den vom Vorstand geschuldeten Sorgfaltsmaßstab, mithin den eines ordentlichen und gewissenhaften Geschäftsleiters abzustellen; die Ersetzung durch einen „maschinellen Sorgfaltsmaßstab“ erschiene vor diesem Hintergrund inkonsistent, konstruiert und würde den gesetzlichen Regelungsgehalt extensiv überstrapazieren. Zum anderen wird in der Literatur zurecht darauf hingewiesen, dass die Bestimmung eines „maschinellen“ Sorgfaltsmaßstabs Rechtsunsicherheit bedeuten würde, weil die Anforderungen an 1995, 1165 1166; Caspers, in: Staudinger BGB, § 278 Rn. 68; Foerster, ZfPW 2019, 418, 431; Lorenz, in: BeckOK/BGB, § 278 Rn. 48; ders., JuS 2007, 983, 985. 22  So jedenfalls Schaub, in: BeckOGK/BGB, § 278 Rn. 89. 23  BGH, Urt. v. 15.12.1959 – Az.: VI ZR 222/58 = NJW 1960, 669, 671; Grundmann, in: MüKo/BGB § 278 Rn. 50. 24  So auch Heuer-James/Chibanguza/Stücker, BB 2018, 2818, 2829 f. 25  Ähnlich wohl Schaub, in: BeckOGK/BGB, § 278 Rn. 17; Lampe, in: MMRHdB, Teil 29.2 Rn. 14; a. A. wohl Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, S.  187 ff. 26  So etwa im Falle des Computerbetrugs (§ 263a StGB) unter Heranziehung der betrugsäquivalenten Auslegung praktiziert. 27  Aus diesem Grund sprechen sich Becker/Pordzik, ZfPW 2020, 334, 341 für die Etablierung eines funktionalen Verschuldensäquivalents aus. 28  Dies anbringend Heuer-James/Chibanguza/Stücker, BB 2018, 2818, 2829.

176

Teil 3: Die Haftung des Vorstands

die im Verkehr erforderliche Sorgfalt von technologischen Produkten derzeit noch ungeklärt sind.29 Würde man stattdessen in analoger Anwendung des § 278 BGB vollständig auf einen Verschuldensmaßstab verzichten, würde dies den KI-nutzenden Vorstand – ohne Vorhandensein einer gesetzlichen Grundlage – faktisch einer Gefährdungshaftung unterwerfen; Programmfehler, die der Autonomie des Systems geschuldet sind, wären das Einfallstor für eine faktisch-verschuldensunabhängige Haftung.30 Gerade dem Verschuldenserfordernis kommt aber eine besondere Filterfunktion zu – der Aussiebungsprozess verhindert, dass jeder Fehler des Gehilfen dem Schuldner zugeschrieben wird. 3. Teleologische Begründung Letztlich scheidet eine analoge Anwendung des § 278 BGB jedenfalls aufgrund teleologischer Erwägungen aus.31 Das zwischen der Gesellschaft und dem Vorstand bestehende organschaftliche Schuldverhältnis ist – anders als in den klassischen Fällen der Gläubiger-Schuldner-Beziehung – nicht durch widerstreitende Interessen und gänzlich unterschiedliche Rechtskreise, sondern vielmehr durch gleichgerichtete Ziele sowie gegenseitige Treue und Für­sorge geprägt.32 Es käme in Anbetracht dessen einem Fremdkörper gleich, ein Zurechnungskonstrukt zu bemühen, welches dem Vorstand das Fehlverhalten Dritter oder die Fehlfunktionen technischer Systeme zuschreiben würde; eine solch ausgedehnte Verantwortlichkeit des Leitungsorgans wäre nicht sachgerecht.33 Zudem liefe die Haftung des Vorstands für fremde Fehleistungen dem parallellaufenden Leitgedanken zum Mitverschuldenseinwand nach §§ 254 Abs. 2 S. 2, 278 BGB zuwider.34 So wird in der gesellschaftsrechtlichen Literatur einhellig vertreten, ein Geschäftsleiter dürfe sich gegenüber der Gesellschaft nicht auf ein Mitverschulden ihrer Angestellten berufen.35 Begründet wird dies u. a. damit, dass der Vorstand selbst als Leitungsorgan der AG zur sorgfältigen Auswahl, Einweisung und Beaufsichtigung BB 2018, 2818, 2829. BB 2018, 2818, 2829. 31  Allgemein hierzu Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S.  74 f. 32  Hierzu ausführlich bereits Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S. 74 f., der sich auf die Organtheorie bezieht; zur Treuepflicht Spindler, in: MüKo/AktG, § 93 Rn. 125. 33  Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S.  74 f. 34  Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S. 75. 35  Schmidt, in: Heidel, AktG, § 93 Rn. 109; Spindler, AG 2011, 725, 733; ders., in: MüKo/AktG, § 93 Rn. 163. 29  Heuer-James/Chibanguza/Stücker, 30  Heuer-James/Chibanguza/Stücker,



A. Anknüpfungspunkt der Pflichtverletzung 177

dieser Personen verpflichtet sei; der Mitverschuldenseinwand käme mithin einem treuwidrigen oder jedenfalls widersprüchlichen Verhalten gleich (venire contra factum proprium).36 Auch an dieser Stelle bildet die enge Verwobenheit zwischen der Geschäftsleitung und dem Unternehmen den spiegelbildlichen Anlass, fremde Fehlerquellen aus dem organschaftlichen Haftungsgefüge herauszuhalten. Ferner würden die im zweiten Teil der Untersuchung skizzierten delegationsbedingten Organisationspflichten des Vorstands leerlaufen, sofern sich dieser entsprechend § 278 BGB ohnehin das Fehlverhalten der KI zurechnen lassen müsste.37 4. Zwischenergebnis Ein KI-System ist demzufolge nicht als elektronischer Erfüllungsgehilfe anzusehen. Eine Haftung des Vorstands für KI-Fehler hätte zur Folge, dass dieser bei der Verwendung eines KI-Systems schlechter stünde, als im Falle des Rückgriffs auf rechtsfähige Gehilfen – eine derartige Ungleichbehandlung ist weder angezeigt noch gerechtfertigt. Gleichzeitig würde eine Fehlerzurechnung zu einer faktischen Technikaversion des Vorstands führen und innovative Entscheidungsfindungsverfahren hemmen. Solange das KI-System ausschließlich intern zu Beratungs- und Unterstützungszwecken eingesetzt wird, besteht kein anerkennenswertes Bedürfnis einer Verschuldenszurechnung.38 Etwaige auf das Autonomierisiko zurückzuführende Haftungslücken sind vor dem Hintergrund der vorgenannten Argumente und mit Blick auf die Ausführungen zur fehlenden Eigenhaftung von KI-Systemen im ersten Teil der Untersuchung hinzunehmen und von der Aktiengesellschaft auszuhalten.39 Fakt ist, dass der Vorstand als Anwender der assistierenden KI-Technik selbst zum Adressaten einer Vielzahl von Organisationspflichten wird, sodass bereits die persönliche Vorwerfbarkeit und Haftbarkeit, d. h. die schuldhafte Verletzung eigener Organpflichten als maßgeblich und auch ausreichend anzusehen ist.40

36  Groh, Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, S. 161 f.; für die GmbH Beurskens, in: Noack/Servatius/Haas, GmbHG, § 43 Rn. 64. 37  Strohn, ZHR 176 (2012), 137, 142. 38  Ebenso Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 12. 39  Hierzu ausführlich Teil 1 B. I. 1. a) bb). 40  Ähnlich Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 12.

178

Teil 3: Die Haftung des Vorstands

II. Verstöße gegen das Delegationsverbot Soweit der Vorstand gegenüber der Aktiengesellschaft zur höchstpersön­ lichen Leitung verpflichtet ist, kommt eine Übertragung von Entscheidungskompetenzen auf das KI-System – wie bereits im ersten Teil der Untersuchung festgestellt41 – nicht in Betracht.42 Würde der Vorstand dem KI-System dennoch entsprechende Befugnisse übertragen, wäre hierin eine organschaftliche Pflichtverletzung zu erblicken.43 Das Haftungsrisiko infolge einer Missachtung des Delegationsverbots ist jedoch im hier gegebenen Kontext zu vernachlässigen; solange das KI-System bloß zur internen Unterstützung und Vorbereitung von Entscheidungen eingesetzt wird, entzieht sich der Vorstand gerade nicht seiner unveräußerlichen Leitungsverantwortung. Der wesent­ liche Kausalakt des Entscheidungsprozesses, die Entschlussfassung, bleibt ihm selbst vorbehalten.

III. Pflichtverletzung aufgrund unterlassener Aufgabenübertragung an ein KI-System Eine absolute Pflicht zur Delegation existiert – wie bereits an vorstehender Stelle erörtert44 – nicht.45 Sieht sich der Vorstand kognitiv befähigt und in der Lage, die Informationsbasis eigenverantwortlich zu erarbeiten, ist ihm dieser Weg nicht verwehrt. Voraussetzung ist allerdings, dass die Entscheidungsprozesse hierdurch nicht unangemessen verzögert werden und er seine übrigen Organaufgaben nicht vernachlässigt.46 Eventuelle Wissensdefizite zur Beurteilung einer bevorstehende Leitungsentscheidung muss er indessen zwingend ausräumen, indem er geeignete Experten oder aber Expertensysteme in Anspruch nimmt.47 Verzichtet er gleichwohl auf jegliche fachliche Unterstützung und trifft die Leitungsentscheidung unbesehen und willkürlich, verstößt er gegen seine Informationspflicht.48 Lehnt der Vorstand stattdessen bloß kategorisch die Einbeziehung von KI in den Entscheidungsprozess ab oder übersieht die Einsatzmöglichkeit der Technik, greift aber auf mensch­ 41  Vgl.

hierzu bereits Teil 1 B. I. 1. b). für den Vorstand im Kreditwesen Schuster, in: HdB Corporate Governance von Banken und Versicherungen, § 7 Rn. 107. 43  Generell hierzu Fleischer, in: Vorstandsrecht, § 8 Rn. 27; ebenso Liebscher, Beck-HdB AG, § 6 Rn. 139. 44  Hierzu bereits ausführlich Teil 1 C. I. 1. c) sowie Teil 1 C. II. 45  Weyland, NZG 2019, 1041, 1043. 46  Auch Freund, NZG 2021, 579, 583 bemängelt die Konzentration auf die wesentlichen Aufgaben. 47  Mertens/Cahn, in: KK/AktG, § 93 Rn. 66. 48  Hierzu bereits Teil 1 C. I. 1. c). 42  Ähnlich



A. Anknüpfungspunkt der Pflichtverletzung 179

liche Berater und Hilfskräfte zurück, wird die Nichtbeanspruchung eines algorithmisch-autonomen Programms zur Informationsbeschaffung nur in absoluten Ausnahmefällen eine organschaftliche Pflichtverletzung bedeuten, nämlich dann, wenn der Vorstand aufgrund einer Ermessensreduzierung auf Null zum Technikeinsatz verpflichtet ist.49

IV. Verletzung von KI-spezifischen Sorgfaltspflichten des Vorstands Als Angriffspunkt und Einfallstor für die Haftung des Vorstands ist hingegen das Außerachtlassen der KI-spezifischen Sorgfaltspflichten anzusehen. Die einzelnen Organpflichten, die es im Falle der Nutzung algorithmischer Entscheidungsassistenten zu beachten gilt, wurden bereits im zweiten Teil der Untersuchung herausgearbeitet.50 Pflichtverletzungen kommen hier auf zwei unterschiedlichen Ebenen in Betracht: Entweder hat der Vorstand die KIspezifischen Organisationspflichten nicht beachtet oder er hat den Leitungsbeschluss letztlich ohne hinreichend informierte Abwägung – insbesondere ohne angemessene Plausibilisierung der KI-Auskunft oder sorgfaltswidrig diametral zur KI-Auskunft – gefasst. Der Gesellschaft obliegt insoweit nur, substantiiert vorzubringen, dass ein möglicherweise pflichtwidriges Handeln bzw. Unterlassen des Vorstands vorliegt.51 Weil im Bereich technischer Compliance aus der ex-post-Betrachtung heraus regelmäßig organisatorische Mängel zu Tage treten,52 dürfte es für die Gesellschaft – ungeachtet der Intransparenz des KI-Systems –jedenfalls nicht ausgeschlossen sein, Anhaltspunkte für ein organpflichtwidriges Verhalten vorzubringen. Die Beweislast dafür, dass weder sorgfaltswidrig noch schuldhaft gehandelt wurde, liegt im Streitfall aufgrund der Beweislastumkehr gemäß § 93 Abs. 2 S. 2 AktG sodann bei den Vorstandsmitgliedern. Infolgedessen empfiehlt sich bereits aus Gründen des Selbstschutzes die „sukzessive und minutiöse“53 Anfertigung schriftlicher Aufzeichnungen über die KI-spezifischen Organisationsmaßnahmen, die KI-generierten Informationen und den Plausibilisierungsprozess im Rahmen der Entscheidungsfindung,54 auch wenn den Vorstand eigentlich 49  Auf den Aspekt der pflichtwidrig unterlassenen KI-Nutzung ebenfalls eingehend Lücke, BB 2019, 1986, 1994; Spindler/Seidel, in: KI – Recht und Praxis automatisierter und autonomer Systeme, § 5 C. Rn. 14; siehe hierzu ausführlich bereits Teil 1 C. I. 1. c). 50  Vgl. bereits Teil 2 B. I. 2 b). 51  Hoss, Gesamtschuldnerische Vorstandshaftung, S. 271. 52  Noack, ZHR 183 (2019), 105, 129. 53  Allgemein hierzu Freund, NZG 2021, 579, 583. 54  So i. E. auch Möslein, in: Rechts-HdB KI und Robotik, § 13 Rn. 38, 42; Weber/ Kiefner/Jobst, NZG 2018, 1131, 1136; allgemein Habersack, ZHR 177 (2013), 782,

180

Teil 3: Die Haftung des Vorstands

keine Rechtspflicht zur Verschriftlichung der ergriffenen Aufsichtsmaßnahmen trifft.55

V. Keine Zurechnung von Pflichtverletzungen des KI-zuständigen Vorstandsmitglieds Haftungsrechtlich stellt sich auch die Frage, ob die übrigen Vorstandsmitglieder stets freigezeichnet sind, wenn zur Erfüllung der organschaftlichen Sorgfaltspflichten im Umgang mit entscheidungsvorbereitenden KI-Systemen ein spezielles Vorstandsressort mit der Folge eingerichtet wird, dass die spartenbezogene Aufgabenerfüllung allein bei dem ressortleitenden Vorstandsmitglied angesiedelt ist.56 Gemäß § 93 Abs. 2 S. 1 AktG haften die einzelnen Vorstandsmitglieder nur für ihr eigenes Fehlverhalten. Im Kontext der KIOrganisationspflichten gilt deshalb grundsätzlich, dass nur diejenigen Vorstandsmitglieder haftungsrechtlich greifbar sind, in deren Zuständigkeit Anschaffung, Einrichtung, Einsatz und Kontrolle des KI-Systems liegen. Fahrlässige Pflichtverletzungen des ressortzuständigen Mitglieds sind den übrigen Vorstandskollegen gerade nicht zuzurechnen.57 Ein Haftungsrisiko kann für die unzuständigen Vorstandsmitglieder aber daraus erwachsen, dass diese ihrer Gesamtverantwortung nicht gerecht werden. Gemeint sind etwa die Pflicht zur gegenseitigen Kontrolle sowie die Gesamtverantwortung zur informierten und im Unternehmensinteresse liegenden Leitung der Gesellschaft.58

798, der betont, dass die „Organmitglieder […] gut beraten sind, die Entscheidungsfindung – d. h. vor allem Informationsgrundlagen und die leitenden Erwägungen – zu dokumentieren“; vgl. hierzu bereits Teil 2 B. I. 2. b) gg) (4). 55  So i. E. Riesener, Verpflichtung des Vorstands zur Berücksichtigung betriebswirtschaftlicher Erkenntnisse bei der Entscheidungsfindung, S. 258, der den Dokumentationsaufwand zurecht bloß als Obliegenheit des Vorstands ansieht. 56  Hoffmann-Becking, in Münch-HdB, GesR IV, § 22 Rn. 24; zur rechtlichen Möglichkeit s. bereits Teil 2 B. I. 2. c) aa). 57  Hierzu ausführlich Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 87. 58  Dazu bereits Teil 2 B. I. 2. c) aa); vertiefend Li, KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, S. 89 ff.



B. Kausalität zwischen Pflichtverletzung und Schaden 181

B. Kausalität zwischen Pflichtverletzung und Schadenals Voraussetzung der Ersatzpflicht I. Kausalzusammenhang Ist es den Vorstandsmitgliedern nicht gelungen, den Vorwurf der Pflichtwidrigkeit auszuräumen, ist überdies nach allgemeinen schadensrechtlichen Grundsätzen (§ 249 BGB) zu fordern, dass ein Ursächlichkeits- und Zurechnungszusammenhang zwischen der vorgeworfenen Pflichtverletzung und dem geltend gemachten Schaden besteht.59 Im untersuchungsgegenständlichen Bereich erweist sich dieses Kausalitätserfordernis als Zünglein an der Waage.60 Die Einbeziehung und Zwischenschaltung lernfähiger Algorithmen führt dazu, dass die Suche nach dem ausschlaggebenden Fehler ebenso wie eine lückenlose Rekonstruktion des Geschehens häufig im Sande verlaufen wird.61 Attribute, wie Autonomie, Komplexität und Opazität der Arbeitsweise schränken die Möglichkeiten der Sachverhaltsermittlung stark ein.62 Es wäre aufzuklären, ob die fehlerhaft erarbeitete Informationsgrundlage des KI-Systems und die hierauf gründende Leitungsentscheidung etwa auf die sorgfaltswidrige Überwachung, beispielsweise ein nicht durchgeführtes Update oder letztlich nur auf eine unvorhersehbare und fehlgeleitete Eigen­ dynamik der KI zurückzuführen ist.63 Die Darlegungs- und Beweislast dafür, dass der Schaden durch ein Verhalten der Vorstandsmitglieder verursacht wurde, liegt grundsätzlich bei der Gesellschaft.64 Letztlich stünde diese, vertreten durch den Aufsichtsrat, vor der schwierigen Herausforderung, hypothetisch zu erforschen, wie sich die Ereignisse bei ordnungsgemäßer Vornahme der gebotenen Organisationsmaßnahmen dargestellt hätten.65 Es gibt 59  Fleischer, in: BeckOGK/AktG, § 93 Rn. 267; Hölters/Hölters, in: Hölters/Weber, AktG § 93 Rn. 250. 60  Hierzu allgemein Haagen, Verantwortung für Künstliche Intelligenz, S. 224; aus der arbeitsrechtlichen Perspektive feststellend auch Günther/Böglmüller, BB 2017, 53, 54 f. 61  Ähnlich Gassner, in: Digital Law, S. 100. 62  Auf diese Problematik ebenfalls hinweisend Buiten, in: Regulierung für Algorithmen und Künstlichen Intelligenz, S. 151. 63  Gassner, in: Digital Law, S. 100 weist zurecht auf die Schwierigkeit hin, festzustellen, ob ein Entscheidungsfehler aus allein systemimmanenten Gründen aufgetreten ist oder auf ein Organisations- bzw. Leitungsversagen des Vorstands zurückzuführen ist; ähnlich Spindler, in: Digitalisierung, Automatisierung, KI und Recht, S.  270 f. 64  Bauer, NZG 2015, 549; Fleischer, NZG 2014, 321, 327; Hölters/Hölters, in: Hölters/Weber, AktG § 93 Rn. 253. 65  LG München I, Urt. v. 10.12.2013 – Az.: 5 HKO 1387/10 = BeckRS 2014, 1998.

182

Teil 3: Die Haftung des Vorstands

jedoch Bestrebungen, in diffizilen Kausalitätsfragen im Zusammenhang mit Organisations- und Überwachungspflichtverletzungen Beweiserleichterungen für die Gesellschaft zuzulassen.66 Die Vorschläge zur Absenkung der Beweislastanforderungen reichen von einer Anwendung der Regeln des An­ scheinsbeweises,67 den Grundsätzen zur sekundären Darlegungslast68 über eine Reduzierung des Beweismaßstabs gemäß § 287 ZPO69 bis hin zu einer Anwendung der Risikoerhöhungslehre.70 Gerade weil den Vorstand bereits die Beweislast trifft, seine Sorgfältigkeit und Schuldlosigkeit nachzuweisen, sollte eine Änderung der gesetzlichen Beweisverteilungsregeln zulasten des Vorstands nach der hier vertretener Ansicht nur mit Bedacht vorgenommen werden. Es droht sonst ggf. eine faktische Gefährdungshaftung.71 Nur soweit den Vorstandsmitgliedern gravierende Versäumnisse im Hinblick auf die KIbedingten Sorgfaltspflichten nachzuweisen sind,72 verdient der eher restriktive Ansatz zum Eingreifen einer sekundären Darlegungslast aus normativen Gründen Zustimmung. Begründen lässt sich diese Ansicht zusätzlich auch damit, dass die Vorstandsmitglieder eine stärkere Sachnähe zur Streitmaterie besitzen. Als Gestalter des Organisations- und Entscheidungsprozesses sind sie unmittelbar involviert, sodass ihnen eine gesteigerte Substantiierungspflicht und das Risiko der Unaufklärbarkeit zuzumuten ist. Zwar stehen auch die Mitglieder des Vorstands in der Regel vor dem Problem, keine Einblicke in die technischen Beweggründe der KI nehmen zu können, sodass auch ihnen schwerfallen dürfte, gehaltvoll zu begründen, dass ihr pflichtwidriges Verhalten in keinem Zusammenhang mit dem falschen KI-Ergebnis steht. Mit ihrer Entscheidung für den KI-Einsatz haben sie jedoch den Weg für eine in ihrem Herrschaftsbereich liegende Gefahrenquelle geebnet, sodass ihnen wertungsmäßig jedenfalls dann besondere Substantiierungsanstrengungen abzuverlangen sind, wenn ihnen eklatante Organisations- bzw. Aufsichtspflichtverstöße zur Last fallen.

in: BeckOGK/AktG, § 93 Rn. 268; ders., NZG 2014, 321, 328. in: KK/AktG, § 93 Rn. 142; ähnlich Meier-Greve, BB 2009, 2555, 2559, der sich für eine Vermutung des Kausalzusammenhangs ausspricht. 68  Rieder/Holzmann, AG 2011, 265, 273. 69  LG München I, Urt. v. 10.12.2013 – Az.: 5 HKO 1387/10 = BeckRS 2014, 1998; zum GmbH-Recht so bereits BGH, Urt. vom 04.11.2002 – Az.: II ZR 224/00 = DStR 2003, 124, 126: „Gegenüber einem Geschäftsführer, der […] nicht einmal den Versuch einer schadensabwendenden Maßnahme unternommen und die Gesellschaft dadurch in die Schwierigkeit des Nachweises der hypothetischen Entwicklung gebracht hat, ist diese Darlegungs- und Beweiserleichterung […] gerechtfertigt“. 70  Hierzu Fleischer, in: BeckOGK/AktG, § 93 Rn. 268; ders., NZG 2014, 321, 328. 71  Ähnlich Weber/Kiefner/Jobst, NZG 2018, 1131, 1135 f. 72  Allgemein so i. E. auch Fleischer, in: BeckOGK/AktG, § 93 Rn. 268. 66  Fleischer,

67  Mertens/Cahn,



B. Kausalität zwischen Pflichtverletzung und Schaden 183

Dennoch gilt: Nicht jede fehlerhafte KI-basierte Leitungsentscheidung wird auf eine Sorgfaltspflichtverletzung des Vorstands zurückzuführen sein.73 Die bloße Indienstnahme der KI kommt isoliert betrachtet in der Regel nicht als Anknüpfungspunkt für die Ersatzpflicht in Frage, da eine allein auf die Kausalität (conditio sine qua non) schauende Vorstandshaftung dem allgemeinen Schadensrecht zuwiderliefe; es bedarf insoweit eines adäquat-kausalen Zusammenhangs zwischen dem Vorstandsverhalten und dem eingetretenen Schaden.74 Anstelle des Vorstands können schließlich auch verschiedenste andere Akteure in der Wertschöpfungskette des KI-Produkts für die Fehlerhaftigkeit verantwortlich sein. Als Verursacher kommen insbesondere der Hersteller, der Anbieter oder ein ggf. involvierter Datenbereitstellungsdienstleister in Betracht.75

II. Fallgruppe des rechtmäßigen Alternativverhaltens Der Schutzzweckzusammenhang zwischen einer Pflichtverletzung und dem Schaden entfällt, wenn sich die Vorstandsmitglieder gegenüber der Gesellschaft berechtigterweise auf den schadensrechtlichen Einwand rechtmäßigen bzw. pflichtgemäßen Alternativverhaltens berufen.76 Im Hinblick auf die Behauptung, dass der Schaden auch eingetreten wäre, wenn sich der Vorstand pflichtgemäß verhalten hätte, trifft diesen aber die volle Darlegungs- und Beweislast.77 Nicht als ausreichend anzusehen ist die bloße Möglichkeit des alternativen Schadenseintritts; erforderlich ist vielmehr eine an Sicherheit grenzende Wahrscheinlichkeit, dass dieser auch bei pflichtgemäßen Verhalten entstanden wäre.78 In Beratungsfällen ist der Einwand rechtmäßigen Alternativverhaltens nur dann zielführend, wenn sich sicher nachweisen lässt, dass auch bei Anwendung der gebotenen Geschäftsleitersorgfalt die Falschberatung nicht verhindert oder die schadenstiftende LeiZIP 2019, 504, 509. Becker/Pordzik, ZfPW 2020, 334, 337 f.; Linardatos, ZIP 2019, 504,

73  Linardatos, 74  Ähnlich

509.

in: Digitalisierung, Automatisierung, KI und Recht, S. 271. Vorstandshaftung und Beratung, S. 260 geht ausdrücklich auf die Rechtsfigur des rechtmäßigen Alternativverhaltens in Beratungsfällen ein: „Ein Vorstandsverhalten, welches den Ision-Kriterien nicht entspricht, kann […] nur dann zur Haftung führen, wenn das abweichende Verhalten für die rechtswidrige Entscheidung auch kausal geworden ist“; allgemein auch Grigoleit/Tomasic, in: Grigoleit, AktG, § 93 Rn. 93. 77  Dauner-Lieb, in: Henssler/Strohn, AktG, § 93 Rn. 35; Fleischer, in: BeckOGK/ AktG, § 93 Rn. 269. 78  Gomer, Die Delegation von Compliance-Zuständigkeit des Vorstands einer Aktiengesellschaft, S.  421 f.; Rothenburg, in: Arbeits-HdB für Vorstandsmitglieder, § 11 Rn. 67. 75  Spindler, 76  Berger,

184

Teil 3: Die Haftung des Vorstands

tungsentscheidung dennoch getroffen worden wäre.79 Hinsichtlich einer fälschlichen KI-Auskunft ließe sich etwa einwenden, der Schaden wäre in jedem Fall auch bei gehöriger – tatsächlich jedoch unterbliebener – Testung und Kontrolle des KI-Systems eingetreten, z. B. weil der für die Falschinformation ursächliche Fehler ohnehin nicht hätte gefunden werden können. Auch möglich wäre der Einwand, das fehlerhafte KI-Ergebnis sei der autonomen und in Teilen unberechenbaren Anpassung des Systems geschuldet und auch unter Anwendung der erforderlichen Geschäftsleitersorgfalt ex ante weder erkenn- noch verhinderbar gewesen.80 Des Weiteren können zudem sog. Entwicklungsfehler, d. h. Fehler, die in entsprechender Anwendung des § 1 Abs. 2 Nr. 5 ProdHG nach dem Stand der Wissenschaft und Technik in dem Zeitpunkt, in dem die Leitungsentscheidung getroffen wurde, nicht vorhergesehen werden konnten, weil die verfügbaren Erkenntnismöglichkeiten noch nicht weit genug fortgeschritten waren (sog. privilegiertes Entwicklungsrisiko), den Zurechnungszusammenhang zwischen einer nachgewiesenen Organisationspflichtverletzung und dem eingetretenen Schaden unterbrechen.81 Schließlich bliebe es dem Vorstand unbenommen, darzulegen und zu beweisen, dass er sich, auch wenn er pflichtgemäß nicht auf die Auskunft des offensichtlich unqualifizierten KI-Systems vertraut hätte, nach sachgerechter Beratung durch Experten und angemessener Abwägung gleichwohl für den von der KI vorgeschlagenen Weg entschieden. In den genannten Fällen lässt sich dem Vorstand letztlich kein Vorwurf machen. Fehler sind nicht nur menschlich – auch Lernalgorithmen kommen aus dem Takt und leisten sich Fehltritte, die außerhalb des Herrschaftsbereiches des Vorstands liegen. Unterschiedlich stellt sich – wie bereits erläutert – allein die Regresssituation dar: Während menschliche Auskunftspersonen der Gesellschaft gegenüber ggf. auf vertraglicher Grundlage haften, sind Ersatzansprüche gegen das KISystem de lege lata nicht vorstellbar.82

79  Ähnlich

Berger, Vorstandshaftung und Beratung, S. 261. Möslein, ZIP 2018, 204, 211, der zwischen unvorhersehbaren Fehlentscheidungen und „Fehlern systematischer Natur“ unterscheidet; letztere lassen sich auf eine Sorgfaltspflichtverletzung der Geschäftsleitung zurückführen; auch Weyland, NZG 2019, 1041, 1043 stellt im Allgemeinen fest, dass den Vorstand keine Haftung treffe, sofern für diesen kein Anlass bestand, an der Qualifikation des Deleganten zu zweifeln. 81  Zum Entwicklungsfehler allgemein BGH, Urt. v. 05.02.2013 – Az.: VI ZR 1/12 = NJW 2013, 1302 Rn. 9; autonomiebedingte Fehler sieht Wagner, in: MüKo/ BGB, § 1 ProdHG Rn. 61 nicht als Unterfall der Entwicklungsfehler im Sinne des § 1 Abs. 2 Nr. 5 ProdHG. 82  Hierzu bereits Teil 1 B. I. 1. a) bb). 80  So

Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen Zum Abschluss der Arbeit werden nachfolgend noch einmal die wichtigsten Ergebnisse der Untersuchung chronologisch und thesenartig zusammengefasst: 1. „Eine Investition in Wissen bringt noch immer die besten Zinsen“1 – der Vorstand sollte sich regelmäßig über digitale Fortschritte in der Informationsgewinnung erkundigen und sorgfältig abwägen, ob die Vorteile des Technikeinsatzes die mit der Anschaffung und Überwachung einhergehenden Anstrengungen überwiegen. 2. Es ist dem Vorstand grundsätzlich erlaubt, KI-Systeme entweder als vorgeschaltete Hilfs- und Arbeitsmittel oder ausgelagert zur Vorbereitung von Entscheidungsgrundlagen im Leitungsbereich einzusetzen, solange er weiterhin seiner Letztentscheidungsverantwortung gerecht wird. Rechtsdogmatisch begründen lässt sich dieses Ergebnis mit einer Übertragung der Grundsätze zur Delegation von Unterstützungsaufgaben an nachgelagerte Hierarchieebenen und der Rechtsprechung zur Einholung von Beratervoten. Die eventuell fehlende Eigenschaft der KI, das Arbeitsergebnis zu begründen, ist nicht als Ausschlusskriterium zu begreifen. Ohne Frage schafft ein nachvollziehbar erklärtes Resultat Vertrauen und ermöglicht eine Logikprüfung. Letztlich maßgeblich ist aber das verlässliche Ergebnis. 3. Die Bestellung eines KI-Systems als digitales Vorstandsmitglied ist nicht mit § 76 Abs. 3 S. 1 AktG zu vereinbaren. Das Vorstandsamt ist allein natürlichen Personen vorbehalten. Auch eine Gesetzesreform wäre in diesem Zusammenhang nicht zweckmäßig. Das oberste Leitungsgre­ mium sollte auch in der Zukunft nur mit Menschen besetzt werden. Die Führung eines Unternehmens ist auch auf längere Sicht zu facettenreich, als dass sie ein Roboter übernehmen könnte. Menschsein bleibt die Schlüsselqualifikation. Vernunft, unternehmerischer Instinkt, Ethikbewusstsein, Gefühlsausdruck und Gefühlswahrnehmung – menschliche Charakteristika, die ein KI-System jedenfalls in ihrer Gesamtheit noch nicht fähig ist, abzubilden. 1  Benjamin Franklin (1706–1790), US-amerikanischer Schriftsteller, Erfinder und Staatsmann.

186

Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen

4. Die Entscheidung für ein leitungsunterstützendes KI-System ist – sofern nicht ausnahmsweise von einem verpflichtenden Einsatz auszugehen ist – eine dem Gesamtvorstand vorbehaltene unternehmerische Ermessensentscheidung, die der Business Judgement Rule (vgl. § 93 Abs. 1 S. 2 AktG) sowie der in § 90 Abs. 1 Nr. 1 AktG statuierten Berichtspflicht an den Aufsichtsrat unterliegt. Eine ungeschriebene Hauptversammlungskompetenz löst eine solche Entscheidung aber nicht aus. Unzulässig wäre zudem eine den Einsatz technischer Hilfsmittel ausschließende Satzungsklausel. Eine solche Regelung würde einen schweren Eingriff in das Selbstorganisationsrecht des Vorstands und damit einen Verstoß gegen den aktienrechtlichen Grundsatz der Satzungsstrenge (§ 23 Abs. 5 S. 1 AktG) bedeuten. Denkbar ist aber, dass der Aufsichtsrat gemäß § 111 Abs. 4 S. 2 AktG einen Zustimmungsvorbehalt festlegt und die Entscheidung über ein KI-System als Werkzeug zur Leitungshilfe von seinem Einverständnis abhängig macht. 5. Existieren verschiedene Wege, sich angemessen zu informieren, steht die Wahl der Informationsquelle(n) im Belieben des Vorstands. Nur für den Fall, dass jede andere Entscheidung, als diejenige, ein KI-Assistenzsystem zur Erarbeitung der Informationsbasis einzusetzen, verfehlt wäre, reduziert sich das Vorstandsermessen auf Null, sodass den Vorstand eine aus § 93 Abs. 1 S. 1 AktG oder § 91 Abs. 3 AktG – nicht jedoch aus § 93 Abs. 1 S. 2 AktG – folgende KI-Einsatzpflicht trifft. Es handelt sich dabei um einen sehr engen Ausnahmefall, der stets einer Einzelfallprüfung bedarf. Nur wenn eine Vielzahl von Faktoren kumulativ zusammentreffen, besteht die Möglichkeit einer Pflicht zur KI-Nutzung. Je gewichtiger die Bedeutung und Tragweite der anstehenden Leitungsentscheidung, je größer der Informationsbedarf und je bedarfsgerechter, ausgereifter, ­erschwinglicher und dem Menschen überlegener die spezialisierte KITechnik, desto eher rückt das KI-Nutzungsrecht in die Nähe einer KIEinsatzpflicht. 6. Außerdem besteht die Möglichkeit, den Vorstand durch Selbstregulierung zur Nutzung eines entscheidungsunterstützenden KI-Systems zu verpflichten. – Als Instrument stünde der Hauptversammlung hierzu die Satzung zur Verfügung. Eine verbindliche Regelung zur KI-Nutzung wäre als gesetzlich gestattete Abweichung im Sinne des § 23 Abs. 5 S. 1 AktG zulässig. Nach § 77 Abs. 2 S. 2 AktG kann die Satzung vorweggenommen Einzelfragen der Geschäftsordnung des Vorstands – wozu auch die inhaltliche Ausgestaltung des Prozesses der Entscheidungsvorbereitung zählt – bindend regeln.



Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen187

– Auch die Geschäftsordnung käme als Ort zur Regelung von Mindestanforderungen an die Informationsbeschaffung in Frage. Folglich könnte primär der Aufsichtsrat über den Erlass einer Geschäftsordnung dirigierend auf den Vorstand einwirken und den KI-Einsatz vorschreiben. Nur subsidiär, wenn nicht die Satzung den Erlass dem Aufsichtsrat übertragen hat oder der Aufsichtsrat dem Vorstand zuvorgekommen ist (vgl. § 77 Abs. 2 S. 1 AktG), wird dem Vorstand selbst das Recht zuteil, sich eine Geschäftsordnung zu geben und dort die KI-Nutzung für sich verbindlich festzuschreiben. Alternativ böte sich für den Vorstand die Möglichkeit, eine unternehmensinterne Richtlinie einzuführen, die selbstverpflichtend den Technikeinsatz zur Leitungsunterstützung vorsieht. – Die Verankerung einer KI-Nutzungspflicht in den Anstellungsverträgen der Vorstandsmitglieder ist demgegenüber weniger praktikabel. Als Individualregelwerk und aufgrund der vertraglich beiderseitigen Bindung ist der Anstellungsvertrag kaum der passende Ort, um eine Gesamtverpflichtung des Vorstands zur Nutzung eines entscheidungsunterstützenden KI-Systems zu erreichen. 7. Jegliche Bindung des Vorstands, Leitungsentscheidungen entsprechend dem Ergebnis der beratenden KI zu treffen, wäre gemäß § 134 BGB unwirksam. Eine solche Regelung würde ein unzulässiges Vordringen in den Kernbereich der Leitungskompetenz und den Grundsatz der Letztentscheidung bedeuten und einen Verstoß gegen das Verbot der rechtsgeschäftlichen Vorwegbindung darstellen. Auch der Umweg über die Regelung eines Stichentscheids dergestalt, dass bei Stimmgleichheit im Vorstand letztlich die Empfehlung des KI-Systems den Ausschlag gibt, ist nicht gangbar; das Stichrecht muss zwingend einem Vorstandsmitglied übertragen werden und von diesem unabhängig ausgeübt werden. An der gesetzlich zwingendenden Konzernleitungsverantwortlichkeit des gesetzlichen Vertreters der Muttergesellschaft (§ 309 Abs. 1 AktG) scheitert schließlich zudem die Steuerung des Vorstands nach den Vorgaben der KI über einen Beherrschungsvertrag (§ 291 Abs. 1 S. 1 Hs. 1 AktG). 8. Ihre dogmatische Grundlage finden die KI-spezifischen Organisationspflichten des Vorstands gleich in mehreren Rechtsgrundsätzen. Erste Anlaufstelle bildet das Pflichtenprogramm des Vorstands im Falle vertikaler Aufgabendelegation an nachgeordnete Mitarbeiter. Weiterhin sind zudem die speziellen Vorgaben der Rechtsprechung zur Befolgung fachkundiger Rechtsberatung jedenfalls ihrem Sinngehalt nach im Rahmen der Rechtsfortbildung zu berücksichtigen. Für börsennotierte Aktiengesellschaften kann sich außerdem eine aus § 91 Abs. 3 AktG folgende KI-Konzept- bzw. Systempflicht ergeben.

188

Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen

9. Starre Pflichten hat der Vorstand im Umgang mit entscheidungsunter­ stützender KI-Technik nicht einzuhalten. Vielmehr variieren die organschaftlichen Verhaltenspflichten, weil die Beurteilung der anzuwendenden Sorgfalt von unterschiedlichsten Einflussfaktoren abhängt und stets eine Einzelfallbetrachtung erfordert. 10. Folgende Einzelpflichten wurden im Rahmen der Untersuchung herausgearbeitet: – Sorgfältiger Auswahlprozess Der Vorstand ist verpflichtet das potenzielle KI-System auf technische Funktionalität, fachlicher Eignung, Neutralität und ggf. Erklärbarkeit zu überprüfen. Zur Beurteilung der Qualität des Systems können etwa Zertifikate, Gütesiegel, Standards, Prüfzeichen oder Testate dienen. Auch eine sachverständige Begutachtung, eine ausgiebige Testung oder eine Vorführung können Aufschluss über die Leistungsfähigkeit der KI geben. Kommt es zum Einkauf oder zur Anmietung eines KISystems, bedürfen auch die Vertragsgestaltung und die Auswahl des KI-Anbieters besonderer Sorgfältigkeit. Die Sicherstellung der Rechtskonformität, die Implementierung von Grundwerten, die Kalibrierung auf die Unternehmensziele sowie der Umgang mit Konflikten sind möglicherweise individualvertraglich als besondere Programmgestaltungen zu regeln. – Sorgfältige Einweisung Je nach Ausgestaltung des KI-Systems kann der Vorstand zudem verpflichtet sein, vor dem Einsatz zunächst etwaige Trainings oder Programmanpassungen vorzunehmen. – Hinreichende Ressourcenausstattung Die Qualität des KI-Systems steht und fällt mit den ihr zur Verfügung gestellten Daten. Insoweit ist der Vorstand verpflichtet, die Qualität der Daten sicherzustellen. Überdies hat er darauf Acht zu geben, dass das System ohne Rechtsbrüche auf sämtliche Daten zugreifen kann, die zur Aufgabenerfüllung erforderlich sind. Welche Maßnahmen der Vorstand im Einzelfall zur Informationsversorgung des KI-Systems zu ergreifen hat, hängt maßgeblich davon ab, auf welche Weise sich die Datenbeschaffung vollzieht. Sofern die Informationen etwa auf der Basis leistungssichernder Nebenpflichten (§ 241 Abs. 2 BGB) oder in Vollzug eines separaten Servicevertrages durch den KI-Anbieter bzw. Hersteller bereitgestellt oder autonom durch das System abgerufen werden, kann der vom Vorstand zu betreibende Aufwand durchaus gering ausfallen.



Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen189

– Allgemeine Informations- und Fortbildungspflicht Angesichts der Komplexität selbstlernender KI-Systeme besteht beim Vorstand akuter Beratungsbedarf. Es ist dessen Aufgabe, dieses Wissensdefizit schnellstmöglich auszugleichen. Hierzu steht eine Reihe von Informationsangeboten zur Verfügung. Neben Vorstandsschulungen und externen Individualberatungsmöglichkeiten kommen insbesondere auch eine Befragung des Aufsichtsrats oder die Einrichtung eines KI-Rats in Betracht. Allerdings wird der Aufsichtsrat mit dieser Aufgabe nicht selten ebenfalls unsicher und überfordert sein. Allenfalls in stark IT- oder internetfokussierten Unternehmen wird man eine gewisse digitale Fachkompetenz wenigstens eines Aufsichtsratsmitglieds erwarten können. Aus diesem Grund könnte ein fakultativer KI-Rat – auch als Sparring-Partner des Aufsichtsrats in KI-Angelegenheiten – dem Vorstand in ethischen wie auch technischen Fragestellungen dienlich sein. Ein Kompetenzkonflikt zwischen Aufsichtsrat und KIRat ist solange nicht zu befürchten, wie Letzterem keine exklusiven Befugnisse übertragen werden, die gesetzlich eigentlich dem Aufsichtsrat zustehen. – Überwachungsverantwortung Des Weiteren ist der Vorstand verpflichtet, das KI-System einer kontinuierlichen Überwachung und Kontrolle zu unterstellen. Der Umfang und die Intensität der angezeigten Aufsichtsmaßnahmen ist situativ und einzelfallabhängig zu bestimmen. Zumindest wenn sich ein regelmäßiger KI-Gebrauch im Leitungsbereich andeutet, empfiehlt sich die Entwicklung eines spezifischen Qualitäts- und Risikomanagementsystems. Cybersicherheitsmaßnahmen und Zugangsbeschränkungen gehören ebenso wie die regelmäßige Überprüfung auf Systemaktualisierungen zu den erwartbaren Vorkehrungen. Auch p ­ eriodische oder stichprobenartige Qualitätstestungen können sich fallabhängig anbieten. Die Aufgabe eines internen Leitfadens oder öffentlichen Aushängeschildes könnte schließlich eine durch den Vorstand ausgearbeitete KI-Richtlinie übernehmen. – Pflicht zur Auseinandersetzung mit der Entscheidungsgrundlage Schlussendlich bedarf die erarbeitete Entscheidungsgrundlage einer Letztüberprüfung durch den Vorstand. Er darf sich die KI-Auskunft erst nach umfassender Überzeugungsbildung zu Eigen machen. Ist eine verständliche Begründung der KI einsehbar, ist diese sorgfältig zu plausibilisieren (KI-Plausibilisierung). Die Prüfungstiefe bestimmt sich einzelfallabhängig unter Betrachtung des Entscheidungsgegenstands sowie nach der Zuverlässigkeit und Aufgabenstellung des verwendeten

190

Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen

KI-Systems. Ob sich die Plausibilisierung auf die Überprüfung der ggf. vorhandenen KI-generierten Begründung beschränken darf, lässt sich nur einzelfallabhängig beantworten. Je weiter sich der Beratungs­ gegenstand von dem betriebswirtschaftlichen Verständnishorizont des Vorstands entfernt, desto eher wird sich der Vorstand auf eine summarische Analyse und Würdigung der KI-Begründung beschränken können – vorausgesetzt, es bestehen keine ernsten Zweifel an der Richtigkeit der algorithmisch erzeugten Auskunft und die Tragweite der Entscheidung verlangt keine besondere Absicherung. Generiert das System hingegen keine nachvollziehbare Begründung, sind vom Vorstand ergänzende Abwägungen zu verlangen – er hat seine Erfahrungen und Kenntnisse einzubringen und erforderlichenfalls zusätzliche Informa­ tionen zu beschaffen (Entscheidungsplausibilisierung). Ein technischer Funktionalitäts-Check im Anschluss an den KI-Einsatz sollte nur dann ein zwingender Bestandteil der Letztüberprüfung sein, wenn das KIArbeitsergebnis eine besonders risikoreiche und komplexe Leitungsentscheidung zum Gegenstand hat. Keinesfalls erforderlich ist ein technisches Erschließen der KI-Lösung. Zu Beweiszwecken sollten der Akt und das Ergebnis der Plausibilisierung ausreichend dokumentiert werden. 11. Ein Mangel an Zeit und Wissen kann den Vorstand zu einer horizontalen und/oder vertikalen Arbeitsteilung drängen. Die Sinnhaftigkeit eines eigenen KI-Ressort beurteilt sich nach den konkreten Bedürfnissen des Unternehmens. Die einzelnen KI-spezifischen Sorgfaltspflichten (Auswahl, Ausstattung mit Daten, Überwachung) lassen sich an nachgeordnetes Fachpersonal delegieren. In diesem Fall wäre der Vorstand bloß noch zur Oberbeaufsichtigung dieser Personen verpflichtet. 12. Entscheidet sich der Vorstand dafür, das KI-Assistenzsystem ausgelagert über einen externen Anbieter zu verwenden, kommen der sorgfältigen Auswahl des Dienstleisters sowie der präzisen und umfassenden Aus­ arbeitung des Auslagerungsvertrages herausgehobene Bedeutung zu. Das Vertragswerk sichert dem auslagernden Unternehmen, folglich dem Vorstand, die Einflussmöglichkeiten auf den „outgesourcten“ Arbeitsprozess durch schuldrechtliche Steuerungs- und Aufsichtsrechte. 13. Organschaftliche Haftungsfragen stellen sich auch im Umgang mit entscheidungsunterstützenden KI-Systemen. Hat der Vorstand KI-spezifische Sorgfaltspflichten missachtet und auf der Grundlage falscher Informationen der KI eine gesellschaftsschädigende Leitungsentscheidung getroffen, ist dieser möglicherweise nach § 93 Abs. 2 S. 1 AktG gegenüber der AG schadensersatzpflichtig. In Ausnahmefällen kann auch das Nichtgebrauchen eines KI-Systems eine Pflichtverletzung darstellen. Eine Zu-



Schlussteil: Zusammenfassung der wesentlichen Ergebnisse in Thesen191

rechnung des technischen Versagens in analoger Anwendung des § 278 BGB scheidet aber aus. 14. Über das Vorliegen eines Haftungsfalls wird häufig die Kausalität zwischen der Pflichtverletzung und dem Schaden entscheiden. Die Gesellschaft ist für diese Voraussetzung nach allgemeinen Regeln darlegungsund beweispflichtig. Weil aber die undurchsichtigen Arbeitsschritte der KI Beweisschwierigkeiten nach sich ziehen können, ist eine Erleichterung in Form einer sekundären Darlegungslast angebracht, soweit den Vorstandsmitgliedern gravierende Versäumnisse im Hinblick auf die KIbedingten Sorgfaltspflichten nachzuweisen sind.

Literaturverzeichnis Abetz, Felix: Die Sanktionierung gesellschaftsinterner Vorstandspflichten, Tübingen 2021. Ahlberg, Hartwig/Götting, Horst-Peter: Urheberrecht, 9. Auflage, München 2015 (zitiert: Bearbeiter, in: BeckOK UrhR). Altenburger, Reinhard (Hrsg.)/Schmidpeter, Rene (Hrsg.): CSR und Künstliche Intelligenz, Berlin 2021 (zitiert: Bearbeiter, in: CSR und Künstliche Intelligenz). Althoff, Lars: Das Betriebsrätestärkungsgesetz – Fortschritt oder Stillstand?, ArbR­ Aktell 2021, S. 151 ff. Angerer, Christoph: Neuronale Netze – Revolution für die Wissenschaft?, SdW, 2018, Heft 1, S. 1 ff. Armour, John/Eidenmüller, Horst: Selbstfahrende Kapitalgesellschaften?, ZHR 183 (2019), S.  169 ff. Auer-Reinsdorff, Astrid/Conrad, Isabell: Handbuch IT- und Datenschutzrecht, 3. Auflage, München 2019 (zitiert: Bearbeiter, in: IT-R-HdB). Bachmann, Gregor: Die Haftung des Geschäftsleiters für die Verschwendung von Gesellschaftsvermögen, NZG 2013, S. 1121 ff. Bachmann, Gregor/Grundmann, Stefan/Mengel, Anja/Krolop, Kaspar: Festschrift für Christine Windbichler zum 70. Geburtstag am 8. Dezember 2020, Berlin 2021 (zitiert: Bearbeiter, in: FS Windbichler). Bahreini, Dariush/Charton, Jean Enno/Lucas, Simon: Unternehmensethik 4.0, RDi 2021, S. 548 ff. Balke, Michaela/Klein, Karen: Vorstandshaftung für fehlerhafte Ausrichtung der Compliance-Organisation, ZIP 2017, S. 2038 ff. Barton, Thomas (Hrsg.)/Müller, Christian (Hrsg.)/Seel, Christian (Hrsg.): Digitalisierung in Unternehmen, Wiesbaden 2018, (zitiert: Bearbeiter, in: Digitalisierung in Unternehmen: Von den theoretischen Ansätzen zur praktischen Umsetzung). Bauer, Leopold: Zur Darlegungs- und Beweislast des Vorstands in organschaftlichen Haftungsprozessen, NZG 2015, S. 549 ff. Bayer, Walter/Hoffmann, Thomas: Der statutarisch verankerte AG-Beirat, AG 2009, R243 ff. Beck, Susanne (Hrsg.)/Kusche, Carsten (Hrsg.)/Valerius, Brian (Hrsg.): Digitalisierung, Automatisierung, KI und Recht, Festgabe zum 10-jährigen Bestehen der Forschungsstelle RobotRecht, Baden-Baden 2020 (zitiert: Bearbeiter, in: Digitalisierung, Automatisierung, KI und Recht).

Literaturverzeichnis193 Becker, Marcus/Pordzik, Phillip: Digitalisierte Unternehmensführung, ZfPW 2020, S.  334 ff. Beck’scher Online-Kommentar BGB, hrsg. v. Wolfgang Hau und Roman Poseck (zitiert: Bearbeiter, in: BeckOK/BGB). Beck-online.de Großkommentar BGB, hrsg. v. Beate Gsell, Wolfgang Krüger, Stephan Lorenz und Christoph Reymann (zitiert: Bearbeiter, in: BeckOGK/BGB). Beisel, Wilhelm/Klumpp, Hans-Hermann: Der Unternehmenskauf, 7. Auflage, München 2016 (zitiert: Bearbeiter, in: Der Unternehmenskauf). Belcastro, Thomas: Getting on board with robots: How the Business Judgement Rule should apply to Artificial Intelligence devices serving as members of a corporate board, 4 Geo. L. Tech. Rev. 263, S. 274 ff. Berger, Victoria Anna: Vorstandshaftung und Beratung, Baden-Baden 2015. Bergmann, Alfred/Hoffmann-Becking, Michael/Noack, Ulrich: Recht und Gesetz. Festschrift für Ulrich Seibert, Köln 2019 (zitiert: Bearbeiter, in: FS Seibert). Beyer, Elena (Hrsg.)/Erler, Katharina (Hrsg.)/Hartmann, Christoph (Hrsg.)/Kramme, Malte (Hrsg.)/Müller, Michael F. (Hrsg.)/Pertot, Tereza (Hrsg.)/Tuna, Elif (Hrsg.)/ Wilke, Felix M. (Hrsg.): Privatrecht 2050 – Blick in die digitale Zukunft, BadenBaden 2020 (zitiert: Bearbeiter, in: Privatrecht 2050 – Blick in die digitale Zukunft). Binder, Jens-Hinrich: Geschäftsleiterhaftung und fachkundiger Rat, AG 2008, S.  274 ff. Binder, Jens-Hinrich: Mittelbare Einbringung eigener Aktien als Sacheinlage und Informationsgrundlagen von Finanzierungsentscheidungen in Vorstand und Aufsichtsrat, ZGR 2012, S. 757 ff. Binder Grösswang (Hrsg.): Digital Law, Wien 2018 (zitiert: Bearbeiter, in: Digital Law). Bischof, Elke/Intveen, Michael: Einsatz künstlicher Intelligenz durch Unternehmen, ITRB 2019, S. 134 ff. Bittner, Marc-Philipp (Hrsg.)/Guntermann, Anabel (Hrsg.)/Müller, Christoph Benedikt (Hrsg.)/Rostam, Darius (Hrsg.): Cybersecurity als Unternehmensleitungsaufgabe, Baden-Baden 2021 (zitiert: Bearbeiter, in: Cybersecurity als Unternehmensleitungsaufgabe). Boele-Woelki, Katharina/Faust, Florian/Jacobs, Matthias/Kuntz, Thilo/Röthel, Anne/ Thorn, Karsten/Weitemeyer, Birgit: Festschrift für Karsten Schmidt zum 80. Geburtstag, München 2019 (zitiert: Bearbeiter, in: FS K. Schmidt). Bomhard, David/Merkle, Marieke: Europäische KI-Verordnung, RDi 2021, S. 276 ff. Boos, Karl-Heinz/Fischer, Reinfrid/Schulte-Mattler, Hermann: KWG, CRR-VO, 5. Auflage, München 2016 (zitiert: Bearbeiter, in: Boos/Fischer/Schulte-Mattler, KWG). Borges, Georg: Rechtliche Rahmenbedingungen für autonome Systeme, NJW 2018, S.  977 ff. Böttcher, Lars: Compliance: Der IDW PS 980 – Keine Lösung für alle (Haftungs-) Fälle!, NZG 2011, S. 1054 ff.

194 Literaturverzeichnis Braegelmann, Tom (Hrsg.)/Kaulartz, Markus (Hrsg.): Rechtshandbuch Artificial Intelligence und Machine Learning, München 2020 (zitiert: Bearbeiter, in: RechtsHdB AI und ML). Bräutigam, Peter (Hrsg.): IT-Outsourcing und Cloud-Computing, 4. Auflage, Berlin 2019 (zitiert: Bearbeiter, in: IT-Outsourcing und Cloud Computing). Buck-Heeb, Petra: Die Plausibilitätsprüfung bei Vorliegen eines Rechtsrats – zur Enthaftung von Vorstand, Geschäftsführer und Aufsichtsrat, BB 2016, S. 1347 ff. Buck-Heeb, Petra: Vertrauen auf den Rechtsrat Dritter und Wissenszurechnung bei der Anlageberatung, BKR 2011, S. 441 ff. Bühler, Timo: Berichtspflichten bei Strukturmaßnahmen von Aktiengesellschaften, Baden-Baden 2017. Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e. V. (Bitkom), Künstliche Intelligenz – Wirtschaftliche Bedeutung, gesellschaftliche Herausforderungen, menschliche Verantwortung, 2017, abrufbar unter: https:// www.bitkom.org/sites/default/files/file/import/171012-KI-Gipfelpapier-online.pdf. Bünte, Claudia: Künstliche Intelligenz – die Zukunft des Marketing, Wiesbaden 2018. Bunting, Nikolaus: Konzernweite Compliance – Pflicht oder Kür?, ZIP 2012, S. 1542 ff. Bürgers, Tobias/Körber, Torsten/Lieder, Jan: Aktiengesetz, 5. Auflage, Heidelberg 2021 (zitiert: Bearbeiter, in: Bürgers/Körber/Lieder, AktG). Bürkle, Jürgen: Compliance in Versicherungsunternehmen, 3. Auflage, München 2020 (zitiert: Bearbeiter, in: Bürkle, Compliance). Bürkle, Jürgen: Corporate Compliance – Pflicht oder Kür für den Vorstand der AG?, BB 2005, S. 565 ff. von Busekist, Konstantin/Hein, Oliver: Der IDW PS 980 und die allgemeinen recht­ lichen Mindestanforderungen an ein wirksames Compliance Management System (1) – Grundlagen, Kultur und Ziele, CCZ 2012, S. 41 ff. Cahn, Andreas: Aufsichtsrat und Business Judgement Rule, WM 2013, S. 1293 ff. Chibanguza, Kuuya (Hrsg.)/Kuß, Christian (Hrsg.)/Steege, Hans (Hrsg.): Künstliche Intelligenz: Recht und Praxis automatisierter und autonomer Systeme, Baden-Baden 2021 (zitiert: Bearbeiter, in: KI – Recht und Praxis automatisierter und autonomer Systeme). Compes, Achim/Thümmel, Roderich C./Winkler, Angelo: Festschrift für Alexander Reuter zum 65. Geburtstag, Köln 2021 (zitiert: Bearbeiter, in: FS Reuter). Dahm, Markus H. (Hrsg.)/Thode, Stefan (Hrsg.): Strategie und Transformation im digitalen Zeitalter, Wiesbaden 2019. Dahmen, Lennart: Auslagerungen an Cloud-Dienste, BKR 2019, S. 533 ff. Dettling, Heinz-Uwe: Arzneimittelrecht als Sicherheitsrecht – Zugleich ein Beitrag zur Rechtfertigung von Freiheitsbeschränkungen, PharmR 2005, S. 162 ff. Dettling, Heinz-Uwe: Künstliche Intelligenz und digitale Unterstützung ärztlicher Entscheidungen in Diagnostik und Therapie, PharmR 2019, S. 633 ff.

Literaturverzeichnis195 Dettling, Heinz-Uwe/Krüger, Stefan: Digitalisierung, Algorithmisierung und Künst­ liche Intelligenz im Pharmarecht, PharmR 2018, S. 513 ff. Dettling, Heinz-Uwe/Krüger, Stefan: Erste Schritte im Recht der Künstlichen Intelligenz, MMR 2019, S. 211 ff. Dreher, Meinrad/Mülbert, Peter O./Verse, Dirk A./Drescher, Ingo: Festschrift für Alfred Bergmann zum 65. Geburtstag am 13. Juli 2018, Berlin 2019 (zitiert: Bearbeiter, in: FS Bergmann). Dreier, Thomas/Schulze, Gernot: Urheberrechtsgesetz: UrhG, 7. Auflage, München 2022 (zitiert: Bearbeiter, in: Dreier/Schulze UrhG). Drinhausen, Florian/Eckstein, Hans-Martin: Beck’sches Handbuch der AG, 3. Auflage, München 2018 (zitiert: Bearbeiter, in: Beck-HdB AG). Ebers, Martin/Hoch, Veronica/Rosenkranz, Frank/Ruschemeier, Hannah/Steinrötter, Björn: Der Entwurf für eine EU-KI-Verordnung: Richtige Richtung mit Optimierungsbedarf – Eine kritische Bewertung durch Mitglieder der Robotics & AI Law Society (RAILS), RDi 2021, S. 528 ff. Ebers, Martin/Heinze, Christian/Krügel, Tina/Steinrötter, Björn: Künstliche Intelligenz und Robotik, München 2020 (zitiert: Bearbeiter, in: Rechts-HdB KI und Robotik). Ebert, Andreas/Spiecker, Indra: Der Kommissionsentwurf für eine KI-Verordnung der EU, NVwZ 2021, S. 1188 ff. Emmerich, Volker/Habersack, Mathias: Aktien- und GmbH-Konzernrecht, 9. Auflage, München 2019 (zitiert: Bearbeiter, in: Aktien- und GmbH-Konzernrecht). Enriques, Luca/Zetzsche, Dirk: Corporate Technologies and the Tech Nirvana Fallacy, ECGI Law Working Paper N° 457/2019, S. 49 ff. Ernst, Stefan: Die Verfügbarkeit des Source Codes – Rechtlicher Know-how-Schutz bei Software und Webdesign, MMR 2001, S. 208 ff. Ertl, Manfred: Von der Excel-Anwendung zum Finanzmanagement-System Auswahl und Installation eines Treasury-Management-Systems, BC 2003, S. 153 ff. Eufinger, Alexander: Organhaftung bei Verzicht auf Schadensersatzansprüche gegenüber Arbeitnehmern, GWR 2018, S. 267 ff. Fischer, Jan-Benedikt/Schuck, Jonas: Die Einrichtung von Corporate GovernanceSystemen nach dem FISG, NZG 2021, S. 534 ff. Fischer, Joel/Bornhauser, Jonas: Elektronische Board Portale: Hosted in Switzerland als neuer rechtlicher Qualitätsstandard, GesKR 2016, S. 425 ff. Fleischer, Holger: Aktienrechtliche Compliance-Pflichten im Praxistest: Das Siemens/Neubürger-Urteil des LG München I, NZG 2014, S. 321 ff. Fleischer, Holger: Aktuelle Entwicklungen der Managerhaftung, NJW 2009, S.  2337 ff. Fleischer, Holger: Handbuch des Vorstandsrechts, München 2006 (zitiert: Bearbeiter, in: Vorstandsrecht).

196 Literaturverzeichnis Fleischer, Holger: Vertrauen von Geschäftsleitern und Aufsichtsratsmitgliedern auf Informationen Dritter, ZIP 2009, S. 1397 ff. Fleischer, Holger: Vorstandshaftung und Vertrauen auf anwaltlichen Rat, NZG 2010, S.  121 ff. Fleischer, Holger: Vorstandsverantwortlichkeit und Fehlverhalten von Unternehmensangehörigen – Von der Einzelüberwachung zur Errichtung einer Compliance-­ Organisation, AG 2003, S. 291 ff. Fleischer, Holger: Zum Grundsatz der Gesamtverantwortung im Aktienrecht, NZG 2003, S.  449 ff. Fleischer, Holger: Zur Leitungsaufgabe des Vorstands im Aktienrecht, ZIP 2003, S.  1 ff. Foerster, Max: Automatisierung und Verantwortung im Zivilrecht, ZfPW 2019, S.  418 ff. Fortmann, Harald R. (Hrsg.)/Kolocek, Barbara (Hrsg.): Arbeitswelt der Zukunft, Wiesbaden 2018 (zitiert: Bearbeiter, in: Arbeitswelt der Zukunft). Freitag, Robert/Korch, Stefan: Die Angemessenheit der Information im Rahmen der Business Judgement Rule, ZIP 2012, S.  2281 ff. Freund, Stefan: Risikomanagement für Geschäftsführer und Vorstände, NZG 2021, S.  579 ff. Fuhrmann, Lambertus/Heinen, Alexander/Schilz, Lukas: Gesetzliche Beurteilungsund Ermessensspielräume als „spezial-gesetzliche Business Judgement Rule“, NZG 2020, S. 1368 ff. Gebele, Alexander/Scholz, Kai-Steffen: Beck’sches Formularbuch Bürgerliches, Handels- und Wirtschaftsrecht, 14. Auflage, München 2022 (zitiert: Bearbeiter, in: BeckFormB BHW). Gehrlein, Markus: Leitung einer juristischen Person durch juristische Person?, NZG 2016, S. 566 ff. Gehrlein, Markus: Sorgfaltsmaßstab der Organ- und Insolvenzverwalterhaftung – Anwendbarkeit der Business Judgement Rule, NZG 2020, S. 801 ff. Geist, Andreas: Bestellungshindernisse und Tätigkeitsverbote von Geschäftsleitern im Kapitalgesellschafts-, Kapitalmarkt- und Bankaufsichtsrecht, Göttingen 2006. Goette, Constantin/Goette, Maximilian: Managerhaftung: Abgrenzung unternehmerischer Entscheidungen nach Maßgabe der Business Judgement Rule von pflichtverletzendem Handeln, DStR 2016, S. 815 ff. Goette, Wulf/Arnold, Michael: Handbuch Aufsichtsrat, München 2021 (zitiert: Bearbeiter, in: Goette/Arnold, HdB Aufsichtsrat). Gomer, Maxim: Die Delegation von Compliance-Zuständigkeit des Vorstands einer Aktiengesellschaft, Berlin 2020. Goral-Wood, Louis: Im Überblick: Was schlägt das Europäische Parlament für eine KIBetreiberhaftung vor?, CTRL 1/21, S. 32 ff.

Literaturverzeichnis197 Gottschalk, Eckart/Weng, Andreas: Was ist bei der Inanspruchnahme rechtlicher Beratung zu beachten? Ein Leitfaden für Geschäftsleiter, GWR 2013, S. 243 ff. Graewe, Daniel: New Corporate Governance: bessere Unternehmenskontrolle ohne Menschen?, BB 2020, Heft 11, Umschlagteil, I. Graewe, Daniel/Freiherr von Harder, Stephan: Enthaftung der Leitungsorgane durch Einholung von Rechtsrat bei unklarer Rechtslage, BB 2017, S. 707 ff. Grigoleit, Hans Christoph: Aktiengesetz: AktG, 2. Auflage, München 2020 (zitiert: Bearbeiter, in: Grigoleit, AktG). Groh, Jakob: Einstandspflichten und gestörte Gesamtschuld in der Vorstandshaftung, Baden-Baden 2020. Grub, Maximilian/Krispenz, Sabina: Auswirkungen der Digitalisierung auf M&ATransaktionen, BB 2018, S. 235 ff. Grundmann, Stefan/Haar, Brigitte/Merkt, Hanno: Festschrift für Klaus J. Hopt zum 70. Geburtstag am 24. August 2010, Berlin 2010 (zitiert: Bearbeiter, in: FS Hopt). Grunewald, Barbara: Information als Grundlage für Leitung und Überwachung, ZGR 2020, S.  469 ff. Günther, Jens/Böglmüller, Matthias: Künstliche Intelligenz und Roboter in der Arbeitswelt, BB 2017, S. 53 ff. Haagen, Christian: Verantwortung für Künstliche Intelligenz, Berlin 2021. Habbe, Julia Sophia/Gergen, Philipp: Compliance vor und bei Cyberangriffen – Pflichten der Geschäftsleitung und deren konkrete Umsetzung in der Praxis, CCZ 2020, S.  281 ff. Habersack, Mathias: Perspektiven der aktienrechtlichen Organhaftung, ZHR 177 (2013), S.  782 ff. Habersack, Mathias/Huber, Karl/Spindler, Gerald: Festschrift für Eberhard Stilz zum 65. Geburtstag, München 2014 (zitiert: Bearbeiter, in: FS Stilz). Habersack, Mathias/Mülbert, Peter O./Schlitt, Michael: Handbuch der Kapitalmarktinformation, 3. Auflage, München 2020 (zitiert: Bearbeiter, in: Habersack/Mülbert/Schlitt, KapMarktInfo-HdB). Hacker, Philipp: Europäische und nationale Regulierung von Künstlicher Intelligenz, NJW 2020, S. 2142 ff. Hacker, Philipp: Immaterialgüterrechtlicher Schutz von KI-Trainingsdaten, GRUR 2020, S.  1025 ff. Hahn, Christopher/Naumann, Daniel: Organhaftung trotz sachverständiger Beratung – Entscheidungskonflikte zwischen dem „Gebot des sichersten Weges“ und unternehmerischer Wagnis, CCZ 2013, S. 156 ff. Hamm, Christoph: Beck’sches Rechtsanwalts-Handbuch, 12. Auflage, München 2022 (zitiert: Bearbeiter, in: Beck’sches Rechtsanwalts-HdB). Hammack, Elizabeth: The Private Company Board of Directors Book, 2nd Edition, San Jose (Kalifornien, USA) 2019.

198 Literaturverzeichnis Hannemann, Nico: Die gesellschaftsrechtliche Implementierung von Matrixstrukturen im Konzern am Beispiel der AG, SE und GmbH, Baden-Baden 2022. Hannemann, Ralf/Weigl, Thomas/Zaruk, Marina: Mindestanforderungen an das Risikomanagement (MaRisk), 6. Auflage, Stuttgart 2022. Harbarth, Stephan: Unternehmensorganisation und Vertrauensgrundsatz im Aktienrecht, ZGR 2017, S. 211 ff. Hauschka, Christoph E.: Corporate Compliance – Unternehmensorganisatorische Ansätze zur Erfüllung der Pflichten von Vorständen und Geschäftsführern, AG 2004, S.  461 ff. Hauschka, Christoph E./Moosmayer, Klaus/Lösler, Thomas: Corporate Compliance, 3. Auflage, München 2016 (zitiert: Bearbeiter, in: Corporate Compliance). Heckschen, Heribert/Herrler, Sebastian/Münch, Christof: Beck’sches Notar-Handbuch, 7. Auflage, München 2019 (zitiert: Bearbeiter, in: BeckNotar-HdB). Hefermehl, Wolfgang/Fischer, Robert: Strukturen und Entwicklungen im Handels-, Gesellschafts- und Wirtschaftsrecht: Festschrift für Wolfgang Hefermehl zum 70. Geburtstag am 18. September 1976, München 1976 (zitiert: Bearbeiter, in: FS Hefermehl). Hegnon, Oliver: Aufsicht als Leitungspflicht Umfang persönlich wahrzunehmender Aufsichtspflichten von Geschäftsleitern bei vertikaler Arbeitsteilung aus gesellschafts- und strafrechtlicher Sicht, CCZ 2009, S. 57 ff. Heidel, Thomas (Hrsg.): Aktienrecht und Kapitalmarktrecht, 5. Auflage, Baden-Baden 2019 (zitiert: Bearbeiter, in: Heidel, AktG). Hempelmann, Jan: Die Überwachung des Vorstands durch den Aufsichtsrat in der AG, Düren 2012. Hennemann, Moritz: Datenlizenzverträge, RDi 2021, S. 61 ff. Henssler, Martin (Hrsg.)/Strohn, Lutz (Hrsg.): Kommentar, Gesellschaftsrecht, 5. Auflage, München 2021 (zitiert: Bearbeiter, in: Henssler/Strohn, AktG). Herberger, Maximilian: „Künstliche Intelligenz“ und Recht, NJW 2018, S. 2825 ff. Hetmank, Sven/Lauber-Rönsberg, Anne: Künstliche Intelligenz – Herausforderungen für das Immaterialgüterrecht, GRUR 2018, S. 574 ff. Heuer-James, Jens-Uwe/Chibanguza, Kuuya J./Stücker, Benedikt: Industrie 4.0 – vertrags- und haftungsrechtliche Fragestellungen, BB 2018, S. 2818 ff. Hoch, Veronica R. S.: Anwendung Künstlicher Intelligenz zur Beurteilung von Rechtsfragen im unternehmerischen Bereich, AcP 219 (2019), S. 648 ff. Hoeren, Thomas/Sieber, Ulrich/Holznagel, Bernd: Handbuch Multimedia-Recht, 57. Auflage, München 2022 (zitiert: Bearbeiter, in: MMR-HdB). Hoffmann-Becking, Michael: Haftungsbeschränkung durch Geschäftsverteilung in Geschäftsführung und Vorstand, NZG 2021, S. 93 ff. Hölters, Wolfgang/Weber, Markus: Aktiengesetz: AktG, 4. Auflage, München 2022 (zitiert: Bearbeiter, in: Hölters/Weber, AktG).

Literaturverzeichnis199 Hopt, Klaus J. (Hrsg.)/Binder, Jens-Hinrich (Hrsg.)/Böcking, Hans-Joachim (Hrsg.): Handbuch Corporate Governance von Banken und Versicherungen, 2. Auflage, München 2020 (zitiert: Bearbeiter, in: HdB Corporate Governance von Banken und Versicherungen). Hoss, Juliane: Gesamtschuldnerische Vorstandshaftung, Berlin 2021. Hunzinger, Sven/Schuster, Fabian: Vor- und nachvertragliche Pflichten beim IT-Vertrag – Teil II: Nachvertragliche Pflichten, CR 2015, S. 277 ff. Ihrig, Hans-Christoph/Schäfer, Carsten: Rechte und Pflichten des Vorstands, 2. Auf­ lage, Köln 2020 (zitiert: Bearbeiter, in: Ihrig/Schäfer, Rechte und Pflichten des Vorstands). Johannsen-Roth, Tim/Illert, Staffan/Ghassemi-Tabar, Nima: Deutscher Corporate Governance Kodex: DCGK, München 2020 (zitiert: Bearbeiter, in: JohannsenRoth/Illert/Ghassemi-Tabar, DCGK). Junker, Claudia/Biederbick, Jörn: Die Unabhängigkeit des Unternehmensjuristen, AG 2012, S. 898 ff. Juris Praxiskommentar Elektronischer Rechtsverkehr, hrsg. von Ory, Stephan/Weth, Stephan/Müller, Henning/Kesper, Dieter/Radke, Holger: – Band 1: Allgemeiner Teil, Saarbrücken 2021 (zitiert: Bearbeiter, in: Ory/Weth, jurisPK-ERV Band 1). Kauer, Dorothee: Die Informationsbeschaffungspflicht des Vorstands einer AG, Baden-Baden 2015. Kiefner, Alexander/Krämer, Lutz: Geschäftsleiterhaftung nach ISION und das Vertrauendürfen auf Rechtsrat, AG 2012, S. 498 ff. Klöhn, Lars: Geschäftsleiterhaftung und unternehmensinterner Rechtsrat, DB 2013, S.  1535 ff. Koch, Jens (Hrsg.): Kommentar, Aktiengesetz, 16. Auflage, München 2022 (zitiert: Bearbeiter, in: Koch, AktG). Kock, Martin/Dinkel, Renate: Die zivilrechtliche Haftung von Vorständen für unternehmerische Entscheidungen – Die geplante Kodifizierung der Business Judgement Rule im Gesetz zur Unternehmensintegrität und Modernisierung des Anfechtungsrechts, NZG 2004, S. 441 ff. Kölner Kommentar zum Aktienrecht, hrsg. von Zöllner, Wolfgang/Noack, Ulrich: – Band 2/1: §§ 76 – 94 AktG, 3. Auflage, Köln 2010 (zitiert: Bearbeiter, in: KK/ AktG). Köritz, Anja: Konvergenz und Divergenz der Corporate Governance in Deutschland und Großbritannien, Baden-Baden 2010. Kolany-Raiser, Barbara/Heil, Reinhard/Orwat, Carsten/Hoeren, Thomas: Big Data, München 2019. Kommentar zum Gesetz betreffend die Gesellschaften mit beschränkter Haftung, hrsg. von Michalski, Lutz/Heidinger, Andreas/Leible, Stefan/Schmidt, Jessica: – Band 2: §§ 35 – 88 GmbHG, EGGmbHG, 3. Auflage, München 2017 (zitiert: Bearbeiter, in: Michalski GmbHG).

200 Literaturverzeichnis Konertz, Roman/Schönhof, Raoul: Das technische Phänomen „Künstliche Intelligenz“ im allgemeinen Zivilrecht, Baden-Baden 2020. Krauß, Hans-Frieder/Weise, Stefan: Beck’sche Online-Formulare Vertrag, 59. Edition, München 2022 (zitiert: Bearbeiter, in: BeckOF Vertrag). Kremer, Thomas/Bachmann, Gregor/Lutter, Marcus/von Werder, Axel: Deutscher Corporate Governance Kodex, 8. Auflage, München 2021 (zitiert: Bearbeiter, in: Kremer/Bachmann, Kommentar zum DCGK). Kreutzer, Ralf T./Sirrenberg, Marie: Künstliche Intelligenz verstehen, Wiesbaden 2019. Kropff, Bruno: Textausgabe des Aktiengesetzes vom 6.9.1965, Düsseldorf 1965. Kubis, Dietmar/Tödtmann, Ulrich: Arbeitshandbuch für Vorstandsmitglieder, 3. Auf­ lage, München 2022 (zitiert: Bearbeiter, in: Arbeits-HdB für Vorstandsmitglieder). Kuntz, Thilo: Grundlagen und Grenzen der aktienrechtlichen Leitungsautonomie, AG 2016, S. 101 ff. Kuntz, Thilo: Leitungsverantwortung des Vorstands und Delegation, AG 2020, S.  801 ff. Kuschel, Linda/Asmussen, Sven/Golla, Sebastian: Intelligente Systeme – Intelligentes Recht, Baden-Baden 2021 (zitiert: Bearbeiter, in: Intelligente Systeme – Intelligentes Recht). Lane, Marc J.: Representing Corporate Officers and Directors and LLC Managers, 3. Auflage, Alphen aan den Rijn 2021. Lehrl, Thorsten: Sachkunde – Zuverlässigkeit – persönliche Ausschlussgründe von Aufsichtsräten gemäß § 36 Absatz 3 KWG, BKR 2010, S. 485 ff. Lenz, Fabian: „Hertie 4.0“ – Digitale Kompetenzlücken in der modernen Arbeitswelt als Haftungsrisiko von Arbeitnehmervertretern im Aufsichtsrat, BB 2018, S. 2548 ff. Lessig, Lawrence: Code: And Other Laws Of Cyberspace, New York City 1999. Leupold, Andreas (Hrsg.)/Wiebe, Andreas (Hrsg.)/Glossner, Silke (Hrsg.): IT-Recht, 4. Auflage, München 2021 (zitiert: Bearbeiter, in: MAH IT-Recht). Li, Yiyi: KI im Rahmen unternehmerischer Entscheidungen des Vorstands der AG, Baden-Baden 2022. Linardatos, Dimitrios: Autonome und vernetzte Aktanten im Zivilrecht, Tübingen 2021. Linardatos, Dimitrios: Künstliche Intelligenz und Verantwortung, ZIP 2019, S. 504 ff. Linardatos, Dimitrios/Bitter, Georg: Rezension zu Ebers/Navas (Hrsg.), Algorithms and Law, MMR-Aktuell 2020, 434002. Linke, Christian: Die elektronische Person, MMR 2021, S. 200 ff. Linke, Christian: Digitale Wissensorganisation, Baden-Baden 2021. Linnertz, Anja: Die Delegation durch den Vorstand einer Aktiengesellschaft, Berlin 2020.

Literaturverzeichnis201 Locke, Natania/Bird, Helen: Perspectives on the current and imagined role of artificial intelligence and technology in corporate governance practice and regulation, Australian Journal of Corporate Law, Vol. 35, no. 1 (2020), S. 4 ff. Loewenheim, Ulrich/Leistner, Matthias/Ohly, Ansgar: Urheberrecht, 6. Auflage, München 2020 (zitiert: Bearbeiter, in: Schricker/Loewenheim UrhG). Lohmann, Melinda F./Preßler, Theresa: Die Rechtsfigur des Erfüllungsgehilfen im digitalen Zeitalter, RDi 2021, S. 538 ff. Lopucki, Lynn M.: Algorithmic Entities, 95 Wash. U. L. Rev., S. 887 ff. Lorenz, Stephan: Grundwissen – Zivilrecht: Haftung für den Erfüllungsgehilfen (§ 278 BGB), JuS 2007, S. 983 ff. Lücke, Oliver: Der Einsatz von KI in der und durch die Unternehmensleitung, BB 2019, S.  1986 ff. Lüdicke, Jochen/Sistermann, Christian: Unternehmensteuerrecht, 2. Auflage, München 2018 (zitiert: Bearbeiter, in: UnternehmenStR). Lutter, Markus, Die Business Judgement Rule und ihre praktische Anwendung, ZIP 2007, S. 841 ff. Madel, Tobias B.: Robo Advice, Baden-Baden 2019. Mainzer, Klaus: Künstliche Intelligenz – Wann übernehmen die Maschinen?, Berlin 2016. Martini, Mario: Algorithmen als Herausforderung für die Rechtsordnung, JZ 2017, S.  1017 ff. Martini, Mario: Blackbox Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz, Berlin 2019. Meckl, Reinhard/Schmidt, Jessica: Digital Corporate Governance – neue Anforderungen an den Aufsichtsrat?, BB 2019, S. 131 ff. Meier-Greve, Daniel: Vorstandshaftung wegen mangelhafter Corporate Compliance, BB 2009, S. 2555 ff. Meyer, Andreas: Finanzmarktkrise und Organhaftung, CCZ 2011, S. 41 ff. Meyer-Sparenberg, Wolfgang/Jäckle, Christof: Beck’sches M&A-Handbuch, 2. Auflage, München 2022 (zitiert: Bearbeiter, in: Beck’sches M&A-HdB). Michalik, Sönke: Automatisiertes Lernen von Neuronalen Netzen zur Objektklassifikation auf heterogenen Systemen, Braunschweig 2018. Mindaugas, Naučius: Should fully autonomous artificial intelligence systems be grant­ ed legal capacity?, Teisės apžvalga Law review No.1 (17), 2018, S. 113 ff. Molavi, Ramak/Erbguth, Jörn: Künstliche Intelligenz und Deep Learning: Technische Grundlagen und ethische Einordnung, ITRB 2019, S. 120 ff. Möllmann, Maximilian: Autonome Algorithmen und Corporate Governance – Die algorithmische Corporation & Co. KG, GmbHR 2021, S. 1033 ff. Möslein, Florian: Die normative Kraft des Ethischen, RDi 2020, S. 34 ff.

202 Literaturverzeichnis Möslein, Florian: Digitalisierung im Gesellschaftsrecht: Unternehmensleitung durch Algorithmen und künstliche Intelligenz?, ZIP 2018, S. 204 ff. Müller, Knut: Führungskräfte: Haftung und Enthaftung, NZA-Beilage 2014, S. 30 ff. Müller-Gugenberger, Christian/Gruhl, Jens/Hadamitzky, Anke: Wirtschaftsstrafrecht, 7. Auflage, Köln 2020 (zitiert: Bearbeiter, in: WirtschaftsStrafR-HdB). Münchener Handbuch des Gesellschaftsrechts: – Band 2: Kommanditgesellschaft, GmbH & Co. KG, Publikums-KG, Stille Gesellschaft, hrsg. v. Gummert, Hans und Weipert, Lutz, 5. Auflage, München 2019 (zitiert: Bearbeiter, in: Münch-HdB GesR II). – Band 4: Aktiengesellschaft, hrsg. v. Hoffmann-Becking, Michael, 5. Auflage, München 2020 (zitiert: Bearbeiter, in: Münch-HdB GesR IV). Münchener Kommentar zum Aktiengesetz, hrsg. v. Goette, Wulf/Habersack, Mathias: – Band 1: §§ 1–75, 5. Auflage, München 2019 (zitiert: Bearbeiter, in: Müko/ AktG). – Band 2: §§ 76–117, 5. Auflage, München 2019 (zitiert: Bearbeiter, in: Müko/ AktG). – Band 5: §§ 278–328, 5. Auflage, München 2020 (zitiert: Bearbeiter, in: Müko/ AktG). Münchener Kommentar zum Bürgerlichen Gesetzbuch, hrsg. v. Säcker, Franz Jürgen/ Rixecker, Roland/Oetker, Hartmut/Limperg, Bettina: – Band 1: Allgemeiner Teil §§ 1 – 240, AllgPersönlR, ProstG, AGG, 9. Auflage, München 2021 (zitiert: Bearbeiter, in: MüKo/BGB). – Band 2: Schuldrecht – Allgemeiner Teil I §§ 241 – 310, 8. Auflage, München 2019 (zitiert: Bearbeiter, in: MüKo/BGB). Münchener Kommentar zum Handelsgesetzbuch, hrsg. v. Carsten Herresthal: – Band 6: Bankvertragsrecht, 4. Auflage, München 2019 (zitiert: Bearbeiter, in: MüKo/HGB, Band 6). Münchener Kommentar zum Lauterkeitsrecht (UWG), hrsg. v. Heermann, Peter W./ Schlingloff, Jochen: – Band 1: Grundlagen und unionsrechtlicher Rahmen des Lauterkeitsrechts. §§ 1–7 UWG, 3. Auflage, München 2020 (zitiert: Bearbeiter, in: MüKo/UWG, GeschGehG). Nägele, Thomas/Apel, Simon: Beck’sche Online-Formulare IT- und Datenrecht, 9. Edition, München 2021 (zitiert: Bearbeiter, in: Beck’sche Online-Formulare IT- und Datenrecht). Noack, Ulrich: Künstliche Intelligenz und Unternehmensleitung, NZG 2021, S. 305 ff. Noack, Ulrich: Organisationspflichten und -strukturen kraft Digitalisierung, ZHR 183 (2019), S.  105 ff. Noack, Ulrich/Servatius, Wolfgang/Haas, Ulrich: Gesetz betreffend die Gesellschaften mit beschränkter Haftung: GmbHG, 23. Auflage, München 2022 (zitiert: Bearbeiter, in: Noack/Servatius/Haas, GmbHG).

Literaturverzeichnis203 Nolte, Norbert/Becker, Thomas: IT-Compliance, BB Special 5 (zu BB 2008, Heft 25), S.  23 ff. Opitz, Peter: Zur Fortbildungsverantwortung von Vorstand und Aufsichtsrat – Zugleich ein Beitrag zu §§ 25c und 25d KWG i. d. F. von Art. 1 Nr. 48 CRD IVUmsetzungsGE, BKR 2013, S. 177 ff. Otto, Hans-Jochen: Obligatorische Bindungsverträge zwischen Aktionär und AGVorstand über die Ausübung von Mitgliedschaftsrechten und Organkompetenzen, NZG 2013, S. 930 ff. Paal, Boris P.: Die digitalisierte GmbH, ZGR 2017, S. 590 ff. Partsch, Christoph/Rump, Lauritz: Auslegung der „angemessenen Geheimhaltungsmaßnahme“ im Geschäftsgeheimnis-Schutzgesetz, NJW 2020, S. 118 ff. Patzina, Reinhard/Bank, Stefan/Schimmer, Dieter/Simon-Widmann, Michaele: Haftung von Unternehmensorganen, 2. Auflage, München 2010 (zitiert: Bearbeiter, in: Haftung von Unternehmensorganen). Picciau, Chiara: The (Un)Predictable Impact of Technology on Corporate Governance, 17 Hastings Business Law Journal 67, S. 119 ff. Piepenbrock, Dina: „Defense of Reliance“ im deutschen Aktienrecht, Hamburg 2013. Precht, Richard David: Künstliche Intelligenz und der Sinn des Lebens, München 2020. Priester, Hans-Joachim: Vertragliche Beschränkungen der Leitungsmacht des Vorstands, AG 2021, S. 15 ff. Rai, Arun: Explainable Al: from black box to glass box, Journal of the Academy of Marketing Science (2020) 48, S. 137 ff. Redeker, Helmut: IT-Recht, 7. Auflage, München 2020. Redeke, Julian: Zu den Voraussetzungen unternehmerischer Ermessensentscheidungen, NZG 2009, S. 496 ff. Reischauer, Friedrich/Kleinhans, Joachim: Kreditwesengesetz (KWG), Berlin 2020 (zitiert: Bearbeiter, in: Reischauer KWG). Rieble, Volker: Haftet der Schuldner für das Ausbleiben seines Erfüllungsgehilfen?, NJW 1990, S. 218 ff. Rieder, Markus S./Holzmann, Daniel: Die Auswirkungen der Finanzkrise auf die Organhaftung, AG 2011, S. 265 ff. Riehm, Thomas: Nein zur ePerson!, RDi 2022, S. 42 ff. Riesener, Moritz Alexander: Verpflichtung des Vorstands zur Berücksichtigung betriebswirtschaftlicher Erkenntnisse bei der Entscheidungsfindung, Baden-Baden 2020. Robertz, Franz-Joachim: Der Beirat als freiwilliges Organ der Gesellschaft, Mitt­ RhNotK 1991, S. 239 ff. Rodewald, Jörg/Unger, Ulrike: Corporate Compliance – Organisatorische Vorkehrungen zur Vermeidung von Haftungsfällen der Geschäftsleitung, BB 2006, S. 113 ff. Röller, Jürgen: Personalbuch 2021, 28. Auflage, München 2021 (zitiert: Bearbeiter, in: Küttner Personalbuch).

204 Literaturverzeichnis Roos, Philipp/Weitz, Caspar Alexander: Hochrisiko-KI-Systeme im Kommissionsentwurf für eine KI-Verordnung, MMR 2021, S. 844 ff. Ruschemeier, Hannah: Algorithmenbasierte Allokation im Gesundheitswesen am Beispiel der COVID-19-Impfpriorisierung, NVwZ 2021, S. 750 ff. Saenger, Ingo (Hrsg.)/Inhester, Michael (Hrsg.): GmbHG, 4. Auflage, Baden-Baden 2020 (zitiert: Bearbeiter, in: Saenger/Inhester, GmbHG). Sander, Julian/Schneider, Stefan: Die Pflicht der Geschäftsleiter zur Einholung von Rat, ZGR 2013, S. 725 ff. Sattler, Andreas: Der Einfluss der Digitalisierung auf das Gesellschaftsrecht, BB 2018, S.  2243 ff. Schenck, Kersten von: Der Aufsichtsrat, München 2015 (zitiert: Bearbeiter, in: Der Aufsichtsrat). Schenck, Kersten von/Wilsing, Hans-Ulrich/Semler, Johannes: Arbeitshandbuch für Aufsichtsratsmitglieder, 5.  Auflage, München 2021 (zitiert: Bearbeiter, in: Semler/v. Schenck/Wilsing, Arbeits-HdB für Aufsichtsratsmitglieder). Schindler, Stephan: Künstliche Intelligenz und (Datenschutz-)Recht, ZD-Aktuell 2019, S.  06647 ff. Schlimm, Katrin: Das Geschäftsleiterermessen des Vorstands einer Aktiengesellschaft, Baden-Baden 2009. Schmidt, Jessica: BB-Gesetzgebungs- und Rechtsprechungsreport zum Europäischen Unternehmensrecht 2020/21, BB 2021, S. 1923 ff. Schmidt, Karsten/Lutter, Marcus: Aktiengesetz, 4. Auflage, Köln 2020 (zitiert: Bearbeiter, in: Schmidt/Lutter, AktG). Schneider, Jochen: Handbuch EDV-Recht, 5. Auflage, Köln 2017 (zitiert: Bearbeiter, in: HdB EDV-Recht). Schneider, Sven H.: Informationspflichten und Informationssystemeinrichtungspflichten im Aktienkonzern, Berlin 2006. Schnorbus, York/Ganzer, Felix: Zustimmungsvorbehalte des Aufsichtsrats – Rechte, Pflichten und Haftungsrisiken von Vorstand und Aufsichtsrat – Teil I, BB 2020, S.  386 ff. Scholtyssek, Swen/Judis, Christian Michael/Krause, Sven: Das neue Geschäftsgeheimnisgesetz – Risiken, Chancen und konkreter Handlungsbedarf für Unternehmen, CCZ 2020, S. 23 ff. Scholz, Philipp: Haftungsprivileg, safe harbor oder verbindliche Konkretisierung des allgemeinen Sorgfaltsmaßstabs?, AG 2018, S. 173 ff. Schrader, Paul T./Engstler, Jonathan: Anspruch auf Bereitstellung von Software-Updates?, MMR 2018, S. 356 ff. Schuber, Nicolaus Emmanuel: Digital Corporate Governance – Möglichkeiten für den Einsatz neuer Technologien im Gesellschaftsrecht, Beiträge zum transnationalen Wirtschaftsrecht, Heft 166, September 2019, S. 5 ff. Schulze, Hans-Georg: Vermeidung von Haftung und Straftaten auf Führungsebene durch Delegation, NJW 2014, S. 3484 ff.

Literaturverzeichnis205 Schulze, Reiner u. a.: Bürgerliches Gesetzbuch Handkommentar, 11. Auflage, BadenBaden 2022 (zitiert: Bearbeiter, in: HK-BGB). Schüppen, Matthias/Schaub, Bernhard: Münchener Anwaltshandbuch Aktienrecht, 3. Auflage, München 2018 (zitiert: Bearbeiter, in: MAH AktR). Schur, Nico: Die Lizenzierung von Daten, GRUR 2020, S. 1142 ff. Schwab, Brent: Haftung im Arbeitsverhältnis – 1. Teil: Die Haftung des Arbeitnehmers, NZA-RR 2016, S. 173 ff. Schwennicke, Andreas/Auerbach, Dirk: Kreditwesengesetz (KWG) mit Zahlungs­ diensteaufsichtsgesetz (ZAG), 4. Auflage, München 2021 (zitiert: Bearbeiter, in: Schwennicke/Auerbach, KWG). Selter, Wolfgang: Haftungsrisiken von Vorstandsmitgliedern bei fehlendem und von Aufsichtsratsmitgliedern bei vorhandenem Fachwissen, AG 2012, S. 11 ff. Siebecker, Michael R.: Making Corporations More Humane Through Artificial Intelligence, 45 The Journal of Corporation Law 95 (2019), S. 109 ff. Skistims, Hendrik: Smart Homes, Baden-Baden 2016. Söbbing, Thomas: Der algorithmisch gesteuerte Wertpapierhandel und die gesetz­ lichen Schranken für künstliche Intelligenz im digitalen Banking, ZIP 2019, S.  1603 ff. Söbbing, Thomas: Die rechtliche Betrachtung von IT-Projekten Rechtliche Fragestellungen in den unterschiedlichen Phasen eines IT-Projekts, MMR 2010, S. 222 ff. Spindler, Gerald: Die Begrenzung der Vorstandshaftung, AG 2013, S. 889 ff. Spindler, Gerald: Haftung der Geschäftsführung für IT-Sachverhalte, CR 2017, S.  715 ff. Spindler, Gerald: Rechtsfolgen einer unangemessenen Vorstandsvergütung, AG 2011, S.  725 ff. Spindler, Gerald (Hrsg.)/Stilz, Eberhard (Hrsg.): Kommentar zum Aktiengesetz, – Band 1, §§ 1–132 AktG, 5. Auflage, München 2022 (zitiert: Bearbeiter, in: BeckOGK/AktG). Spindler, Gerald/Wilsing, Hans-Ulrich/Butzke, Volker/von der Linden, Klaus: Unternehmen, Kapitalmarkt, Finanzierung: Festschrift für Reinhard Marsch-Barner zum 75. Geburtstag, München 2018 (zitiert: Bearbeiter, in: FS Marsch-Barner). Staudinger, Julius von: Kommentar zum Bürgerlichen Gesetzbuch mit Einführungsgesetz und Nebengesetzen, – Buch 2: Recht der Schuldverhältnisse, BGB §§ 255–304, Berlin 2019 (zitiert: Bearbeiter, in: Staudinger BGB). Steber, Tobias: Die Weiterentwicklung der Rechtsprechung zur Enthaftung von Vorstandsmitgliedern bei Einholung von Rechtsrat, DStR 2015, S. 2391 ff. Steege, Hans: Chancen und Risiken beim Einsatz künstlicher Intelligenz in der Medizin, GuP 2021, S. 125 ff. Stiemerling, Oliver: „Künstliche Intelligenz“ – Automatisierung geistiger Arbeit, Big Data und das Internet der Dinge, CR 2015, S. 762 ff.

206 Literaturverzeichnis Strohn, Lutz: Beratung der Geschäftsleitung durch Spezialisten als Ausweg aus der Haftung?, ZHR 176 (2012), S. 137 ff. Strohn, Lutz: Die Rolle des Aufsichtsrats beim Einsatz von Künstlicher Intelligenz, ZHR 182 (2018), S. 371 ff. Strohn, Lutz: Pflichtenmaßstab und Verschulden bei der Haftung von Organen einer Kapitalgesellschaft, CCZ 2013, S. 177 ff. Stummel, Dieter: Standardvertragsmuster zum Handels- und Gesellschaftsrecht, 6. Auflage, München 2021 (zitiert: Bearbeiter, in: Standardvertragsmuster). Taeger, Jürgen/Pohle, Jan: Computerrechts-Handbuch, 36. Auflage, München 2021 (zitiert: Bearbeiter, in: ComputerR-HdB). Teichmann, Christoph: Digitalisierung und Gesellschaftsrecht, ZfPW 2019, S. 247 ff. Teubner, Gunther: Digitale Rechtssubjekte?, AcP 218 (2018), S. 155 ff. Thiel, Sandra/Nazari-Khanachayi, Arian: Digitalisierung aus gesellschaftsrechtlicher Perspektive, RDi 2021, S. 134 ff. Thüsing, Gregor: Beschäftigtendatenschutz und Compliance, 3. Auflage, München 2021. Umnuß, Karsten: Corporate Compliance Checklisten, 4. Auflage, München 2020 (zitiert: Bearbeiter, in: Compliance-Checklisten). Uwer, Dirk: Outsourcing digitaler Funktionen, ZHR 183 (2019), S. 154 ff. Veith, Charlotte: Künstliche Intelligenz, Haftung und Kartellrecht, Baden-Baden 2021. Verse, Dirk A.: Compliance im Konzern – Zur Legalitätskontrollpflicht der Geschäftsleiter einer Konzernobergesellschaft, ZHR 175 (2011), S. 401 ff. Vetter, Eberhard: Drittanstellung von Vorstandsmitgliedern, aktienrechtliche Kom­ petenzverteilung und Exkulpation des Vorstands bei rechtlicher Beratung, NZG 2015, S.  889 ff. Vogel, Paul: Künstliche Intelligenz und Datenschutz, Baden-Baden 2022. Wagner, Jens: „Internal Investigations“ und ihre Verankerung im Recht der AG, CCZ 2009, S. 8 ff. Wagner, Jens: Die Rolle der Rechtsabteilung bei fehlenden Rechtskenntnissen der Mitglieder von Vorstand und Geschäftsführung, BB 2012, S. 651 ff. Wagner, Jens: Legal Tech und Legal Robots in Unternehmen und den sie beratenden Kanzleien, BB 2018, S. 1097 ff. Walden, Daniel: Corporate Social Responsibility: Rechte, Pflichten und Haftung von Vorstand und Aufsichtsrat, NZG 2020, S. 50 ff. Weber, Robert/Kiefner, Alexander/Jobst, Stefan: Künstliche Intelligenz und Unternehmensführung, NZG 2018, S. 1131 ff. Wehlage, Kai-Klemens: Die Anforderungen an den Sorgfaltsmaßstab von Vorstandsmitgliedern und Aufsichtsratsmitgliedern bei der Einholung externer Beratung, München 2021.

Literaturverzeichnis207 Weißhaupt, Frank: Good Corporate Governance bei unternehmerischen Entscheidungen – am Beispiel M&A, ZHR 185 (2021), S. 91 ff. Weyland, Peter: Rechtsirrtum und Delegation durch den Vorstand, NZG 2019, S.  1041 ff. Wittpahl, Volker (Hrsg.): Künstliche Intelligenz, Berlin 2019. Zech, Herbert: Künstliche Intelligenz und Haftungsfragen, ZfPW 2019, S. 198 ff. Zenner, Andreas: Die Anwendung der Business Judgement Rule im Rahmen der vertikalen Delegation, AG 2021, S. 502 ff. Zetzsche, Dirk: Corporate Technologies – Zur Digitalisierung im Aktienrecht, AG 2019, S.  1 ff. Zimmer, Daniel (Hrsg.): Regulierung für Algorithmen und Künstliche Intelligenz, Baden-Baden 2021 (zitiert: Bearbeiter, in: Regulierung für Algorithmen und Künstlichen Intelligenz). Zwirner, Christian/Boecker, Corinna: Entwurf eines Gesetzes zur Stärkung der Finanzmarktintegrität (FISG-E), IRZ 2021, S. 149 ff.

Stichwortregister Anstellungsvertrag  78 f. Artificial Intelligence Act (Verordnungsentwurf)  21, 24, 92 f., 115, 120 f., 123 f., 135 ff., 142 f., 149 Aufsichtsrat  –– Beratungsfunktion  139 f. –– Berichtspflicht  58 f., 143 –– Bestellungs- und Anstellungskompetenz  78 f. –– Eignungsvoraussetzungen  139 f. –– Erlass einer Geschäftsordnung  siehe Geschäftsordnung –– Numerus clausus der Organe  141 –– Zustimmungsvorbehalt  56 f. Auslagerung  –– Managed Service  163 –– Organisations-/Sorgfaltspflichten siehe Sorgfaltspflichten – Ausgelagerte Nutzung –– Schuldrechtliche Steuerungs- und Aufsichtsrechte  164 ff. –– Service Level Agreement (SLA)  165, 168 –– Software as a Service/KI as a Service  163 –– Zulässigkeit  33, 44 f. Bankaufsichtlichen Anforderungen an die IT (BAIT)  61 f. Bestandssicherungsverantwortung  89, 93 „Bill of Rights“ für KI  21 f. Blackbox-Problem  –– Begriffserklärung  26, 115 –– eXplainable AI  37 –– Intransparenz  36 ff. –– Nutzen einer „Blackbox-KI“  38 f., 155 f.

Business Judgement Rule  62 ff., 98 ff., 117 Corporate Digital Responsibility  145 Corporate Governance  15, 34, 73 Corporate waste  107 Cybersicherheit  145 f. Datenorganisationsmaßnahmen  –– Datenqualität  135 ff. –– Datenversorgung  137 f. Delegation  –– delegationsbedingten Sorgfaltspflichten (auch Residualpflichten)  98 f., 104, 133 f. –– Delegationsverbot  178 –– Externe Delegation siehe Auslagerung –– Horizontale Delegation  160 f. –– Vertikale Delegation  33 f., 161 f. Deutscher Corporate Governance Kodex  139 DIN-Spezifikationen  119 Dokumentation  159 Geschäftsordnung  75 f., 77 f., 81, 160 Gesetz über das Kreditwesen (KWG)  44, 61 f., 80, 89, 94 Gesetz über den Wertpapierhandel (WpHG)  89, 94 Gesetzes zum Schutz von Geschäftsgeheimnissen (GeschGehG)  146, 168 f. Haftung  –– Haftungslücke  40 f. –– Kausalität  181 ff. –– KI als Erfüllungsgehilfe des Vorstands  172 ff. –– Privilegiertes Entwicklungsrisiko  184

Stichwortregister209 –– Rechtmäßiges Alternativverhalten  183 f. –– Sekundären Darlegungslast des Vorstands aus normativen Gründen  182 –– Unterlassene KI-Nutzung  178 f. –– Verletzung von Sorgfaltspflichten siehe Sorgfaltspflichten –– Verschuldensfähigkeit  174 ff. –– Zurechnung von Fehlern der KI  172 ff. Hauptversammlung  –– Kompetenzbereich  54 f., 74 ff. –– Satzungsautonomie  49 f., 56, 73 ff. –– Vertragskonzernierung  82 ff. –– Vorlagepflicht  54 ff. –– Vorlagerecht  55 f. ISION-Rechtsprechung  –– Allgemeines  95 –– Anwendbarkeit auf unternehmerische Entscheidungen  95 ff. –– Berufsträgereigenschaft  109 f. –– Erklärbarkeit  39, 115 ff. –– Fachliche Qualifikation der KI  110 ff. –– Informationsausstattungspflicht  133 ff. –– Plausibilisierung siehe auch Leitungsentscheidung – Entscheidungsplausibilisierung –– Unabhängigkeit  112 ff., siehe auch Neutralität ISO-Standards  121 KI-Auditierungsverfahren  147 f. KI-Ergebnisbefolgungspflicht  80 ff. KI-Ethik  71, 129 f. KI-Qualitätsmerkmale  118 ff. KI-Nutzungspflicht  –– gesetzlich  60 ff. –– privatautonom  73 ff. KI-Penetrations-/Stresstest  148 KI-Rat  140 f.

KI-Richtlinie  79, 149 KI-spezifischen Risikomanagement­ system  142 ff. KI-Systemaktualisierungen  147 KI-Zugangssteuerungsrichtlinie  146 KI-Zulassungsverfahren  122 f. Leitungsentscheidung  –– Begriffserklärung  31 f. –– Entscheidungsplausibilisierung  98 ff., 149 ff. –– Entscheidungsprozess  33 –– Grenzen der Leitungsautonomie  32 ff. –– Letztentscheidungskompetenz siehe Vorstandsmitglieder – Letztentscheidungskompetenz Mindestanforderungen an das Risiko­ management („MaRisk“)  44, 61 f., 165 f., 169 Neutralität der KI  –– Hartkodierung  113 –– Neutralitätssiegel/-zertifikat  113 f. –– Rationale Funktionsweise  112 f. –– Überwachung  144 –– Voreingenommene Startprogrammierung  113 OECD-Grundsätze für künstliche Intelligenz  22 Outsourcing siehe Auslagerung Principal-Agent-Konflikt  14 f. Rechenschaftsfähigkeit der KI  –– Blackbox-Problematik siehe Blackbox-Problem –– Erklärungsaufwand  117 f. –– Verständnis- und Verlässlichkeitsgrundlage  115 Selbstbindungsverbot  80 f. Sorgfaltspflichten  –– Auswahl  106 ff.

210 Stichwortregister –– Ausgelagerte Nutzung  162 ff. –– Einweisung  132 f. –– Informationsverantwortung  siehe Vorstandsmitglieder – Informationsverantwortung –– Plausibilisierung  siehe auch Leitungsentscheidung – Entscheidungsplausibilisierung –– Ressourcenausstattung  133 ff. –– Überwachung  142 ff. –– Unternehmensinterne Nutzung  87 ff. –– Wahl der Nutzungsart  86 f. Stichentscheid  81 f. Vorstandsmitglieder –– Chief Digital Officer („CDO“)  160 f.

–– Digitalressort  160 f. –– Eignungsvoraussetzungen de lege ferenda  46 ff. –– Eignungsvoraussetzungen de lege lata  45 –– Ersetzung des Vorstands  52 –– Gesamtverantwortung  79, 160, 180 –– Horizontale Delegation siehe Delegation – Horizontale Delegation –– Informationsverantwortung  66, 69, 138 ff. –– Letztentscheidungskompetenz  33, 36, 43, 149 ff., 167 –– Oberaufsichtspflicht  161 f. –– Vertikale Delegation siehe Delega­ tion – Vertikale Delegation