Die Haftung beim Einsatz intelligenter Medizinprodukte. 3428190238, 9783428190232

Citation preview

Schriften zum Gesundheitsrecht Band 72

Die Haftung beim Einsatz intelligenter Medizinprodukte Von Kim Roegels

Duncker & Humblot · Berlin

KIM ROEGELS

Die Haftung beim Einsatz intelligenter Medizinprodukte

Schriften zum Gesundheitsrecht Band 72 Herausgegeben von Professor Dr. Helge Sodan, Freie Universität Berlin, Direktor des Deutschen Instituts für Gesundheitsrecht (DIGR) Präsident des Verfassungsgerichtshofes des Landes Berlin a.D.

Die Haftung beim Einsatz intelligenter Medizinprodukte

Von

Kim Roegels

Duncker & Humblot · Berlin

Die Juristische Fakultät der Heinrich-Heine-Universität Düsseldorf hat diese Arbeit im Jahr 2022 als Dissertation angenommen. Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

D 61 Alle Rechte vorbehalten

© 2024 Duncker & Humblot GmbH, Berlin Satz: 3w+p GmbH, Rimpar Druck: CPI Books GmbH, Leck Printed in Germany

ISSN 1614-1385 ISBN 978-3-428-19023-2 (Print) ISBN 978-3-428-59023-0 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706

Internet: http://www.duncker-humblot.de

Meiner Familie

Vorwort Die vorliegende Arbeit wurde im Dezember 2022 von der Juristischen Fakultät der Heinrich-Heine-Universität Düsseldorf als Dissertation angenommen. Die mündliche Prüfung fand am 5. Juni 2023 statt. Rechtsprechung und Literatur konnten bis November 2022 berücksichtigt werden. Mein besonderer Dank gilt an erster Stelle meinem Doktorvater Herrn Prof. Dr. Ulrich Noack für seinen fachlichen und persönlichen Rat sowie seine fortwährende Unterstützung, auf die ich stets vertrauen durfte. Die lehrreichen Jahre an seinem Lehrstuhl als studentische Hilfskraft behalte ich in sehr schöner Erinnerung. Ich danke ihm zudem für die sehr schnelle Erstellung des Erstgutachtens. Frau Prof. Dr. Julia Kraft danke ich für die ebenso zügige Erstellung des Zweitgutachtens. Meiner langjährigen Freundin Lynn Osselmann möchte ich ganz herzlich für die freundschaftliche Unterstützung, ihre Motivationskünste und das stets offene Ohr danken. Von Herzen danke ich meinem Freund Philipp Gressler, der mich auch während meiner Promotion in jeder Hinsicht unterstützt hat. Sein uneingeschränkter Rückhalt und Verständnis haben wesentlich zum Gelingen dieser Arbeit beigetragen. Mein größter Dank gilt meiner Familie für ihre bedingungslose, liebevolle und vielseitige Unterstützung bei der Verwirklichung meiner Ziele. Besonders hervorheben möchte ich meine Eltern, Petra und Ralf Roegels, die schon mein Leben lang Vertrauen in mich und meine Fähigkeiten hatten und mich auf meinem bisherigen Lebensweg stets uneingeschränkt förderten. Auch meine Großeltern, Marlene und Heinz Debusmann, standen mir jederzeit ermutigend zur Seite und haben auf diese Weise wesentlich zu meinem Werdegang beigetragen. Zudem danke ich meiner Patentante Inge Gerhardt, die mich in allen Lebensphasen begleitet hat. Meiner Familie widme ich diese Arbeit in großer Dankbarkeit. Düsseldorf, im November 2023

Kim Roegels

Inhaltsverzeichnis A. Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 I. Was ist KI? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 II. Einsatzbereiche von KI in der Medizin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 III. Begriffsverständnis „intelligentes Medizinprodukt“ . . . . . . . . . . . . . . . . . . . . . . . 18 IV. Einführung in die haftungsrechtliche Problematik . . . . . . . . . . . . . . . . . . . . . . . . 19 1. Unvorhersehbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2. Mangelnde Beherrschbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3. Eingeschränkte Nachvollziehbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 B. Die (neue) EU-Medizinprodukteverordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 I. Begriffsbestimmungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 II. Software als Medizinprodukt unter der MDR . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 III. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 C. Die Haftung des Herstellers von intelligenten Medizinprodukten . . . . . . . . . . . . . 29 I. Die deliktische Produzentenhaftung (§ 823 Abs. 1 BGB) . . . . . . . . . . . . . . . . . . 30 II. Die Produkthaftung (§ 1 Abs. 1 S. 1 ProdHaftG) . . . . . . . . . . . . . . . . . . . . . . . . . 31 III. Produkteigenschaft eines intelligenten Medizinprodukts . . . . . . . . . . . . . . . . . . . 32 IV. Haftungssubjekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 V. Sicherheitserwartungen an intelligente Medizinprodukte . . . . . . . . . . . . . . . . . . 38 1. Adressatenkreis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2. Vergleichsmaßstab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3. Berechtigte Sicherheitserwartungen an die CE-Konformitätskennzeichnung

43

a) Klassifizierung von KI-basierter Medizinproduktesoftware . . . . . . . . . . . . 44 b) EU-Konformitätserklärung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 c) Risiko- und Qualitätsmanagementsystem . . . . . . . . . . . . . . . . . . . . . . . . . . 48 d) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4. Ergebnis zu den Sicherheitserwartungen an intelligente Medizinprodukte . . . 50

10

Inhaltsverzeichnis VI. Pflichten bis zum Inverkehrbringen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 1. Konstruktionsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 a) Sicherheitsmaßstab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 aa) Erforderlichkeit der Sicherungsmaßnahmen . . . . . . . . . . . . . . . . . . . . . 54 bb) Zumutbarkeit der Sicherungsmaßnahmen . . . . . . . . . . . . . . . . . . . . . . . 55 cc) Keine absolute Sicherheit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 dd) Öffentliches Sicherheitsrecht und technische Normen . . . . . . . . . . . . . 56 b) Konstruktionspflichten nach der MDR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 aa) Vorschriften der MDR zu Software-basierten Medizinprodukten . . . . 60 bb) Nachträgliche Änderungen des KI-basierten Medizinprodukts . . . . . . 62 cc) Praxis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 dd) Vergleich zur U.S. Food and Drug Administration . . . . . . . . . . . . . . . . 66 ee) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 c) Selbstlernfähigkeit als Konstruktionsfehler . . . . . . . . . . . . . . . . . . . . . . . . . 70 aa) Übertragung der Rechtsprechung zum Konstruktionsfehler . . . . . . . . . 72 bb) Kein Entwicklungsrisiko bei intelligenten Medizinprodukten . . . . . . . 77 (1) Grundsätze der Rechtsprechung zum Entwicklungsrisiko . . . . . . . 78 (2) Anwendung auf intelligente Medizinprodukte . . . . . . . . . . . . . . . . 79 cc) Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 d) Ergebnis zum Konstruktionsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2. Fabrikationsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3. Instruktionsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 a) Instruktionspflichten nach der MDR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 b) Instruktionspflichten nach der MPBetreibV . . . . . . . . . . . . . . . . . . . . . . . . 88 4. Fehlerverdacht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 VII. Pflichten nach dem Inverkehrbringen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 1. Produktbeobachtung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 2. Software-Update-Pflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 VIII. Haftungsbegründende Kausalität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 1. Hackerangriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 2. Ärztliches Handeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 3. Vernetzungsfähigkeit und Input von Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 IX. Verschulden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 X. Beweislast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 1. Ausgangslage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 2. Beweislastumkehr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3. Anscheinsbeweis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4. Dokumentation durch die KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

Inhaltsverzeichnis 5. Offenlegungspflichten und widerlegbare Vermutungen nach dem KI-RL-E

11 109

6. Offenlegungspflichten und widerlegbare Vermutungen nach dem ProdHaftRL-E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 7. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 XI. Schutzgesetzverletzung (§ 823 Abs. 2 BGB i. V. m. MDR und MPDG) . . . . . . . 114 XII. Ergebnis und Bewertung der Haftung des Herstellers . . . . . . . . . . . . . . . . . . . . . 116 D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten . . . . . 120 I. Rechtsgrundlagen der ärztlichen Haftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 II. Sorgfaltsstandard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 1. Medizinischer Standard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 2. Konkretisierung des medizinischen Standards durch Leitlinien . . . . . . . . . . . 126 III. Behandlungsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 1. Therapiefreiheit des Arztes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 2. Sorgfaltsstandard beim Einsatz von herkömmlichen Medizinprodukten . . . . 129 a) Apparative Ausstattung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 b) Personelle Ausstattung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 c) Pflichten nach MPBetreibV und MPDG . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 3. Anwendung auf intelligente Medizinprodukte . . . . . . . . . . . . . . . . . . . . . . . . . 134 a) Pflichtenkatalog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 b) Überprüfungspflichten des Arztes – Kontrolle der Entscheidung der KI?

139

aa) Prinzip der Eigenverantwortung und Vertrauensgrundsatz . . . . . . . . . . 140 bb) Horizontale Arbeitsteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 cc) Vertikale Arbeitsteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 (1) Anwendung des Vertrauensgrundsatzes bei horizontaler Arbeitsteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 (2) Anwendung des Vertrauensgrundsatzes bei vertikaler Arbeitsteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 4. Zwischenergebnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 IV. Analoge Anwendung von § 278 BGB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 V. Aufklärungsfehler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 1. Aufklärung über den Einsatz von KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 a) KI als Standardmethode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 b) KI als Neulandmethode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 2. Aufklärung durch das KI-System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 3. (Hypothetische) Einwilligung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 VI. Beweislast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 1. KI als vollbeherrschbares Risiko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 2. Dokumentationspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

12

Inhaltsverzeichnis VII. Ergebnis und Bewertung der Haftung des Arztes . . . . . . . . . . . . . . . . . . . . . . . . . 164

E. Ausblick – Haftung de lege ferenda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 I. Einführung einer E-Person und Fondslösung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 II. Analoge Anwendung von § 831 BGB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 168 1. Anwendungsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 2. Klassifizierung intelligenter Medizinproduktesoftware als Hochrisiko-KISystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 3. Anforderungen des Anbieters von Hochrisiko-KI-Systemen . . . . . . . . . . . . . . 172 4. Anforderungen des Nutzers von Hochrisiko-KI-Systemen . . . . . . . . . . . . . . . 175 5. Das Verhältnis von MDR und KI-VO-E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 6. Konformitätsbewertung nach MDR und KI-VO-E . . . . . . . . . . . . . . . . . . . . . . 176 7. Zertifizierung von (selbstlernender) KI-basierter Medizinproduktesoftware

177

8. Bedeutung des KI-VO-E für intelligente Medizinprodukte . . . . . . . . . . . . . . . 178 IV. Verordnungsvorschlag des Europäischen Parlaments zur Haftung für KI . . . . . . 180 1. Sachlicher Anwendungsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 2. Persönlicher Anwendungsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 3. Verschuldens- und Gefährdungshaftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 a) Gefährdungshaftung nach Art. 4 ff. VO-E . . . . . . . . . . . . . . . . . . . . . . . . . . 183 b) Verschuldenshaftung nach Art. 8 ff. VO-E . . . . . . . . . . . . . . . . . . . . . . . . . . 184 4. Bewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 V. Fazit zur Haftung de lege ferenda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 F. Ergebnis zur Haftung beim Einsatz intelligenter Medizinprodukte in Thesen . . . 187

Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

A. Einleitung Künstliche Intelligenz („KI“) erlangt einen immer höheren Stellenwert in der Gesellschaft. Neben dem Bereich des autonomen Fahrens wird KI vor allem in der Medizin ihr großes Potenzial entfalten können.1 KI verspricht neue Möglichkeiten im Rahmen der ärztlichen Behandlung. Sie kann große Datenmengen in kürzester Zeit präzise analysieren und selbständig auswerten, deutlich schneller als es Menschen je möglich wäre.2 Intelligente bzw. KI-basierte Medizinprodukte können künftig bei der Erkennung von seltenen Krankheiten helfen, Diagnosen frühzeitig und präzise stellen und eine patientengerechte Behandlung sicherstellen.3 Der Einsatz von KI in der Medizin verspricht neben einer effizienteren Datenauswertung auch die Generierung von neuen Ergebnissen, wodurch neue medizinische Zusammenhänge entdeckt werden könnten.4

I. Was ist KI? Eine allgemeingültige Definition für KI existiert bislang nicht.5 Für die haftungsrechtliche Frage im Umgang mit KI wäre eine solche Definition wünschenswert, angesichts des unterschiedlichen Begriffsverständnisses durch Forscher und Wissenschaftler6 scheint sie zum jetzigen Zeitpunkt kaum möglich.7 Die unterschiedlichen Definitionsansätze beruhen aber alle auf dem Verständnis, dass es sich um IT-Systeme handelt, die intelligente und menschenähnliche Verhaltensweisen

1

Kreipp, „Medizintechnik – Künstliche Intelligenz in der Medizin von A bis Z: Teil 1“ vom 30. 6. 2021; Europäische Kommission, Weißbuch zur KI vom 19. 2. 2020, COM(2020) 65 final, S. 1. 2 Kreipp, „Medizintechnik – Künstliche Intelligenz in der Medizin von A bis Z: Teil 1“ vom 30. 6. 2021; Fraunhofer-Institut, „Künstliche Intelligenz (KI) und maschinelles Lernen“; Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn. 1; Dettling/Krüger, PharmR 2018, 513, 514 f., 520. 3 Helle, MedR 2020, 993, 994; Müller-Quade/Damm u. a., Whitepaper, S. 3. 4 Müller-Quade/Damm u. a., Whitepaper, S. 5. 5 A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348; Frost, MPR 2019, 117, 118; ausführlich zur Terminologie Herberger, NJW 2018, 2825, 2825 ff. 6 Zur besseren Lesbarkeit wird in dieser Dissertation das generische Maskulinum verwendet. Die in dieser Arbeit verwendeten Personenbezeichnungen beziehen sich jedoch stets auf alle Geschlechtsformen. 7 Frost, MPR 2019, 117, 118.

14

A. Einleitung

zeigen.8 Trotz aller Schwierigkeiten nach der Suche nach einer Definition ist für diese Arbeit unter KI eine selbstlernende Software zu verstehen, die die Fähigkeit zum selbständigen „maschinellen“ Lernen hat und somit zu eigenständigen Entscheidungen kommt.9 Zur Verständlichkeit wird mitunter zwischen starker und schwacher KI unterschieden. Unter starker KI versteht man ein System, das über dieselben (zum Teil auch darüber hinausgehende) intellektuellen Fertigkeiten wie der Mensch verfügt und sich selbständig weiterentwickeln und eigene Entscheidungen treffen kann. Hierbei wird von einer sog. „Superintelligenz“ gesprochen, die nicht nur in einzelnen spezialisierten Gebieten angewendet werden könnte, sondern auf Augenhöhe mit dem Menschen und damit universell einsetzbar wäre. Eine Superintelligenz gibt es aktuell noch nicht.10 Davon zu unterscheiden ist die schwache KI. Diese zeichnet sich dadurch aus, dass sie zur Lösung konkreter Anwendungsprobleme, d. h. zur Unterstützung menschlichen Handelns in Einzelbereichen eingesetzt wird.11 KI ist in beiden Formen in der Lage, selbständig zu lernen und sich selbst zu optimieren.12 Im Vergleich dazu sind die generell-abstrakten Wenn-Dann-Regeln bei herkömmlich programmierter Software vom Programmierer klar vorgegeben und das Entscheidungsergebnis daher nachvollziehbar.13 Die KI-Software wird vom Programmierer so entwickelt, dass sie von Beginn an eine logisch-stochastisch-informatische Struktur und Methodik erhält; die Funktionsbedingungen der KI werden mithin vom Menschen bestimmt.14 In der Trainingsphase wird das KI-System vom Programmierer mit bestimmten Lernregeln versehen und erhält eine Vielzahl von Beispielen, auf deren Grundlage die KI selbst

8

Frost, MPR 2019, 117, 118. Siehe hierzu auch den Vorschlag für eine Definition des „Systems der künstlichen Intelligenz“ der Europäischen Kommission Art. 3 Nr. 1 i. V. m. Anhang I lit. a), Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union vom 21. 4. 2021, COM(2021) 206 final. Hierzu später in Kap. E. III. 9 Vgl. Katzenmeier, MedR 2021, 859, 859; Ertel, Grundkurs KI, S. 1 ff.; Stiemerling, CR 2015, 762, 762 ff.; Ringlage, Haftungskonzepte für autonomes Fahren, S. 33 f.; Grapentin, NJW 2019, 181, 183; v. Westphalen, ZIP 2019, 889, 889. 10 A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348; Frost, MPR 2019, 117, 118; Buxmann/Schmidt, KI, S. 6 f. 11 Buxmann/Schmidt, KI, S. 7; A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348; Frost, MPR 2019, 117, 118; Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. 10.1.1.1, S. 109. 12 A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348; Frost, MPR 2019, 117, 118; Buxmann/Schmidt, KI, S. 7. 13 Dettling, PharmR 2019, 633, 635; Fontaine, medstra 2021, 203, 204; Dettling/Krüger, PharmR 2018, 513, 514. 14 A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348 f.; Dettling, PharmR 2019, 633, 634 f.

I. Was ist KI?

15

ein Wissensmodell erarbeitet.15 KI-basierte Software trainiert und arbeitet wie klassisch programmierte Software mit Daten, sie besitzt aber die Fähigkeit zur Abstraktion und kann Muster, Beziehungen und Gesetzmäßigkeiten innerhalb der Daten selbständig erkennen, diese Erkenntnisse verallgemeinern und sie auf neue Gegebenheiten anpassen (maschinelles Lernen bzw. „Machine Learning“).16 Sie zeichnet sich dadurch aus, dass sie Lösungswege für bisher völlig unbekannte und unvorhersehbare Gegebenheiten erarbeiten kann.17 Die Entscheidungsregeln der KI können sich durch das fortwährende Lernen bei weiteren Beispielsfällen in der Anwendungsphase verändern und präzisieren.18 KI hat somit die Fähigkeit jederzeit zu lernen und sich dadurch zu verändern und zu verbessern.19 Welche Verhaltensweisen und Entscheidungen die KI im Laufe der Zeit erlernen und umsetzen wird, ist für den Programmierer ex ante weder bestimmbar noch vorhersehbar.20 KI wird deshalb auch als sog. „Blackbox“ bezeichnet.21 Maschinelles Lernen kann auf unterschiedliche Art und Weise erfolgen. Es wird unterschieden zwischen überwachtem Lernen („Supervised Learning“), unüberwachtem Lernen („Unsupervised Learning“) und Lernen durch Verstärkung („Reinforcement Learning“). Beim überwachten Lernen wird der Algorithmus mit beschrifteten Daten trainiert, d. h. eine bestimmte Menge von Objekten sind bereits gekennzeichnet bzw. klassifiziert. Der Algorithmus lernt, um Muster und Gemeinsamkeiten zu finden, damit er auch nicht gekennzeichnete Daten zutreffend klassifizieren kann. Unsupervised-Learning-Algorithmen versuchen Muster in bestehenden Daten zu finden. Das System arbeitet, anders als beim überwachten Lernen, mit nicht gekennzeichneten Daten und soll dabei aus den Trainingsdaten (zuvor unbekannte) Regeln extrahieren und die Elemente in Gruppen („Cluster“) einteilen. Das dritte Verfahren des maschinellen Lernens ist das verstärkende Lernen. Hierbei soll der Algorithmus für ein vorgegebenes Problem (wie beim überwachten Lernen) eine optimale Strategie selbständig erlernen (wie beim unüberwachten Lernen). Bei der schrittweisen Verwirklichung des Ziels erhält der Algorithmus auf Basis der 15 Ringlage, Haftungskonzepte für autonomes Fahren, S. 35; Dettling, PharmR 2019, 633, 634 f.; Bilski/Schmid, NJOZ 2019, 657, 657. 16 Fontaine, medstra 2021, 203, 204; Frost, MPR 2019, 117, 118; Dettling/Krüger, PharmR 2018, 513, 514; Ringlage, Haftungskonzepte für autonomes Fahren, S. 35; Pieper/Solak, „Machine Learning als wesentliches Element von KI“ vom 14. 1. 2019. 17 Grapentin, NJW 2019, 181, 183. 18 Dettling, PharmR 2019, 633, 635. 19 Dettling, PharmR 2019, 633, 635. 20 A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 348 f.; Dettling, PharmR 2019, 633, 635. 21 Der „Blackbox-Effekt“ resultiert aus der Opazität und Autonomie, d. h. der Fähigkeit des Produkts, sich durch Lernen und aus Erfahrung immer weiter zu verbessern, Europäische Kommission, Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung vom 19. 2. 2020, COM(2020) 64 final, S. 11, 18; Dettling, PharmR 2019, 633, 635; Rashid, Neuronale Netze selbst programmieren, S. 168.

16

A. Einleitung

Anreizfunktion eine Rückmeldung auf die gewählte Aktion, ob es jeweils zutreffend entschieden hat („Belohnung“ und „Strafen“).22 Ein technisch fortgeschrittener und besonders wichtiger Teilbereich des maschinellen Lernens ist das „tiefe Lernen“ bzw. „Deep Learning“, das mit künstlichen neuronalen Netzen arbeitet.23 Dabei werden künstliche Neuronen (Eingangs- und Ausgangsneuronen) auf einer mehrschichtigen Architektur (Eingangsschicht, Zwischenschicht und Ausgangsschicht24) miteinander verbunden.25 Die Funktionsweise ist in vielen Bereichen vom Lernen im menschlichen Gehirn inspiriert.26 Auf Basis vorhandener Informationen und des neuronalen Netzes kann das System das Erlernte immer wieder mit neuen Inhalten verknüpfen und dadurch erneut lernen.27 Hierdurch erlangt das System die Fähigkeit, Prognosen und Entscheidungen zu treffen und diese zu hinterfragen.28 Einfach ausgedrückt lernt das System, indem der Input an das einzelne Neuron durch ein kontinuierliches Hinterfragen der Entscheidungen unterschiedlich gewichtet wird.29 Erfolgreiche Verknüpfungen werden verstärkt, während weniger erfolgreichere Verknüpfungen getrennt werden.30 Durch das Training mit umfangreichem Datenmaterial ist das System in der Lage, sich selbst in Bezug auf das gewünschte Ausgangssignal zu verändern.31 Ein entscheidender Unterschied zum maschinellen Lernen besteht darin, dass beim tiefen Lernen der Mensch nicht in die Analyse der Daten eingreift und keinen Einfluss auf das Ausgabeergebnis hat. Das Ableiten von Prognosen oder Entscheidungen nimmt die

22 Buxmann/Schmidt, KI, S. 11 f.; Mainzer, KI, S. 115 ff.; Sorge, in: Hornung (Hrsg.), Rechtsfragen der Industrie 4.0, 139, 141; Zech, DJT 2020 Gutachten A, S. 36; Sommer, Haftung für autonome Systeme, S. 39. 23 Dettling, PharmR 2019, 633, 635; Aggarwal, Neural Networks and Deep Learning, S. 105 ff.; Ringlage, Haftungskonzepte für autonomes Fahren, S. 35; Mainzer, KI, S. 110 f.; Ertel, Grundkurs KI, S. 321 ff. 24 Sog. „Input Layer“, „Hidden Layer“ und „Output Layer“, ausführlich hierzu Zech, ZfPW 2019, 198, 201 f. 25 Zech, ZfPW 2019, 198, 201 f.; Dettling, PharmR 2019, 633, 635. 26 Mainzer, KI, S. 3, 5; Buxmann/Schmidt, KI, S. 14; Petereit, „Was ist eigentlich der Unterschied zwischen AI, Machine Learning, Deep Learning und Natural Language Processing?“ vom 17. 12. 2016. 27 Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017; Petereit, „Was ist eigentlich der Unterschied zwischen AI, Machine Learning, Deep Learning und Natural Language Processing?“ vom 17. 12. 2016; Ertel, Grundkurs KI, S. 286 ff. 28 Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017; Aggarwal, Neural Networks and Deep Learning, S. 305; Zech, DJT 2020 Gutachten A, S. 40 f. 29 Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017; Decker, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 23, 34; Petereit, „Was ist eigentlich der Unterschied zwischen AI, Machine Learning, Deep Learning und Natural Language Processing?“ vom 17. 12. 2016. 30 Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017; Ringlage, Haftungskonzepte für autonomes Fahren, S. 35; Decker, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 23, 34. 31 Decker, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 23, 34.

II. Einsatzbereiche von KI in der Medizin

17

Maschine selbst vor. Der Mensch stellt hier nur noch die Informationen zum Lernen bereit.32 Insgesamt handelt es sich bei Machine Learning Algorithmen nicht nur um lernende Systeme, die nur während der Testphase angelernt werden, sondern um selbstlernende Systeme, die auch während des laufenden Betriebs antrainiert werden. Je weniger Einfluss auf den Lernprozess ausgeübt wird, d. h. je unüberwachter das System lernt, desto eigenständiger kann es sich entwickeln.33 Diese selbstlernenden autonomen Systeme bilden den Schwerpunkt dieser Dissertation.

II. Einsatzbereiche von KI in der Medizin Der Einsatz von KI im Medizinbereich verspricht eine passgenauere und präzisere Behandlung von Patienten durch neue Möglichkeiten der Diagnose und Therapie, der Prävention und Prädikation von Krankheiten.34 Darüber hinaus kann KI durch Robotik und Unterstützungssysteme zur Entlastung der Ärzteschaft und der Pflege beitragen.35 Es gibt bereits viele Studien mit KI-basierten Medizinprodukten, die sich im Bereich der Prävention, Diagnose und Therapie bewegen, aber derzeit noch auf das Versuchsstadium begrenzt sind.36 Intelligente Medizinprodukte könnten beispielsweise im Bereich der Früherkennung und Prävention als Monitoringsysteme eingesetzt werden. Diese Systeme werden im oder am Körper oder außerhalb des Körpers zur Überwachung des Patienten eingesetzt.37 Im Bereich der Diagnostik könnte KI eine wichtige Rolle bei der Bilderkennung spielen, wie etwa bei der Identifizierung von Tumoren anhand von Gewebemustern und Biomarkern oder bei der Feststellung von Herz-Kreislauferkrankungen mittels Retinascans.38 So haben Forscher der Universität Oxford mithilfe von KI einen Biomarker entdeckt, der dabei helfen könnte, Personen zu identifizieren, die ein hohes Risiko für einen tödlichen Herzinfarkt haben und zwar bis zu fünf Jahre bevor diese Person höchstwahrscheinlich einen Herzinfarkt erleiden wird.39 Als weiteres 32 Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017; Aggarwal, Neural Networks and Deep Learning, S. 105 ff. 33 Sommer, Haftung für autonome Systeme, S. 40. 34 Katzenmeier, MedR 2021, 859, 859. 35 Katzenmeier, MedR 2021, 859, 859. 36 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176. 37 Linardatos, CR 2022, 367, 368. Zu weiteren Beispielen des Einsatzes von KI bei der Früherkennung und Diagnose, Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn. 3 ff.; Huss, KI, S. 30 ff.; BT-DRS. 19/23700, S. 248 ff. 38 Linardatos, CR 2022, 367, 368. 39 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176; Than/Pickering u. a., Circulation 2019, Vol. 140, no. 11, 899, 899 ff.

18

A. Einleitung

Beispiel für die frühzeitige Erkennung von Krankheiten durch den Einsatz von KI dient die Alzheimer-Forschung. Eine Studie hat ergeben, dass ein KI-basiertes Medizinprodukt eine Alzheimer-Krankheit im Vergleich zu herkömmlichen Methoden im Durchschnitt mehr als sechs Jahre früher erkennen kann.40 Eine frühe Erkennung dieser Krankheiten ermöglicht eine frühzeitige Einleitung von therapeutischen Maßnahmen und dadurch eine optimale Behandlung des Patienten.41 Indem Ärzte Zugriff auf das umfangreiche Datenmaterial haben, verspricht der Einsatz von intelligenten Medizinprodukten nicht nur eine höhere Qualität und Zuverlässigkeit bei der Diagnostik. Auch die Effizienz könnte sich durch den Zugriff auf KI-Assistenzsysteme erhöhen, sodass Ärzte schneller die richtige Diagnose treffen könnten.42 Auch im Bereich der Therapie ist der Einsatz von KI bereits getestet worden. Forschern gelang es, dass ein KI-Roboter nach einem chirurgischen Eingriff Wunden vernähte.43 Diese Entwicklung könnte darauf hindeuten, dass künftig bestimmte Routineeingriffe von KI-basierten Robotern übernommen und so das ärztliche Personal entlastet werden könnte, damit sich dieses auf komplexe ärztliche Tätigkeiten konzentrieren kann.44

III. Begriffsverständnis „intelligentes Medizinprodukt“ Gegenstand dieser Arbeit sind teil- und vollautonome Medizinprodukte, die mit schwacher KI arbeiten, Ärzten als digitale Entscheidungsunterstützung dienen und im Bereich der Diagnostik und Therapie rein stationär eingesetzt werden. Die Arbeit konzentriert sich dabei auf autonome Systeme, die (kurz) vor ihrem Einsatz stehen. Dabei handelt es sich um offene bzw. im Betrieb lernende Systeme, die nicht nur programmierte Handlungsanweisungen ausführen, sondern mithilfe von Techniken wie maschinelles Lernen, neuronale Netzwerke oder tiefes Lernen die Fähigkeit zum selbständigen Lernen besitzen. Ein bestimmtes Verhalten wird also nicht determiniert, sondern dieses ist von menschlichen Handlungsanweisungen losgelöst, sodass die Entscheidung der KI selbst vom Programmierer ex ante nicht sicher vorhergesagt

40 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176; Ding/Sohn u. a., Radiology 2019, 456, 456 ff.; Katzenmeier, MedR 2021, 859, 859. 41 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176; BT-DRS. 19/ 23700, S. 250. 42 Müller-Quade/Damm u. a., Whitepaper, S. 5. 43 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176; Blunden, „A robot surgeon watched medical videos to learn how to stitch human wounds“ vom 17. 6. 2020. 44 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 176; A. Lohmann/ Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345, 346.

IV. Einführung in die haftungsrechtliche Problematik

19

und damit beherrscht werden kann.45 Die Begriffe „intelligent“, „autonom“ und „KIbasiert“ werden als synonyme Begriffe verwendet. (Teil-)Automatisierte bzw. gekapselte/geschlossene Systeme, wie sie bereits im Gesundheitssektor eingesetzt werden, haben dagegen nur eine untergeordnete Bedeutung, da hier die Haftungsfrage nicht wesentlich von der Haftung bei der Anwendung von herkömmlichen Medizinprodukten abweicht. Gleiches gilt für gekapselte/geschlossene bzw. statische KI-basierte Medizinprodukte, die nicht mehr nach ihrem Inverkehrbringen weiterlenen, sondern im ausgelernten Zustand eingesetzt werden. Regulatorische und haftungsrechtliche Schwierigkeiten ergeben sich erst, wenn die KI die Fähigkeit besitzt, aus Erfahrungen zu lernen und sich fortwährend der Umgebung anzupassen.46 Erst hieraus resultiert die haftungsrechtliche Besonderheit, dass das Verhalten KI-basierter Medizinprodukte nicht oder nur schwer vorhersehbar ist und sich das KI-System nachträglich verändert.47 Nicht adressiert werden zudem (teil-)autonome Unterstützungssysteme im Bereich der Gesundheitsfachberufe (z. B. Pflege, Physiotherapie) oder KI-Systeme, die vom Patienten selbständig eingesetzt werden (z. B. Gesundheits-Apps).

IV. Einführung in die haftungsrechtliche Problematik Trotz der zu erwartenden Vorteile von KI in der Medizin gehen mit ihr auch Risiken einher. Selbstlernende Systeme sind in der Lage durch Eindrücke aus der Außenwelt selbsttätig, d. h. ohne menschliche Einwirkung, ihr Verhalten zu ändern und ihre Verhaltensmuster an diese Veränderungen anzupassen.48 KI-Systeme können so auch ihren eigenen Steuerungsalgorithmus verändern.49 Diese Lernfähigkeit des Systems führt dazu, dass das Verhalten der KI im Voraus von außen nicht oder nur eingeschränkt vorhergesagt werden kann.50 Damit geht gleichzeitig auch eine mangelnde menschliche Beherrschbarkeit derartiger Systeme einher.51 Die Fähigkeit, zu lernen und Verhaltensweisen des Systems anzupassen, wirft auf haftungsrechtlicher Ebene Fragen der Zurechnung und der Abgrenzung von Risi45

Katzenmeier, MedR 2021, 859, 860; Zech, ZfPW 2019, 198, 200. Zech, DJT 2020 Gutachten A, S. 37. Zum Autonomiebegriff im hier verstandenen Sinne ausführlich Münch, Autonome Systeme im Krankenhaus, S. 34 ff. Für ein abweichendes Begriffsverständnis im Zusammenhang mit Medizinprodukten, Linardatos, CR 2022, 367, 368. 46 Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 3. 47 Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 3. 48 Zech, ZfPW 2019, 198, 200; siehe hierzu Kirn/Müller-Hengstenberg, MMR 2014, 225, 229. 49 Zech, ZfPW 2019, 198, 200. 50 Zech, ZfPW 2019, 198, 200; Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 3. 51 Zech, ZfPW 2019, 198, 200.

20

A. Einleitung

kosphären auf.52 Die Selbstlernfähigkeit von KI führt dazu, dass das intelligente Medizinprodukt neue Verhaltensweisen erlernt, die vom Hersteller des Produkts zum Zeitpunkt des Inverkehrbringens nicht programmiert waren.53 Anknüpfungspunkt für eine Haftung ist also nicht mehr nur die ursprüngliche Programmierung des KIAlgorithmus, sondern im Mittelpunkt für die Frage nach der Haftung steht die fortwährende selbständige Weiterentwicklung des intelligenten Medizinprodukts.54 Es stellt sich mithin die haftungsrechtliche Frage, an welche Pflichtverletzung angeknüpft werden kann und wer für die fehlerhafte Entscheidung des intelligenten Medizinprodukts verantwortlich ist. Das schadensverursachende Verhalten kann entweder auf eine ursprünglich fehlerhafte Programmierung des KI-Algorithmus zurückzuführen sein oder durch einen Bedienungsfehler des Arztes ausgelöst worden sein.55 Letztlich kann sich der Fehler des KI-Systems aber auch aus Umweltfaktoren ergeben, der weder eindeutig der Risikosphäre des Herstellers noch des Nutzers (Arztes) zuzuordnen ist.56 Deshalb wird befürchtet, dass der Einsatz von KI angesichts ihrer Autonomie, Vernetzung und geringen Transparenz der Entscheidungsvorgänge zu einer „Haftungslücke“ führt und für Schäden, die durch autonome KIAnwendungen verursacht werden, kein Ersatz erlangt werden kann.57 Die Risiken, die aus der Lernfähigkeit resultieren, werden im Folgenden als „Autonomierisiken“ bzw. „Intelligenzrisiken“ bezeichnet.58 Diese lassen sich untergliedern in die Unvorhersehbarkeit des Verhaltens (nachfolgend unter 1.) und die mangelnde Beherrschbarkeit solcher Systeme (nachfolgend unter 2.) sowie die fehlende Nachvollziehbarkeit (nachfolgend unter 3.).

1. Unvorhersehbarkeit Die erste haftungsrechtliche Besonderheit stellt das unvorhersehbare Verhalten von KI-Systemen dar.59 Das Verhalten bzw. Agieren von autonomen Produkten ist dadurch, dass es erst erlernt wird, ex ante für den Programmierer nicht oder nur 52

BeckOGK-BGB/Spindler, § 823 BGB Rn. 741 ff. Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. 10.1.3.2 S. 122. 54 Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn. 3. 55 Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. 10.1.3.2 S. 122. 56 Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. 10.1.3.2 S. 122. 57 Katzenmeier, MedR 2021, 859, 860; Teubner, AcP 218 (2018), 155, 157 ff., 185 f., 189; Spindler, JZ 2016, 805, 816; Schaub, JZ 2017, 342, 346; Thöne, Autonome Systeme und deliktische Haftung, S. 157 f. 58 Zum Begriff Zech, ZfPW 2019, 198, 213, welcher wiederum auf Auer-Reinsdorff persönlicher Vortrag am 28. 10. 2015 in München verweist; zudem Zech, DJT 2020 Gutachten A, S. 41 ff.; Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163, 175 f.; Teubner, AcP 218 (2018), 155, 164 f.; Cornelius, ZRP 2019, 8, 9; Burchardi, EuZW 2022, 685, 685. 59 Zech, DJT 2020 Gutachten A, S. 41 ff.; Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163, 175 f.; Teubner, AcP 218 (2018), 155, 164 f.; Cornelius, ZRP 2019, 8, 9. 53

IV. Einführung in die haftungsrechtliche Problematik

21

eingeschränkt vorhersehbar.60 Daher kann das Verhalten eines KI-Systems vom Programmierer nicht abschließend festgelegt und vom Nutzer des Produkts nicht für jeden Fall eindeutig vorhergesagt werden.61 Je autonomer ein KI-System arbeitet, desto geringer ist die Vorhersehbarkeit des Verhaltens und damit auch die Kontrolle des Systems.62 Dies wird durch die Vernetzung bzw. dem Datenaustausch mit einer Vielzahl von anderen autonomen Produkten noch verstärkt.63 Das autonome Verhalten führt zu neuartigen und bisher unbekannten Risiken derartiger Produkte, die es rechtlich zu bewerten und dem Hersteller oder Nutzer zuzuordnen gilt.64 Die Selbstlernfähigkeit von KI-Produkten wirft Fragen hinsichtlich der menschlichen Kontrolle und den Anknüpfungspunkt für die Verletzung von Verkehrssicherungspflichten auf.65

2. Mangelnde Beherrschbarkeit Für das Haftungsrecht interessant ist zudem die verminderte Kontrollmöglichkeit von autonomen Systemen.66 Die mangelnde Beherrschbarkeit ist Ausdruck der Lernfähigkeit und hängt deshalb eng mit der Vorhersehbarkeit zusammen. Ist für den Hersteller oder den Nutzer ein bestimmtes Verhalten der KI ex ante nicht vorhersehbar, so kann dieses Verhalten auch nur bedingt kontrolliert bzw. beherrscht werden.67 Die Lernfähigkeit von KI-Systemen führt dazu, dass sich Nutzer nur bedingt auf das Verhalten des Systems einstellen können. Im Vergleich zu herkömmlichen (Medizin-)Produkten, die immer wieder ein gleiches Ergebnis erzielen und dessen Abläufe der Nutzer beherrschen kann, fehlt dem Nutzer von intelligenten (Medizin-)Produkten eine solche Beherrschbarkeit.68 Mithin hat die mangelnde Beherrschbarkeit ebenfalls Einfluss auf die Verkehrssicherungspflichten des Herstellers und des Arztes, die zur Einhaltung einer höheren Sorgfalt angehalten sind.

60

Zech, DJT 2020 Gutachten A, S. 42. Kirn/Müller-Hengstenberg, MMR 2014, 225, 228. 62 Vgl. Zech, DJT 2020 Gutachten A, S. 42. 63 Vgl. Reichwald/Pfisterer, CR 2016, 208, 211. 64 Vgl. Spindler, in: FS Hart, 581, 583 f. 65 Europäische Kommission, Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung vom 19. 2. 2020, COM(2020) 64 final, S. 9; Zech, ZfPW 2019, 198, 205. 66 Zech, DJT 2020 Gutachten A, S. 39. 67 Vgl. Haagen, Verantwortung für KI, S. 222. 68 Haagen, Verantwortung für KI, S. 223. 61

22

A. Einleitung

3. Eingeschränkte Nachvollziehbarkeit Ein weiteres neuartiges Risiko ergibt sich aus der mangelnden Transparenz der Entscheidungsvorgänge der KI.69 Aufgrund der Komplexität der Entscheidungsfindung und der Vernetzung mit anderen autonomen Systemen lässt sich ex post ein bestimmtes erlerntes Verhalten eines KI-Systems nicht oder nur eingeschränkt erklären bzw. nachvollziehen.70 Begrenzte Rechenleistung und Speicherkapazität derartiger Systeme haben zur Folge, dass nicht alle für die Entscheidung relevanten Erfahrungen, erlerntes Wissen, veränderte Algorithmen und Zielvorgaben aufgezeichnet und gespeichert werden können.71 Dadurch kann ex post nicht festgestellt werden, auf welchem Fehler das schadensstiftende Verhalten beruht und welchem Beteiligten dieser Fehler zuzuordnen ist.72 In diesem Zusammenhang wird von Blackbox-Systemen gesprochen.73 Das Transparenzrisiko ist abhängig vom Autonomiegrad des KI-Systems: Je mehr Veränderungen das System während seines Einsatzes erfahren hat und je mehr Beteiligte Einfluss auf das System haben (Hersteller, Nutzer, Dritte), desto größer wird dieses Risiko.74 Es bestehen mit der sog. „Explainable Artificial Intelligence“ Bestrebungen, die Blackbox der KI verständlich zu machen und das Gelernte zu erklären.75 Dieses Verfahren zur Erklärbarkeit ist zum jetzigen Zeitpunkt aber nur teilweise möglich.76 Im Schadensfall besteht mithin die Gefahr, dass sich der Schadensverlauf nicht vollständig aufklären lässt und es damit zu Problemen bei der Beweisführung kommt.77

69 Zech, DJT 2020 Gutachten A, S. 44; Dzida/Groh, NJW 2018, 1917, 1922; Dettling/ Krüger, MMR 2019, 211, 216; Käde/v. Maltzan, CR 2020, 66, 66 f. 70 Zech, DJT 2020 Gutachten A, S. 44; Haagen, Verantwortung für KI, S. 223 f.; Käde/ v. Maltzan, CR 2020, 66, 66 f. 71 Reichwald/Pfisterer, CR 2016, 208, 211; Martini, Blackbox-Algorithmus, S. 28 f.; Wittpahl, KI, S. 242; Zech, DJT 2020 Gutachten A, S. 44. 72 Sommer, Haftung für autonome Systeme, S. 46. 73 Sommer, Haftung für autonome Systeme, S. 46. 74 Vgl. Sommer, Haftung für autonome Systeme, S. 46. 75 Zech, DJT 2020 Gutachten A, S. 33 f.; Voosen, „How AI detectives are cracking open the black box of deep learning“ vom 6. 7. 2017; Spindler, JZ 2022, 793, 797. Siehe hierzu Kap. C. X. 4. 76 Sommer, Haftung für autonome Systeme, S. 46. 77 Zech, ZfPW 2019, 198, 205.

B. Die (neue) EU-Medizinprodukteverordnung Medizinische Produkte unterfallen der Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 (Medical Device Regulation).1 Ursprünglich sollte die Verordnung ab dem 26. Mai 2020 gelten.2 Aufgrund der COVID-19-Pandemie verschob sich der Geltungsbeginn auf den 26. Mai 2021.3 Am 26. Mai 2022 ist zudem die In-vitro-Diagnostika Verordnung (IVDR) in Kraft getreten.4 Bei der MDR handelt es sich um eine europäische Verordnung, sodass sie seit Mai 2021 allgemeinverbindlich und unmittelbar in jedem EU-Mitgliedsstaat und damit auch in Deutschland gilt.5 Die MDR und das Medizinprodukterecht-Durchführungsgesetz6 ersetzen das zuvor geltende Richtlinienregime. Die MDR fasst die Richtlinie 90/385/EWG über aktive implantierbare medizinische Geräte7 und die Richtlinie 93/42/EWG über

1

Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte, zur Änderung der Richtlinie 2001/83/EG, der Verordnung (EG) Nr. 178/2002 und der Verordnung (EG) Nr. 1223/2009 und zur Aufhebung der Richtlinien 90/ 385/EWG und 93/42/EWG des Rates (ABl. l 117 vom 5. 5. 2017, S. 1, berichtigt ABl. l 117 vom 3. 5. 2019, S. 9 und ABl. l 334 vom 27. 12. 2019, S. 165), zuletzt geändert durch Verordnung (EU) 2020/561 des Europäischen Parlaments und des Rates vom 23. April 2020 zur Änderung der Verordnung (EU) 2017/745 über Medizinprodukte hinsichtlich des Geltungsbeginns einiger ihrer Bestimmungen (ABl. l 130 vom 24. 4. 2020, S. 18) (Medical Device Regulation). Im Folgenden „MDR“. 2 Vgl. § 123 Abs. 2 MDR. 3 Vgl. Egrd. 2 MDR. 4 Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika und zur Änderung der Richtlinie 98/79/EG und des Beschlusses 2010/227/EU der Kommission (ABl. l 117 vom 5. 5. 2017, S. 1, berichtigt ABl. l 117 vom 3. 5. 2019, S. 9 und ABl. l 334 vom 27. 12. 2019, S. 165), zuletzt geändert durch Verordnung (EU) 2022/112 des Europäischen Parlaments und des Rates vom 25. Januar 2022 zur Änderung der Verordnung (EU) 2017/746 hinsichtlich der Übergangsbestimmungen für bestimmte In-vitro-Diagnostika und des späteren Geltungsbeginns der Bedingungen für hausinterne Produkte (ABl. l 19 vom 21. 1. 2022, S. 3, ber. ABl. l 24 vom 3. 2. 2022, S. 137). Diese Verordnung ist nicht Gegenstand der Dissertation. 5 Art. 288 Abs. 2 AEUV. 6 Gesetz zur Durchführung unionsrechtlicher Vorschriften betreffend Medizinprodukte (Medizinprodukterecht-Durchführungsgesetz – MPDG) vom 28. April 2020 (BGBl. I vom 22. 5. 2020, S. 960), zuletzt geändert durch Artikel 3 f PflegebonusG vom 28. Juni 2022 (BGBl. I vom 29. 6. 2022, S. 938). Im Folgenden „MPDG“. 7 Richtlinie 90/385/EWG des Rates vom 20. Juni 1990 zur Angleichung der Rechtsvorschriften der Mitgliedsstaaten über aktive implantierbare medizinische Geräte (ABl. l 189

24

B. Die (neue) EU-Medizinprodukteverordnung

Medizinprodukte8 zusammen, während die IVDR die Richtlinie 98/79/EG über IVDs9 ersetzt. Anstoß für die Überarbeitung der Richtlinien war u. a. der Anfang 2012 aufgedeckte PIP-Skandal, bei dem nicht-medizinisches Silikon in Brustimplantaten verwendet wurde, die von einem Unternehmen (Poly Implantat Prothèse, PIP) in Frankreich hergestellt wurden.10 Auf deutscher Ebene ersetzt die nun unmittelbar in der EU geltende MDR das zuvor geltende Gesetz über Medizinprodukte,11 welches zur Umsetzung der Richtlinien diente. Im Zusammenspiel mit der MDR ist das MPDG zu berücksichtigen. Ausweislich von § 1 Nr. 1 MPDG dient es der Durchführung und Ergänzung der MDR und ist gem. § 2 Abs. 1 Alt. 1 MPDG auf Produkte im Anwendungsbereich der MDR anzuwenden. Die MDR regelt das Inverkehrbringen und die Inbetriebnahme von Medizinprodukten. Anforderungen zum Betrieb und Anwenden von Medizinprodukten sind auf nationaler Ebene im MPDG und in der Verordnung über das Errichten, Betreiben und Anwenden von Medizinprodukten (Medizinprodukte-Betreiberverordnung) enthalten.12 Die MDR verfolgt zwei Regelungsziele: Zum einen soll ein hohes Niveau an Sicherheit und Gesundheitsschutz für Patienten und Anwender von Medizinprodukten durch einen transparenten und einheitlichen Rechtsrahmen gewährleistet werden.13 Zum anderen soll die technische Innovation zugunsten der Patienten gefördert werden.14 Dazu wurden im Vergleich zur bisherigen Regulierung die Beaufsichtigung der Benannten Stellen, die Konformitätsbewertungsverfahren, klinische Prüfungen und klinische Bewertungen, die Vigilanz und Marktüberwachung erheblich gestärkt. Gleichzeitig wurden Bestimmungen zur Gewährleistung von

vom 20. 7. 1990, S. 17), zuletzt geändert durch die Richtlinie 2007/47/EG des Europäischen Parlaments und des Rates vom 5. September 2007 (ABl. l 247 vom 21. 9. 2007, S. 21). 8 Richtlinie 93/42/EWG des Rates vom 14. Juni 1993 über Medizinprodukte (ABl. l 169 vom 12. 7. 1993, S. 1), zuletzt geändert durch die Richtlinie 2007/47/EG des Europäischen Parlaments und des Rates vom 5. September 2007 (ABl. l 247 vom 21. 9. 2007, S. 21). 9 Richtlinie 98/79/EG des Europäischen Parlaments und des Rats über In-vitro-Diagnostika vom 27. Oktober 1998 (ABl. l 331 vom 7. 12. 1998, S. 1), zuletzt geändert durch Artikel 1 der Verordnung (EG) Nr. 596/2009 des Europäischen Parlaments und des Rates vom 18. Juni 2009 (ABl. l 188 vom 18. 7. 2009, S. 14). 10 Dazu näher Finn, NJW 2017, 2590 ff.; Gassner, Medizinprodukte-Verordnung, S. 18. 11 Gesetz über Medizinprodukte (Medizinproduktegesetz – MPG) vom 7. August 2002 (BGBl. I vom 20. 8. 2021, S. 3146), zuletzt geändert durch Art. 223 der Verordnung vom 19. Juni 2020 (BGBl. I vom 26. 6. 2020, S. 1328). Im Folgenden „MPG aF“. 12 Verordnung über das Errichten, Betreiben und Anwenden von Medizinprodukten (Medizinprodukte-Betreiberverordnung – MPBetreibV) vom 21. August 2002 (BGBl. I vom 29. 8. 2002, S. 3396), zuletzt geändert durch Art. 6, 7 Medizinprodukte-EU-AnpassungsVO vom 21. April 2021 (BGBl. I vom 27. 4. 2021, S. 833). Die MPBetreibV wurde auf Grundlage von § 88 Abs. 1 Nr. 6a) MPDG erlassen. Im Folgenden „MPBetreibV“. 13 Egrd. 1 ff. MDR. 14 Egrd. 1 MDR.

I. Begriffsbestimmungen

25

Transparenz und Rückverfolgbarkeit in Bezug auf Medizinprodukte eingeführt.15 Hinsichtlich des Marktzugangs eines Medizinprodukts bleibt es beim bisherigen Zertifizierungsmodell, der CE-Konformitätskennzeichnung, bei der der Hersteller und nicht etwa eine nationale Zulassungsbehörde selbst erklärt, dass das Produkt allen Anforderungen der MDR entspricht.16

I. Begriffsbestimmungen In Art. 2 MDR sind die Begriffsbestimmungen geregelt. Nach der in Art. 2 Nr. 1 MDR enthaltenen Definition bezeichnet ein „Medizinprodukt“ einen Gegenstand, der dem Hersteller zufolge für Menschen bestimmt ist und einen spezifischen medizinischen Zweck erfüllen soll, ohne dabei hauptsächlich eine pharmakologische, immunologische oder metabolische Wirkung zu haben. Die Vorschrift nennt als spezifische medizinische Zwecke beispielsweise die Diagnose, Verhütung, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten oder Verletzungen. „Zubehör eines Medizinprodukts“ bezeichnet gem. Art. 2 Nr. 2 MDR einen Gegenstand, der zwar an sich kein Medizinprodukt ist, aber vom Hersteller dazu bestimmt ist, zusammen mit einem oder mehreren bestimmten Medizinprodukten verwendet zu werden, und der speziell dessen/deren Verwendung gemäß seiner/ihrer Zweckbestimmung(en) ermöglicht oder mit dem die medizinische Funktion des Medizinprodukts bzw. der Medizinprodukte im Hinblick auf dessen/deren Zweckbestimmung(en) gezielt und unmittelbar unterstützt werden soll. Der Zubehörbegriff wird durch die Definition im letzten Halbsatz gegenüber des bisherigen Zubehörbegriffs erweitert: Eine gezielte und unmittelbare Unterstützung des eigentlichen Medizinprodukts ist ausreichend für die Qualifikation als Zubehör.17 Entscheidend für die Einstufung eines Produkts als Medizinprodukt ist demnach die medizinische Zweckbestimmung des Herstellers.18 Die MDR enthält auch diesbezüglich eine Legaldefinition in Art. 2 Nr. 12 MDR. Danach bezeichnet die „Zweckbestimmung“ die Verwendung, für die ein Produkt entsprechend den Angaben des Herstellers auf der Kennzeichnung, in der Gebrauchsanweisung oder dem Werbe- oder Verkaufsmaterial bzw. den Werbe- oder Verkaufsangaben und seinen Angaben bei der klinischen Bewertung bestimmt ist. Als „Hersteller“ ist nach Art. 2 Nr. 30 MDR eine natürliche oder juristische Person anzusehen, die ein Produkt herstellt oder als neu aufbereitet bzw. entwickeln,

15

Egrd. 4 MDR. Art. 2 Nr. 43, Art. 20 Abs. 1 MDR; vgl. Gassner, Medizinprodukte-Verordnung, S. 23. 17 Gassner, Medizinprodukte-Verordnung, S. 27. 18 Vgl. Art. 2 Nr. 1 UAbs. 1, Art. 2 Nr. 2 MDR.

16

26

B. Die (neue) EU-Medizinprodukteverordnung

herstellen oder als neu aufbereiten lässt und dieses Produkt unter ihrem eigenen Namen oder ihrer eigenen Marke vermarktet. Die MDR findet Anwendung beim Inverkehrbringen, der Bereitstellung auf dem Markt und der Inbetriebnahme von Medizinprodukten und deren Zubehör innerhalb der EU.19 Hinsichtlich der Definition des Inverkehrbringens ist auf Art. 2 Nr. 28 MDR zurückzugreifen: Ein „Inverkehrbringen“ ist die erstmalige Bereitstellung eines Produkts auf dem Unionsmarkt, ausgenommen sind Prüfprodukte. Eine „Bereitstellung auf dem Markt“ ist jede entgeltliche oder unentgeltliche Abgabe eines Produkts, mit Ausnahme von Prüfprodukten, zum Vertrieb, zum Verbrauch oder zur Verwendung auf dem Unionsmarkt im Rahmen einer gewerblichen Tätigkeit (Art. 2 Nr. 27 MDR). Die „Inbetriebnahme“ bezeichnet gem. Art. 2 Nr. 29 MDR den Zeitpunkt, zu dem ein Produkt dem Endanwender als ein Erzeugnis zur Verfügung gestellt wird, das erstmals als gebrauchsfertiges Produkt entsprechend seiner Zweckbestimmung auf dem Unionsmarkt verwendet werden kann.

II. Software als Medizinprodukt unter der MDR Bei einem KI-basierten Medizinprodukt bildet die Software das Herzstück des Produkts. Anders als im ProdHaftG findet Software eine ausdrückliche Erwähnung in der MDR. „Medizinproduktesoftware“ ist eine Software, die dazu bestimmt ist, (allein oder in Kombination) für einen Zweck verwendet zu werden, der unter die Definition des Medizinprodukts fällt, unabhängig davon, ob die Software unabhängig ist oder die Verwendung eines Produkts steuert oder beeinflusst.20 Bei der Qualifizierung von Software als Medizinprodukt ist zu unterscheiden zwischen: - Software, die ein Teil eines Medizinprodukts ist („Embedded Software“) - Software, die selbst ein Medizinprodukt ist („Standalone-Software“) - Software, die ein Zubehör zu einem Medizinprodukt ist und - (eigenständige) Software, die kein Medizinprodukt ist.21 Software kann, wie nach der bisherigen Regelung des § 3 Nr. 1 MPG aF, als Medizinprodukt qualifiziert werden.22 Software ist ein Medizinprodukt, wenn der Hersteller sie zur Diagnose, Verhütung, Überwachung, Vorhersage, Behandlung oder Linderung von Krankheiten oder Verletzungen einsetzen möchte, d. h., wenn die 19

Art. 1 Abs. 1 MDR. Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 7. 21 Reinsch, „Software als Medizinprodukt“ vom 16. 9. 2022. 22 Vgl. Art. 2 Nr. 1 UAbs. 1 MDR. 20

II. Software als Medizinprodukt unter der MDR

27

Zweckbestimmung des Herstellers der Begriffsbestimmung des Art. 2 Abs. 1 MDR entspricht.23 Die Art der Verbindung zwischen der medizinischen Software und dem Gerät hat keinen Einfluss auf die Einstufung der Software als Medizinprodukt.24 Die Software kann in einem Gerät integriert sein (Embedded Software) oder sich an einem anderen Ort befinden.25 Die medizinische Software kann auf zwei verschiedenen Wegen in den Verkehr gebracht werden: Als eigenständiges Medizinprodukt oder als integraler Bestandteil oder Teil eines Hardware-Geräts.26 Dabei kann entweder die Software allein (Standalone-Software) oder die Kombination aus Soft- und Hardware (medizinische Hardware – Embedded Software) diesen Zweck erfüllen. In letzterem Fall wird die Software in ein Medizinprodukt integriert und als Einheit mit dem Medizinprodukt in den Verkehr gebracht.27 Der Hersteller muss allerdings in beiden Fällen mit der Software einen medizinischen Zweck verfolgen, damit die Software als Medizinprodukt zu qualifizieren ist.28 Im Vergleich zur bisherigen Regelung ist nun zwischen Software als Medizinprodukt und Software für allgemeine Zwecke zu differenzieren.29 Als Medizinprodukt gilt nur solche Software, die vom Hersteller speziell für einen oder mehrere der in der Definition von Medizinprodukten genannten medizinischen Zwecke bestimmt ist.30 Software, die hingegen keinem spezifischen medizinischen Zweck dient, sondern allgemein beispielweise zur Vereinfachung von (Arbeits-)Abläufen eingesetzt wird, ist weder ein Medizinprodukt noch ein Zubehör eines Medizinprodukts.31 Dies gilt selbst dann, wenn eine Einrichtung des Gesundheitswesens Software für allgemeine Zwecke oder im Zusammenhang mit einem Medizinprodukt einsetzt.32 Als Medizinprodukt gilt solche Software, die eine eigene medizinische Zweckbestimmung hat, unabhängig davon, ob die Software eigenständig ist oder ein

23

Art. 2 Nr. 1 MDR. Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 16. Die Unterscheidung zwischen Standalone-Software und Embedded Software wirkt sich zwar nicht auf die Eigenschaft als Medizinprodukt aus. Sie wird aber im Rahmen der CE-Konformität relevant. Siehe hierzu Kap. C. V. 3. 25 Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 16. 26 Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 16. 27 Oen, MPR 2009, 55, 55. 28 Handorn, Medizinprodukte-Verordnung, S. 25. 29 Egrd. 19 MDR. 30 Egrd. 19 MDR. 31 Egrd. 19 MDR; Handorn, Medizinprodukte-Verordnung, S. 28. Beispiele für Software, die kein Medizinprodukt ist: Software die nur zur Speicherung, Archivierung, Kommunikation oder zur einfachen Suche von Daten dient, Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 9. Hierzu auch v. Zezschwitz, MedR 2020, 196, 198. 32 Egrd. 19 MDR; Handorn, Medizinprodukte-Verordnung, S. 28; vgl. Gassner, Medizinprodukte-Verordnung, S. 28. 24

28

B. Die (neue) EU-Medizinprodukteverordnung

(Hardware-)Medizinprodukt steuert oder beeinflusst.33 Software, die keinen eigenen medizinischen Zweck hat, aber eine medizinische Hardware steuert, kann entweder integraler Bestandteil eines Medizinprodukts (Embedded Software) oder ein Zubehör eines Medizinprodukt sein.34 Als Zubehör eines Medizinprodukts i. S. d. Art. 2 Nr. 2 MDR gilt Software, die die Hardware eines Medizinprodukts steuert oder beeinflusst, selbst aber keinen eigenen medizinischen Zweck verfolgt und nicht schon als Teil einer MedizinprodukteHardware (Embedded Software) zu qualifizieren ist.35

III. Zwischenergebnis Mit Blick auf intelligente Medizinprodukte ergibt sich daraus Folgendes: Intelligente Medizinprodukte werden vom Hersteller zur Diagnose, Behandlung oder Linderung von Krankheiten oder Verletzungen entwickelt und hergestellt, sodass der Hersteller solcher Produkte einen medizinischen Zweck verfolgt und somit ein Medizinprodukt i. S. v. Art. 2 Nr. 1 MDR vorliegt. Ob die Software oder die Hardware des intelligenten Medizinprodukts als Medizinprodukt i. S. d. Art. 2 Nr. 1 MDR einzuordnen ist, hängt davon ab, ob der Hersteller mit der Soft-/Hardware einen (eigenständigen) medizinischen Zweck verfolgt. Wenn die Hardware und die Software jeweils für sich allein einen medizinischen Zweck erfüllen, sind sie beide jeweils als Medizinprodukt zu qualifizieren. Ist die Software hingegen dazu bestimmt, die medizinische Funktion des (Hardware-)Medizinprodukts gezielt und unmittelbar zu unterstützen, ohne dabei selbst einen medizinischen Zweck zu verfolgen, liegt ein Zubehör zu einem Medizinprodukt i. S. d. Art. 2 Nr. 2 MDR vor. Letztlich ist die Einordnung von Software als Medizinprodukt oder als Zubehör eines Medizinprodukts nicht entscheidend. Gem. Art. 1 Abs. 4 MDR werden Medizinprodukte und ihr Zubehör als „Produkte“ bezeichnet, sodass alle Vorschriften der MDR, die den Begriff „Produkt“ verwenden, auch für Zubehör gelten.36

33

Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 6, 7. Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 8. 35 Handorn, Medizinprodukte-Verordnung, S. 28; Reinsch, „Software als Medizinprodukt“ vom 16. 9. 2022; Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 8. 36 Das bedeutet, dass auch Zubehör eine CE-Kennzeichnung benötigt. Allerdings wird Steuerungssoftware oder Software, die die Anwendung eines Produkts beeinflusst, derselben Klasse zugerechnet wie das Produkt. Nur unabhängige Software wird für sich allein klassifiziert, Art. 20 Abs. 1, Anhang VIII Ziffer 3.3 MDR. 34

C. Die Haftung des Herstellers von intelligenten Medizinprodukten Haftungsansprüche für Schäden, die der Patient infolge des Einsatzes eines intelligenten Medizinprodukts erlitten hat, könnten zunächst gegen den Hersteller der intelligenten Medizinprodukte geltend gemacht werden. Weder die MDR noch das MPDG enthalten eigene Haftungsvorschriften. Art. 10 Abs. 16 UAbs. 1 MDR bestimmt, dass für einen Schaden, der durch ein fehlerhaftes Produkt verursacht wurde, Schadensersatz nach dem geltenden Unionsrecht und dem geltenden nationalen Recht verlangt werden kann. Etwaige Schadensersatzansprüche ergeben sich folglich aus dem Deliktsrecht und dem ProdHaftG. Etwaige vertragliche Ansprüche bestehen mangels vertraglicher Beziehungen zwischen dem Hersteller und dem geschädigten Patienten nicht. Daher könnte darüber nachgedacht werden, den Patienten in den Schutzbereich des Vertrags zwischen Hersteller und Anwender (Arzt oder Krankenhausträger) im Wege des Vertrages mit Schutzwirkung zugunsten Dritter einzubeziehen. Dies wird in der Regel an zweierlei Punkten scheitern: Zum einen sind die Einbeziehungsvoraussetzungen nicht gegeben, da der potenziell einzubeziehende Patientenkreis unüberschaubar ist und für den Verkäufer (Hersteller) ein nicht vorhersehbares Haftungsrisiko darstellen würde.1 Zum anderen ist ein Schadensersatzanspruch auf Grundlage eines Vertrages mit Schutzwirkung zugunsten Dritter subsidiär gegenüber eigenen vertraglichen Ansprüchen des Geschädigten. Dies ist dann der Fall, wenn der Patient einen vertraglichen Schadensersatzanspruch aus dem Behandlungsvertrag geltend machen kann, worauf später noch näher eingegangen wird.2 Ein Vertrag mit Schutzwirkung zugunsten Dritter soll nicht näher behandelt werden. Etwaige Ansprüche gegen den Bevollmächtigten (Art. 11 Abs. 5 MDR) sind nicht Gegenstand der Arbeit. Im Folgenden werden zunächst die Grundzüge der deliktischen Produzentenhaftung nach § 823 Abs. 1 BGB (nachfolgend unter I.) und der Produkthaftung nach § 1 Abs. 1 S. 1 ProdHaftG (nachfolgend unter II.) dargestellt. Anschließend wird die Produkteigenschaft eines intelligenten Medizinprodukts erörtert, insbesondere im Hinblick auf KI-Software, die nicht auf einem Datenträger verkörpert ist (Standalone-Software, nachfolgend unter III.). Schließlich werden die Haftungssubjekte eines etwaigen Schadensersatzanspruches dargestellt (nachfolgend unter IV.) und die 1 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 239. 2 Mühlböck/Taupitz, AcP 221 (2021), 179, 193.

30

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Sicherheitserwartungen an intelligente Medizinprodukte herausgearbeitet (nachfolgend unter V.). Die Pflichten des Herstellers bis zum Inverkehrbringen des intelligenten Medizinprodukts (nachfolgend unter VI.) sind zu unterscheiden von den Pflichten nach dem Inverkehrbringen (nachfolgend unter VII.). Anschließend werden die haftungsbegründende Kausalität (nachfolgend unter VIII.), das Verschulden des Medizinprodukteherstellers (nachfolgend unter IX.) und die Beweislast (nachfolgend unter X.) näher beleuchtet. Schließlich wird auf einen Schadensersatzanspruch nach § 823 Abs. 2 BGB i. V. m. einem Schutzgesetz (nachfolgend unter XI.) eingegangen.

I. Die deliktische Produzentenhaftung (§ 823 Abs. 1 BGB) Eine Haftung des Medizinprodukteherstellers für Schäden (insbesondere Körperoder Gesundheitsschäden3) durch den Einsatz von KI-basierten Medizinprodukten könnte sich zunächst auf Grundlage des § 823 Abs. 1 BGB nach den Grundsätzen der Produzentenhaftung ergeben. Sie gelangt neben der Haftung nach dem ProdHaftG zur Anwendung (§ 15 Abs. 2 ProdHaftG). Bei der deliktischen Produzentenhaftung handelt es sich um eine spezielle Ausformung und Weiterentwicklung der allgemeinen Verkehrssicherungspflicht durch die Rechtsprechung.4 Als Verschuldenshaftung knüpft sie an die schuldhafte Verletzung von Sorgfaltspflichten des Herstellers an, die darin besteht, dass er fehlerhafte Produkte in den Verkehr bringt.5 In der Rechtsprechung und der Literatur haben sich allgemein anerkannte Fallgruppen herausgebildet, die die verschiedenen Sicherungspflichten des Herstellers beschreiben.6 Die Sorgfaltspflichten des Herstellers werden in die vor dem Zeitpunkt des Inverkehrbringens des Produkts bezogenen Konstruktions-, Fabrikations- und Instruktionspflichten sowie die über den Zeitpunkt des Inverkehrbringens hinausgehende Produktbeobachtungspflicht unterteilt.7 Die deliktische Produzentenhaftung weist viele Parallelen zur Produkthaftung nach dem ProdHaftG auf. Der wesentliche Unterschied zur Produkthaftung nach dem 3 Überwiegend wird die Körperverletzung betrachtet als ein Eingriff in die körperliche Integrität einschließlich der Zufügung von Schmerzen. Die Verletzung der Gesundheit bezieht sich auf das Funktionieren der inneren Lebensvorgänge, Staudinger/Hager, § 823 BGB Rn. B 5 ff.; MüKo-BGB/Wagner, § 823 BGB Rn. 204. Eine Abgrenzung der beiden Rechtsgüter Körper und Gesundheit ist aber praktisch bedeutungslos, da sich dies weder auf die Haftungsvoraussetzungen noch auf den Haftungsumfang auswirkt, vgl. MüKo-BGB/Wagner, § 823 BGB Rn. 204. 4 Staudinger/Hager, § 823 BGB Rn. F 2; Rockstroh/Kunkel, MMR 2017, 77, 79; BeckOK/ Förster, § 823 BGB Rn. 677; vgl. BGH, NJW 2009, 1080. 5 Staudinger/Hager, § 823 BGB Rn. F 2; BeckOK/Förster, § 823 BGB Rn. 703; OLG Hamm, NJW-RR 2011, 983, 983; MüKo-BGB/Wagner, § 823 BGB Rn. 456, 460. 6 Staudinger/Hager, § 823 BGB Rn. F 11; BeckOK/Förster, § 823 BGB Rn. 703. 7 BGH, NJW 2009, 2952, 2953.

II. Die Produkthaftung (§ 1 Abs. 1 S. 1 ProdHaftG)

31

ProdHaftG besteht darin, dass den Hersteller über den Zeitpunkt des Inverkehrbringens hinaus eine Produktbeobachtungspflicht trifft und ein Verschulden des Herstellers vorliegen muss. In der Rechtsanwendung führt das für das Deliktsrecht erforderliche Verschuldenserfordernis regelmäßig nicht zu unterschiedlichen Ergebnissen, da sich der Fahrlässigkeitsbegriff des § 276 Abs. 2 BGB in dem Fehlerbegriff des ProdHaftG widerspiegelt.8 Darüber hinaus gewährt die Haftung nach § 823 Abs. 1 BGB auch Ersatz bei gewerblich genutzten Sachen und die Haftung ist nicht in der Höhe beschränkt (§§ 10 f. ProdHaftG).9

II. Die Produkthaftung (§ 1 Abs. 1 S. 1 ProdHaftG) Neben der deliktischen Haftung des Medizinprodukteherstellers kommt eine Haftung nach dem ProdHaftG in Betracht. Die spezialgesetzliche Produkthaftung des Herstellers nach dem ProdHaftG10 beruht auf der Umsetzung der Produkthaftungsrichtlinie RL 85/374/EWG11 und ist am 1. Januar 1990 in Kraft getreten.12 Die Anspruchsgrundlage bildet § 1 Abs. 1 S. 1 ProdHaftG. Sie normiert eine Haftung des Herstellers für Sach- und Personenschäden, die durch ein fehlerhaftes Produkt verursacht wurden. Voraussetzung für eine Haftung des Medizinproduktherstellers ist, dass der Schaden des Patienten auf einem Fehler des intelligenten Medizinprodukts beruht (§ 1 Abs. 1 S. 1 ProdHaftG). In der Literatur ist umstritten, ob die Produkthaftung Ausdruck einer Verschuldens- oder Gefährdungshaftung ist.13 Erwägungsgrund 2 ProdHaft-RL betont, dass es sich um eine verschuldensunabhängige Ersatzpflicht handle. Nach § 1 Abs. 1 ProdHaftG haftet der Hersteller dem Geschädigten ohne Weiteres, wenn durch den Fehler des von ihm in Verkehr gebrachten Produkts ein Rechtsgut eines Dritten verletzt worden ist. Abgestellt wird folglich auf den Produktfehler und nicht auf ein

8 Wagner, AcP 217 (2017), 707, 712; Ringlage, Haftungskonzepte für autonomes Fahren, S. 102. 9 Staudinger/Hager, § 823 BGB Rn. F 5. 10 Im Folgenden „ProdHaftG“. 11 RL 85/374/EWG des Rates vom 25. 7. 1985 zur Angleichung der Rechts- und Verwaltungsvorschriften der Mitgliedsstaaten über die Haftung für fehlerhafte Produkte (ABl. l 210 vom 7. 8. 1985, S. 29 – 33), zuletzt geändert durch Art. 1 RL 1999/34/EG des Europäischen Parlaments und des Rates vom 10. Mai 1999 zur Änderung der Richtlinie 85/374/EWG des Rates zur Angleichung der Rechts- und Verwaltungsvorschriften der Mitgliedsstaaten über die Haftung für fehlerhafte Produkte (ABl. l 141 vom 4. 6. 1999, S. 20). Im Folgenden „ProdHaftRL“. 12 § 19 ProdHaftG. 13 Ausführlich zum Streitstand Staudinger/Oechsler, Einl. ProdHaftG Rn. 27 ff.; BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 18 ff.; MüKo-BGB/Wagner, Einl. ProdHaftG Rn. 18.

32

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

individuelles Fehlverhalten des Herstellers.14 Für eine solche Einordnung spricht auch die Haftung des Herstellers für Fabrikationsfehler (eine Abweichung des Produkts von der Konstruktion des Herstellers), bei welchen es auf ein Verschulden des Herstellers nicht ankommt.15 Auf der anderen Seite ist der Fehlerbegriff des ProdHaftG, insbesondere der Konstruktions- und Instruktionsfehler und die Entlastung von diesen (vgl. § 1 Abs. 2 Nr. 5 ProdHaftG), anhand von verhaltensbezogenen Sorgfaltspflichten zu bestimmen und steht dem objektiven Fahrlässigkeitsbegriff sehr nahe.16 Damit „verschlüsselt“ der Fehlerbegriff einzelne Verhaltenspflichten des Herstellers.17 Richtigerweise ist die Haftung nach dem ProdHaftG – wie Wagner zum Ausdruck bringt – eine „Kombination aus Elementen der Verschuldens- und strikten Haftung, wobei die Verschuldenshaftung klar dominiert“.18 Die Frage nach der Fehlerhaftigkeit eines Produkts bemisst sich nach § 3 ProdHaftG anhand der berechtigten Sicherheitserwartungen und daher letztlich danach, ob der Hersteller die ihm obliegenden Sorgfaltspflichten bei der Herstellung des Produkts eingehalten hat.19

III. Produkteigenschaft eines intelligenten Medizinprodukts Für einen Schadensersatzanspruch nach dem ProdHaftG ist die Frage entscheidend, ob KI-Software als „Produkt“ anzusehen ist. § 1 Abs. 1 ProdHaftG spricht von „Fehler eines Produkts“. Zur Begriffsbestimmung „Produkt“ ist § 2 ProdHaftG heranzuziehen. Dieser bestimmt, dass ein Produkt jede bewegliche Sache ist, auch wenn diese einen Teil einer anderen beweglichen oder unbeweglichen Sache bildet, sowie Elektrizität. Hinsichtlich der Bestimmung des Begriffs „Sache“ wird nach überwiegender Ansicht auf § 90 BGB zurückgegriffen, wonach eine Sache einen körperlichen Gegenstand meint.20 Darunter fallen zunächst die vom Hersteller

14

MüKo-BGB/Wagner, Einl. ProdHaftG Rn. 18. MüKo-BGB/Wagner, Einl. ProdHaftG Rn. 20. 16 Staudinger/Oechsler, Einl. ProdHaftG Rn. 37 ff.; MüKo-BGB/Wagner, Einl. ProdHaftG Rn. 19. 17 Staudinger/Oechsler, Einl. ProdHaftG Rn. 31. 18 MüKo-BGB/Wagner, Einl. ProdHaftG Rn. 23; im Ergebnis auch Staudinger/Oechsler, Einl. ProdHaftG Rn. 42. 19 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 44; vgl. BGH, NJW 2009, 2952, 2952 f. 20 Obwohl es wegen des Unionsrechts eigentlich einer autonomen Auslegung des Begriffs bedarf, ist ein Rückgriff auf § 90 BGB mangels weiterer Vorgaben in der ProdHaft-RL unerlässlich, Staudinger/Oechsler, § 2 ProdHaftG Rn. 11; MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 2. 15

III. Produkteigenschaft eines intelligenten Medizinprodukts

33

produzierten einzelnen Systemkomponenten sowie die Hardware-Bauteile.21 Nicht explizit erwähnt werden dagegen verkörperte geistige Leistungen, wozu auch Software gehört.22 Das Gesetz schweigt darüber, ob auch Software als Produkt i. S. d. § 2 ProdHaftG zu qualifizieren ist. Daher stellt sich die Frage, ob KI-basierte Medizinprodukte, insbesondere KI-Software, unter den Anwendungsbereich des Gesetzes fallen. KI-Software kann auf unterschiedliche Weise in der Medizin eingesetzt werden. KI-Software kann als eigenes Medizinprodukt in den Verkehr gebracht werden (Standalone-Software), sie kann ebenso in ein Medizinprodukt integriert werden (Embedded Software) oder Zubehör zu einem Medizinprodukt sein.23 Diese Kategorisierung ist auch für die Produkteigenschaft nach § 2 ProdHaftG entscheidend. Ist die KI-Software Teil des Medizinprodukts (Embedded Software), handelt es sich um ein Kombinationsprodukt aus Hard- und Software. Ob das intelligente Medizinprodukt unter den Produktbegriff des § 2 ProdHaftG zu fassen ist, beurteilt sich nicht nach den einzelnen Teilkomponenten, sondern nach dem Medizinprodukt in seiner Gesamtheit, das vom Hersteller in den Verkehr gebracht wird.24 Das intelligente Medizinprodukt als Endprodukt ist nach überwiegender Ansicht unproblematisch als Produkt i. S. d. § 2 ProdHaftG anzusehen. Denn die KI-Software, die Teil des Medizinprodukts ist, teilt die Körperlichkeit der Hardware und wird deshalb als bewegliche Sache angesehen.25 Problematischer ist hingegen die Einordnung von KI-Software, die nicht auf einem Datenträger verkörpert ist (Standalone-Software)26 und allein aufgrund ihres Inhalts einen Schaden verursachen kann. Hierbei überschneiden sich Produkt und Dienstleistung, letztere wird hingegen nicht vom ProdHaftG erfasst.27 21 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 21; Mühlböck/Taupitz, AcP 221 (2021), 179, 188. 22 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 184; MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 22. 23 Siehe hierzu Kap. B. II. Mühlböck/Taupitz, AcP 211 (2021), 179, 187; Reinsch, „Software als Medizinprodukt – Software as Medical Device“ vom 1. 9. 2022. 24 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 210; Wagner, AcP 217 (2017), 707, 715 bezogen auf autonome Fahrzeuge. Dies lässt sich aber gleichfalls auf Medizinprodukte übertragen. 25 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 21 f.; Mühlböck/Taupitz, AcP 211 (2021), 179, 189; ausführlich zur Embedded Software siehe Wagner, AcP 217 (2017), 707, 714 f. Diese Konstellation weist eine gewisse Parallele zu den Fällen auf, in denen die Software auf einem Speichermedium verkörpert ist. Hier wird vertreten, dass es sich um eine bewegliche Sache und damit um ein Produkt i. S. d. § 2 ProdHaftG handelt, BGH, NJW 1988, 406, 408; BGH, NJW-RR 1986, 219, 219 f.; BGH, NJW 1990, 320, 321; BGH, NJW 1993, 2436, 2437 f.; BGH, NJW 1997, 2043; BGH, MMR 2007, 243, 244; BGH, NJW 2007, 2394; Jakobs/Huber, MPR 2019, 1, 2 ff.; MüKo-BGB/ Wagner, § 2 ProdHaftG Rn. 6; Cahn, NJW 1996, 2899, 2901. 26 Beispielsweise wird die KI-Software über eine Cloud in den Verkehr gebracht. 27 EuGH, Urt. v. 10. 6. 2021 – C-65/20 –, NJW 2021, 2015; EuGH, Urt. v. 21. 12. 2011 – C-495/10 –, NJW 2012, 754; Ministerium der Justiz des Landes Nordrhein-Westfalen, Ar-

34

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Mit Blick auf den vom ProdHaftG verfolgten Verbraucherschutz sollte das ProdHaftG auch auf datenträgerlose Software und damit auch auf KI-basierte Software Anwendung finden.28 Von verkörperter Software und von StandaloneSoftware geht ein nahezu identisches Gefahrenpotenzial für den Nutzer bzw. den Betroffenen aus.29 Der Patient ist in beiden Fällen einem autonomen System ausgesetzt, welches seine Gesundheit beeinträchtigen kann. Aus Sicht des Patienten ist es hinsichtlich der vom intelligenten Medizinprodukt ausgehenden Gefahren unerheblich, ob die fehlerhafte KI-Software von Anfang an in dem Medizinprodukt integriert ist oder erst noch installiert werden muss.30 Dem Patienten nur im ersteren Falle einen Schadensersatzanspruch nach dem ProdHaftG einzuräumen, im zweiten Fall hingegen nicht, erscheint nicht sachgerecht.31 Letztlich soll der Hersteller von KI-Software in beiden Fällen dazu angehalten werden, ein sicheres Medizinprodukt herzustellen und die Software in Übereinstimmung mit den geltenden Sicherheitsstandards zu entwickeln und in den Verkehr zu bringen.32 Zur Beantwortung der Frage, ob Software in den Anwendungsbereich des ProdHaftG fällt, könnte auf die MDR und die zuvor geltende Medizinprodukterichtlinie (bzw. das MPG aF) zurückgegriffen werden. Diese führen Software ausdrücklich als Medizinprodukt auf.33 Zu Recht wird deshalb diskutiert, ob diese rechtliche Einordnung auch auf das ProdHaftG übertragen werden kann und sollte.34 Für eine solche Übertragung spricht, dass Art. 10 Abs. 16 UAbs. 1 MDR hinsichtlich der Haftung auf das „geltende Unionsrecht“ verweist und damit Bezug auf die beitsgruppe „Digitaler Neustart“, S. 184. Zum Streitstand: MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 21 ff.; Taeger, Außervertragliche Haftung für fehlerhafte Computerprogramme, S. 123 ff.; BeckOGK-ProdHaftG/Rebin, § 2 ProdHaftG Rn. 49 ff.; Staudinger/Oechsler, § 2 ProdHaftG Rn. 11 ff. m. w. N. Die neue Richtlinie für digitale Inhalte (Richtlinie (EU) 2019/ 770 des Europäischen Parlaments und des Rates vom 20. Mai 2019 über bestimmte vertragsrechtliche Aspekte der Bereitstellung digitaler Inhalte und digitaler Dienstleistungen, ABl. l 136 vom 22. 5. 2019, S. 1, ber. ABl. l 305 vom 26. 11. 2019, S. 62) ändert daran nichts, da sich der Schadensersatzanspruch nach dem nationalen Recht bestimmt, siehe Art. 3 Abs. 10 RL 2019/770/EU. 28 BeckOGK-ProdHaftG/Rebin, § 2 ProdHaftG Rn. 53. 29 Vgl. Mühlböck/Taupitz, AcP 211 (2021), 179, 189. 30 Mühlböck/Taupitz, AcP 211 (2021), 179, 189; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 210; Wiebe, NJW 2019, 625, 626; vgl. Meier/Wehlau, CR 1990, 95, 99; vgl. Heymann, CR 1990, 176, 177; vgl. BeckOK/ Förster, § 2 ProdHaftG Rn. 22 ff.; vgl. Wagner, AcP 217 (2017), 707, 718. 31 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 22 f.; Steege, NZV 2021, 6, 7 f.; vgl. Taeger, Außervertragliche Haftung für fehlerhafte Computerprogramme, S. 132 ff.; vgl. Meier/Wehlau, CR 1990, 95, 99; Heymann, CR 1990, 176, 177. 32 MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 25. 33 Art. 2 Nr. 1 MDR; Art. 1 Abs. 2 lit. a) Medizinprodukterichtlinie (RL 93/42/EWG) bzw. § 3 Abs. 1 MPG aF. 34 Wiebe, NJW 2019, 625, 626; Böck/Theurer, BB 2021, 520, 521; Frost/Kießling, MPR 2020, 178, 180.

III. Produkteigenschaft eines intelligenten Medizinprodukts

35

ProdHaft-RL nimmt. Der europäische Gesetzgeber geht daher davon aus, dass es sich bei Medizinproduktesoftware wie bei jedem anderen Medizinprodukt um ein „Produkt“ i. S. d. ProdHaftG handelt. Art. 2 der ProdHaft-RL und auch der gleichlautende § 2 ProdHaftG sollten deshalb im Lichte der MDR ausgelegt und Software sollte in den Anwendungsbereich des ProdHaftG einbezogen werden (unter Berücksichtigung des Harmonisierungsgedankens).35 Hiergegen wird mitunter argumentiert, dass aus der expliziten Aufführung von Software als Medizinprodukt auch der Gegenschluss gezogen werden könnte, dass Software gerade nicht als Produkt einzuordnen sei, sofern sie nicht ausdrücklich als solche ausgewiesen sei.36 Für diese Sichtweise spräche auch § 2 ProdHaftG, der Elektrizität (die keine Sachqualität aufweist) ausdrücklich nennt, nicht aber Software aufführt, welcher ebenfalls die Körperlichkeit fehlt.37 Dieser Umkehrschluss, dass unkörperliche Güter mit Ausnahme von Elektrizität nicht in den Anwendungsbereich des ProdHaftG fallen, ist nicht zwingend, weil die explizite Nennung von Elektrizität auch lediglich als Klarstellung verstanden werden kann, dass der Sachbegriff auch einer anderweitigen Auslegung zugänglich ist. Dass der Gesetzgeber Elektrizität und nicht Software als Klarstellung verwendet hat, liegt darin begründet, dass zum Zeitpunkt des Erlasses der Richtlinie in den 1980er Jahren Elektrizität als unkörperliches Gut vielfach industriell hergestellt und vertrieben wurde. Software hatte zu dieser Zeit keinen so hohen Stellenwert wie heute, sodass noch kein Bedürfnis für eine rechtliche Regelung bestand.38 Von KI und autonomen Systemen war man zu dieser Zeit noch weit entfernt.39 Mittlerweile hat sich die Sachlage allerdings geändert: Nun ist es Software, die industriell und massenhaft hergestellt wird.40 Deshalb verwundert es nicht, dass die Europäische Kommission nun bei einer Änderung der ProdHaft-RL neben Elektrizität auch die unserem Informationszeitalter typische Software ausdrücklich aufzählt.41 Anders als im ProdHaftG gibt es im Rahmen des § 823 Abs. 1 BGB keine dem § 3 ProdHaftG vergleichbare Definition des „Produkts“. Der Anwendungsbereich des § 823 Abs. 1 BGB ist hinsichtlich der geschützten Rechtsgüter weiter als derjenige 35

MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 24; Handorn/Juknat, MPR 2022, 77, 85. Wiebe, NJW 2019, 625, 626. 37 Wiebe, NJW 2019, 625, 626. 38 MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 27; BeckOK/Förster, § 2 ProdHaftG Rn. 24; Wagner, AcP 217 (2017), 707, 718. 39 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 22; Wagner, AcP 217 (2017), 707, 718; vgl. BeckOK/Förster, § 2 ProdHaftG Rn. 24; Spindler, in: FS Hart, 581, 600. 40 Egrd. 2 RL 85/374/EWG; MüKo-BGB/Wagner, § 2 ProdHaftG Rn. 27; vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 186; Spindler, in: FS Hart, 581, 601. 41 Art. 4 Abs. 1 des Vorschlags für eine Richtlinie des Europäischen Parlaments und des Rates über die Haftung für fehlerhafte Produkte vom 28. 9. 2022, COM(2022) 495 final. Im Folgenden „ProdHaftRL-E“. 36

36

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

des § 1 Abs. 1 ProdHaftG. § 823 Abs. 1 BGB knüpft anders als § 2 ProdHaftG nicht an eine bewegliche Sache an. Insofern unterliegt der deliktischen Produzentenhaftung nicht nur der Hersteller von beweglichen Sachen, sondern auch der Hersteller von Software oder der Erbringer von Dienstleistungen.42 Auf den oben aufgeworfenen Streit, ob Standalone-Software als bewegliche Sache einzuordnen ist, kommt es hier nicht an. KI-Software und Software im Allgemeinen fallen unproblematisch in den Anwendungsbereich von § 823 Abs. 1 BGB, da die Verkörperung einer Sache nicht entscheidend ist.43 Führt die Verletzung einer Verkehrspflicht zu einem Schaden an den von § 823 Abs. 1 BGB geschützten Rechtsgütern, kommt sowohl eine Haftung des Herstellers des Gesamtprodukts (Endprodukt) „intelligentes Medizinprodukt“ in Betracht, als auch des Herstellers der KI-Software, der die Software dem Anwender auf einem Datenträger oder zur Nutzung „in der Cloud“ belässt.44 Zum jetzigen Zeitpunkt bleibt unbeantwortet, ob (KI-)Software ein Produkt i. S. d. ProdHaftG darstellt oder nicht. Deshalb ist es zu begrüßen, dass die Europäische Kommission in dem am 28. September 2022 veröffentlichten Entwurf zur Änderung der ProdHaft-RL eine Ausweitung des Begriffs „Produkt“ auf Software vorgeschlagen hat.45 In Art. 4 Abs. 1 ProdHaftRL-E wird die Definition des Produkts dahingehend geändert, dass der Begriff „Produkt“ neben Elektrizität auch digitale Produktionsdateien und Software umfasst. Nach Erwägungsgrund 12 ProdHaftRL-E sollen KI-Systeme, unabhängig davon, ob sie auf einem Gerät gespeichert oder über Cloud-Technologien zugänglich sind, von der ProdHaftRL-E umfasst sein. Eine solche Klarstellung erscheint angemessen und sachgerecht, um die Haftungsfrage nach dem ProdHaftG nicht allein von der Auslegung des Begriffs „Produkt“ und dessen Verkörperung abhängig zu machen.46

IV. Haftungssubjekte Für eine Haftung nach dem ProdHaftG muss die in Anspruch genommene Person zunächst Hersteller i. S. d. Gesetzes sein. Nach § 4 Abs. 1 S. 1 ProdHaftG ist ins42 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 7; MüKo-BGB/Wagner, § 823 BGB Rn. 923; Sedlmaier/Krzic Bogotaj, NJW 2022, 2953, 2955. 43 Steege, NZV 2021, 6, 7. 44 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 7; vgl. Wagner, AcP 217 (2017), 707, 713 ff. 45 Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates über die Haftung für fehlerhafte Produkte vom 28. 9. 2022, COM(2022) 495 final. 46 Zur Präzisierung des Produktbegriffs, Europäische Kommission, Weißbuch zur KI vom 19. 2. 2020, COM(2020) 65 final, S. 16, 18; Europäische Kommission, Bericht über die Auswirkungen künstlicher Intelligenz des Internets, der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung vom 19. 2. 2020, COM(2020) 64 final, S. 17; gleichfalls Bundesregierung, Stellungnahme zum Weißbuch KI, S. 24 f.; so auch Frost/Kießling, MPR 2020, 178, 180; Spindler, in: FS Hart, 581, 601; v. Westphalen, ZIP 2019, 889, 890.

IV. Haftungssubjekte

37

besondere derjenige Hersteller, der das Endprodukt, einen Grundstoff oder ein Teilprodukt tatsächlich hergestellt hat. Auch der Betreiber oder Anwender eines Medizinprodukts kann Hersteller i. S. d. § 4 ProdHaftG sein. Dies ist dann der Fall, wenn er aus den vom Hersteller gelieferten Produkten ein neues Medizinprodukt herstellt und die Zweckbestimmung des ursprünglichen Medizinprodukts ändert.47 Hierbei erlangt § 4 Abs. 4 MPBetreibV besondere Relevanz: Verschiedene miteinander oder mit Zubehör, Software oder anderen Gegenständen verbundene Medizinprodukte dürfen nur betrieben und angewendet werden, wenn sie zur Anwendung in dieser Kombination und unter Berücksichtigung der Zweckbestimmung und der Sicherheit der Patienten, Anwender, Beschäftigten oder Dritten geeignet sind. Weicht der Betreiber oder Anwender, d. h. der anwendende Arzt, von der Zweckbestimmung des Herstellers ab, tritt anstelle der Haftung des Herstellers diejenige des Betreibers oder Anwenders ein und der geschädigte Patient kann nunmehr den Betreiber oder Anwender als „Hersteller“ nach dem ProdHaftG in Anspruch nehmen.48 § 4 Abs. 1 S. 1 Alt. 3 ProdHaftG erfasst auch den Teilprodukthersteller, sodass der geschädigte Patient sowohl den Hersteller des Endprodukts, d. h. denjenigen, der die Software und die Hardware als Endprodukt auf den Markt bringt, in Anspruch nehmen kann als auch den Hersteller der einzelnen Teilprodukte, d. h. jeweils der Hard- oder Software. Bei letzterem allerdings nur unter der Prämisse, dass KISoftware als Produkt i. S. d. § 2 ProdHaftG anzusehen ist. Bei Standalone-Software ist der Hersteller der Software zugleich der Endhersteller i. S. d. § 4 Abs. 1 Var. 1 ProdHaftG und damit der Haftungsadressat.49 Da der Anwendungsbereich des § 823 Abs. 1 BGB nicht auf bewegliche Sachen beschränkt ist, sondern sich auch auf Software und Dienstleistungen erstreckt, unterliegt nicht nur der Hersteller von Hardware, sondern auch der Hersteller der intelligenten Software der deliktsrechtlichen Produzentenhaftung. Dies gilt unabhängig davon, ob der Hersteller dem Arzt die Software auf einem Datenträger oder zur Nutzung in der Cloud zur Verfügung stellt.50 Sind für denselben Schaden mehrere Hersteller nebeneinander zum Schadensersatz verpflichtet, so haften sie als Gesamtschuldner. Der Umfang der Schadensersatzpflicht im Innenverhältnis hängt insbesondere davon ab, inwieweit der Schaden vorwiegend von dem einen oder dem anderen Teil verursacht worden ist; im Übrigen gelten die §§ 421 bis 425, § 426 Abs. 1 S. 2 und Abs. 2 BGB.51

47

Clausen/Schroeder-Printzen/Friedrich, MAH MedR, § 17 Rn. 347. Clausen/Schroeder-Printzen/Friedrich, MAH MedR, § 17 Rn. 347. Eine ähnliche Regelung ist auch in dem neuen ProduktHaftRL-E vorgesehen, Art. 7 Abs. 4 ProdHaftRL-E. 49 Vgl. Sommer, Haftung für autonome Systeme, S. 225. 50 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 6; Wagner, AcP 217 (2017), 707, 719 f. 51 Vgl. § 5 ProdHaftG. 48

38

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

V. Sicherheitserwartungen an intelligente Medizinprodukte Im Rahmen des Produkthaftungsrechts ist die Frage, ob ein Produkt gem. § 3 Abs. 1 ProdHaftG fehlerhaft ist, anhand der „berechtigten Sicherheitserwartungen“ zu beantworten. Es handelt sich um einen unbestimmten Rechtsbegriff, der unter Berücksichtigung aller Umstände auszulegen ist.52 Ausgehend vom Gesetzeswortlaut sind dafür insbesondere die Darbietung, der erwartbare Gebrauch und der Zeitpunkt des Inverkehrbringens in die einzelfallbezogene Betrachtung mit einzubeziehen (§ 3 Abs. 1 ProdHaftG).53 Die im Gesetz genannten Umstände sind aber nicht allein maßgeblich und im Einzelfall zu ergänzen.54 Bei der deliktischen Haftung kommt es dagegen auf die Verletzung einer Verkehrssicherungspflicht an. Allerdings beurteilt sich die Verletzung einer Verkehrspflicht nach denselben objektiven Maßstäben wie die berechtigten Sicherheitserwartungen gem. § 3 Abs. 1 ProdHaftG. Die berechtigten Sicherheitserwartungen zum Zeitpunkt des Inverkehrbringens sind nach § 3 Abs. 1 ProdHaftG nicht nur für die Produkthaftung relevant, sondern auch für die deliktische Produzentenhaftung nach § 823 Abs. 1 BGB entscheidend.55 Nach der Gesetzesbegründung entsprechen der produkthaftungsrechtliche Fehlerbegriff und der deliktische Fehlerbegriff einander.56 Auch nach Ansicht des BGH beurteilen sich die nach § 3 Abs. 1 ProdHaftG maßgeblichen Sicherheitserwartungen grundsätzlich nach denselben objektiven Maßstäben wie die Verkehrspflichten des Herstellers im Rahmen der Produzentenhaftung gem. § 823 Abs. 1 BGB.57 Ein 52

BeckOK/Förster, § 3 ProdHaftG Rn. 7. Die Kommission schlägt in dem neuen ProdHaftRL-E eine Präzisierung der Definition des Begriffs „Fehlerhaftigkeit“ vor. Bei der Feststellung der Fehlerhaftigkeit sollen künftig neben den bisherigen Kriterien auch weitere Umstände berücksichtigt werden: Ob das Produkt in der Lage ist, weiter zu lernen, nachdem es auf den Markt gebracht wurde (hiermit gemeint sind also selbstlernende KI-Systeme); die Auswirkungen anderer Produkte auf das Produkt, die voraussichtlich zusammen mit dem Produkt verwendet werden; der Zeitpunkt, zu dem das Produkt in Verkehr gebracht oder in Betrieb genommen wurde, oder, wenn der Hersteller die Kontrolle über das Produkt nach diesem Zeitpunkt behält, der Zeitpunkt, zu dem das Produkt die Kontrolle des Herstellers verlassen hat; Produktsicherheitsanforderungen einschließlich Cybersicherheitsanforderungen; ob bereits früher ein Produktsicherheitsproblem aufgetreten ist, bei dem eine Regulierungsbehörde oder ein Wirtschaftsbeteiligter eingegriffen hat und die Erwartung des Endnutzers des Produkts, für den es bestimmt ist, Art. 6 Abs. 1 lit. c) bis h) ProdHaftRL-E. Eine solche Klarstellung scheint angesichts der neuartigen Risiken im Zusammenhang mit KI-Systemen angemessen. Gleichwohl sind diese Umstände von den Gerichten im Einzelfall auszulegen. Abzuwarten bleibt, wie eine solche Auslegung in der Praxis erfolgt, denn diese Anforderungen befinden sich gerade erst in der Entwicklung. 54 BT-DRS. 11/2447, S. 18. 55 Steege, NZV 2021, 6, 9; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 3, § 823 BGB Rn. 954 ff. 56 BT-DRS. 11/2447, S. 17 f.; BeckOK/Förster, § 3 ProdHaftG Rn. 6; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 3. 57 BGH, NJW 2009, 2952, 2953; BGH, NJW 2009, 1669, 1670. 53

V. Sicherheitserwartungen an intelligente Medizinprodukte

39

dogmatischer Unterschied ergibt sich daraus, dass der für die Haftung nach dem ProdHaftG erforderliche Fehler im Rahmen des § 823 Abs. 1 BGB kein Tatbestandsmerkmal ist, sondern für die Verteilung der Beweislast von Bedeutung ist.58 Die deliktische Produzentenhaftung setzt eine Verkehrspflichtverletzung des Herstellers voraus, die der Geschädigte zu beweisen hat. Ein solcher Beweis wird ihm aufgrund fehlender Einblicke in den Einfluss- und Herrschaftsbereich des Herstellers in der Regel nicht gelingen.59 Kann der Geschädigte aber einen Produktfehler nachweisen, dann führt die Beweislastverteilung dazu, dass sich der Hersteller damit entlasten muss, dass er seine Sorgfaltspflichten eingehalten hat.60 Die Haftung des Herstellers nach § 823 Abs. 1 BGB setzt die Verletzung einer herstellerspezifischen Verkehrspflicht voraus, wobei der deliktsrechtliche Fehlerbegriff lediglich die dem Hersteller obliegenden deliktischen Sorgfaltspflichten „verschlüsselt“.61 Mangelnde Sicherheitsmaßnahmen, die eine Verkehrspflichtverletzung i. S. v. § 823 Abs. 1 BGB auslösen, entsprechen ebenfalls nicht den berechtigten Sicherheitserwartungen i. S. d. § 3 ProdHaftG.62 Demzufolge erfolgt die Beurteilung der deliktischen Verkehrspflichten des Herstellers nach § 823 Abs. 1 BGB und die Ermittlung des Produktfehlers gem. § 3 ProdHaftG nach denselben objektiven Maßstäben.63 Die Sicherheitserwartungen werden sowohl im Rahmen von § 823 Abs. 1 BGB als auch im Hinblick auf den produkthaftungsrechtlichen Fehlerbegriff nicht anhand von subjektiven Sicherheitserwartungen des jeweiligen Benutzers bestimmt, sondern danach, ob das Produkt nach objektiven Maßstäben diejenige Sicherheit bietet, die die in dem entsprechenden Bereich herrschende Verkehrsauffassung für erforderlich hält64 (nachfolgend unter 1.). Darüber hinaus stellt sich die Frage, anhand welchem Vergleichsmaßstab die Sorgfaltsanforderungen zu messen sind. Zu unterscheiden sind der anthropozentrische Sorgfaltsmaßstab und der systembezogene Sorgfaltsmaßstab (nachfolgend unter 2.). Schließlich hat die für Medizinprodukte erforderliche CE-Konformitätskennzeichnung Einfluss auf die berechtigten Sicherheitserwartungen (nachfolgend unter 3.).

58

BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 11; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 3. 59 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 11. 60 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 11; hierzu grundlegend BGH, NJW 1969, 269, 274 f. 61 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 3; Staudinger/Oechsler, § 3 ProdHaftG Rn. 12. 62 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 3; Staudinger/Oechsler, § 3 ProdHaftG Rn. 13. 63 BGH, NJW 2009, 2952, 2953; BGH, NJW 2009, 1669, 1670. 64 BGH, NJW 2009, 2952, 2953; BGH, NJW 2009, 1669, 1670; BT-DRS. 11/2447, S. 18; BeckOK/Förster, § 823 BGB Rn. 691.

40

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

1. Adressatenkreis Der Hersteller hat seine Sicherheitsaufwendungen an den Erwartungen des entsprechenden Verkehrskreises auszurichten.65 In der Literatur wird zum einen auf die Erwartungen der Allgemeinheit und zum anderen auf die berechtigten Erwartungen des verständigen Produktnutzers abgestellt.66 Inhaltliche Unterschiede ergeben sich trotz der verschiedenen Formulierungen nicht: Entscheidend für die berechtigten Sicherheitserwartungen ist eine Gesamtschau unter Berücksichtigung der typischerweise mit dem Produkt in Berührung kommenden Personenkreise, deren Kenntnisse und Fähigkeiten.67 So sind auch nach dem EuGH für die Bestimmung der berechtigten Sicherheitserwartungen neben dem Verwendungszweck und der objektiven Merkmale und Eigenschaften des in Rede stehenden Produkts, die „Besonderheiten der Benutzergruppe, für die es bestimmt ist“ ausschlaggebend.68 Der Sicherheitsstandard variiert folglich abhängig von der Qualifikation, dem Kenntnisstand und den Fähigkeiten des jeweiligen Benutzers; mithin richtet sich dies nach dem Personenkreis an den sich der Hersteller mit seinem Produkt wendet.69 Bei intelligenten Medizinprodukten ist demnach nach dem Personenkreis zu unterscheiden an den sich der Hersteller mit seinem Produkt richtet. Höhere Sicherheitsstandards sind einzuhalten, wenn das Produkt für den Endverbraucher bestimmt ist.70 Medizinprodukte dürfen entsprechend § 4 Abs. 2 MPBetreibV nur von Personen betrieben oder angewendet werden, die die dafür erforderliche Ausbildung oder Kenntnis und Erfahrung besitzen. Intelligente Medizinprodukte im Bereich der Diagnostik und Therapie des Patienten (hierzu zählen beispielsweise Lasergeräte, Narkosegeräte oder Medizinprodukte zur Diagnose mit bildgebenden Verfahren nach dem Prinzip der Kernspinresonanz)71 werden ausschließlich von fachlichem Personal angewendet, sodass bestimmungsgemäßer Adressat dieser Produkte der behandelnde Arzt oder das entsprechend fachlich geschulte Klinikpersonal ist. Der Patient ist im Ergebnis der Endverbraucher und derjenige, der mit den Gefahren des Produkts bestimmungsgemäß in Berührung kommt. Allerdings übt dieser die Kontrolle über die Medizinprodukte nicht aus, sondern wird vor der Anwendung über 65

MüKo-BGB/Wagner, § 823 BGB Rn. 954. Siehe hierzu BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 15 m. w. N. 67 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 15; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 8. 68 EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163, 1164; bezugnehmend auf die EuGH-Entscheidung BGH, NJW 2015, 3096, 3097. 69 Jenke, Haftung für fehlerhafte Arzneimittel und Medizinprodukte, S. 160 f.; BeckOGKProdHaftG/Goehl, § 3 ProdHaftG Rn. 15; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 8; vgl. EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163, 1164; BeckOK/Förster, § 3 ProdHaftG Rn. 9. 70 BGH, NJW 2009, 1669, 1670; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 10; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 249; BeckOK/Förster, § 3 ProdHaftG Rn. 10. 71 Vgl. Anlage 1 MPBetreibV: „Nichtimplantierbare Medizinprodukte“. 66

V. Sicherheitserwartungen an intelligente Medizinprodukte

41

die Risiken des konkreten Produkts umfassend aufgeklärt. Der Medizinproduktehersteller kann deshalb bei der Konstruktion und der Instruktion seiner Produktnutzer das für die Benutzung erforderliche Fachwissen vom anwendenden Arzt voraussetzen.72 Wenn ein Produkt zwar nur an Fachleute vertrieben wird, es aber bestimmungsgemäß auch mit anderen Verkehrskreisen in Berührung kommt, dann muss das Produkt neben den Sicherheitserwartungen der Fachleute im jeweiligen Verkehrskreis auch die Sicherheit bieten, die vom durchschnittlichen Verkehrsteilnehmer erwartet wird.73 So liegt es auch bei intelligenten Medizinprodukten, die vom Arzt zur Diagnose und Therapie des Patienten eingesetzt werden. Da das intelligente Medizinprodukt zwar an Fachleute vertrieben wird, aber bestimmungsgemäß mit den Rechtsgütern des Patienten in Berührung kommt, muss das Produkt nicht nur den Sicherheitserwartungen der anwendenden Ärzte und des ärztlichen Personals entsprechen, sondern auch die Sicherheit bieten, die von einem durchschnittlichen Patienten erwartet wird. Bei rein stationär genutzten Medizinprodukten kommt es hinsichtlich der Darbietung und der Produktanwendung zu einer Überschneidung von Informationen des Herstellers und der behandelnden Ärzte. Die Sicherheitserwartung des durchschnittlichen Patienten wird bei rein stationär eingesetzten Medizinprodukten entscheidend durch die Beschreibung des Produkts durch die Ärzte beeinflusst und weniger durch die Produktinformation oder -darbietung des Herstellers. Die Gebrauchsanweisung des Produkts wird den Ärzten und Krankenhäusern überlassen, die den Patienten in der Folge über die Risiken des Produkts im Rahmen des Aufklärungsgesprächs aufzuklären haben.74 Das Maß der berechtigten Sicherheitserwartungen an intelligente Medizinprodukte hängt deshalb davon ab, welche Informationen der behandelnde Arzt dem Patienten erteilt und wie sicher und leistungsfähig er das autonome Medizinprodukt beschreibt und bewertet.

2. Vergleichsmaßstab Bei der Ermittlung, welches Mindestmaß an Sicherheit der Hersteller von intelligenten Medizinprodukten einzuhalten hat, stellt sich die Frage nach dem Vergleichsmaßstab, d. h. nach dem Maßstab, der die Bildung einer Erwartungshaltung und damit die Beurteilung der Fehlerhaftigkeit des Produkts ermöglicht.75 72

Jenke, Haftung für fehlerhafte Arzneimittel und Medizinprodukte, S. 160 f.; vgl. BGH, NJW 1994, 932, 933; BeckOK/Förster, § 3 ProdHaftG Rn. 11; vgl. Taeger/Pohle/Littbarski, Computerrechts-Handbuch, Teil 180 Rn. 66. 73 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 23; Staudinger/Oechsler, § 3 ProdHaftG Rn. 27. 74 Koyuncu/D. Müller, MPR 2012, 158, 159, 161 mit Verweis auf OLG Frankfurt, Urt. v. 21. 6. 2012 – 22 U 89/10 – juriS. 75 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 240. Die Frage nach dem Vergleichsmaßstab wird auch im Rahmen einer Haftung nach § 823 Abs. 1 BGB relevant,

42

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

In der Literatur werden dazu unterschiedliche Ansätze vorgeschlagen. Zum einen besteht die Möglichkeit, den vom Medizinproduktehersteller einzuhaltenden Sorgfaltsmaßstab daran zu messen, wie ein Mensch statt der KI in der konkreten Situation gehandelt hätte, sog. anthropozentrischer Sorgfaltsmaßstab (menschliches Verhalten als Vergleichsmaßstab).76 Dies würde also bedeuten, dass der Hersteller das intelligente Medizinprodukt mindestens so konstruieren muss, dass es im konkreten Fall diejenige Sicherheit bietet, die ein Mensch (hier also der Arzt) einhalten würde, wenn er statt des Produkts gehandelt hätte.77 Alternativ wird ein systembezogener Sorgfaltsmaßstab vorgeschlagen, bei welchem auch bei KI-basierten Medizinprodukten auf das System als solches und nicht auf dessen Verhalten im konkreten Einzelfall abzustellen ist.78 Die Vertreter dieser Ansicht stellen also auf einen „optimalen“ Algorithmus ab und messen das schädigende System anhand der Leistung vergleichbarer Systeme.79 Es ist mithin danach zu fragen, ob ein vergleichbares System ebenfalls einen Schaden verursacht hätte.80 Die Konkretisierung dieses Maßstabs steht noch in der Schwebe, da die Anknüpfung an einen „optimalen“ Algorithmus aufgrund der permanenten Weiterentwicklung kaum möglich sein wird.81 Problematisch ist an diesem Maßstab zudem, dass der beste auf dem Markt befindliche KIAlgorithmus als Referenzmaßstab dienen würde, wodurch alle anderen KI-Systeme, die hinter diesem Maßstab zurückbleiben, als fehlerhaft zu qualifizieren wären.82 Ein solcher Vergleichsmaßstab überzeugt deshalb nicht. Letztlich ist der menschliche Referenzmaßstab der Mindeststandard, den die KI erfüllen muss. Es muss folglich zumindest der Sicherheitsstandard eingehalten werden, den ein Mensch in der gleichen Situation erfüllen würde.83 Da allerdings die KI im Bereich der Medizin voranschreiten wird, wird sich der Medizinproduktehersteller in Zukunft womöglich nicht mehr mit dem Argument um die Einhaltung der nach § 276 Abs. 2 BGB im Verkehr erforderlichen Sorgfalt des Herstellers zu bestimmen. 76 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 14; Wagner, AcP 217 (2017), 707, 733 ff.; v. Bodungen/Hoffmann, NZV 2016, 503, 504; Borges, CR 2016, 272, 275 f.; Gomille, JZ 2016, 76, 77, 82; Greger, NZV 2018, 1, 4; Schrader, DAR 2016, 242, 246. 77 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 14. 78 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 15; Wagner, AcP 217 (2017), 707, 736; Mühlböck/Taupitz, AcP 221 (2021), 179, 191; Zech, DJT 2020 Gutachten A, S. 69 f. 79 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 16; Mühlböck/Taupitz, AcP 221 (2021), 179, 191; Wagner, VersR 2020, 717, 728 ff. 80 Mühlböck/Taupitz, AcP 221 (2021), 179, 191; Wagner, AcP 217 (2017), 707, 736. 81 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 16. 82 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 243; Wagner, AcP 217 (2017), 707, 737. 83 Vgl. Schrader, DAR 2016, 242, 246; Mühlböck/Taupitz, AcP 221 (2021), 179, 190 f.

V. Sicherheitserwartungen an intelligente Medizinprodukte

43

entlasten können, dass das intelligente Medizinprodukt dem menschlichen Vergleichsmaßstab entsprechend gehandelt habe.84 Dies wird auch in der Literatur gegen den anthropozentrischen Maßstab eingewendet.85 Sinn und Zweck der KI ist es, das bestehende Sicherheitsniveau im Vergleich zum menschlichen Handeln zu steigern. Dementsprechend wird im Bereich des autonomen Fahrens argumentiert, dass die Sicherheitserwartungen an ein autonomes Fahrzeug nur dann erfüllt sind, wenn es sicherer ist als der menschliche Fahrer.86 Allerdings ist bei dieser Diskussion (anders als im Bereich des autonomen Fahrens) zu berücksichtigen, dass intelligente Medizinprodukte, wie an späterer Stelle noch erörtert wird, im medizinischen Bereich eine assistierende Funktion haben und den Arzt bei der Diagnostik oder Therapie nicht ersetzen. Insoweit kann hier zumindest so lange, wie eine substituierende Funktion der KI de lege lata abzulehnen ist, auf einen menschlichen Vergleichsmaßstab abgestellt werden, da der Einsatz des intelligenten Medizinprodukts einer menschlichen Kontrolle unterliegt und menschliches Handeln nicht ersetzt.87

3. Berechtigte Sicherheitserwartungen an die CE-Konformitätskennzeichnung Medizinprodukte dürfen gem. Art. 20 Abs. 1 MDR nur in Verkehr gebracht oder in Betrieb genommen werden, wenn das Medizinprodukt eine CE-Konformitätskennzeichnung trägt.88 Nach Art. 2 Nr. 43 MDR bezeichnet die CE-Konformitätskennzeichnung eine Kennzeichnung, durch die ein Hersteller angibt, dass ein Produkt den einschlägigen Anforderungen genügt, die in der MDR oder in anderen Rechtsvorschriften der Union über die Anbringung der betreffenden Kennzeichnung festgelegt sind. Der Hersteller bescheinigt also selbst, dass er bei der Herstellung seiner Produkte die gesetzlichen Vorschriften eingehalten hat.89 An dieser zunächst reinen Eigenerklärung des Herstellers wird kritisiert, dass die CE-Kennzeichnung keine verlässliche Aussage über die Qualität und Sicherheit des Produkts trifft, da die Aussage des Herstellers nicht von einer neutralen Stelle überprüft wird. Die CE-

84

Vgl. v. Bodungen/Hofmann, NZV 2016, 503, 504 f. Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 241; Wagner, AcP 217 (2017), 707, 733 ff. 86 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 241. 87 Vgl. Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 241. 88 Medizinprodukte, bis auf Sonderanfertigungen oder Prüfprodukte, müssen eine CEKonformitätskennzeichnung gem. Anhang V tragen, Art. 20 Abs. 1 MDR; Kollmann, GRUR 2004, 6, 11; Mayr/Thiermann u. a., Medizinprodukterecht, § 2 Rn. 11. 89 Vgl. Art. 19 Abs. 1 MDR. 85

44

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Kennzeichnung wird daher überwiegend nicht als Güte- oder Qualitätssiegel angesehen.90 Vor dem erstmaligen Inverkehrbringen eines Medizinprodukts muss der Hersteller gem. Art. 52 Abs. 1 MDR eine Bewertung der Konformität des betreffenden Produkts nach Maßgabe des jeweils einschlägigen Konformitätsbewertungsverfahrens durchführen. Die Konformitätsbewertung ist in Abschnitt 2 (Art. 52 bis 60 MDR) geregelt. Im Rahmen des EU-Konformitätsbewertungsverfahrens wird geprüft, ob ein Produkt den Voraussetzungen der MDR entspricht. Die Art des Konformitätsbewertungsverfahrens, insbesondere die Frage, ob eine Benannte Stelle als unabhängige Prüf- und Zertifizierungsstelle einzuschalten ist, ist abhängig von der Risikoklasse des Produkts, welche wiederum in Art. 51 MDR geregelt ist (nachfolgend unter a)).91 Wurde im Rahmen des anzuwendenden Konformitätsbewertungsverfahrens nachgewiesen, dass die geltenden Anforderungen erfüllt sind, erstellen die Hersteller eine EU-Konformitätserklärung gem. Art. 19 MDR und versehen die Produkte mit der CE-Kennzeichnung gem. Art. 20 MDR92 (nachfolgend unter b)). Schließlich ist der Medizinproduktehersteller dazu verpflichtet, ein Risikomanagement- und Qualitätsmanagementsystem einzurichten (nachfolgend unter c)). a) Klassifizierung von KI-basierter Medizinproduktesoftware Die MDR kennt 4 Risikoklassen (Art. 51 Abs. 1 MDR). Für die Einstufung in Klasse I, IIa, IIb und III werden die Zweckbestimmung und die mit dem Medizinprodukt verbundenen potenziellen Gesundheitsrisiken berücksichtigt.93 Hinter diesem Stufenkonzept steckt ein risikobasierter Ansatz: Das vom Medizinprodukt ausgehende Gesundheitsrisiko hängt davon ab, ob das Medizinprodukt am oder im menschlichen Körper verwendet wird sowie welche Anwendungsdauer und Anwendungsart (eingesetzte Technik) es hat.94 In Klasse I fallen Produkte mit geringem Risikopotenzial, während Klasse IIa Produkte mit mittlerem Risikopotenzial erfasst. 90 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 72 f.; Kollmann, GRUR 2004, 6, 11; Klindt/Wende, § 7 ProdSG Rn. 6; LG Stendal, Urt. v. 13. 11. 2008 – 31 O 50/08 –, juris. 91 Vgl. Art. 52 MDR; Mayr/Thiermann u. a., Medizinprodukterecht, § 2 Rn. 12, 78. Detaillierte Anforderungen hinsichtlich der unterschiedlichen Konformitätsbewertungsverfahren sind den Anhängen IX bis XI MDR zu entnehmen. Der Hersteller kann im Kern zwischen einer Zertifizierung des Qualitätsmanagementsystems (Anhang IX MDR), der Prüfung des Baumusters anhand der technischen Dokumentation (Anhang X MDR) und der Prüfung der Endprodukte in Verbindung mit einer Prüfung des Qualitätsmanagementsystems (Anhang XI MDR) wählen, v. Kielmansegg, MedR 2019, 933, 935. 92 Art. 10 Abs. 6 MDR. 93 Art. 51 Abs. 1 S. 1 MDR; vgl. auch Egrd. 58 MDR; Gassner, Medizinprodukte-Verordnung, S. 35. 94 Gassner, Medizinprodukte-Verordnung, S. 35.

V. Sicherheitserwartungen an intelligente Medizinprodukte

45

Produkte mit erhöhtem Risikopotenzial unterfallen Klasse IIb. Produkte mit besonders hohem Risikopotenzial werden der Klasse III zugeordnet.95 In welche Klasse das Medizinprodukt des Herstellers fällt, bestimmt Anhang VIII MDR.96 Kapitel I des Anhangs VIII MDR definiert die Klassifizierungsregeln, Kapitel II nennt die Durchführungsregeln für die Klassifizierung und Kapitel III enthält 22 Klassifizierungsregeln. Die für intelligente Medizinprodukte relevante Durchführungsvorschrift für Software ist in Anhang VIII Ziffer 3.3 MDR geregelt. Danach wird Software, die ein Produkt steuert oder dessen Anwendung beeinflusst, derselben Klasse zugerechnet wie das Medizinprodukt.97 Von anderen Produkten unabhängige Software wird für sich allein klassifiziert.98 Ist die Software integraler Bestandteil eines Medizinprodukts und wird als Einheit mit der Hardware in Verkehr gebracht, erhält die Software kein eigenständiges CEKennzeichen und für die KI-Software wird kein eigenständiges CE-Konformitätsbewertungsverfahren durchgeführt. Stattdessen erfolgt die Klassifizierung anhand des Medizinprodukts (Hardware). Die Konformität des (Hardware-)Medizinprodukts erstreckt sich sodann auch auf die integrierte KI-Software.99 Hingegen muss KI-Software, die ein eigenständiges Medizinprodukt ist und ein Produkt weder steuert oder dessen Anwendung beeinflusst, für sich klassifiziert werden und erhält ein CE-Kennzeichen im Wege eines eigenen Konformitätsbewertungsverfahrens. Für Standalone-Software ist zu berücksichtigen, dass sie als aktives Medizinprodukt gilt (Art. 2 Nr. 4 UAbs. 2 MDR) und damit Ziffer 6 „Aktive Medizinprodukte“ (Klassifizierungsregeln 9 bis 13) Anwendung findet.100 Für den Hersteller von intelligenten Medizinprodukten ist insbesondere Klassifizierungsregel 11 (Ziffer 6.3) des Anhangs VIII MDR maßgeblich. Regel 11 enthält erstmals eine eigene Klassifizierungsregel für Software.101 Ist Software dazu bestimmt, Informationen zu liefern, die zu Entscheidungen für diagnostische oder therapeutische Zwecke herangezogen werden, erfolgt eine Einstufung in Klasse IIa.102 Zu dieser Klasse gehört ferner Software, die für die Kontrolle von physiologischen Prozessen bestimmt ist.103 Betreffen diese Informationen Entscheidungen, die zu einer schwerwiegenden Verschlechterung des Gesundheitszustands 95

Gassner, Medizinprodukte-Verordnung, S. 35. Art. 51 Abs. 1 S. 2 MDR. 97 Anhang VIII Ziffer 3.3 UAbs. 1 MDR. 98 Anhang VIII Ziffer 3.3 UAbs. 2 MDR. 99 Oen, MPR 2009, 55, 55; Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 17. 100 Gassner, MPR 2016, 109, 111. 101 Mayr/Thiermann u. a., Medizinprodukterecht, § 2 Rn. 30; hierzu ausführlich Prütting/ Wolk, MedR 2020, 359, 362 ff. 102 Anhang VIII Ziffer 6.3 UAbs. 1 HS. 1 MDR. 103 Anhang VIII Ziffer 6.3 UAbs. 2 HS. 1 MDR. 96

46

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

einer Person oder einem chirurgischen Eingriff führen können, wird die Software als Klasse-IIb-Medizinprodukt eingestuft.104 In diese Klasse fällt zudem Software, die für die Kontrolle von vitalen physiologischen Parametern bestimmt ist, wobei die Art der Änderung dieser Parameter zu einer unmittelbaren Gefahr für den Patienten führen könnte.105 Der Klasse III wird nach der Regel 11 schließlich Software zugeordnet, die Informationen liefert, die zu Entscheidungen für diagnostische oder therapeutische Zwecke herangezogen werden, sofern diese Entscheidungen Auswirkungen haben, die den Tod oder eine irreversible Verschlechterung des Gesundheitszustands einer Person verursachen können.106 Sämtliche andere Software wird der Klasse I zugeordnet.107 Der Wortlaut von Regel 11 unterscheidet nicht zwischen unabhängiger (Standalone-Software) und integrierter Software (Embedded Software), sodass man daraus schließen könnte, dass jede Art von Software von Regel 11 erfasst wird.108 Aus den travaux préparatoires, den Vorarbeiten zur MDR, ergibt sich hingegen, dass Regel 11 nur unabhängige Software erfassen sollte.109 Gleichwohl ist Regel 11 nach der hierzu erlassenen (nicht verbindlichen) MDCG-Leitlinie nicht nur auf unabhängige Software, sondern auch auf Steuerungssoftware anzuwenden.110 Für KI-Software, die der ärztlichen Unterstützung dient, ergibt sich daher Folgendes: Die KI-Software wird eingesetzt, um ärztliche Entscheidungen zu beeinflussen oder zu steuern oder sonst medizinische Maßnahmen zu beeinflussen oder zu steuern. Sie wird jedenfalls für diagnostische oder therapeutische Entscheidungen 104

Anhang VIII Ziffer 6.3 UAbs. 1 HS. 2 Spiegelstrich 2 MDR. Anhang VIII Ziffer 6.3 UAbs. 2 HS. 2 MDR. 106 Anhang VIII Ziffer 6.3 UAbs. 1 HS. 2 Spiegelstrich 1 MDR. 107 Anhang VIII Ziffer 6.3 UAbs. 3 MDR. 108 Vgl. Gassner, MPR 2016, 109, 112. 109 Vgl. „Following the discussions in the CWP the presidency would like to propose a new classification rule to avoid misclassification of independent (hervorgehoben durch die Verfasserin) software“, Rat, Dok.-Nr. 9261/16 ADD 9, S. 15. 110 Vgl. Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S. 7: Die MDCG-Leitlinie definiert Medizinproduktesoftware als „software, that is intended to be used, […], for a purpose as specified in the definition of a ,medical device‘ in the MDR, regardless (hervorgehoben durch die Verfasserin) of whether the software is independent or driving or influencing the use of a device“, S. 7. Durch diesen Zusatz könnte geschlussfolgert werden, dass Regel 11 sowohl auf Standalone-Software als auch auf Steuerungssoftware Anwendung finden soll. Gleichwohl wird hiergegen eingewendet, dass zwar beide Varianten als Medizinprodukte qualifiziert werden, dies aber nicht zugleich die Anwendbarkeit von Regel 11 nach sich ziehe. Regel 11 sollte nur für Standalone-Software gelten, während sich die Klassifizierung von Steuerungssoftware nach dem beeinflussten Medizinprodukt – unabhängig von Regel 11 – bestimmt, siehe hierzu Gerhart, „MDR Regel 11: Der Klassifizierungs-Albtraum?“ vom 11. 10. 2021. So nun wohl auch die aktualisierte MDCG-Leitlinie: Medical Device Coordination Group (MDCG), MDCG 2021 – 24, S. 45, welche aber wiederum für weitere Informationen hinsichtlich der Qualifikation und Klassifizierung von Software auf ihre Vorgängerversion MDCG 2019 – 11 verweist; Gassner, Medizinprodukte-Verordnung, S. 36; Gassner/Schreiegg, MPR 2019, 198, 201. 105

V. Sicherheitserwartungen an intelligente Medizinprodukte

47

eingesetzt, sodass in jedem Fall mindestens eine Einstufung in Kategorie IIa erfolgt. Daraus ergibt sich gleichzeitig, dass eine Benannte Stelle an der CE-Zertifizierung mitwirken muss.111 b) EU-Konformitätserklärung Hersteller von Produkten der niedrigsten Risikoklasse I erstellen die technische Dokumentation gem. den Anhängen II und III MDR, womit zugleich der Nachweis der Konformität mit den grundlegenden Sicherheits- und Leistungsanforderungen in Anhang I MDR erbracht wird.112 Anschließend erstellt der Hersteller eine EUKonformitätserklärung gem. Art. 19 MDR.113 Eine Überprüfung der Konformitätserklärung des Herstellers durch eine neutrale Stelle findet nicht statt. Im Gegensatz dazu ist der Medizinproduktehersteller von Produkten einer höheren Risikoklasse verpflichtet, ein Konformitätsbewertungsverfahren unter Einbeziehung einer Konformitätsbewertungsstelle, der Benannten Stelle, durchführen zu lassen.114 Die Benannte Stelle ist eine unabhängige dritte Stelle, die Konformitätsbewertungstätigkeiten einschließlich Kalibrierungen, Prüfungen, Zertifizierungen und Kontrollen durchführt.115 Das Konformitätsbewertungsverfahren muss von der Benannten Stelle mit höchster beruflicher Zuverlässigkeit und der erforderlichen technischen und wissenschaftlichen Kompetenz in dem betreffenden Bereich durchgeführt werden.116 Die Mitwirkung der Benannten Stelle bei Medizinprodukten höherer Risikoklassen gewährleistet, dass die vom Hersteller getätigte Aussage, seine Produkte seien in Konformität mit den Regelungen der MDR und anderen europäischen Normen hergestellt worden, dieser Eigenerklärung auch tatsächlich entspricht.117 Die CE-Kennzeichnung von Produkten der Klassen IIa, IIb und III signalisiert daher, dass diese Produkte eine besondere Sicherheit und Qualität aufweisen. Dies impliziert, dass die Verkehrskreise von Produkten höherer Risikoklassen berechtigterweise erwarten können, dass das Produkt den geltenden grundlegenden Sicherheits- und Leistungsanforderungen entspricht.118 Entsprechend Anhang I Ziffer 1 MDR können die betroffenen Verkehrskreise, d. h. der das autonome Medizinprodukt anwendende Arzt und insbesondere auch der Patient, erwarten, dass das autonom agierende 111

Dettling, PharmR 2019, 633, 638. Mayr/Thiermann u. a., Medizinprodukterecht, § 2 Rn. 79. 113 Art. 52 Abs. 7 S. 1 MDR. Die EU-Konformitätserklärung besagt, dass die in der MDR genannten Anforderungen hinsichtlich des betreffenden Produkts erfüllt wurden, Art. 19 Abs. 1 MDR. 114 Art. 52 Abs. 3, 4, 6 MDR i. V. m. Anhang IX bis XI MDR. 115 Art. 2 Nr. 41 MDR; Anhang VII Ziffer 1.2.1 MDR. 116 Art. 53 Abs. 5 MDR. 117 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 74; vgl. VGH Hessen, PharmR 2017, 259, 260; Wrage-Molkenthin, MPR 2009, 43, 44 ff. 118 Art. 5 Abs. 2 MDR i. V. m. Anhang I MDR. 112

48

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Medizinprodukt die vom Hersteller vorgesehene Leistung erzielt, es sich unter normalen Verwendungsbedingungen für ihre Zweckbestimmung eignet und das intelligente Medizinprodukt sicher, wirksam und nicht gefährdend für die Sicherheit und Gesundheit von Anwender, Patient und Dritten ist. Etwaige Risiken im Zusammenhang mit der Anwendung des KI-basierten Medizinprodukts müssen gemessen am Nutzen für den Patienten vertretbar und mit einem hohen Maß an Gesundheitsschutz und Sicherheit vereinbar sein.119 c) Risiko- und Qualitätsmanagementsystem Eine völlige Risiko- und Nebenwirkungslosigkeit des Medizinprodukts kann der Hersteller, ähnlich wie bei Arzneimitteln, in der Regel nicht gewährleisten und dies kann auch nicht berechtigterweise erwartet werden.120 Deshalb normieren Art. 10 Abs. 2 MDR i. V. m. Anhang I Ziffer 3 MDR und Art. 10 Abs. 9 UAbs. 1 S. 3 MDR eine Verpflichtung zur Einrichtung, Dokumentation, Anwendung und Aufrechterhaltung eines Risikomanagementsystems und eines Qualitätsmanagements.121 Das Risikomanagement stellt einen kontinuierlichen iterativen Prozess dar. Dieser iterative Prozess umfasst den gesamten Lebenszyklus eines Produkts und setzt dabei eine regelmäßige systematische Aktualisierung voraus.122 Bevor der Hersteller das Medizinprodukt auf den Markt bringt, muss er gem. Anhang I Ziffer 3 MDR eine Nutzen-Risiko-Abwägung durchführen, bei der der Hersteller, die mit dem Produkt verbundenen bekannten und vorhersehbaren Gefährdungsrisiken identifizieren, einschätzen, bewerten, analysieren, ggf. beseitigen und kontrollieren muss.123 Zwecks Risikosenkung muss der Hersteller prüfen, ob die erkannten Risiken durch eine sichere Auslegung und Herstellung beseitigt oder so weit wie möglich minimiert werden können.124 Art. 10 Abs. 9 UAbs. 1 S. 3 MDR fordert von jedem Hersteller die Einrichtung, Dokumentation, Anwendung, Aufrechterhaltung, ständige Aktualisierung und kontinuierliche Verbesserung eines Qualitätsmanagements. Dieses soll die Einhaltung der MDR auf die wirksamste, der Risikoklasse und der Art des Produkts angemessenen Weise gewährleisten.125 Das vom Medizinproduktehersteller einzurichtende Qualitätsmanagement umfasst alle Teile und Elemente der Organisation eines Herstellers, die mit der Qualität der Prozesse, Verfahren und Produkte zu119 Anhang I Ziffer 1 MDR; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 74 f. 120 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 75. 121 Art. 10 Abs. 2 i. V. m. Anhang I Ziffer 3, 8, Art. 10 Abs. 9 UAbs. 1 S. 3 MDR. 122 Anhang I Ziffer 3 MDR. 123 Anhang I Ziffer 3 MDR. 124 Anhang I Ziffer 4 lit. a) MDR. 125 Art. 10 Abs. 9 UAbs. 1 S. 3 MDR.

V. Sicherheitserwartungen an intelligente Medizinprodukte

49

sammenhängen. Es steuert die erforderliche Struktur und die erforderlichen Verantwortlichkeiten, Verfahren, Prozesse und Managementressourcen zur Umsetzung der Grundsätze und Maßnahmen, die notwendig sind, um die Einhaltung der Bestimmungen der MDR zu erreichen.126 Welche Aspekte das Qualitätsmanagement mindestens umfassen muss, ist in Art. 10 Abs. 9 UAbs. 3 MDR geregelt. Beispielhaft genannt sei ein Konzept zur Einhaltung der Regulierungsvorschriften, welches die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an den vom System erfassten Produkten mit einschließt127 sowie die Aufstellung, Anwendung und Aufrechterhaltung eines Systems zur Überwachung nach dem Inverkehrbringen gem. Art. 83 MDR.128 Anhang IX MDR regelt die Detailfragen hinsichtlich des Qualitätsmanagements. Anhang IX Ziffer 1 S. 1 MDR verpflichtet den Hersteller zur Einrichtung eines Qualitätsmanagements gem. Art. 10 Abs. 9 MDR, welches der Hersteller dokumentieren und umsetzten muss und für dessen Wirksamkeit er während des gesamten Lebenszyklus der betroffenen Produkte Sorge zu tragen hat. Dazu wird ein Qualitätshandbuch angelegt, welches Qualitätssicherungsprogramme, -pläne und -berichte systematisch und geordnet dokumentiert.129 Die Benannte Stelle führt bei Produkten der Risikoklasse IIa, IIb und III regelmäßig mindestens alle 12 Monate, z. T. auch unangekündigt, geeignete Audits und Bewertungen durch, um festzustellen, ob der Hersteller die sich aus dem genehmigten Qualitätsmanagementsystem ergebenden Verpflichtungen einhält.130 Neben der Kontrolle der Dokumentationsunterlagen des Qualitätsmanagements entnimmt die Benannte Stelle eine angemessene Stichprobe der hergestellten Produkte und/oder der auf dem Markt vorhandenen Produkte und überprüft, ob das hergestellte Produkt mit der technischen Dokumentation übereinstimmt.131 d) Zwischenergebnis Da KI-basierte Medizinprodukte zu diagnostischen oder therapeutischen Zwecken eingesetzt werden, fallen sie mindestens in Risikoklasse IIa. Damit muss bei der CE-Zertifizierung eine Benannte Stelle mitwirken. Standalone-Software fällt nun aufgrund der neuen Regel 11 (Anhang VIII Ziffer 6.3 MDR) mindestens in Risikoklasse IIa, sodass sie im Vergleich zur vorher geltenden Medizinprodukterichtlinie und zum MPG aF höher klassifiziert wird.132 Das bedeutet, dass eine CE-Kenn126

Art. 10 Abs. 9 UAbs. 2 MDR. Art. 10 Abs. 9 UAbs. 3 lit. a) MDR. 128 Art. 10 Abs. 9 UAbs. 3 lit. i) MDR. 129 Anhang IX Ziffer 2.2 S. 2 MDR. 130 Anhang IX Ziffer 3, 3.1, 3.3, 3.4 MDR. 131 Anhang IX Ziffer 3.4 UAbs. 2, 3 MDR. 132 Software wurde unter der zuvor geltenden Medizinprodukterichtlinie (RL 93/42/EWG) wegen fehlender Klassifizierungsregel für Software nach Regel 12 überwiegend in Klasse I 127

50

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

zeichnung von KI-basierten Medizinprodukten künftig nicht mehr ohne Beteiligung einer Benannten Stelle möglich ist. In der Praxis besteht nun die Herausforderung, dass aufgrund der gleichfalls angestiegenen Anforderungen für die Zertifizierung von Benannten Stellen aktuell nicht genügend Benannte Stellen nach neuem Recht zertifiziert sind.133

4. Ergebnis zu den Sicherheitserwartungen an intelligente Medizinprodukte Insgesamt ergibt sich aus Anhang I Ziffer 1 und Anhang IX Kapitel I MDR, dass Patienten und diejenigen Personen, die mit dem Medizinprodukt bestimmungsgemäß in Berührung kommen, berechtigterweise erwarten können, dass das vom intelligenten Medizinprodukt ausgehende Restrisiko im Vergleich zum Nutzen in einem angemessenen Verhältnis steht, dass es medizinisch und technisch unbedenklich ist und ein hohes Niveau an Gesundheitsschutz, Qualität und Sicherheit aufweist.134 Durch die von der Benannten Stelle durchzuführenden Audits und Bewertungen des Qualitätsmanagementsystems des Herstellers kann der Patient zudem erwarten, dass die Sicherheitsanforderungen der MDR auch tatsächlich eingehalten und erfüllt werden. Für den Medizinproduktehersteller und auch für die Benannte Stelle ergibt sich bei intelligenten Medizinprodukten die Besonderheit, dass sich das autonome System selbständig weiterentwickeln und deshalb unvorhersehbare Entscheidungen treffen kann, welche selbst bei den zuverlässigsten Audits im Voraus nicht erkannt werden können. Damit besteht die Gefahr, dass sich das autonom handelnde Medizinprodukt durch seine Lernfähigkeit so verändert, dass dessen neu erlernte Verhaltensweisen nicht mehr mit einem hohen Maß an Gesundheits- und Patientenschutz zu vereinbaren sind.135 Da auch intelligente Medizinprodukte dem Anwendungsbereich der MDR unterliegen, werden Patienten trotz dieser Unvorhersehbarkeit der Entwicklung des Systems berechtigterweise erwarten, dass der Einsatz solcher Systeme nicht zu unvertretbar hohen Rechtsgutsverletzungen oder Rechtsgutsgefährdungen führt. Patienten können auch nach einer Verhaltensänderung der KI gem. Anhang I Ziffer 1 MDR berechtigterweise erwarten, dass das Medizinprodukt dem von der Verordnung vorgegebenen und einzuhaltenden hohen eingestuft (§ 13 Abs. 1 MPG aF, Art. 9 Abs. 1 i. V. m. Anhang IX Medizinprodukterichtlinie). Eine Hinzuziehung der Benannten Stelle für die Konformität von Software war nicht erforderlich, solange die Software nicht integraler Bestandteil eines höherklassigen Medizinprodukts war (Anhang IX Kap. II Ziffer 2.3 Medizinprodukterichtlinie), siehe hierzu Prütting/ Wolk, MedR 2020, 359, 362. 133 Prütting/Wolk, MedR 2020, 359, 362; Handorn, Medizinprodukte-Verordnung, S. 26 f.; v. Zezschwitz, MedR 2020, 196, 199; Ströbel/Grau, ZD 2022, 599, 603. 134 In Anlehnung an Anhang I Ziffer 1 MDR. So auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 75. 135 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 75.

VI. Pflichten bis zum Inverkehrbringen

51

Gesundheits- und Sicherheitsstandard entspricht. Daran ändert auch die Lernfähigkeit der KI nichts.

VI. Pflichten bis zum Inverkehrbringen Den Hersteller eines Produkts treffen herstellerspezifische Verkehrssicherungspflichten. Zur Bestimmung des Inhalts und Umfangs dieser Sicherungspflichten haben sich allgemein anerkannte Fallgruppen herausgebildet.136 Es erfolgt eine Unterteilung der Herstellerpflichten in Konstruktions-, Fabrikations- und Instruktionspflichten einerseits und die nachgelagerte Produktbeobachtungspflicht.137 Im Vergleich zur deliktischen Produzentenhaftung erfolgt nach § 3 ProdHaftG keine Differenzierung nach einzelnen Fehlertypen, um die Fehlerhaftigkeit eines Produkts zu ermitteln. Gleichwohl ist in der Rechtsprechung und in der Literatur anerkannt, dass die Kategorisierung in Konstruktions- (nachfolgend unter 1.), Fabrikations- (nachfolgend unter 2.) und Instruktionsfehler (nachfolgend unter 3.) auch im Rahmen des § 3 ProdHaftG vorzunehmen ist.138 Daher konkretisieren die einzelnen Fehlerarten nicht nur die Verkehrssicherungspflichten nach § 823 Abs. 1 BGB, sondern auch den Begriff des Fehlers gem. § 3 Abs. 1 ProdHaftG. Die Fehlertypen sind trotz ihrer unterschiedlichen normativen und dogmatischen Struktur weitgehend identisch und bemessen sich nach denselben objektiven Maßstäben.139 Unterschiede ergeben sich hinsichtlich von Fabrikationsfehlern und der Produktbeobachtungspflicht. Die Produkthaftung ist bei Fabrikationsfehlern weitergehend als diejenige nach § 823 Abs. 1 BGB, da die Haftung gem. § 1 ProdHaftG auch sog. Ausreißer erfasst, die sich selbst bei Einhaltung größtmöglicher Sorgfalt nicht vermeiden lassen; sie werden mangels Verschuldens aber nicht von der deliktischen Produzentenhaftung erfasst.140 Andererseits geht die Produzentenhaftung nach § 823 Abs. 1 BGB über diejenige nach § 1 ProdHaftG hinaus, da erstere vom Hersteller eine Produktbeobachtung nach dem Inverkehrbringen des Produkts verlangt. Eine solche gibt es im Produkthaftungsrecht nicht, denn § 3 Abs. 1 lit. c) und Abs. 2 136 Vgl. BGH, NJW 2009, 2952; OLG Schleswig, NJW-RR 2008, 691, 691; BeckOK/ Förster, § 823 BGB Rn. 703. 137 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 6; vgl. BGH, NJW 2009, 2952, 2953; OLG Schleswig, NJW-RR 2008, 691, 691. 138 BGH, NJW 2009, 1669, 1670; Staudinger/Oechsler, § 3 ProdHaftG Rn. 12 f.; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 187. 139 BGH, NJW 2009, 1669, 1670; BGH, NJW 2009, 2952, 2953; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 41; BeckOK/Förster, § 3 ProdHaftG Rn. 29; Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 11; Jenke, Haftung für fehlerhafte Arzneimittel und Medizinprodukte, S. 159; Wagner, AcP 217 (2017), 707, 711 f. 140 Vgl. BGH, NJW 1969, 269, 274 f.; BeckOGK-BGB/Spindler, § 823 BGB Rn. 646; Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 11; Wagner, AcP 217 (2017), 707, 712.

52

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

ProdHaftG stellt für die Fehlerhaftigkeit des Produkts auf die Einhaltung der berechtigten Sicherheitserwartungen ab, die zum Zeitpunkt des Inverkehrbringens existieren. Über diesen Zeitpunkt hinaus treffen den Hersteller keine weiteren Pflichten und damit keine Haftung nach dem ProdHaftG.141 Der maßgebliche Zeitpunkt ist derjenige des Inverkehrbringens. Ein Inverkehrbringen eines Produkts liegt vor, wenn es in die Verteilungskette gegeben wurde, indem der Hersteller es aufgrund seines Willensentschlusses aus seiner Herstellersphäre entlassen hat.142 Für das Inverkehrbringen eines Produkts ist nicht immer erforderlich, dass dieses den Herrschaftsbereich des Herstellers verlassen hat. Nach der Rechtsprechung des EuGH liegt ein Inverkehrbringen eines Produkts, insbesondere bei einer datenträgerlosen Bereitstellung von Software, vor, wenn der Herstellungsprozess abgeschlossen ist und das Produkt in ge- oder verbrauchsfertigem Zustand in die öffentliche Vermarktung eingetreten ist.143 Bei intelligenten Medizinprodukten sind grundsätzlich drei Phasen zu unterscheiden: Zu Beginn wird der KI-Algorithmus vom Hersteller programmiert. Anschließend wird das KI-System durch Hinzufügen von Daten trainiert, bevor es schließlich dem Arzt übergeben wird, der das autonome Medizinprodukt bei der Behandlung des Patienten einsetzt.144 Ein Inverkehrbringen des Produkts ist bereits dann anzunehmen, wenn der Hersteller das intelligente Medizinprodukt aus seinem Herrschaftsbereich entlässt. Vertreibt er nur den KI-Algorithmus, liegt ein Inverkehrbringen vor, wenn er dem Arzt die Software zur Verfügung stellt. Unerheblich ist dann, ob der Arzt den KI-Algorithmus erst durch das Hinzufügen von Daten und durch Trainings zur Verwendungsreife bringt. Mit der Bereitstellung bzw. Übergabe des KI-Algorithmus liegt ein Inverkehrbringen vor.145 Durch die nachträgliche Eingabe von Daten seitens des Arztes liegt auch kein erneutes Inverkehrbringen des Produkts vor. Zuletzt wird auf die Frage eingegangen, ob die Fehlerverdachts-Rechtsprechung des EuGH auf intelligente Medizinprodukte übertragen werden kann (nachfolgend unter 4.).

1. Konstruktionsfehler Als erste Fallgruppe ist der Konstruktionsfehler zu nennen. Ein Konstruktionsfehler liegt vor, wenn das Produkt schon seiner Konstruktion nach hinter dem sicherheitsrelevanten Standard zurückbleibt, den der Verkehr berechtigterweise er141

Staudinger/Oechsler, § 3 ProdHaftG Rn. 112 ff. BT-DRS. 11/2447, S. 14. 143 EuGH, Urt. v. 10. 5. 2001 – C-203/99 –, NJW 2001, 2781, 2782; EuGH, Urt. v. 9. 2. 2006 – C-127/04 –, EuZW 2006, 184, 185; BGH, NJW 2014, 2106, 2108. 144 Vgl. Ehring/Taeger/Taeger, § 3 ProdHaftG Rn. 50. 145 Ehring/Taeger/Taeger, § 3 ProdHaftG Rn. 51. 142

VI. Pflichten bis zum Inverkehrbringen

53

warten kann.146 Im Gegensatz zu einem Fabrikationsfehler ist also bei einem Konstruktionsfehler der Konstruktionsplan selbst fehlerhaft und somit die gesamte Produktserie von dem Fehler betroffen.147 Bei intelligenten Medizinprodukten kann sich der Konstruktionsfehler sowohl auf die Hardware als auch auf die Software beziehen, wobei sich bei Hardwarefehlern im Vergleich zu herkömmlichen Medizinprodukten keine Besonderheiten ergeben.148 Daher wird der Fokus auf Softwarefehler gelegt. Als Konstruktionsfehler kommen beispielsweise „klassische“ Programmierfehler in Betracht, bei dem die Codierung oder Kompilierung des erstrebten Programmablaufs fehlerhaft ist oder die Software von Beginn an nicht so konstruiert ist, dass die gewünschten Anforderungen erfüllt werden.149 Ein weiterer Konstruktionsfehler kann vorliegen, wenn das System nicht ausreichend gegen Angriffe von außen („Hackerangriffe“) geschützt ist.150 Im Folgenden wird zunächst der Sicherheitsmaßstab ermittelt (nachfolgend unter a)). Anschließend werden die Konstruktionspflichten nach der MDR erörtert (nachfolgend unter b)). Schließlich wird diskutiert, ob die Selbstlernfähigkeit als Konstruktionsfehler einzuordnen ist (nachfolgend unter c)). a) Sicherheitsmaßstab Zur Ermittlung des Vorliegens eines Konstruktionsfehlers sind solche Maßnahmen zu berücksichtigen, die der Hersteller im Voraus zur Vermeidung von Schäden hätte treffen können. Er muss schon im Rahmen der Konzeption und Planung diejenigen Sicherheitsvorkehrungen ergreifen, die zur Vermeidung einer Gefahr objektiv erforderlich (nachfolgend unter aa)) und nach objektiven Maßstäben zumutbar (nachfolgend unter bb)) sind.151 Das intelligente Medizinprodukt muss zudem keine absolute Sicherheit gewährleisten (nachfolgend unter cc)). Schließlich haben das öffentliche Sicherheitsrecht sowie technische Normen Einfluss auf den Sicherheitsmaßstab (nachfolgend unter dd)).

146 BGH, NJW 2009, 2952, 2953; BGH, NJW 2013, 1302, 1303; Staudinger/Oechsler, § 3 ProdHaftG Rn. 108; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 44. 147 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 72; BeckOK/Förster, § 3 ProdHaftG Rn. 30; OLG Schleswig, NJW-RR 2008, 691, 691; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 240; vgl. BGH, NJW 2009, 2952, 2953. 148 Vgl. Wagner, AcP 217 (2017), 707, 726. 149 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22; Wagner, AcP 217 (2017), 707, 726 f.; Taeger/Pohle/Littbarski, ComputerrechtsHandbuch, Teil 180 Rn. 63. 150 Siehe hierzu Kap. C. VIII. 1. 151 BGH, NJW 2012, 1302, 1303; BGH, NJW 2009, 2952, 2953.

54

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

aa) Erforderlichkeit der Sicherungsmaßnahmen Nach der Rechtsprechung des BGH sind die Sicherungsmaßnahmen erforderlich, die nach dem im Zeitpunkt des Inverkehrbringens des Produkts vorhandenen neuesten Stand der Wissenschaft und Technik konstruktiv möglich sind und als geeignet und genügend erscheinen, um Schäden zu verhindern.152 Dabei ist der Stand der Wissenschaft und Technik nicht mit der Branchenüblichkeit zu verwechseln, da die in der jeweiligen Branche tatsächlich praktizierten Sicherheitsmaßnahmen hinter der technischen Entwicklung und damit hinter dem rechtlich gebotenen Sicherheitsmaßstab zurückbleiben können.153 Die Gesetzesbegründung zum ProdHaftG versteht unter dem Stand von Wissenschaft und Technik den „Inbegriff der Sachkunde […], die im wissenschaftlichen und technischen Bereich vorhanden ist, also die Summe an Wissen und Technik, die allgemein anerkannt ist und allgemein zur Verfügung steht“.154 Voraussetzung eines Konstruktionsfehlers ist, dass es im Zeitpunkt der Entwicklung und Herstellung des Produkts möglich gewesen wäre, eine sicherheitstechnisch überlegene Alternativkonstruktion zu wählen.155 Die Möglichkeit der Gefahrvermeidung ist gegeben, wenn nach gesichertem Fachwissen der einschlägigen Fachkreise praktisch einsatzfähige Lösungen zur Verfügung stehen.156 Der BGH hat allerdings insoweit klargestellt, dass keine Verpflichtung des Herstellers besteht, Sicherheitskonzepte umzusetzen, die bisher nur „auf dem Reißbrett erarbeitet“ oder noch in der Erprobung befindlich sind.157 Der Hersteller schuldet nicht jede denkmögliche Sicherheitsmaßnahme im Sinne einer optimalen Qualität.158 Können bestimmte mit der Produktnutzung einhergehende Risiken durch eine alternative Konstruktion technisch nicht vermieden werden, muss eine Abwägung der Art und Umfang der Risiken und der Wahrscheinlichkeit ihrer Verwirklichung mit dem Nutzen des Produkts ergeben, dass der Nutzen des Produkts die mit seinem Gebrauch unvermeidbar verbundenen Schäden überwiegt. Fällt die Abwägung hingegen anders aus und überwiegt der Produktnutzen nicht, liegt ein Fehler des Produkts vor und der Hersteller darf das Produkt nicht (mehr) in den Verkehr bringen.159 152 BGH, NJW 2009, 2952, 2953; vgl. BGH, NJW 1988, 2611, 2611 f.; vgl. BGH, NJW 1990, 906, 907; BGH, NJW 1995, 2162, 2163. 153 BGH, NJW 2009, 2952, 2953; vgl. BGH, NJW 1990, 906, 907; BGH, NJW 1994, 3349, 3350. 154 BT-DRS. 11/2447, S. 15. 155 BGH, NJW 2009, 2592, 2953. 156 BGH, NJW 2009, 2592, 2953; Hofmann, CR 2020, 282, 285. 157 BGH, NJW 2009, 2592, 2953. 158 BGH, Urt. v. 16. 2. 1972 – VI ZR 111/70 –, juris Rn. 11 f.; BeckOK/Förster, § 823 BGB Rn. 706. 159 BGH, NJW 2009, 2952, 2953; Wagner, AcP 217 (2017), 707, 732; MüKo-BGB/Wagner, § 823 BGB Rn. 972.

VI. Pflichten bis zum Inverkehrbringen

55

bb) Zumutbarkeit der Sicherungsmaßnahmen Welche Sicherheitsmaßnahmen der Hersteller im Einzelnen vornehmen muss und objektiv zumutbar sind, lässt sich nur unter Berücksichtigung sämtlicher Umstände des Einzelfalls beurteilen.160 Dabei ist zunächst maßgeblich auf das von dem Produkt ausgehende Gefahrenpotenzial abzustellen.161 Dabei gilt: Je größer die Gefahren sind, desto höhere Maßstäbe sind für die Einhaltung der Sicherheitsstandards anzulegen und desto höhere Sicherheitsmaßnahmen kann der betroffene Verkehrskreis berechtigterweise erwarten.162 Bestehen erhebliche Gefahren für Leben und Gesundheit von Menschen ist dem Hersteller die Einhaltung eines weitergehenden Sicherheitsstandards zumutbar als bei Gefahren für Eigentum, Besitz oder kleineren körperlichen Beeinträchtigungen.163 Daneben sind nach der Rechtsprechung des BGH auch die wirtschaftlichen Sicherungsmaßnahmen ausschlaggebend, wobei im Rahmen einer Kosten-NutzenRelation der Sicherheitsgewinn mit den Kosten für technisch mögliche Sicherheitsmaßnahmen und deren Absatzchancen für ein entsprechend verändertes Produkt in Relation zu setzen sind.164 Da sich die berechtigten Sicherheitserwartungen in der Regel nicht empirisch feststellen lassen, hat sich der BGH im Grundsatz dem RiskUtility-Test angeschlossen.165 Nach dem Risk-Utility-Test sind der Nutzen und die Kosten von Alternativkonstruktionen zueinander in Verhältnis zu setzen, um die bei der Konstruktion erforderlichen Sicherheitsvorkehrungen zu bestimmen. Ein Konstruktionsfehler liegt demnach vor, wenn der Hersteller eine alternative sicherere Konstruktion hätte wählen können, bei der die erhöhte Sicherheit des Produkts die zusätzlich anfallenden Kosten überstiegen hätte.166

160 BGH, NJW 2009, 2952, 2953; vgl. BGH, NJW 1988, 2611, 2612; BGH, NJW 1990, 906, 907; Staudinger/Hager, § 823 BGB Rn. F 12; MüKo-BGB/Wagner, § 823 BGB Rn. 952 ff. 161 BGH, NJW 2009, 1669, 1670; BGH, NJW 2013, 1302, 1303. 162 BGH, NJW 2009, 2952, 2953 f.; vgl. BGH, NJW 2009, 1669, 1670; BGH, NJW 2013, 1302, 1303; EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163, 1164. 163 BGH, NJW 2009, 1669, 1670; BGH, NJW 2013, 1302, 1303; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 7. 164 BGH, NJW 2009, 2952, 2953 f.; Wagner, AcP 217 (2017), 707, 732; MüKo-BGB/ Wagner, § 823 BGB Rn. 972. 165 Der Consumer-Expectations-Test und der Risk-Utility-Test stammen aus dem USamerikanischen Recht und dienen zur Konkretisierung der bei der Konstruktion von Produkten zu beachtenden Sicherheitsmaßnahmen. In den USA hat der Consumer-Expectations-Test, der darauf abstellt, welche Sicherheit der Verbraucher ex ante von dem Produkt erwartet, mangels Möglichkeit die Verbrauchererwartungen empirisch festzustellen, keinen großen Anwendungsbereich mehr, hierzu Wagner, AcP 217 (2017), 707, 732; MüKo-BGB/Wagner, § 823 BGB Rn. 972. 166 Wagner, AcP 217 (2017), 707, 732; MüKo-BGB/Wagner, § 823 BGB Rn. 972; Hofmann, CR 2020, 282, 283; Zech, DJT 2020 Gutachten A, S. 69.

56

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

cc) Keine absolute Sicherheit Der BGH hat allerdings wiederholend betont, dass nicht jeder abstrakten Gefahr vorbeugend begegnet werden kann. „Ein allgemeines Verbot, andere nicht zu gefährden, wäre utopisch“.167 Vom Einzelnen werden nur solche Sorgfaltsmaßnahmen verlangt, „die ein umsichtiger und verständiger, in vernünftigen Grenzen vorsichtiger Mensch für notwendig und ausreichend hält, um andere vor Schäden zu bewahren“.168 Absolute Sicherheit ist daher weder im Delikts- noch im Produkthaftungsrecht geboten bzw. geschuldet.169 Der Sicherheitsstandard ist auf das Mögliche und Zumutbare begrenzt und ist anhand des jeweiligen Einzelfalls zu bestimmen.170 Die Produkthaftung erfasst nicht sämtliche Schäden, sondern nur solche, die auf einer Pflichtverletzung in Form des Inverkehrbringens fehlerhafter Produkte beruhen.171 dd) Öffentliches Sicherheitsrecht und technische Normen Bei der Konkretisierung dieser Grundsätze im Einzelfall können Vorschriften des öffentlichen Sicherheitsrechts und technische Normen herangezogen werden.172 Eine wichtige Orientierungshilfe bei der Konturierung der Sorgfaltspflichten des Herstellers bietet daher zunächst die MDR. Die in der MDR normierten Pflichten des Medizinprodukteherstellers können die Verkehrspflichten des Herstellers konkretisieren.173 Zudem kann eine Verletzung der Vorschriften der MDR eine Schadens-

167 BGH, Urt. v. 15. 4. 1975 – VI ZR 19/74 –, juris Rn. 8; BGH, NJW 2006, 610, 611; BGH, NJW 2013, 48, 48. 168 BGH, NJW 2006, 610, 611; BGH, NJW 2007, 1683, 1684; BGH, NJW 2008, 3775, 3776; BGH, NJW 2010, 1967, 1967; BGH, NJW-RR 2011, 888, 889; BGH, NJW 2013, 48, 48. 169 BGH, NJW 2009, 1669, 1670; MüKo-BGB/Wagner, § 823 BGB Rn. 952; Wagner, AcP 217 (2017), 707, 728; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 42. 170 BGH, NJW 2009, 2952, 2953; BGH, NJW 2009, 1669, 1670; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 7; MüKo-BGB/Wagner, § 823 BGB Rn. 952. 171 Wagner, AcP 217 (2017), 707, 728; vgl. auch Spindler, JZ 2022, 793, 795. 172 MüKo-BGB/Wagner, § 823 BGB Rn. 958; Wagner, AcP 217 (2017), 707, 729. Vgl. BGH, NJW 2014, 2106, 2107 zur Berücksichtigung der Verordnung über Allgemeine Bedingungen für den Netzanschluss und dessen Nutzung für die Elektrizitätsversorgung in Niederspannung (NAV) zur Feststellung der berechtigten Sicherheitserwartungen i. S. v. § 3 ProdHaftG. Vgl. OLG Düsseldorf, PharmR 2012, 354 und Clausen/Schroeder-Printzen/Friedrich, § 17 Rn. 347 zu den vor der MDR geltenden Vorschriften des MPG aF und der MPSV. Vgl. Roos/Weitz, MMR 2021, 844, 849 f. mit Bezug auf die KI-Verordnung; Riehm/Meier, MMR 2020, 571, 573 und Roos, MMR 2015, 636, 641 zu den Vorschriften des BSIG; Taeger/Pohle/ Littbarski, Computerrechts-Handbuch, Teil 180 Rn. 176 zu den Vorschriften des ProdSG. 173 Vgl. OLG Düsseldorf, PharmR 2012, 354 und Clausen/Schroeder-Printzen/Friedrich, § 17 Rn. 347 zu den vor der MDR geltenden Vorschriften des MPG aF und der MPSV. Generell zum Einfluss öffentlich-rechtlicher Vorschriften auf die deliktischen Verkehrspflichten BeckOGK-BGB/Spindler, § 823 BGB Rn. 423 ff.; BeckOK/Förster, § 823 BGB Rn. 345 ff.; Wagner, AcP 217 (2017), 707, 730.

VI. Pflichten bis zum Inverkehrbringen

57

ersatzpflicht des Herstellers nach § 823 Abs. 2 BGB auslösen, wenn es sich bei der verletzten Norm um ein Schutzgesetz handelt.174 Ausweislich der Gesetzesbegründung zum ProdHaftG ist die Befolgung technischer Normen oder sonstiger technischer Standards ebenfalls ein bedeutsamer Umstand bei der Bestimmung des berechtigten Sicherheitsniveaus.175 Zur Konkretisierung des Fehlerbegriffs bezieht auch die Rechtsprechung den Stand von Wissenschaft und Technik ein und berücksichtigt gesetzliche Sicherheitsvorschriften und technische Normen als sog. Untergrenze.176 Technische Regeln von Normungsinstitutionen dienen daher als Konkretisierung der deliktischen Sorgfaltspflichten und somit auch zur Bestimmung der Fehlerhaftigkeit von Produkten.177 Zu diesen Standards gehören technische Regelwerke und technische Normen wie z. B. DIN, ISO, EN, VDI und VDE, welche allgemeine branchenübliche Sicherheitserwartungen konkretisieren.178 Diese Sicherheitsstandards sind private technische Regelungen mit Empfehlungscharakter; sie sind keine verbindlichen Rechtsnormen, sondern dienen lediglich als Orientierungshilfe.179 Bei den öffentlich-rechtlichen Vorgaben, d. h. bei den Vorschriften der MDR und den technischen Normen, handelt es sich allerdings nur um einen Mindeststandard, der vom Hersteller einzuhalten ist. Der Hersteller wird darüber hinaus nicht davon befreit, zu überprüfen, ob die (technischen) Normen noch dem aktuellen Stand der Wissenschaft und Technik entsprechen und eine sicherere Konstruktion des Produkts technisch möglich ist. Sind die Normen bereits veraltet und ist die technische Entwicklung bereits darüber hinausgegangen, muss der Hersteller über die Erfüllung der öffentlich-rechtlichen und privaten Standards hinaus diejenigen Sicherheitsmaßnahmen ergreifen, die dem tatsächlich aktuellen Stand der Wissenschaft und Technik entsprechen.180 Darüber hinaus können technische Normen als „gemeinsame Spezifikationen“ über Art. 9 Abs. 1 MDR zur Anwendung gelangen.181 174

Siehe hierzu Kap. C. XI. BT-DRS. 11/2447, S. 19; BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 64. 176 BGH, NJW 2014, 2106, 2107; LG Freiburg, MPR 2017, 91, 100; OLG Hamm, NJWRR 2011, 893, 893 f.; OLG Koblenz, NJW-RR 2006, 169, 170. 177 Wagner, AcP 217 (2017), 707, 730; BeckOGK-BGB/Spindler, § 823 BGB Rn. 428; BGH, NJW 1978, 419, 419 f.; BGH; NJW 1985, 47, 48 f.; BGH, NJW 1988, 2667, 2668; BGH, NJW 1994, 3349, 3350. 178 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 27. 179 Taeger, Außervertragliche Haftung für fehlerhafte Computerprogramme, S. 182 f.; Rockstroh/Kunkel, MMR 2017, 77, 81; Wagner, AcP 217 (2017), 707, 730; BGH, NJW 1988, 2667, 2668; vgl. zur Verwaltungsvorschrift TA-Luft BGH, NJW 1985, 47, 49. 180 BGH, NJW 1994, 3349, 3350; BGH, NJW 2009, 2952, 2953; BeckOK/Förster, § 823 BGB Rn. 697 ff. 181 Die MDR bezeichnet gemeinsame Spezifikationen gem. Art. 2 Nr. 71 MDR als eine Reihe technischer und/oder klinischer Anforderungen, die keine Norm sind und deren Befolgung es ermöglicht, die für ein Produkt, ein Verfahren oder ein System geltenden rechtlichen Verpflichtungen einzuhalten. 175

58

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Im Folgenden soll ein kursorischer Überblick über die bei KI-basierten Medizinprodukten einschlägigen technischen Normen gegeben werden, wobei ausdrücklich darauf hinzuweisen ist, dass es noch keine speziellen technischen Anforderungen für autonom agierende (Medizin-)Produkte gibt:182 - DIN EN ISO 13485:2016 – 08 (insbesondere Ziffer 7.3.) („Medizinprodukte – Qualitätsmanagementsysteme – Anforderungen für regulatorische Zwecke“) - DIN EN ISO 14971:2013 – 04 („Medizinprodukte – Anwendung des Risikomanagements auf Medizinprodukte“)183 - DIN EN ISO 20417:2022 – 03 („Medizinprodukte – Anforderungen an vom Hersteller bereitzustellende Informationen“) - ISO/IEC 25010:2011 – 03 („Software-Engineering – Qualitätskriterien und Bewertung von Softwareprodukten“) - DIN EN 62304:2016 – 10 („Medizingeräte-Software – Software-LebenszyklusProzesse“) - DIN EN 82304 – 1:2018 – 04 („Gesundheitssoftware – Teil 1: Allgemeine Anforderungen für die Produktsicherheit“) - ISO/IEC TR 24028:2020 – 05 (Report „Information technology – Artificial Intelligence – Overview of trustworthiness in artificial intelligence“) - ISO/IEC TR 29119 – 11:2020 – 11 (Report „Software and systems engineering – Software testing – Part 11: Guidelines on the testing of AI-based systems“) - IEEE 2801 – 2022 und P2802 („Recommended Practice for the Quality Management of Datasets for Medical Artificial Intelligence“ und „Standard for the Performance and Safety Evaluation of Artificial Intelligence Based Medical Device: Terminology“) - DIN SPEC 92001 – 1:2019 – 04 („Künstliche Intelligenz – Life Cycle Prozesse und Qualitätsanforderungen – Teil 1: Qualitäts-Meta-Modell“) - DIN SPEC 92001 – 2:2020 – 12 („Künstliche Intelligenz – Life Cycle Prozesse und Qualitätsanforderungen – Teil 2: Robustheit“) - E VDE-AR-E 2842 – 61 – 1 („Entwicklung und Vertrauenswürdigkeit von autonom/kognitiven Systemen – Teil 61 – 1: Terminologie und Grundkonzepte“).

182

Hierzu ausführlich: Gassner, MPR 2021, 41, 45 f.; Reinsch, „Regulatorische Anforderungen an Medizinprodukte mit Machine Learning“ vom 17. 11. 2022. 183 Dies ist die harmonisierte Norm für die Durchführung der Nutzen-Risiko-Analyse, die der Hersteller im Rahmen des Risikomanagements durchführen muss (gem. Anhang I MDR). Sie bestimmt einen einzuhaltenden Risikomanagement-Prozess, Klessascheck, „Maschinenrichtlinie: Was bei Medizinprodukten gilt“ vom 28. 9. 2021.

VI. Pflichten bis zum Inverkehrbringen

59

Daneben gibt es sog. „Best Practices“ für das Machine Learning, die der Hersteller als Auslegungshilfen heranziehen kann.184 Zum jetzigen Zeitpunkt existieren noch keine technischen Normen, die speziell für Medizinprodukte gelten, die auf lernfähiger KI basieren, insbesondere hinsichtlich der Interpretation und der konkreten Umsetzung. Allerdings befinden sich zahlreiche DIN- und IEEE-Normen in der Entwicklung. Die große Schwierigkeit wird künftig darin bestehen, dass es viele und stark überlappende Normen geben wird, die z. T. lediglich lehrbuchartig und wenig konkret Wissen über KI wiederholen und nicht dem aktuellen Stand von Wissenschaft und Technik entsprechen.185 Ob und inwieweit künftige technische Normen eine wertvolle Orientierungshilfe für Hersteller und Gerichte bei der Konkretisierung herstellerspezifischer Sorgfaltspflichten in Bezug auf intelligente Medizinprodukte bieten können, bleibt abzuwarten. b) Konstruktionspflichten nach der MDR Es wurde bereits dargestellt, dass öffentlich-rechtliche Sicherheitsstandards als Mindeststandards dienen und die Sorgfaltspflichten des Herstellers konkretisieren können. Daher sind bei der Konstruktion des autonomen Medizinprodukts die Vorschriften der MDR in den Blick zu nehmen. Die MDR enthält keine Regelungen, die sich speziell an die Herstellung von intelligenten Medizinprodukten richten. Da es sich bei autonomen Medizinprodukten aber um Medizinprodukte i. S. d. MDR handelt, sind die Vorschriften der MDR vom Hersteller zu berücksichtigen. Für den Hersteller von (intelligenten) Medizinprodukten sind bei der Planung und Konstruktion seiner Produkte die Vorschriften der MDR zu beachten, welche sicherheitsrelevante Anforderungen für die Auslegung und Herstellung von Medizinprodukten enthalten. Bei der Erstellung eines Konstruktionsplans muss der Hersteller nach Erwägungsgrund 1 und 2 MDR ein hohes Niveau an Sicherheit und Gesundheitsschutz gewährleisten. Er muss hohe Standards für die Qualität und Sicherheit von Medizinprodukten einhalten, durch die allgemeine Sicherheitsbedenken hinsichtlich dieser Produkte ausgeräumt werden sollen.186 Gem. Art. 5 Abs. 1 MDR darf ein Produkt nur in Verkehr gebracht oder in Betrieb genommen werden, wenn es bei sachgemäßer Lieferung, korrekter Installation und seiner Zweckbe184 Vgl. ITU/WHO, „Whitepaper for the ITU/WHO Focus Group on Artificial Intelligence for Health“. Siehe auch Xavier University, „Perspectives and Good Practices for AI and Continuously Learning Systems in Healthcare“ von 2018; COCIR, „Artificial Intelligence in Healthcare“ von 2021. Zudem Interessengemeinschaft der Benannten Stellen in Deutschland (IG-NB), „Artificial Intelligence (AI) in medical devices“. Johner Institut, „Leitfaden zur KI bei Medizinprodukten“. Für eine umfassende Übersicht und Bewertung der Normen und Best Practices für den Einsatz von KI siehe Reinsch, „Regulatorische Anforderungen an Medizinprodukte mit Machine Learning“ vom 17. 11. 2022. 185 Reinsch, „Regulatorische Anforderungen an Medizinprodukte mit Machine Learning“ vom 17. 11. 2022. 186 Egrd. 2 MDR.

60

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

stimmung entsprechender Verwendung der MDR entspricht. In materieller Hinsicht muss das Produkt gem. Art. 5 Abs. 2 MDR unter Berücksichtigung seiner Zweckbestimmung den in Anhang I MDR festgelegten für das Produkt geltenden Sicherheits- und Leistungsanforderungen genügen. Die MDR verpflichtet zur Einhaltung des allgemein anerkannten Stands der Technik.187 Der Hersteller muss gewährleisten, dass die Produkte so ausgelegt und hergestellt werden, dass sie sich unter normalen Verwendungsbedingungen für die vom Hersteller bestimmte Zweckbestimmung eignen. Sie müssen sicher, wirksam und nicht gefährdend für Patienten, Anwender und gegebenenfalls Dritte sein, wobei etwaige Risiken im Zusammenhang mit ihrer Anwendung gemessen am Nutzen für den Patienten vertretbar und mit einem hohen Maß an Gesundheitsschutz und Sicherheit vereinbar sein müssen.188 Anhang I MDR ist in drei Kapitel unterteilt. Kapitel I enthält allgemeine Anforderungen, während Kapitel II die Auslegung und Herstellung der Medizinprodukte regelt. Die Anforderungen an die mit dem Produkt gelieferten Informationen werden schließlich in Kapitel III geregelt. Anhang I Kapitel I MDR wurde bereits oben im Rahmen der CE-Kennzeichnung angesprochen.189 Im Folgenden soll ein besonderes Augenmerk auf diejenigen Vorschriften gelegt werden, die der Hersteller von KI-basierten Medizinprodukten in Bezug auf Software beachten muss (nachfolgend unter aa)) und welche Anforderungen die MDR im Hinblick auf nachträgliche Änderungen des KI-basierten Medizinprodukts stellt (nachfolgend unter bb)). Anschließend wird dargestellt, welche Möglichkeiten der Hersteller auf technischer Ebene mit Blick auf selbstlernende, sich verändernde Medizinprodukte hat. Hierbei ist zu differenzieren zwischen statischer und dynamischer KI sowie solchen KIbasierten Medizinprodukten, die nach ihrem Inverkehrbringen lernfähig sind, deren neu erlernte Funktionen aber manuell bestätigt bzw. zugelassen werden müssen (nachfolgend unter cc)). Letztlich wird auf den Regulierungsentwurf der U.S. Food and Drug Administration eingegangen, der zukünftig das Inverkehrbringen von lernfähigen Medizinprodukten ermöglichen soll (nachfolgend unter dd)). aa) Vorschriften der MDR zu Software-basierten Medizinprodukten Die relevanten Kernvorschriften für Software sind in Anhang I Ziffer 17.1 und 17.2 MDR enthalten. Gem. Anhang I Ziffer 17.1 MDR müssen Software-basierte Produkte oder Produkte in Form einer Software so ausgelegt werden, dass Wiederholbarkeit, Zuverlässigkeit und Leistung entsprechend ihrer bestimmungsgemäßen Verwendung gewährleistet sind. Für den Fall des Erstauftretens eines Defekts sind geeignete Vorkehrungen zu treffen, um sich daraus ergebende Risiken oder Leistungsbeeinträchtigungen auszuschließen oder sie so weit wie möglich zu verringern. Den in Anhang I Ziffer 17.1 S. 2 MDR genannten „Defekt“ definiert die 187

Anhang I Ziffer 1 MDR, welcher durch Art. 5 Abs. 2 MDR Anwendung findet. Anhang I Ziffer 1 MDR. 189 Siehe hierzu Kap. C. V. 3.

188

VI. Pflichten bis zum Inverkehrbringen

61

MDR nicht. Aus dem systematischen Zusammenhang mit Anhang I Ziffer 17.1 S. 1 MDR ergibt sich, dass ein Defekt immer dann vorliegt, wenn Wiederholbarkeit, Zuverlässigkeit oder Leistung entsprechend ihrer bestimmungsgemäßen Verwendung nicht gegeben sind.190 Weiterhin bestimmt Anhang I Ziffer 17.2 MDR, dass die Software entsprechend dem Stand der Technik zu entwickeln und herzustellen ist, wobei die Grundsätze des Softwarelebenszyklus, des Risikomanagements einschließlich der Informationssicherheit, der Verifizierung und der Validierung zu berücksichtigen sind. In diesem Zusammenhang meint Verifizierung, dass der Hersteller nachweisen muss, dass die produktbezogenen Anforderungen eingehalten worden sind. Bei der Validierung ist der Nachweis über die Einhaltung der anwenderbezogenen Anforderungen zu erbringen.191 Sie wird definiert als objektiver Nachweis, dass ein Prozess durchgängig zu einem Ergebnis oder Produkt führt, das die vorgegebenen Anforderungen erfüllt.192 Dadurch stellt die MDR sicher, dass entsprechende technische und organisatorische Maßnahmen ergriffen werden müssen, um auftretende Fehler oder neu erlernte Funktionen, die zu Risiken führen und dem geltenden Sicherheitsstandard widersprechen können, zu vermeiden.193 Im Gegensatz zu klassischer Software, bei der die genannten Kriterien der Wiederholbarkeit, Zuverlässigkeit und Leistung sowie Verifizierung und Validierung aufgrund ihrer mechanistischen Funktion und der ständigen Erzielung eines bestimmten vorgegebenen Ergebnisses ohne Probleme eingehalten werden können, sieht dies bei autonomen Medizinprodukten anders aus.194 KI-Technologie hat die Fähigkeit zum kontinuierlichen Lernen; sie ist mithin lern- und anpassungsfähig. Im Laufe der Zeit verändert sich die Software, sodass die von der KI erzielbaren Ergebnisse zum Zeitpunkt ihres Inverkehrbringens nicht bekannt sind.195 Daher stellt sich die Frage, ob und wie bei KI-Software die von Anhang I Ziffer 17.1 und 17.2 MDR geforderten Voraussetzungen festgestellt und durchgeführt werden können.196 Die Besonderheit von autonomen Medizinprodukten besteht darin, dass die erzielbaren Ergebnisse zum Zeitpunkt des Inverkehrbringens nicht bekannt sind. Sinn 190

Vgl. W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 103. 191 Dettling, PharmR 2019, 633, 637; vgl. OVG Münster, MPR 2011, 26, 27; OVG Münster, GewA 2014, 367, 368; OVG Münster, MPR 2018, 89, 92. 192 OVG Münster, GewA 2014, 367, 368; Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10; The Global Harmonization Task Force (GHTF), GHTF/SG3/N99 – 10:2004, Ziffer 2.4 S. 5: „Process validation: establishing by objective evidence that a process consistently produces a result or product meeting its predetermined requirements.“ 193 Vgl. W. Droste, MPR 2018, 109, 110; Ministerium der Justiz des Landes NordrheinWestfalen, Arbeitsgruppe „Digitaler Neustart“, S. 241. 194 Dettling, PharmR 2019, 633, 637; Dettling/Krüger, MMR 2019, 211, 212; Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10. 195 Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10. 196 Siehe hierzu auch Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10; Dettling, PharmR 2019, 633, 637.

62

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

und Zweck des KI-Systems ist es, dass dieses gerade nicht dauernd oder wiederholend ein bestimmtes Ergebnis erzielt. Eine Validierung zu einem bestimmten Zeitpunkt, d. h. vor dem Inverkehrbringen, ist bei KI nicht hilfreich, da diese stetig weiterlernt und sich verändert. Um die Anforderungen von Anhang I Ziffer 17.1 und 17.2 MDR einzuhalten, müsste die Validierung folglich ebenso häufig stattfinden wie die Lernprozesse selbst. In welchen Zeitabständen und in welcher Regelmäßigkeit das autonome Medizinprodukt Änderungen vornehmen wird, kann aber gerade wegen des sich selbst verändernden Modellierungssystems nicht vorausgesagt werden. Dies bedeutet, dass der Hersteller die von Anhang I Ziffer 17.1 MDR geforderte Gewährleistung von Wiederholbarkeit, Zuverlässigkeit und Leistung entsprechend ihrer bestimmungsgemäßen Verwendung aufgrund der Möglichkeit stetiger Veränderungen der KI nicht ohne Weiteres erfüllen kann.197 bb) Nachträgliche Änderungen des KI-basierten Medizinprodukts Ändert sich das Medizinprodukt nach der Zertifizierung, so muss der Hersteller gem. Art. 10 Abs. 9 UAbs. 1 S. 2 MDR Änderungen an der Auslegung des Produkts oder an seinen Merkmalen sowie Änderungen der harmonisierten Normen oder der Gemeinsamen Spezifikationen,198 auf die bei Erklärung der Konformität eines Produkts verwiesen wird, zeitgerecht angemessen berücksichtigen. Zusätzlich muss das vom Hersteller einzurichtende Qualitätsmanagement ein Verfahren für das Management von Änderungen an den von dem System erfassten Produkten einschließen.199 Anhang VII Ziffer 4.9 MDR enthält ferner Anforderungen, die die Benannte Stelle bei Änderungen und Modifikationen einzuhalten hat. Der Hersteller muss die Benannte Stelle über Änderungen, die das genehmigte Produkt betreffen, informieren.200 Legt der Hersteller eine solche Produktänderung vor, bewertet und überprüft die Benannte Stelle in einem nächsten Schritt, ob diese Änderung noch durch die bestehende Konformitätsbewertung abgedeckt oder ob eine neue Konformitätsbewertung nach Art. 52 MDR erforderlich ist und teilt dies dem Hersteller mit.201 Im ersten Fall stellt die Benannte Stelle lediglich einen Nachtrag zur EUBescheinigung über die Bewertung der technischen Dokumentation aus.202 197 Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10; Thiermann/Böck, RDi 2022, 333, 335. Ohne nähere Begründung auch Handorn/Juknat, MPR 2022, 77, 86. Auch nach Auffassung der Benannten Stellen ist lernfähige medizinische KI-Software nicht zertifizierbar im Hinblick auf die Verifizierung und Validierung, Interessengemeinschaft der Benannten Stellen in Deutschland (IG-NB), „Artificial Intelligence (AI) in medical devices“, Version 4, Stand 9. 6. 2022, S. 4. 198 Vgl. Art. 9 MDR. 199 Art. 10 Abs. 9 UAbs. 3 lit. a) MDR. 200 Dazu zählen gem. Anhang VII Ziffer 4.9 UAbs. 1 MDR Änderungen an dem genehmigten Qualitätsmanagementsystem, der genehmigten Auslegung eines Produkts, der bestimmungsgemäßen Verwendung des Produkts oder den Angaben zum Produkt und dem genehmigten Baumuster eines Produkts. 201 Anhang VII Ziffer 4.9 UAbs. 3 MDR.

VI. Pflichten bis zum Inverkehrbringen

63

Fraglich ist, unter welchen Voraussetzungen eine Änderung eines Medizinprodukts vorliegt. Anhang VII Ziffer 4.9 UAbs. 1 MDR spricht lediglich von „Änderungen“. Aus dem systematischen Zusammenhang mit Anhang IX, der die Konformitätsbewertung auf der Grundlage eines Qualitätsmanagements und einer Bewertung der technischen Dokumentation regelt, ergibt sich, dass nicht jede Änderung, sondern nur solche mit einer gewissen Bedeutung relevant sind. Gem. Anhang IX Ziffer 2.4 S. 1 MDR muss der Hersteller die Benannte Stelle über geplante wesentliche Änderungen am Qualitätsmanagementsystem oder der hiervon erfassten Produktpalette informieren. Auch Anhang IX Ziffer 4.10 S. 1 MDR setzt Änderungen voraus, die die Sicherheit und Leistungsfähigkeit des Produkts oder die für das Produkt vorgeschriebenen Anwendungsbedingungen beeinträchtigen könnten.203 Unter welchen Umständen eine solche relevante Änderung vorliegt und welche Entscheidungsparameter für diese Beurteilung zugrunde zu legen sind, wird in der MDR nicht geregelt. Die Benannte Stelle sollte diese Entscheidung unter Berücksichtigung des risikobasierten Ansatzes der MDR treffen und danach abwägen, ob die Veränderung des Produkts zu einer Gesundheitsbeeinträchtigung des Patienten führen kann.204 Weiterhin ist zu klären, wann eine solche wesentliche Änderung bei einem KIbasierten Medizinprodukt vorliegt. Zur Beantwortung dieser Frage kann auf eine Leitlinie der Medical Device Coordination Group205 zurückgegriffen werden. Die MDCG-Leitlinie 2020 – 3 erläutert, welche Änderungen an einem Produkt als wesentliche Änderung der Auslegung oder der Zweckbestimmung gem. Art. 120 Abs. 3 MDR anzusehen sind.206 Art. 120 Abs. 3 MDR regelt, dass ein Produkt, für das eine Bescheinigung gemäß der zuvor geltenden Medizinprodukterichtlinien erteilt wurde, nur in Verkehr oder in Betrieb genommen werden darf, sofern es weiterhin den Medizinprodukterichtlinien entspricht und keine wesentlichen Änderungen der Auslegung und der Zweckbestimmungen vorliegen. Da Art. 120 Abs. 3 MDR ähnliche Tatbestandsmerkmale wie Anhang VII Ziffer 4.9 UAbs. 1 MDR enthält und zumindest ein teilidentisches Ziel bezweckt (die Gewährleistung hinreichender Patientensicherheit), kann die zu Art. 120 Abs. 3 MDR publizierte MDCG-Leitlinie zur Auslegung der wesentlichen Änderung herangezogen werden.207 In der MDCG-Leitlinie 2020 – 3 werden Änderungen, die sich 202

Anhang VII Ziffer 4.9 UAbs. 3 MDR und Anhang IX Ziffer 4.10 MDR. Vgl. Gassner, MPR 2021, 41, 48. 204 Vgl. Gassner, MPR 2021, 41, 48. Zum risikobasierten Ansatz der MDR ausführlich Gassner, MPR 2020, 162 ff. 205 Medical Device Coordination Group (MDCG), MDCG 2020 – 3. Die Medical Device Coordination Group (MDCG) wurde auf Grundlage von Art. 103 MDR gegründet. Die Koordinierungsgruppe setzt sich aus Vertretern aller Mitgliedsstaaten zusammen, Art. 103 Abs. 2 MDR. 206 Medical Device Coordination Group (MDCG), MDCG 2020 – 3, S. 2. 207 Gassner, MPR 2021, 41, 49. Zudem verweist die Medical Device Coordination Group (MDCG), MDCG 2020 – 3 auf einen NBOG-Leitfaden (Notified Body Operations Group 203

64

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

nicht auf die Auslegung oder die Zweckbestimmung des Produkts auswirken, als nicht wesentlich i. S. v. Art. 120 Abs. 3 MDR eingestuft.208 Die Bewertung, ob eine Änderung als signifikante Änderung der Auslegung (von Software) betrachtet werden kann, erfolgt in Anlehnung an Anhang VI Ziffer 6.5 MDR.209 Die Vorschrift unterscheidet zwischen geringfügigen und sonstigen Änderungen. Geringfügige Änderungen liegen vor, wenn die Änderung der Software die Behebung von Fehlern oder die Verbesserung der Gebrauchstauglichkeit betreffen, die nicht zu Sicherheitszwecken dienen. Dazu gehören ferner Bugfixes oder Sicherheitspatches.210 Weiterhin sind Änderungen zur Verbesserung der Benutzeroberfläche ohne Änderungen der Leistung, die z. B. das Erscheinungsbild der Benutzeroberfläche betreffen, als geringfügige Änderungen zu qualifizieren.211 Kommt es hingegen zu einer Änderung, die die ursprüngliche Leistung, die Sicherheit oder bestimmungsgemäße Verwendung der Software oder die Auswertung der Daten betreffen, liegt keine geringfügige Änderung mehr vor. Zu diesen Änderungen gehören neue oder geänderte Algorithmen, Datenbankstrukturen, Betriebsplattformen und Architekturen oder neue Schnittstellen sowie neue Kanäle für die Interoperabilität.212 Angewendet auf intelligente Medizinprodukte bedeutet dies, dass selbsterlernte Veränderungen der KI, die die Leistung des Produkts betreffen, als wesentliche Produktänderungen zu qualifizieren sind. Da neu erlernte Funktionen der KI in der Regel eine Leistungsveränderung des Produkts bezwecken und zu Änderungen des Algorithmus führen, muss der Hersteller die Benannte Stelle über jede Änderung informieren. Diese Änderungen werden der Benannten Stelle vorgelegt, welche wiederum eine Bewertung und Überprüfung der neuen Produktänderungen vornimmt. Daraus ergibt sich, dass der Medizinprodukthersteller, sofern zur Auslegung die MDCG-Leitlinie herangezogen wird, für jede Produktänderung, die das System in Folge seiner Lernfähigkeit vornimmt, eine neue Konformitätsbewertung vorzunehmen hat.213 Dies dauert nicht nur lange, sondern ist auch praktisch kaum umsetzbar, da nicht vorhergesehen werden kann, wann und in welcher Häufigkeit Änderungen von dem System vorgenommen werden.214 Dem Hersteller ist es daher (NBOG), NBOG’s Best Practice Guide 2014 – 3), der Änderungen des Qualitätsmanagementsystems und Änderungen an der Produktauslegung unter der Vorgängerregelung der MDR erläutert, hierzu auch Gassner, MPR 2021, 41, 49. 208 Hierzu wird beispielhaft aufgezählt: Die Verlagerung oder Hinzufügung neuer Fertigungsstätten, auch wenn Unterauftragnehmer oder Zulieferer betroffen sind oder bestimmte Änderungen des Qualitätsmanagements, sofern die Bedingungen, für die die Konformitätsbewertungsbescheinigung erteilt wurde, beibehalten werden, Medical Device Coordination Group (MDCG), MDCG 2020 – 3, S. 3. 209 Medical Device Coordination Group (MDCG), MDCG 2020 – 3, S. 4. 210 Anhang VI Ziffer 6.5.3 UAbs. 2 MDR. 211 Medical Device Coordination Group (MDCG), MDCG 2020 – 3, Chart C (ctd.), S. 11. 212 Anhang VI Ziffer 6.5.2 MDR. 213 Vgl. Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 10 f. 214 Zu denken ist etwa an den Fall, dass das intelligente Medizinprodukt in kurzer Zeit (beispielsweise während eines Tages) zahlreiche Funktionen erlernt und umsetzt. Hier müsste

VI. Pflichten bis zum Inverkehrbringen

65

kaum möglich, der Benannten Stelle die nach Anhang VII Ziffer 4.9 UAbs. 3 MDR erforderlichen Pläne über die Änderungen zur vorherigen Genehmigung vorzulegen.215 In diesem Zusammenhang ist der an späterer Stelle noch näher angesprochene Verordnungsvorschlag der Europäischen Kommission zur Regelung von KI in den Blick zu nehmen, der eine Zertifizierung von selbstlernenden Produkten und damit auch von autonomen Medizinprodukten ermöglichen soll.216 cc) Praxis Für den Hersteller von KI-basierten Medizinprodukten ist die Frage der Zertifizierung seiner Produkte daher nicht leicht zu beantworten. Lernfehler der KI können sich aber gravierend auf die Gesundheit des Patienten auswirken und im Widerspruch zu dem von der MDR geforderten hohen Niveau an Gesundheitsschutz und Sicherheit stehen.217 Der Hersteller ist wegen dieser besonderen Anforderungen dazu angehalten, die notwendigen Sicherheitsvorkehrungen zu treffen, um Risiken durch Lernfehler auszuschließen.218 Auf technischer Ebene gibt es drei Wege mit selbsterlernten Veränderungen umzugehen. Je nach Konstellation, wird das Risiko von Lernfehlern minimiert oder sogar komplett ausgeschlossen. - Zunächst besteht die Möglichkeit, dass der Lernprozess des KI-basierten Medizinprodukts bereits vollständig abgeschlossen ist. Man spricht von sog. geschlossenen Systemen. Bevor das KI-basierte Medizinprodukt auf den Markt gebracht wird, durchläuft es eine Testphase. Nach der Testphase wird ein bestimmter technischer Zustand des Produkts mit entsprechenden Funktionen zertifiziert. Das System ist in diesem Fall keiner nachträglichen Änderung mehr zugänglich. Es kann sich nicht mehr autonom weiterentwickeln („statische KI“219).220 - Zweitens kann das System so ausgestaltet werden, dass es weiterhin lernfähig ist. Neu erlernte Funktionen und Veränderungen im Lernprozess werden aber nicht sofort vom System übernommen. Bevor es neu erlernte Funktionen umsetzt, der Hersteller theoretisch nach jeder Produktänderung die Benannte Stelle über jene informieren. 215 Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 11. 216 Siehe hierzu Kap. E. III. 7. 217 Vgl. W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 101. 218 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 101. 219 Zu diesem Begriff: Interessengemeinschaft der Benannten Stellen in Deutschland (IGNB), „Artificial Intelligence (AI) in medical devices“, Version 4, Stand 9. 6. 2022, S. 4. Hiernach ist statische KI eine KI, die gelernt hat und in einem gelernten Zustand arbeitet. 220 Siehe hierzu Haagen, Verantwortung für KI, S. 281 f.

66

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

werden diese Veränderungen gespeichert und getestet und müssen vom Nutzer oder Hersteller manuell bestätigt bzw. zugelassen werden.221 Der Hersteller sollte bereits im Voraus Vorkehrungen treffen, die der Nutzer im Falle des Auftretens von Fehlfunktionen oder sogar bei einem Systemausfall ergreifen kann.222 Hierbei könnte der Hersteller das Produkt so konzipieren, dass es sich selbst überwacht oder einen speziellen Sicherheitsmodus enthält.223 Der Nutzer des Produkts sollte in jedem Fall die Möglichkeit zur Übersteuerung des Systems und damit die ständige Beherrschbarkeit besitzen, was eine entsprechende Konstruktion des KISystems voraussetzt.224 - Letztlich kann das autonome Medizinprodukt auch so ausgestaltet sein, dass der Lernprozess fortlaufend ermöglicht wird und das KI-System Veränderungen eigenständig und ohne menschliche Freigabe umsetzt („dynamische KI“225). Auch hier sollte der Arzt allerdings eine jederzeitige Möglichkeit zur Übersteuerung haben, sodass er die Kontrolle über das Produkt behält. Die Ausführungen zur Zertifizierung von Medizinprodukten nach der MDR zeigen, dass zum jetzigen Zeitpunkt nur die ersten beiden Wege rechtlich gangbar sind. Erst wenn der Hersteller die Leistungsänderung des Medizinprodukts überprüft hat und der Benannten Stelle zur Prüfung und erneuten Zertifizierung vorgelegt hat, darf er das veränderte Produkt weiter vertreiben bzw. erstmalig in den Verkehr bringen. dd) Vergleich zur U.S. Food and Drug Administration Die US-amerikanische Behörde für Lebens- und Arzneimittel (Food and Drug Administration – FDA) hat in den USA bereits mehrere Medizinprodukte zugelassen, die auf KI basieren. Allerdings ließ die FDA bisher keine dynamische KI zu, sondern nur solche Medizinprodukte mit KI-Software, die mit einem „eingefrorenen“ Algorithmus ausgestattet sind, d. h. ohne die Fähigkeit des kontinuierlichen 221

Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 23. 222 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22. 223 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22. 224 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22; Wagner, AcP 217 (2017), 707, 727; BeckOGK-BGB/Spindler, § 823 BGB Rn. 761; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 104. Zur Möglichkeit der Übersteuerung, der sog. „Backdoor“ ausführlich Haagen, Verantwortung für KI, S. 266 f. 225 Zu diesem Begriff: Interessengemeinschaft der Benannten Stellen in Deutschland (IGNB), „Artificial Intelligence (AI) in medical devices“, Version 4, Stand 9. 6. 2022, S. 4. Hiernach ist dynamische KI eine KI, die auch im Feld weiter lernt. Dynamische KI ist nach Auffassung der IG-NB grundsätzlich nicht zertifizierbar, S. 4.

VI. Pflichten bis zum Inverkehrbringen

67

Lernens (statische KI).226 Zu den bereits zugelassenen KI-basierten Medizinprodukten zählen solche, bei denen der Arzt die endgültige diagnostische Entscheidung trifft.227 Ferner hat die FDA nur kurze Zeit später ein KI-gestütztes Medizinprodukt zugelassen, welches die ärztliche Entscheidung gänzlich ersetzt.228 Die FDA hat allerdings in ihrem „Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (KI/Machine Learning)-Based Software as a Medical Device (SaMD)“ einen neuen Ansatz vorgestellt, der die Regulierung von sog. Adaptive Algorithms, d. h. lernfähigen Algorithmen, ermöglichen soll.229 In dem Diskussionspapier konstatierte die FDA zu Beginn, dass die bestehenden Regularien von Medizinprodukten nicht für Adaptive-AI/Machine Learning-Technologien entwickelt wurden, die das Potenzial haben, die Leistung von Geräten in Echtzeit anzupassen und zu optimieren, um die Gesundheitsversorgung für Patienten kontinuierlich zu verbessern.230 Die hochgradig iterative, autonome und anpassungsfähige Natur dieser Systeme erfordert nach Auffassung der FDI einen neuen Regulierungsansatz für den gesamten Produktlebenszyklus („Total

226 U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD). Dort heißt es: „We define a ,locked‘ algorithm as an algorithm that provides the same result each time the same input is applied to it and does not change with use. Examples of locked algorithms are static look-up tables, decision trees, and complex classifiers“, S. 3, 5. Siehe hierzu ausführlicher Dettling, PharmR 2019, 633, 639. 227 Dabei handelt es sich um ein Medizinprodukt, das der Erkennung cerebraler Gefäßverschlüsse auf Computer-Tomographie-Aufnahmen in der Schlaganfalldiagnostik dient. Es stellt keine eigenständige Diagnose, sondern unterstützt den Arzt beim Behandlungsablauf, vgl. U.S. Food and Drug Administration (FDA), „FDA permits marketing of clinical decision support software for alerting providers of a potential stroke in patients“ vom 13. 2. 2018; Dettling, PharmR 2019, 633, 636. 228 Dieses KI-basierte Medizinprodukt dient der Diagnose für diabetische Retinopathie, bei der kleine Blutgefäße der Netzhaut durch Diabetes mellitus geschädigt werden und zur Erblindung führen können. Das KI-gestützte Medizinprodukt soll die Gefäßveränderungen in einem frühen Stadium erkennen und dem Hausarzt eine Entscheidung zur Behandlung ermöglichen, ohne einen Facharzt für Augenheilkunde konsultieren zu müssen. Das Medizinprodukt ersetzt damit die Entscheidung des Facharztes für Augenheilkunde, vgl. U.S. Food and Drug Administration (FDA), „FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problems“ vom 11. 4. 2018; Dettling, PharmR 2019, 633, 636. 229 Unter einem „Adaptive Algorithm“, d. h. einem kontinuierlich lernenden Algorithmus, versteht die FDA einen Algorithmus, der sein Verhalten anhand eines definierten Lernprozesses ändert, U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S. 5. 230 U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S. 3.

68

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Product Lifecycle Regulatory Approach for AI/ML-Based SaMD“ – TPLC).231 Das TPLC-Konzept beruht auf der Etablierung von „Good Machine Learning Practices (GMLOP)“ und wird von der FDA wie folgt umschrieben: „Dieser vorgeschlagene TPLC-Ansatz ermöglicht es der regulatorischen Aufsicht der FDA, die iterativen Verbesserungsmöglichkeiten von KI/Machine Learning Software zu nutzen und gleichzeitig die Patientensicherheit zu gewährleisten. Darüber hinaus wird sichergestellt, dass laufende Algorithmusänderungen gemäß (1) vorab festgelegten Leistungszielen implementiert werden, (2) definierten Algorithmusänderungsprotokollen folgen, (3) einen Validierungsprozess nutzen, der auf die Verbesserung der Leistung, Sicherheit und Wirksamkeit von KI/Machine Learning-Software abzielt, und (4) eine reale Überwachung der Leistung beinhalten.“ Der TPLC-Regelungsrahmen zielt laut FDA darauf ab, einen Mechanismus zu etablieren, der Hersteller dazu anhält, die Sicherheit und Effektivität ihrer KI-basierten Medizinprodukte kontinuierlich aufrechtzuerhalten, was letztlich sowohl die FDA als auch die Hersteller dabei unterstützen soll, Patienten und Anbietern (bzw. Herstellern) einen größeren Nutzen zu bieten.232 Das Diskussionspapier der FDA bietet zunächst nur einen ersten Anhaltspunkt für die Regulierung lernfähiger KI-basierter Medizinprodukte und soll, wie die FDA klarstellt, zum Anlass genommen werden, vor der Ausarbeitung eines Leitfadenentwurfs frühzeitig Stellungnahmen von Gruppen und Einzelpersonen zu erhalten.233 Daher wurde neben der Darlegung eines vorgeschlagenen Regelungsrahmens um Rückmeldungen der Interessengruppen hinsichtlich der in dem Diskussionspapier gestellten Fragen gebeten. Dass der Regelungsrahmen noch in den Kinderschuhen steckt, wird zudem dadurch deutlich, dass die FDA im Januar 2021 eine Aktualisierung des im Diskussionspapier vorgeschlagenen Rahmens unter Einbeziehung der Rückmeldungen der Interessengruppen angekündigt hat.234 Erst nach der Aktualisierung des Diskussionspapier kann endgültig bewertet werden, ob eine entsprechende Regulierung auch in Deutschland übertragbar und zulässig wäre.

231 U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S. 3, 7. 232 U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S. 4; hierzu auch Dettling, MPJ 2019, 176, 184; Saliba, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn. 12. 233 U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S. 4. 234 U.S. Food and Drug Administration (FDA), Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan, S. 3.

VI. Pflichten bis zum Inverkehrbringen

69

ee) Zwischenergebnis Es wurde deutlich, dass die MDR zahlreiche Vorschriften enthält, die der Hersteller bei der Konzeption und Herstellung seines Produkts beachten muss, um die grundlegenden Sicherheits- und Leistungsanforderungen der MDR zu erfüllen. Die Besonderheiten von KI werden allerdings nicht adressiert, hierzu schweigt die MDR gänzlich.235 Die Zertifizierung von intelligenten Medizinprodukten steht vor einer großen Herausforderung. Die Konformitätsbewertung bezieht sich auf einen bestimmten technischen Zustand des Produkts mit entsprechenden Funktionen.236 Zu diesem Zeitpunkt nicht bekannte oder zugängliche Änderungen werden bzw. können nicht berücksichtigt werden. Wie die Normungsroadmap zur KI zutreffend darstellt: „Mit dem stetigen Weiterlernen von KI-Systemen und damit der Veränderung des Produkts selbst ist der Zustand zum Zeitpunkt der Zulassung (und ggf. Zertifizierung durch eine Benannte Stelle) mitunter bereits verlassen, wodurch die Voraussetzungen für den Marktzugang de iure nicht mehr erfüllt werden“.237 Derzeit erlaubt die MDR den Herstellern praktisch nicht, lernende und sich selbständig verändernde Medizinprodukte auf den Markt zu bringen.238 Die Selbstlernfähigkeit führt dazu, dass das Medizinprodukt nach jeder Änderung erneut zertifiziert werden müsste. Eine solche wiederholte Konformitätsbewertung für jede einzelne erlernte Veränderung behindert die Entwicklung und die praktische Anwendung von KI-basierten Medizinprodukten.239 Erschwerend kommt hinzu, dass der Hersteller für die Konformitätsbewertung keine allgemeinverbindlichen Normen, Handlungsempfehlungen oder gemeinsame Spezifikationen heranziehen kann.240 Grundsätzlich ist das Bestreben zu befürworten, im Bereich der KI technische Normen zu entwickeln. Sie könnten dem Hersteller als Orientierungshilfe im Rahmen der (fehlerfreien) Konstruktion dienen und dazu beitragen, dass der Fehlerbegriff i. S. v. § 3 ProdHaftG eine größere Objektivierung als bisher erfährt.241 Die praktische Umsetzbarkeit dürfte aber wegen der schnellen Entwicklung von autonom agierenden Produkten schwierig sein. Die Normierung von technischen Standards ist ein zeitintensiver Prozess, als Beispiel seien die MDCG-Leitlinien genannt,242 sodass die Gefahr besteht, dass die Vorschriften und

235

Vgl. Rad, MPJ 2021, 11, 12. Wahlster/Winterhalter, Deutsche Normungsroadmap KI, S. 137 f. 237 Wahlster/Winterhalter, Deutsche Normungsroadmap KI, S. 138; siehe hierzu ausführlich Gassner, MPR 2021, 41, 48. 238 Vgl. Wahlster/Winterhalter, Deutsche Normungsroadmap KI, S. 139. 239 Frost, MPR 2019, 117, 120. 240 Rad, MPJ 2021, 11, 12. 241 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 231. 242 Vgl. Gerhart, „Medical Device Coordination Group (MDCG)“ vom 8. 9. 2022. 236

70

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Normen bereits im Zeitpunkt ihres Erlasses nicht mehr dem aktuellen Stand von Wissenschaft und Technik entsprechen.243 Im Hinblick auf die hohen Erwartungen an KI, gerade auch im Bereich der Medizintechnik, ist eine Regulierung der produktrechtlichen Anforderungen für KIbasierte Medizinprodukte unerlässlich. Der von der MDR verfolgte Zweck der Patientensicherheit und des Gesundheitsschutzes kann nur vollends erreicht werden, wenn der Hersteller von intelligenten Medizinprodukten bei der Herstellung klar definierte Anforderungen zu berücksichtigen hat. Dabei muss die Regulierung Platz lassen für die Entwicklung technischer Innovationen.244 Es ist Aufgabe des Gesetzgebers eine Zertifizierung von intelligenten Medizinprodukten innovationsfreundlich zu ermöglichen. Die große Schwierigkeit wird darin liegen, Regelungen zu erlassen, die die selbsterlernten Veränderungen sinnvoll berücksichtigen und gleichzeitig einen hohen Schutz an Sicherheit gewährleisten.245 Bei der Möglichkeit der Zertifizierung von lernfähigen Medizinprodukten ist der Verordnungsvorschlag der Europäischen Kommission zur horizontalen Regulierung von KI deshalb von wesentlicher Bedeutung.246 Bis zu einer Neuregelung sollten Funktionsänderungen nicht während des Betriebs am Patienten zugelassen und umgesetzt werden. Hier bestünde die Gefahr, dass der Hersteller die erforderliche neue Konformitätsbewertungspflicht missachtet. Stattdessen könnte das KI-System in einer sicheren Umgebung Daten sammeln und selbsterlernte Funktionen umsetzen. Eine Konformitätsbewertung jedes einzelnen Lernschritts wäre dann nicht notwendig, sondern könnte am Ende des Lernprozesses durchgeführt werden. Das „ausgelernte“ autonome Medizinprodukt könnte nach der Zertifizierung am Patienten eingesetzt werden und würde der Zertifizierungspflicht entsprechen.247 c) Selbstlernfähigkeit als Konstruktionsfehler Unabhängig davon, ob selbstlernende Medizinprodukte nach der MDR zertifizierbar sind, wird in der Literatur intensiv diskutiert, ob die Offenheit eines KIAlgorithmus, d. h. die Fähigkeit zum selbständigen Weiterlernen, einen Konstruktionsfehler begründet. KI-basierte Medizinprodukte sind in der Lage auf äußere Einflüsse zu reagieren und ihre Entscheidungsstruktur an diese Veränderungen anzupassen. Durch diese Möglichkeit des Lernens und der Systemveränderlichkeit kann sich das autonome Produkt im Vergleich zum originären Zustand bei Inver-

243

Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 232. Vgl. Rad, MPJ 2021, 11, 18. 245 Frost, MPR 2019, 117, 120. 246 Siehe hierzu Kap. E. III. 247 Frost, MPR 2019, 117, 120.

244

VI. Pflichten bis zum Inverkehrbringen

71

kehrgabe nachträglich verändern.248 Daraus resultiert für den Hersteller die Schwierigkeit, dass etwaige Systemveränderungen der KI nicht mehr vollständig vorhersagbar sind und mögliche Schadenspotenziale im Voraus nicht erschöpfend identifiziert und durch entsprechende Sicherheitsmaßnahmen ausgeräumt werden können.249 Deshalb bereitet die Einordnung als Konstruktionsfehler Probleme, wenn das autonome System sich im Rahmen des Lernprozesses eine fehlerhafte Funktion selbständig aneignet. Es ist wie folgt zu unterscheiden: Ein Konstruktionsfehler liegt vor, wenn der Algorithmus bereits bei seinem Inverkehrbringen eine fehlerhafte Programmierung aufweist und infolgedessen eine Fehlfunktion erlernt (fehlerhafter Lern- und Entscheidungsprozess).250 Gleiches gilt für den Fall, wenn der Hersteller das System mit fehlerhaften Daten trainiert hat.251 Problematischer wird es, wenn die Lern- und Entscheidungsarchitektur fehlerfrei gestaltet wurde und auch richtig arbeitet, das autonome Medizinprodukt aber dennoch ein unerwartetes fehlerhaftes Ergebnis erzielt.252 Hat der Medizinproduktehersteller einen fehlerfreien Lernalgorithmus implementiert, stellt sich die Frage, ob ein Konstruktionsfehler vorliegt. Aufgrund der fehlenden Vorhersehbarkeit und mangelnden Beherrschbarkeit des Verhaltens von autonomen Systemen wird zum Teil generell von einem Konstruktionsfehler ausgegangen. Es wird vertreten, dass autonome Systeme, die ohne Überwachung lernfähig sind, per se fehlerhaft seien und deren Inverkehrbringen im Rahmen von § 823 Abs. 1 BGB pflichtwidrig sei.253 Dies würde bedeuten, dass es dem Hersteller per se untersagt wäre autonome Medizinprodukte in den Verkehr zu bringen. Dies kann in dieser Absolutheit nicht richtig sein. Bei der Diskussion ist zu berücksichtigen, dass intelligente Medizinprodukte entwickelt werden, um die Patientensicherheit zu erhöhen und die Anzahl sowie Schwere von Gesundheitsschäden im Vergleich zum status quo wesentlich zu minimieren.254 Autonome Medizinpro248

Thöne, Autonome Systeme und deliktische Haftung, S. 207. Thöne, Autonome Systeme und deliktische Haftung, S. 207; Sosnitza, CR 2016, 764, 769; Horner/Kaulartz, CR 2016, 7, 8, 11; Kirn/Müller-Hengstenberg, MMR 2014, 225, 228; Dettling/Krüger, MMR 2019, 211, 212; Schirmer, JZ 2019, 711, 711. 250 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22, 23; Staudinger/Oechsler, § 3 ProdHaftG Rn. 128. 251 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22, 23. 252 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 22, 23; Staudinger/Oechsler, § 3 ProdHaftG Rn. 128. 253 So Zech, ZfPW 2019, 198, 210, 213; Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163, 193. Zech ist von dieser strikten Ansicht wohl nun abgerückt, Zech, DJT 2020 Gutachten A, S. 55, 69 f.; Mühlböck/Taupitz, AcP 221 (2021), 179, 192; Staudinger/Oechsler, § 3 ProdHaftG Rn. 128; Ehring/Taeger/Taeger, § 3 ProdHaftG Rn. 53; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 38 f. 254 Siehe hierzu Kap. A. II.; vgl. Wagner, VersR 2020, 717, 727. 249

72

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

dukte sollen Diagnosen präziser stellen und bei Operationen Fehler des Arztes oder des Personals vermeiden; der autonome Operations-Roboter wird nicht müde, er zittert nicht und er hat keine Konzentrationsprobleme.255 Autonome Systeme sollen die Sicherheit für den Patienten erhöhen, weshalb sie nicht als fehlerhaft oder ihr Inverkehrbringen generell als pflichtwidrig qualifiziert werden sollten, vorausgesetzt das Medizinprodukt erfüllt die für die Produktzulassung erforderliche Mindestsicherheit.256 Die Annahme, dass Lernfähigkeit einen Konstruktionsfehler begründet, hätte innovationshemmende Folgen und würde Hersteller abhalten, KI-basierte Medizinprodukte zu konstruieren und weiterzuentwickeln. Ob die Offenheit des KI-Systems einen Konstruktionsfehler begründet, ist vielmehr anhand der von der Rechtsprechung aufgestellten Kriterien zur Feststellung eines Konstruktionsfehlers zu ermitteln (nachfolgend unter aa)). Daran schließt sich die Frage an, ob das Autonomierisiko als haftungsausschließendes Entwicklungsrisiko einzuordnen ist (nachfolgend unter bb)). aa) Übertragung der Rechtsprechung zum Konstruktionsfehler Aufgrund der fehlenden Vorhersehbarkeit und mangelnden Beherrschbarkeit des Verhaltens von autonomen Systemen generell von einem Konstruktionsfehler auszugehen, erscheint nicht sachgerecht und ist mit den Grundsätzen des geltenden Haftungsrechts nicht vereinbar.257 Richtigerweise ist zur Beurteilung, ob die offene Lernstruktur an sich einen Konstruktionsfehler begründet, der im Delikts- bzw. Produkthaftungsrecht geltende Grundsatz heranzuziehen: Hundertprozentige Sicherheit ist, wie bereits angesprochen,258 weder im Delikts- noch im Produkthaftungsrecht geschuldet, sondern lediglich die Einhaltung berechtigter Sicherheitserwartungen.259 Dieser Grundsatz ist auch auf intelligente Medizinprodukte anzuwenden.260 Vor dem Inverkehrbringen muss der Hersteller eine Abwägung der nach dem maßgeblichen Stand von Wissenschaft und Technik nicht vermeidbaren Risiken mit Art und Umfang der Risiken, der Wahrscheinlichkeit ihrer Verwirklichung und des mit dem Produkt verbundenen Nutzens vornehmen.261 Ergibt diese Abwägung, dass das Produkt nicht einmal eine Mindestsicherheit einhält, darf der Hersteller das 255

Hierzu Mühlböck/Taupitz, AcP 221 (2021), 179, 181. Vgl. Wagner, VersR 2020, 717, 727. 257 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 24. 258 Siehe hierzu Kap. C. VI. 1. a) cc). 259 BGH, NJW 2009, 1669, 1670; MüKo-BGB/Wagner, § 823 BGB Rn. 952; Wagner, AcP 217 (2017), 707, 728; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 42; Thöne, Autonome Systeme und deliktische Haftung, S. 207. 260 Vgl. Wagner, AcP 217 (2017), 707, 729; Haagen, Verantwortung für KI, S. 317; MüllerHengstenberg/Kirn, MMR 2021, 376, 379. 261 BGH, NJW 2009, 2952, 2953. 256

VI. Pflichten bis zum Inverkehrbringen

73

Produkt nicht in den Verkehr bringen.262 Wird der Mindestsicherheitsstandard dagegen eingehalten, ist entscheidend, ob der Medizinproduktehersteller im Zeitpunkt des Inverkehrbringens alle technisch möglichen und wirtschaftlich zumutbaren Maßnahmen zur Vermeidung bzw. Begrenzung der eingetretenen und schadensverursachenden Systemveränderung ergriffen hat.263 Entscheidend ist dabei die sorgfältige am aktuellen Stand von Wissenschaft und Technik orientierte Programmierung des KI-Algorithmus und das Training sowie Testläufe des Systems.264 Der Hersteller ist vor der Inverkehrgabe des Produkts verpflichtet, aktiv nach möglichen Schadensrisiken und entsprechenden Gefahrenminimierungsmaßnahmen zu suchen. Diese Sicherheitslücken muss er durch eigene Forschung und Erprobung schließen.265 Der Hersteller muss das autonome Medizinprodukt vor der Inverkehrgabe mit Blick auf seine Lernfähigkeit streng überprüfen und kontrollieren.266 In diesem Zusammenhang spielen auch die von der MDR geforderten klinischen Prüfungen eine wichtige Rolle. Bei Hochrisikoprodukten sind eigene klinische Prüfungen des Herstellers, bis auf wenige Ausnahmen, obligatorisch.267 Klinische Prüfungen sind systematische Untersuchungen, bei der ein oder mehrere menschliche Prüfungsteilnehmer einbezogen sind und die zwecks Bewertung der Sicherheit oder Leistung eines Produkts durchgeführt werden.268 Der Hersteller sollte deshalb auch bei autonomen Medizinprodukten umfassende klinische Prüfungen vornehmen, um die Sicherheit und Leistungsfähigkeit des Produkts zu gewährleisten. Führt die Selbstlernfähigkeit des Systems dazu, dass ein hinreichend sicherer Umgang mit dem intelligenten Medizinprodukt nicht gewährleistet werden kann, dann muss das Inverkehrbringen eines offenen Algorithmus unterbleiben und die Lern- und Entscheidungsstruktur so begrenzt werden, dass sich das System nach seinem Inverkehrbringen nicht mehr eigenständig verändern kann.269 Dies kann neben einer Begrenzung der Selbstlernfähigkeit auch dadurch erfolgen, dass der Hersteller jede Änderung des autonomen Produkts nach vorheriger Prüfung und Freigabe zulässt.270 262

Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 24; Sosnitza, CR 2016, 764, 769 f. 263 Thöne, Autonome Systeme und deliktische Haftung, S. 208; Zech, DJT 2020 Gutachten A, S. 70 f. 264 Thöne, Autonome Systeme und deliktische Haftung, S. 208, 209. 265 Thöne, Autonome Systeme und deliktische Haftung, S. 209; MüKo-BGB/Wagner, § 823 BGB Rn. 962. 266 Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 54. 267 Gassner, Medizinprodukte-Verordnung, S. 44; siehe Art. 61 Abs. 4 und Abs. 6 MDR. 268 Art. 2 Nr. 45 MDR. Zu den Voraussetzungen der klinischen Prüfungen, Art. 62 bis 82 MDR. 269 Thöne, Autonome Systeme und deliktische Haftung, S. 210; vgl. Sosnitza, CR 2016, 764, 769 f.; Zech, DJT 2020 Gutachten A, S. 55 f. 270 Thöne, Autonome Systeme und deliktische Haftung, S. 210. Mit Blick darauf, dass autonome Medizinprodukte entsprechend der MDR nach jeder Änderung eine erneute Konformitätsbewertung durchlaufen müssen, scheint diese Maßnahme zum jetzigen Zeitpunkt immer erforderlich zu sein.

74

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Da der Hersteller im Voraus aber nicht alle potenziellen Schadenssituationen berücksichtigen und diese in jeweils erforderliche Schutzmechanismen umsetzen kann, sollte der Arzt jederzeit die Möglichkeit zur Übersteuerung des intelligenten Medizinprodukts haben. Der Arzt muss dem autonomen Medizinprodukt in Gefahrensituationen Befehle erteilen können, die das System vorrangig vor seiner autonomen Entscheidung berücksichtigt.271 Der Medizinproduktehersteller ist deshalb dazu verpflichtet, das intelligente Medizinprodukt so zu konstruieren, dass der Nutzer des Produkts übersteuernd in das intelligente Medizinprodukt eingreifen kann. Hinsichtlich der Umsetzung einer solchen Steuerfunktion kann auf die Maschinenrichtlinie272 zurückgegriffen werden, die gem. Art. 1 Abs. 12 MDR unter den dort genannten Voraussetzungen auch auf Medizinprodukte Anwendung findet.273 Anhang I Ziffer 1.2.4.3 MaschinenRL sieht vor, dass jede Maschine mit einem oder mehreren NOT-HALT-Befehlsgeräten ausgerüstet sein muss, durch die eine unmittelbar drohende oder eintretende Gefahr vermieden werden kann. Das NOTHALT-Befehlsgerät muss gem. Anhang I Ziffer 1.2.4.3 MaschinenRL deutlich erkennbare, gut sichtbare und schnell zugängliche Stellteile haben, den gefährlichen Vorgang möglichst schnell zum Stillstand bringen, ohne dass dadurch zusätzliche Risiken entstehen und erforderlichenfalls bestimmte Sicherungsbewegungen auslösen oder ihre Auslösung zulassen. Die NOT-HALT-Funktion muss unabhängig von der Betriebsart jederzeit verfügbar und betriebsbereit sein. Wichtig ist hierbei, dass das NOT-HALT-Befehlsgerät im Vergleich zu anderen Schutzmaßnahmen keine verdrängende, sondern nur eine ergänzende Stellung einnimmt.274 Zudem darf das Stillsetzen der Maschine, welches ebenfalls durch eine entsprechende Befehlseinrichtung umzusetzen ist, nicht verhindert werden können, wenn der Befehl zum Stillsetzen bereits erteilt wurde.275 Daher muss der Medizinproduktehersteller das autonome Entscheidungsverhalten des intelligenten Medizinprodukts so weit begrenzen, dass es sich nicht über Befehlseingaben des Nutzers hinwegsetzen kann.

271 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 104. 272 Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (ABl. l 157 vom 9. 6. 2006, S. 24), zuletzt geändert durch Art. 1 VO (EU) 2019/1243 des Europäischen Parlaments und des Rates vom 20. Juni 2019 zur Anpassung von Rechtsakten, in denen auf das Regelungsverfahren mit Kontrolle Bezug genommen wird, an Artikel 290 und 291 des Vertrages über die Arbeitsweise der Europäischen Union (ABl. l 198 vom 25. 7. 2019, S. 241). Im Folgenden „MaschinenRL“. 273 Die MaschinenRL gilt für Medizinprodukte, wenn das Produkt eine Maschine nach Art. 2 Abs. 2 lit. b) MaschinenRL ist; eine relevante Gefährdung eintreten kann und die MaschinenRL spezifischere Vorgaben als die MDR enthält. Wegen des sehr weit gefassten Begriffsverständnisses „Maschine“ fallen hierunter z. B. Operationsroboter, der bewegliche Teil einer Anlage für die Tumorbestrahlung und Magnetresonanztomographie (MRT), Klessascheck, „Maschinenrichtlinie: Was bei Medizinprodukten gilt“ vom 28. 9. 2021. 274 Anhang I Ziffer 1.2.4.3 MaschinenRL. 275 Anhang I Ziffer 1.2.1 und 1.2.4.1 MaschinenRL.

VI. Pflichten bis zum Inverkehrbringen

75

Insgesamt ist bei der Konstruktion von KI-Systemen ein erhöhter Sorgfaltsmaßstab anzuwenden, da der Hersteller um das Risiko weiß, dass von autonomen Produkten wegen der mangelnden Vorhersehbarkeit und Beherrschbarkeit eine erhöhte Gefahr ausgeht, was sich auf die zumutbaren Gefahrverhinderungsmaßnahmen auswirken muss.276 Entscheidenden Einfluss auf den Sorgfaltsmaßstab hat neben dem zweckmäßigen Einsatzbereich des intelligenten Medizinprodukts der Autonomiegrad des KI-Systems: Mit zunehmender Autonomie nehmen die Anforderungen an die Sorgfalt des Herstellers zu.277 Die Grenze bildet aber auch hierbei das für den Hersteller erkenntliche und zugängliche Gefahrenwissen und damit die technisch mögliche Programmierung des Algorithmus. Nur wenn es entsprechende Informationen über das Gefahrenpotenzial des KI-Algorithmus gibt, hat der Hersteller auf technischer Ebene die Möglichkeit, diese Risiken beim Herstellungsprozess zu berücksichtigen und den Algorithmus entsprechend zu programmieren und anzupassen.278 Bestanden zum Zeitpunkt des Inverkehrbringens technisch mögliche Lösungen zur Begrenzung der eingetretenen und schadensverursachenden Systementwicklung, so hätte der Hersteller diese Sicherheitsvorkehrungen ergreifen müssen. Vom Hersteller wird wegen des erhöhten Gefahrenpotenzials von selbstlernenden Medizinprodukten und der betroffenen Rechtsgüter (Leben, Körper, Gesundheit) die Einhaltung größtmöglicher Vorsicht bei der Programmierung des KI-Algorithmus erwartet und er kann sich nicht auf eine wirtschaftliche Unzumutbarkeit einer technisch möglichen Alternativkonstruktion berufen. Darüber hinaus ist auch nicht zu erwarten, dass selbstlernende Medizinprodukte die Haftung im Hinblick auf den „Fehler“ und das „Inverkehrbringen“ vor eine nicht zu überwindende Herausforderung stellt.279 Das autonom agierende Medizinprodukt ist von Beginn an, d. h. zum Zeitpunkt seiner Inverkehrgabe, mit einem selbstlernfähigen Algorithmus ausgestattet, der vom Hersteller eine entsprechende Programmierung voraussetzt. Diese Programmierung ist bereits zum Zeitpunkt des Inverkehrbringens Bestandteil des Medizinprodukts. Die ursprüngliche Programmierung kann deshalb auch als Anknüpfungspunkt für einen Fehler bzw. eine Verkehrspflichtverletzung dienen.280 Es ist mithin durchaus vorstellbar, dass die ursprüngliche Programmierung des KI-Algorithmus trotz der Möglichkeit zur Lernfähigkeit nicht fehlerhaft ist.281 Ausschlaggebend hierfür ist die Frage, ob eine bessere Programmierung, ein besserer Datensatz oder ein besseres Training der KI 276

Vgl. Haagen, Verantwortung für KI, S. 221, 239. Veith, KI, Haftung und Kartellrecht, S. 91; Horner/Kaulartz, CR 2016, 7, 12. 278 Veith, KI, Haftung und Kartellrecht, S. 94 f. 279 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 211. 280 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 211; Staudinger/ Oechsler, § 3 ProdHaftG Rn. 128. 281 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 211; ausführlich hierzu auch Sommer, Haftung für autonome Systeme, S. 235. 277

76

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

das intelligente Medizinprodukt zum Zeitpunkt seines Inverkehrbringens sicherer gemacht hätten. Ist dies der Fall, kann die unzureichende ursprüngliche Programmierung als Anknüpfungspunkt für einen Fehler dienen.282 Stand hingegen technisch keine sicherere Konstruktion zur Verfügung, weil entsprechende Sicherheitsmaßnahmen noch nicht das Stadium der Serienreife erreicht haben, kann sich eine Fehlerhaftigkeit des autonomen Medizinprodukts nur noch dadurch ergeben, dass der Hersteller die Produktnutzer nicht ausreichend über die mit dem Betrieb des intelligenten Medizinprodukts verbundenen Risiken informiert hat (Instruktionsfehler).283 Lernfehler werden zudem im Rahmen der Produktbeobachtungspflicht des Herstellers relevant.284 Aus der Zusammenschau ergibt sich, dass selbstlernfähige Medizinprodukte nicht per se fehlerhaft sind. Es ist immer auf den Einzelfall abzustellen, wobei besonderes Augenmerkt auf das konkrete Produkt, seinen Autonomiegrad und sein Einsatzgebiet sowie die von ihm ausgehenden Gefahren und die gefährdeten Rechtsgüter zu legen ist. Mithin verletzt der Hersteller intelligenter Medizinprodukte seine Konstruktionspflicht, wenn das autonome System selbst bei fehlerfreier Umsetzung des Konstruktionsplans ein Gefährdungsrisiko aufweist, das sich nach dem aktuellen Stand von Wissenschaft und Technik durch eine Alternativkonstruktion hätte vermeiden lassen.285 Erfüllt das autonom agierende Medizinprodukt eine Mindestsicherheit und ergibt eine Kosten-Nutzen-Abwägung, dass das vom Produkt ausgehende Restrisiko hingenommen wird, sind die Voraussetzungen für eine Marktzulassung erfüllt, sodass alleine in dem Inverkehrbringen eines KI-basierten Medizinprodukts keine Pflichtverletzung zu sehen ist, die der Hersteller zu verschulden hätte.286 Hat der Hersteller alle technisch möglichen und zumutbaren Maßnahmen ergriffen und entsprach die Konzeption den berechtigten Sicherheitserwartungen, haftet der Hersteller nach hier vertretener Ansicht nicht für spätere Fehlentscheidungen des intelligenten Medizinprodukts unter dem Gesichtspunkt eines Konstruktionsfehlers.287 Eine Haftung für Lernfehler kann gleichwohl unter Verletzung der Instruktionspflicht und der nach dem Inverkehrbringen bestehenden Produktbeobachtungspflicht in Betracht kommen. 282 Sommer, Haftung für autonome Systeme, S. 235; Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 211; Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 56. 283 Wagner, AcP 217 (2017), 707, 729; MüKo-BGB/Wagner, § 823 BGB Rn. 971. 284 Siehe hierzu Kap. C. VII. 285 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 240; W. Droste, MPR 2018, 109, 110. 286 So auch Sosnitza, CR 2016, 764, 769 f.; Veith, KI, Haftung und Kartellrecht, S. 92. 287 So auch Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 62; Spindler, JZ 2022, 793, 795; Brand, MedR 2019, 943, 947; Bräutigam/Klindt, NJW 2015, 1137, 1139; im Ergebnis auch Schaub, JZ 2017, 342, 344; Müller-Hengstenberg/Kirn, MMR 2021, 376, 379; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 23; Burchardi, EuZW 2022, 685, 686 f.

VI. Pflichten bis zum Inverkehrbringen

77

bb) Kein Entwicklungsrisiko bei intelligenten Medizinprodukten Maßgeblicher Zeitpunkt sowohl bei der deliktischen Haftung als auch bei der Haftung nach dem ProdHaftG ist der Zeitpunkt des Inverkehrbringens des Produkts. Dies ergibt sich im ProdHaftG aus § 3 Abs. 1 lit. c) ProdHaftG, wonach bei der Bestimmung der Fehlerhaftigkeit des Produkts auf den Zeitpunkt abzustellen ist, in dem es in den Verkehr gebracht wurde. Die Regelung ist in Zusammenhang mit § 1 Abs. 2 Nr. 5 und § 3 Abs. 2 ProdHaftG zu lesen. Aus der Zusammenschau dieser Normen ergibt sich, dass nachträglich auftretende Fehler oder Weiterentwicklungen durch wissenschaftliche Fortschritte nicht dazu führen, dass das Produkt rückwirkend fehlerhaft wird.288 Ein Produkt, das einmal fehlerfrei in den Verkehr gebracht wurde, kann nicht nachträglich fehlerhaft werden.289 Auch im Rahmen der deliktischen Haftung nach § 823 Abs. 1 BGB ist maßgebender Zeitpunkt für den Sorgfaltsmaßstab das Inverkehrbringen des Produkts.290 Die Sorgfaltspflichten bestimmten sich anhand der Handlungssituation und dem Erkenntnisstand ex ante, d. h. zum Zeitpunkt des Inverkehrbringens des Produkts.291 Deshalb ist sowohl die auf die deliktische Produzentenhaftung als auch die auf das ProdHaftG gestützte Ersatzpflicht des Herstellers ausgeschlossen, wenn der den Schaden verursachende Fehler des Produkts im Zeitpunkt seiner Inverkehrgabe nach dem damaligen Stand von Wissenschaft und Technik nicht erkennbar war (Entwicklungsfehler).292 Trotz der fehlenden Erkennbarkeit liegt zwar ein Produktfehler vor, da das Produkt an sich geeignet ist, Schäden hervorzurufen (dies wird durch die spätere Produktbeobachtungspflicht deutlich). Allerdings scheitert eine Ersatzpflicht des Herstellers an der objektiven Pflichtwidrigkeit, da der Hersteller nicht verpflichtet werden kann, ex ante unerkennbare Schäden zu verhindern.293 Für auf das ProdHaftG gestützte Ansprüche folgt dies aus § 1 Abs. 2 Nr. 5 ProdHaftG.294 Besonders intensiv wird diskutiert, ob das der KI inhärente Autonomierisiko als Entwicklungsrisiko einzuordnen ist. Hierzu gibt es zwei Standpunkte in der Literatur. Zum einen wird pauschal vertreten, dass die Realisierung des der KI immanenten Intelligenzrisikos einen Entwicklungsfehler darstelle, mit der Folge, dass sich der

288

Insoweit klarstellend § 3 Abs. 2 ProdHaftG; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 19; BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 67; BeckOK/Förster, § 3 ProdHaftG Rn. 20; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 37. 289 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 37; BT-DRS. 11/2447, S. 18. 290 MüKo-BGB/Wagner, § 823 BGB Rn. 962; BGH, NJW 2009, 2952, 2955. 291 MüKo-BGB/Wagner, § 823 BGB Rn. 963; BeckOGK-BGB/Spindler, § 823 BGB Rn. 638; BGH, NJW 2009, 2952, 2955. 292 BGH, NJW 2009, 2952, 2955; BGH, NJW 2013, 1302, 1302. 293 BeckOGK-BGB/Spindler, § 823 BGB Rn. 639; Staudinger/Hager, § 823 BGB Rn. F 19; BGH, NJW 2009, 2952, 2955. A. A. v. Bodungen, SVR 2022, 1, 4. 294 BGH, NJW 2009, 2952, 2955; BGH, NJW 2013, 1302, 1302.

78

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Hersteller auf den Haftungsausschluss berufen könne.295 Auf der anderen Seite wird argumentiert, dass sich der Hersteller nicht mit dem Argument von seiner Haftung gem. § 1 Abs. 2 Nr. 5 ProdHaftG entlasten könne, dass autonome Medizinprodukte eigenständige und unvorhersehbare (Fehl-)Entscheidungen treffen können.296 Ihm sei bei der Entwicklung des intelligenten Medizinprodukts erkennbar, dass der KIAlgorithmus autonome und daher nicht oder nur zum Teil vorhersehbare Entscheidungen treffen werde.297 Zur Beantwortung dieser Frage wird zunächst herausgearbeitet unter welchen Voraussetzungen die Rechtsprechung das Vorliegen eines Entwicklungsrisikos annimmt (nachfolgend unter (1)). Anschließend wird diese Rechtsprechung auf intelligente Medizinprodukte übertragen (nachfolgend unter (2)). (1) Grundsätze der Rechtsprechung zum Entwicklungsrisiko Nach der Rechtsprechung des BGH kann sich der Hersteller nur dann auf das Vorliegen eines Entwicklungsrisikos berufen, „wenn die potenzielle Gefährlichkeit des Produkts im Zeitpunkt seiner Inverkehrgabe nach dem damaligen Stand von Wissenschaft und Technik nicht erkannt werden konnte, weil die Erkenntnismöglichkeiten (noch) nicht weit genug fortgeschritten waren“.298 Dabei bezieht sich die Erkennbarkeit nicht auf den konkreten Fehler des schadensstiftenden Produkts, sondern auf die potenzielle Gefährlichkeit des Produkts, welche das „allgemeine, mit der gewählten Konzeption verbundene Fehlerrisiko“ meint.299 Maßgeblich für die Erkennbarkeit ist das objektiv zugängliche Gefahrenwissen; irrelevant sind dagegen

295 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 20; Denga, CR 2018, 69, 73 f.; Spindler, JZ 2022, 793, 795; Spindler, in: FS Hart, 581, 601; Schaub, JZ 2017, 342, 343; Pieper, InTeR 2016, 188, 193; Veith, KI, Haftung und Kartellrecht, S. 84 f. Mangels Verschuldens sei dann auch ein deliktischer Schadensersatzanspruch nach § 823 Abs. 1 BGB zu verneinen, da die Fehlerhaftigkeit für den Hersteller objektiv nicht erkennbar gewesen sei, Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 193; W. Droste, MPR 2018, 109, 111. 296 Mühlböck/Taupitz, AcP 221 (2021), 179, 192; Wagner, AcP 217 (2017), 707, 750; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 40; Teubner, AcP 218 (2018), 155, 190; Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163, 184, 192; Zech, ZfPW 2019, 198, 213; Zech, DJT 2020 Gutachten A, S. 55, 71; Haagen, Verantwortung für KI, S. 320; Hinze, Haftungsrisiken des automatisierten und autonomen Fahrens, S. 140 f.; Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 281 ff.; Ehring/Taeger/Taeger, § 3 ProdHaftG Rn. 55 und auch Sosnitza, CR 2016, 764, 769 f. und wohl auch M. Lohmann, AJP/PJA 2/2017, 152, 158. 297 Wagner, AcP 217 (2017), 707, 750; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 40; Bundesministerium für Wirtschaft und Energie (BMWi), KI, S. 18. 298 BGH, NJW 2013, 1302, 1302. 299 BGH, NJW 2009, 2952, 2955; BGH, NJW 2013, 1302, 1302; Staudinger/Oechsler, § 1 ProdHaftG Rn. 120 ff.

VI. Pflichten bis zum Inverkehrbringen

79

subjektive Erkenntnismöglichkeiten des einzelnen Herstellers.300 Der Haftungsausschluss findet nach Ansicht des BGH Anwendung auf Konstruktions- und Instruktionsfehler. Nicht erfasst sind Ausreißer, d. h. Fabrikationsfehler an einzelnen Produkten, die für den Hersteller unvermeidbar waren.301 (2) Anwendung auf intelligente Medizinprodukte Überträgt man die Grundsätze des BGH zum Vorliegen eines Entwicklungsrisikos auf intelligente Medizinprodukte, kommt es richtigerweise auf das dem KI-Algorithmus immanente Autonomierisiko an.302 Mithin bildet das allgemeine Fehlerrisiko, d. h. die Fähigkeit von intelligenten Medizinprodukten die eigene Entscheidungsstruktur zu ändern und sich mithin nach dem Inverkehrbringen fortzuentwickeln, den Anknüpfungspunkt für das Vorliegen eines etwaigen Entwicklungsfehlers. Nicht maßgebend ist die im Einzelfall schadensauslösende Entscheidung des Algorithmus. Ein Entwicklungsrisiko liegt demnach nach hier vertretener Ansicht vor, wenn das der KI inhärente Autonomierisiko, d. h. die abstrakte Möglichkeit einer Fehlentwicklung, zum Zeitpunkt des Inverkehrbringens nach objektiven Maßstäben nicht erkennbar war. Herstellern ist aber allgemein bekannt, dass KI-Systeme während ihres Einsatzes neue Verhaltensweisen und Fähigkeiten erlernen und diese die Funktionsfähigkeit und Sicherheit des Produkts nachteilig beeinträchtigen können. Die Möglichkeit zur Systemveränderung entspricht ihrer vom Hersteller beabsichtigten Programmierung.303 Dem Hersteller ist bei der Entwicklung des intelligenten Medizinprodukts nicht nur bewusst, sondern er beabsichtigt, dass der KI-Algorithmus autonome Entscheidungen treffen wird und die KI die Fähigkeit hat, sich neuen Situationen und Gegebenheiten anzupassen und neu Erlerntes umzusetzen. Daher ist es für den Hersteller auch schon bei der Konstruktion des Produkts erkennbar, dass der Algorithmus Entscheidungen treffen kann, die ex ante noch nicht im Detail vorhergesagt werden und zu einem Schaden führen können.304 Nicht erkennbar ist 300

BGH, NJW 2009, 2952, 2955; BGH, NJW 2013, 1302, 1302. BGH, NJW 1995, 2162, 2163; BGH, NJW 2009, 2952, 2955; BeckOK/Förster, § 1 ProdHaftG Rn. 60. 302 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 193; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 39 f.; Etzkorn, MMR 2020, 360, 363. 303 Haagen, Verantwortung für KI, S. 320; v. Westphalen, ZIP 2019, 889, 892; Etzkorn, MMR 2020, 360, 363. 304 So auch Staudinger/Oechsler, § 1 ProdHaftG Rn. 120; Thöne, Autonome Systeme und deliktische Haftung, S. 207 ff.; Wagner, AcP 217 (2017), 707, 750; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 40. Bundesministerium für Wirtschaft und Energie (BMWi), KI, S. 18. Leupold und Wiesner schlagen allerdings zu Recht vor, dass „zumindest eine bestimmte Vorstellung vom möglichen Fehler zu verlangen [ist] und nicht schon die allgemeine Kenntnis von der Unvorhersehbarkeit von selbstlernenden Systemen für den Ausschluss des § 1 Abs. 2 Nr. 5 ProdHaftG genügen [soll301

80

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

hingegen, ob, wann und aufgrund welcher spezifisch neu erlernten Verhaltensweise in der konkreten Situation ein Schaden entstanden ist.305 Da es aber auf letztere nicht ankommt, liegt kein Entwicklungsrisiko vor.306 cc) Zwischenergebnis Zusammenfassend ergibt sich, dass die Lernfähigkeit der KI, die zu sicherheitsgefährdenden Verhaltensweisen führen kann, richtigerweise nicht generell einen Konstruktionsfehler darstellt. KI ist es immanent, dass sie anpassungs- und lernfähig ist. Würde dieses Risiko vollständig auf den Hersteller abgewälzt werden, würde sich dies innovationshemmend auswirken. Letztlich zielt der Medizinproduktehersteller mit dem Inverkehrbringen von intelligenten Medizinprodukten darauf ab, den gesundheitlichen Bedürfnissen der Patienten noch weiter gerecht zu werden. KI soll dabei helfen, präzisere Diagnosen zu stellen und passgenauere Therapien vorzuschlagen. Hat der Hersteller alle technisch möglichen und zumutbaren Sicherheitsmaßnahmen ergriffen und kommt es dennoch infolge der Verwirklichung der der KI inhärenten Risiken zu einem Schaden des Patienten, haftet der Medizinproduktehersteller nicht unter dem Gesichtspunkt eines Konstruktionsfehlers. Dabei handelt es sich um Risiken, die der Hersteller im Voraus weder durch eine bessere Konstruktion des Algorithmus noch durch präzisere Daten oder durch ein besseres Training hätte beseitigen können.307 Hingegen kann der Medizinprodukte].“, Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 64. In diese Richtung auch Ringlage, Haftungskonzepte für autonomes Fahren, S. 96. Problematisch erscheint an dieser Aussage, dass es jedenfalls nach der Rechtsprechung des BGH eben nicht auf den konkreten schadensverursachenden Fehler ankommt, sodass insoweit fraglich ist, welche bestimmte Fehlervorstellung der Hersteller haben muss. Differenzierend v. Westphalen, ZIP 2019, 889, 892 f. Sommer stellt auf die Versicherbarkeit des Risikos ab: Danach kann sich der Hersteller auf ein Entwicklungsrisiko berufen, wenn der Hersteller den Schaden infolge des Risikoeintritts zuvor nicht zumutbar versichern konnte. Auch nach Ansicht von Sommer sind die Lernrisiken inzwischen erkennbar und versicherbar. Damit komme der Ausschluss nur bei gravierenden, nicht zu erwartenden Risiken in Betracht, vor denen der Hersteller den Produktnutzer durch Sicherheitsvorkehrungen nicht zumutbar hätte schützen können, Sommer, Haftung für autonome Systeme, S. 260 f. 305 Ringlage, Haftungskonzepte für autonomes Fahren, S. 96; Sommer, Haftung für autonome Systeme, S. 260; wohl auch Pieper, InTeR 2016, 188, 193. 306 Andere wiederum bejahen das Vorliegen einer sog. Entwicklungslücke, die vorliegt, wenn das potenzielle Schadensrisiko ex ante zwar erkennbar war, aber (noch) keine Technologie zur Verfügung stand, um das Risiko zu vermeiden oder zu verringern (Unmöglichkeit der Gefahrenbeseitigung), hierzu Thöne, Autonome Systeme und deliktische Haftung, S. 209; Etzkorn, MMR 2020, 360, 362. Generell zur Unterscheidung von Entwicklungsrisiko und -lücke, MüKo-BGB/Wagner, § 823 BGB Rn. 963. Auch eine Entwicklungslücke befreit den Hersteller von der Haftung, da es dann genau genommen am Vorliegen eines Konstruktionsfehlers fehlt. Entscheidend ist, ob die Gefahrbeseitigung technisch möglich ist und das Produkt eine Mindestsicherheit einhält. Dies entspricht auch den Grundsätzen des BGH zum Konstruktionsfehler. Ausführlich hierzu Etzkorn, MMR 2020, 360, 362 f. 307 Sommer, Haftung für autonome Systeme, S. 235.

VI. Pflichten bis zum Inverkehrbringen

81

tehersteller für Lernfehler einer Haftung nach § 823 Abs. 1 BGB wegen Verletzung seiner Produktbeobachtungspflicht ausgesetzt sein, wenn dieser ursprünglich nicht erkennbare Fehler nach dem Inverkehrbringen des Produkts erkennbar wird.308 Wie später noch ausführlich dargestellt wird,309 muss der Hersteller im Rahmen seiner Produktbeobachtungspflicht nach § 823 Abs. 1 BGB sicherstellen, dass das System während des gesamten Lernprozesses dem einzuhaltenden und zertifizierten Sicherheitsstandard genügt. Daneben ist zu berücksichtigen, dass der Hersteller hinsichtlich der gesamten künftigen Produkte haftbar sein kann, wenn der ursprünglich nicht erkannte Fehler nun erkannt wurde. Weist das KI-System einen Fehler auf, muss der Hersteller diesen Fehler beheben. Kommt er dieser Verpflichtung nicht nach und ist die gesamte neue Produktpalette von dem Fehler betroffen, liegt ein Konstruktionsfehler zum Zeitpunkt des Inverkehrbringens der neuen Produkte vor. Für den gleichen Fehler eines bereits im Verkehr befindlichen Produkts haftet der Hersteller nach hier vertretener Ansicht allerdings nicht. d) Ergebnis zum Konstruktionsfehler Im Rahmen der Konstruktion hat der Medizinproduktehersteller gerade im Hinblick darauf, dass Medizinprodukte in einem besonders sensiblen Bereich eingesetzt werden (am oder im Körper des Menschen) dafür Sorge zu tragen, dass das Leben, die Gesundheit und der Körper des Patienten nicht verletzt werden. Die Sorgfaltspflichten des Herstellers sind bei drohenden schwerwiegenden Schäden an Leben, Gesundheit und körperlicher Unversehrtheit besonders intensiv.310 Allerdings kann vom Hersteller keine Gewährleistung einer absoluten Schadensfreiheit erwartet werden. KI-Systemen sind unvorhersehbare und unbeherrschbare Funktionsänderungen immanent, die nicht dazu führen dürfen, dass der Hersteller KI-basierte Medizinprodukte nicht in den Verkehr bringen darf bzw. überzogene Sorgfaltsanforderungen von ihm verlangt werden. Als Mindestmaß muss der Hersteller die Vorgaben der MDR einhalten, wobei hier einschränkend zu berücksichtigen ist, dass die MDR die Besonderheiten von selbstlernenden Medizinprodukten nicht adressiert und auf diese nicht abgestimmt ist. Der Sorgfaltsmaßstab des Medizinprodukteherstellers von intelligenten Medizinprodukten ist wegen der mangelnden Vorhersehbarkeit und Beherrschbarkeit von KI-Software im Vergleich zu herkömmlichen Medizinprodukten zu erhöhen. Die Konstruktion ist jedoch auch in diesem Fall auf das Vorhersehbare und technisch Mögliche zu begrenzen.311

308 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 253. 309 Siehe hierzu Kap. C. VII. 310 MüKo-BGB/Wagner, § 823 BGB Rn. 952. 311 So auch Haagen, Verantwortung für KI, S. 247.

82

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

2. Fabrikationsfehler Als weiterer Fehler des Produkts kommt ein Fabrikationsfehler in Betracht. Ein Fabrikationsfehler liegt vor, wenn zwar der Konstruktionsplan fehlerfrei ist, aber einzelne Produkte der Serie planwidrig von der vom Hersteller selbst angestrebten Sollbeschaffenheit abweichen.312 Der Hersteller muss gewährleisten, dass seine Produkte dem Konstruktionsplan entsprechen und die Produktionsstätte fehlerfrei verlassen.313 Fabrikationsfehler entstehen häufig dann, wenn der Hersteller keine wirksamen Qualitätskontrollen durchführt.314 Nach dem ProdHaftG haftet der Hersteller auch für Ausreißer, das heißt für einzelne Produkte, die trotz Einhaltung aller zumutbaren und erforderlichen Sicherheitsmaßnahmen fehlerhaft sind.315 Auf eine Vermeidbarkeit des auftretenden Fehlers kommt es nicht an. Anders ist dies nur im Rahmen der deliktischen Produzentenhaftung: Hier trifft den Hersteller mangels Verschuldens keine Schadensersatzpflicht, wenn der Fehler unvermeidbar war.316 Die durchzuführende Qualitätskontrolle ist für Medizinprodukte in Art. 52 Abs. 1 MDR geregelt. Wie bereits oben im Rahmen des Konstruktionsfehlers dargestellt wurde,317 muss der Hersteller ein Konformitätsbewertungsverfahren durchführen, wodurch die Einhaltung der einzuhaltenden Qualitätsanforderungen bei der Produktion von Medizinprodukten gewährleistet werden soll.318 Dabei ist insbesondere die Einrichtung eines Qualitätsmanagementsystems gem. Art. 10 Abs. 9 MDR relevant.319 Das Qualitätsmanagementsystem umfasst alle Teile und Elemente der Organisation eines Herstellers, die mit der Qualität der Prozesse, Verfahren und Produkte befasst sind.320 Hierzu zählen auch die Anforderungen, die der Hersteller im Rahmen des Fabrikationsprozesses einzuhalten hat.321 312

Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 15; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 242; Staudinger/Hager, § 823 BGB Rn. F 17; MüKo-BGB/Wagner, § 823 BGB Rn. 974. 313 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 70; BeckOK/Förster, § 3 ProdHaftG Rn. 33. 314 Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 15. Zum Qualitätsmanagement siehe Kap. C. V. 3. c). 315 BeckOK/Förster, § 3 ProdHaftG Rn. 33; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 42; vgl. BGH, NJW 1995, 2162, 2163; BGH, NJW 2009, 2952, 2955. 316 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 70; Staudinger/Oechsler, § 3 ProdHaftG Rn. 104; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 190. 317 Siehe hierzu Kap. C. V. 3. 318 Vgl. W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 171. 319 Siehe hierzu Kap. C. V. 3. c). 320 Art. 10 Abs. 9 UAbs. 2 S. 1 MDR. 321 Hiervon umfasst sind die Einrichtung eines Ressourcenmanagements, einschließlich der Auswahl und Kontrolle von Zulieferern und Unterauftragnehmern, Qualitätssicherungs- und Kontrolltechniken auf der Ebene der Herstellung und die Durchführung von Qualitätskontrollen, vgl. Anhang IX Ziffer 2.2 lit. d), e), Art. 10 Abs. 9 lit. d) MDR.

VI. Pflichten bis zum Inverkehrbringen

83

Bei intelligenten Medizinprodukten ergeben sich insoweit keine Besonderheiten, da auch hier immer ein einzelnes Produkt fehlerhaft sein kann.322 Hierbei ist zu berücksichtigen, dass der Kern des intelligenten Medizinprodukts die KI-Software, mithin die Programmierung ist.323 Hinsichtlich der äußeren Zusammensetzung (Gehäuse, Materialien etc.) des autonomen Medizinprodukts ergibt sich keine unterschiedliche Beurteilung im Vergleich zu herkömmlichen Medizingeräten, sodass auch hier immer einzelne Teile die Produktionsstätte fehlerhaft verlassen können. Die fehlerhafte Programmierung ist hingegen primär eine Frage der Konstruktion der KI-Technologie.324 Ausnahmsweise kann ein Fabrikationsfehler bei Produkten mit integrierter Software daraus resultieren, dass die Übertragung der Software von einem auf einen anderen Speicherort Fehler hervorruft oder Schadsoftware übertragen wird.325 Bei letzterem liegt ein Fabrikationsfehler nur vor, wenn die KI bereits mit der Schadsoftware in den Verkehr gebracht wurde. Wird das intelligente Medizinprodukt erst nachträglich mit Schadprogrammen belastet, weil das autonome System nicht so programmiert ist, dass es hinreichend gegen solche Hackerangriffe geschützt ist, betrifft dies die Frage, ob ein Konstruktionsfehler vorliegt.326

3. Instruktionsfehler Neben der Pflicht zur sorgfältigen Konstruktion und Fabrikation seiner Produkte ist der Medizinproduktehersteller verpflichtet, die Anwender seiner Produkte sorgfältig zu instruieren.327 Die Instruktion ist im Vergleich zur Konstruktion und Fabrikation subsidiär; ist eine Gefahr bereits auf Konstruktionsebene vermeidbar, genügt der bloße Hinweis auf die Gefahr nicht.328 Der Hersteller muss den Anwender auf die Risiken im Zusammenhang mit der Verwendung des Produkts hinweisen und eine Anleitung für den risikolosen Ge- oder Verbrauch zur Verfügung stellen.329 Ein Instruktionsfehler kann auftreten, wenn der Hersteller den Verwender des Produkts nicht ausreichend über Art und Weise der Produktnutzung oder die Produktrisiken aufklärt, dem Produkt keine oder eine fehlerhafte Produktanweisung, Anleitung oder 322

Frost/Kießling, MPR 2020, 178, 181. Haagen, Verantwortung für KI, S. 244 f. 324 Haagen, Verantwortung für KI, S. 244 f. 325 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 190, 242; Gomille, JZ 2016, 76, 78; so auch Wagner, AcP 217 (2017), 707, 725; Taeger/Pohle/Littbarski, Computerrechts-Handbuch, Teil 180 Rn. 73. 326 Vgl. hierzu Wagner, AcP 217 (2017), 707, 725 f. 327 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 25; vgl. BGH, NJW 1992, 2016, 2018; BGH, NJW 1992, 560 f. 328 Wagner, AcP 217 (2017), 707, 728; MüKo-BGB/Wagner, § 823 BGB Rn. 981; v. Bodungen/Hoffmann, NZV 2018, 97, 98. 329 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 25; W. Droste, MPR 2018, 109, 110. 323

84

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Warnung beiliegt.330 Die Instruktionspflicht bezieht sich nicht nur auf den bestimmungsgemäßen Gebrauch des Produkts, sondern umfasst auch den naheliegenden Fehlgebrauch.331 Der Hersteller genügt seiner Instruktionspflicht nur dann, wenn die Anweisungen inhaltlich klar und allgemein verständlich sind. Hierbei gilt, dass Warnungen umso deutlicher sein müssen, je gefahrträchtiger die Verwendung des Produkts für die Gesundheit von Menschen ist.332 Inhalt und Umfang der Instruktionspflicht bestimmen sich zudem nach den Anwenderkreisen des Produkts.333 Adressat der Instruktionspflicht ist bei intelligenten Medizinprodukten der anwendende Arzt. Hier kann die Instruktionspflicht herabgesetzt sein, da es sich beim Arzt um einen professionellen Anwender handelt.334 Dennoch hat der Medizinproduktehersteller angemessen zu berücksichtigen, dass Ärzten das erforderliche ITFachwissen fehlen kann.335 Der Hersteller muss sich vergewissern, ob der Arzt bereits Erfahrungen mit autonomen Medizinprodukten hat.336 Dies ist keine Besonderheit von autonomen Systemen, sondern gilt im Allgemeinen bei Software-basierten Produkten.337 Fehlen dem Arzt die nötigen Kenntnisse, kann der Medizinproduktehersteller seinen Instruktionspflichten auch dadurch gerecht werden, dass er dem Nutzer des autonomen Medizinprodukts einen KI-Trainer zur Verfügung stellt. Dieser kann den Arzt mit der KI vertraut machen, die wichtigen und wesentlichen Funktionen erklären und auf die Wichtigkeit eventuell erforderlicher Trainings der KI mit Daten hinweisen.338 Im Zusammenhang mit autonomen Systemen ist der Hersteller verpflichtet die besonderen Intelligenzrisiken aufzuzeigen, bis sich ein entsprechendes Wissen in dem Nutzerkreis etabliert hat.339 Beispielswiese wird der Medizinproduktehersteller den anwendenden Arzt darüber aufzuklären haben, dass das intelligente Medizin330 Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 16; BGH, NJW 1992, 560, 561. 331 BGH, NJW 1999, 2815, 2815 f.; BGH, NJW 1992, 560, 561; BGH, NJW 2009, 2952, 2954. 332 Deutsch/Lippert u. a./Gassner, MPG, Haftung Medizinprodukte Rn. 16; BGH, NJW 1992, 560, 561. 333 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 25. 334 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 243. 335 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 243; Spindler, CR 2015, 766, 769; BeckOGK-BGB/Spindler, § 823 BGB Rn. 760. 336 Spindler, in: FS Hart, 581, 598. 337 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 243. 338 Hier könnte eine Parallele zum sog. Medizinprodukteberater gezogen werden, vgl. § 83 MPDG. 339 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 26.

VI. Pflichten bis zum Inverkehrbringen

85

produkt wegen seiner Selbstlernfähigkeit unvorhersehbare und u. U. unerwünschte Verhaltensweisen erlernen kann.340 Der Hersteller muss dem Arzt zudem Hinweise darüber geben, wie er das System zu trainieren hat und dass fehlerfreie Trainingsdaten ein wichtiger Bestandteil eines fehlerfreien Lernprozesses und damit ausschlaggebend für die vom System zu erlernenden Funktionen sind.341 Zudem ist der Arzt auf die besonderen Gefahren hinzuweisen, die aus der Verwendung des intelligenten Medizinprodukts resultieren.342 Für den anwendenden Arzt muss deutlich sein, dass beim Einsatz solcher Technologien ein nicht beherrschbares und unvorhersehbares Restrisiko verbleibt.343 Letztlich muss der Arzt darüber informiert werden, wie er das System zu bedienen hat, wann und innerhalb welchen Zeitraums ein Eingreifen in das autonome System erforderlich ist, was bei einem Systemausfall zu tun ist und wie und in welchen Zeitabschnitten eine Wartung des Systems erforderlich ist.344 Sowohl die MDR (nachfolgend unter a)) als auch die MPBetreibV (nachfolgend unter b)) enthalten gesetzliche Vorgaben zu den Instruktionspflichten des Medizinprodukteherstellers. a) Instruktionspflichten nach der MDR Die Informationspflicht des Herstellers wird in der MDR mehrfach adressiert. So schreibt Art. 10 Abs. 11 MDR vor, dass die Produktinformationen gem. Anhang I Ziffer 23 MDR in einer oder mehreren vom Mitgliedsstaat, in dem das Produkt dem Anwender oder Patienten zur Verfügung gestellt wird, festgelegten Amtssprache(n) der Union beigelegt werden muss und dass die Angaben auf der Kennzeichnung unauslöschlich, gut lesbar und für den vorgesehenen Anwender oder Patienten klar verständlich sein müssen. Richtungsweisend ist im Rahmen der Instruktionspflicht Anhang I Kapitel III MDR, welcher die Anforderungen an die mit dem Produkt gelieferten Informationen regelt. Danach muss der Hersteller jedem Medizinprodukt die notwendigen Angaben hinsichtlich der Identifizierung des Produkts und des Herstellers, sowie alle für den Anwender oder gegebenenfalls dritte Personen relevanten Informationen für die Sicherheit und Leistung des Produkts beifügen.345 Die MDR schreibt nicht verpflichtend vor, wo der Hersteller diese Informationen an340

Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 26. 341 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 26; Deutsche Akademie der Technikwissenschaften (acatech), Machine Learning in der Medizintechnik, S. 22. 342 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 26. 343 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 26; ähnlich Wagner, AcP 217 (2017), 707, 748; Grapentin, JR 2019, 175, 178. 344 Ringlage, Haftungskonzepte für autonomes Fahren, S. 78. 345 Anhang I Kap. III Nr. 23.1 S. 1 MDR.

86

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

geben muss. Möglich ist die Darstellung auf dem Produkt im Wege einer Produktkennzeichnung, in der Gebrauchsanweisung oder die Bereitstellung und Aktualisierung der Informationen auf der Webseite des Herstellers.346 Gem. Anhang I Ziffer 23.4 lit. b) MDR muss der Hersteller die Zweckbestimmung des Produkts mit einer genauen Angabe der Indikationen, Kontraindikationen, Patientenzielgruppe(n) und vorgesehenen Anwender, soweit zutreffend, angeben. Hierdurch sollen der Arzt oder gegebenenfalls ein Angehöriger der Gesundheitsberufe347 in die Lage versetzt werden, zu entscheiden, ob das intelligente Medizinprodukt zur Diagnose, Therapie oder sonstigen Behandlung des Patienten geeignet ist.348 Dabei spielt die Erklärung der Schnittstelle zwischen Mensch und Maschine, das sog. „Human Machine Interface“, eine große Rolle.349 Der Nutzer muss ausreichend über die Zusammenarbeit und Verantwortlichkeiten von Mensch und Technik aufgeklärt werden.350 Die Funktionsweise des Systems und insbesondere die Verbindung bzw. Abstimmung zwischen dem autonomen Medizinprodukt und menschlicher Handlung müssen klar definiert sein, damit der Arzt sein Verhalten entsprechend auf die Verhaltensweisen des Systems anpassen kann.351 Insbesondere muss dem Nutzer bewusst sein, wann das Medizinprodukt selbständig arbeitet und wann er dem System einzelne Befehlsschritte zu erteilen hat.352 Wurde der Arzt nicht darüber aufgeklärt, wann und welche Befehle er dem Medizinprodukt im Falle einer fehlerhaften Entscheidung der KI zu erteilen hat, die der Arzt vor dem Eintritt eines Schadens manuell hätte korrigieren können, liegt ein Instruktionsfehler vor. Da das intelligente Medizinprodukt Software enthält, ist der Hersteller gem. Anhang I Ziffer 23.4 lit. ab) MDR verpflichtet, Angaben zu machen bezüglich der Mindestanforderungen für Hardware, Eigenschaften von IT-Netzen und IT-Sicherheitsmaßnahmen einschließlich des Schutzes vor unbefugtem Zugriff, die für den bestimmungsgemäßen Einsatz der Software erforderlich sind. Letztlich muss die Gebrauchsanweisung den Anwender des Produkts in die Lage versetzen, das System technisch sicher betreiben zu können.353

346

Anhang I Kap. III Nr. 23.1 S. 2 MDR. Vgl. Anhang I Ziffer 23.4 lit. f) MDR. 348 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 173 f. 349 v. Bodungen/Hoffmann, NZV 2016, 503, 505. 350 v. Bodungen/Hoffmann, NZV 2016, 503, 505; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 175. 351 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 175; vgl. v. Bodungen/Hoffmann, NZV 2016, 503, 505. 352 Vgl. v. Bodungen/Hoffmann, NZV 2016, 503, 505. 353 Bundesamt für Sicherheit in der Informationstechnik (BSI), Cyber-Sicherheitsanforderungen an netzwerkfähige Medizinprodukte, S. 8 mit weiteren Informationen zu Cyber-Sicherheitsfragen; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 174. 347

VI. Pflichten bis zum Inverkehrbringen

87

Kann das intelligente Medizinprodukt selbst neue Funktionen erlernen, muss der Hersteller nach Anhang I Ziffer 23.1 und 23.4 lit. s) MDR den Anwender über Leistungsveränderungen, die die Sicherheit beeinträchtigen können, informieren und instruieren, soweit diese nicht selbsterklärend sind.354 Ist die neue Funktion hingegen selbsterklärend, muss der Hersteller den Anwender nicht über die neue Funktion aufklären oder in diese einweisen.355 Dies folgt aus dem Rechtsgedanken des § 4 Abs. 3 MPBetreibV, wonach eine Einweisung in die ordnungsgemäße Handhabung eines Medizinprodukts dann nicht erforderlich ist, wenn es selbsterklärend ist oder eine Einweisung in ein baugleiches Medizinprodukt erfolgt ist.356 Fehlt dem Arzt die erforderliche Erfahrung mit autonomen Systemen, weil das Medizinprodukt z. B. neue Funktionen erlernt hat, die es vorher auf dem Markt noch nicht gab, muss der Medizinproduktehersteller gem. Anhang I Ziffer 23.4 lit. j) MDR auf die Notwendigkeit von besonderen Schulungen oder spezifischen Qualifikationen des Produktanwenders hinweisen.357 In diesem Zusammenhang könnte der Einsatz eines KI-Trainers sinnvoll sein.358 Nicht immer ist eine nachträgliche Einweisung in die neue Funktion des Systems ausreichend, um den Patienten vor gesundheitlichen Gefahren zu schützen. Zu denken ist etwa an solche Situationen, in denen der Arzt schnell auf einen Fehler des Medizinprodukts reagieren muss, etwa bei einer roboterassistierten Operation. Die Gesundheit des Patienten wäre gefährdet, wenn der Arzt dem System keine Befehle erteilen könnte, indem er mögliche Fehlfunktionen des autonomen Systems ausschalten oder manuell korrigieren und in das System übersteuernd eingreifen kann. Die Möglichkeit einer Übersteuerung (NOT-HALT-Funktion) betrifft allerdings weniger die Instruktionspflicht, sondern ist, wie bereits angesprochen, eine Frage der sachgemäßen Konstruktion des Produkts.359 Etwaigen Lernfehlern kann zudem dadurch begegnet werden, dass der Hersteller das Medizinprodukt so konstruiert, dass es selbst die notwendigen Instruktionen erteilen kann, um eine sachgerechte Bedienung sicherzustellen.360

354

Helle, MedR 2020, 993, 996; Frost/Kießling, MPR 2020, 178, 181; W. Droste, MPR 2018, 109, 110. 355 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 176; W. Droste, MPR 2018, 109, 110. 356 W. Droste, MPR 2018, 109, 110 (Fn. 18). 357 Daneben muss die Gebrauchsanweisung Angaben bzgl. etwaigen Restrisiken, Kontraindikationen und allen unerwünschten Nebenwirkungen enthalten, vgl. Anhang I Ziffer 23.4 lit. g) MDR. 358 In diese Richtung v. Bodungen/Hoffmann, NZV 2016, 503, 505. 359 Siehe hierzu Kap. C. VI. 1. c) aa). 360 Vgl. W. Droste, MPR 2018, 109, 110 f., welche von einer „Pflicht zur konstruktiven Instruktion“ spricht.

88

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

b) Instruktionspflichten nach der MPBetreibV § 10 Abs. 1 und 2 MPBetreibV verdeutlichen noch einmal die Wichtigkeit der Zusammenarbeit von Hersteller und Betreiber/Anwender361 für die Gewährleistung einer hinreichenden Bedienungskompetenz. Die Vorschrift setzt zum einen voraus, dass der Hersteller oder eine andere von ihm befugte Person, das Medizinprodukt am Betriebsort einer Funktionsprüfung unterzieht (§ 10 Abs. 1 S. 1 Nr. 1 MPBetreibV). Zudem darf der Betreiber bestimmte aktive Medizinprodukte, wozu beispielsweise gem. Anlage 1 Ziffer 1.6 MPBetreibV Medizinprodukte zur Diagnose mit bildgebenden Verfahren nach dem Prinzip der Kernspinresonanz gehören, nur anwenden lassen, wenn zuvor der Hersteller oder eine dazu befugte Person, die vom Betreiber beauftragte Person anhand der Gebrauchsanweisung sowie beigefügter sicherheitsbezogener Informationen und Instandhaltungshinweise in die sachgerechte Handhabung und Anwendung und den Betrieb des Medizinprodukts sowie in die zulässige Verbindung mit anderen Medizinprodukten, Gegenständen und Zubehör eingewiesen hat (§ 10 Abs. 1 S. 1 Nr. 2 MPBetreibV). Sofern es sich bei dem intelligenten Medizinprodukt um ein aktives Medizinprodukt i. S. v. Anlage 1 MPBetreibV handelt, ist der Hersteller mithin zur Einweisung in das Produkt verpflichtet. Gleichzeitig ergibt sich aus § 10 Abs. 2 MPBetreibV, dass nur der Hersteller oder die vom Betreiber beauftragte Person einweisungsberechtigt sind, sodass eine Einweisung von Anwender zu Anwender (sog. Schneeballprinzip) nicht zulässig ist.362

4. Fehlerverdacht Der EuGH hat sich in einer Vorabentscheidung des BGH363 mit der Frage beschäftigt, ob ein Produkt bereits dann i. S. d. Art. 6 ProdHaft-RL (vgl. § 3 ProdHaftG) fehlerhaft ist, wenn ein Fehler dieses Produkts zwar nicht festgestellt ist, aber Geräte derselben Produktgruppe ein nennenswert erhöhtes Ausfallrisiko aufweisen.364 Im besagten Urteil zur Haftung für Herzschrittmacher hat der EuGH es für ausreichend erachtet, dass bereits ein potenzieller Fehler, der aufgrund eines Fehlers in der Produktserie festgestellt wurde, ausreicht, um alle Produkte dieser Gruppe oder Serie als fehlerhaft einzustufen. Der Nachweis eines Fehlers des konkreten Einzelprodukts sei nicht erforderlich.365 Zur Begründung hat der Gerichtshof insbesondere ausgeführt, dass bei medizinischen Geräten wie Herzschrittmachern und implantierbaren Kardioverter-Defibrillatoren die Anforderungen an ihre Sicherheit, die die Patienten berechtigterweise erwarten können, in Anbetracht ihrer Funktion und der Situation 361

Siehe hierzu Kap. D. III. 2. c) Fn. 83. Bergmann/Pauge u. a./Webel, Medizinrecht, § 10 MPBetreibV Rn. 3. 363 BGH, NJOZ 2014, 567; BGH, EuZW 2013, 840. 364 EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163. 365 EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163, 1164. 362

VI. Pflichten bis zum Inverkehrbringen

89

besonderer Verletzlichkeit der diese Geräte nutzenden Patienten besonders hoch sind.366 Der BGH367 und mehrere Instanzgerichte368 haben sich dieser Rechtsprechung im Fall von implantierbaren fehlerhaften Kardioverter-Defibrillatoren, Herzschrittmachern und Hüftprothesen angeschlossen. Dieses nicht verallgemeinerungsfähige Urteil des EuGH führt aber nicht dazu, dass die bloße Möglichkeit der Fehlerhaftigkeit mit einem Fehler nach § 3 ProdHaftG gleichgesetzt werden darf.369 Es beschränkt sich vielmehr auf implantierte Medizinprodukte, da hier der begründete Verdacht eines Fehlers durch eine Aufklärung unmöglich bzw. unzumutbar ist.370 Der Patient steht hier vor der Entscheidung, auf die Fehlerfreiheit des implantierten Medizinprodukts zu vertrauen. Ein bloßer Nichtgebrauch kommt hier im Vergleich zu anderen Produkten aus der Natur des Produkts nicht in Betracht.371 Nur durch eine Operation (Revisionsoperation), d. h. einem Eingriff in die körperliche Integrität, kann festgestellt werden, ob das implantierte Medizinprodukt, an dem ein Serienfehler festgestellt worden war, auch im konkreten Fall fehlerhaft ist und zu ebendieser fehlerhaften Serie gehört.372 Eine Übertragbarkeit dieser Fehlerverdachts-Rechtsprechungen auf alle (implantierbaren) Medizinprodukte ist deshalb auch abzulehnen.373 Wie die Urteile des KG und des LG Freiburg bei fehlerhaften Hüftprothesen zeigen, ist es nicht ausgeschlossen, wenn auch umstritten, dass ein Verdachtsfehler auch bei anderen, nicht lebenswichtigen Implantaten angenommen wird, soweit der Fehlerverdacht zu einer schweren Gesundheitsbeeinträchtigung führen kann.374 Allerdings sollte die Rechtsprechung nicht auf andere Medizinprodukte ausgedehnt werden, sondern auf implantierte Produkte beschränkt bleiben. Ein echter Fehlerverdacht liegt nach den Grundsätzen des EuGH nur dann vor, wenn ein Fehler des streitgegenständlichen Einzelprodukts nicht feststellbar ist.375 Bei außerhalb des Körpers eingesetzten 366

EuGH, Urt. v. 5. 3. 2015 – C-503/13, C-504/13 –, NJW 2015, 1163, 1164. BGH, NJW 2015, 2507; BGH, NJW 2015, 3096. 368 LG Gießen, Urt. v. 6. 5. 2009 – 2 0 347/08 (unveröffentlicht); OLG Hamm, VersR 2011, 637; OLG Frankfurt, MPR 2010, 211; LG Stendal, Urt. v. 10. 5. 2012 – 22 s 71/11 (unveröffentlicht); OLG Düsseldorf, Urt. v. 20. 6. 2012 – I-15 U 25/11 (unveröffentlicht); LG Freiburg, PharmR 2019, 556; LG Bonn, Urt. v. 25. 1. 2017 – 9 O 125/14 –, juris; KG Berlin, MedR 2016, 349. Zur Besprechung der instanzgerichtlichen Entscheidungen Taeger, ZfPC 2022, 62, 63 ff. 369 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 53; BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 42. 370 MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 54; BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 45. 371 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 45. 372 Taeger, ZfPC 2022, 62, 64. 373 So auch MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 56 ff.; BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 47 ff.; Taeger, ZfPC 2022, 62, 66. 374 Taeger, ZfPC 2022, 62, 66; MüKo-BGB/Wagner, § 3 ProdHaftG Rn. 56 ff.; BeckOGKProdHaftG/Goehl, § 3 ProdHaftG Rn. 47 ff. 375 BeckOGK-ProdHaftG/Goehl, § 3 ProdHaftG Rn. 48. 367

90

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Medizinprodukten lässt sich ein Fehler des Produkts aber durch Überprüfung des Produkts oder der Seriennummer ohne Eingriff in den Körper des Patienten feststellen. Aus diesen Gründen kann die Rechtsprechung zum Fehlerverdacht bei implantierten Medizinprodukten auch nicht auf KI-basierte Medizinprodukte übertragen werden.376 Diese werden nicht in den Körper des Patienten implantiert. Eine Fehlerhaftigkeit des Produkts ist deshalb grundsätzlich feststellbar, wobei den Geschädigten die Beweislast trifft.377

VII. Pflichten nach dem Inverkehrbringen Einen Unterschied zur Produkthaftung betrifft die Haftung des Herstellers für eine Verletzung seiner Produktbeobachtungpflicht. Anders als nach dem ProdHaftG endet die Haftung des Herstellers nach der deliktischen Produzentenhaftung nicht mit dem Inverkehrbringen des Produkts. Der Hersteller ist zur Beobachtung seiner bereits in Verkehr gebrachten Produkte verpflichtet (Produktbeobachtungspflicht, nachfolgend unter 1.). Umstritten ist, ob den Medizinproduktehersteller eine Software-Update-Pflicht treffen sollte (nachfolgend unter 2.).

1. Produktbeobachtung Die Produktbeobachtungspflicht verlangt vom Hersteller, dass er seine Produkte nach dem Inverkehrbringen beobachtet und ggf. Maßnahmen ergreifen muss, um vom Produkt bisher unbekannte Gefahren zu vermeiden oder zu minimieren und sich über eine sonstige, eine Gefahrenlage schaffende Verwendungsfolge informiert.378 Er muss laufend die für sein Produkt einschlägige Entwicklung von Wissenschaft und Technik beachten.379 Die Intensität der Produktbeobachtungspflicht ist abhängig vom Rang der betroffenen Rechtsgüter und der Größe der Gefahr.380 Folglich trifft den Hersteller dann eine umfassende Pflicht zur Produktbeobachtung, wenn die Gefahr besteht, dass Schäden an Gesundheit oder Leben eintreten können.381 376 So auch Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 251. Ortner und Daubenbüchel übertragen die Fehlerverdachts-Rechtsprechung auch auf mhealth-Produkte, die der Überwachung kritischer Gesundheitszustände dienen, Ortner/Daubenbüchel, NJW 2016, 2918, 2923. Für eine generelle Übertragbarkeit der Fehlerverdachts-Rechtsprechung auf autonome Systeme wohl Reusch, in: Kaulartz/Braegelmann (Hrsg.), Rechtshandbuch AI, 77, 123. In diese Richtung auch Hey, Die außervertragliche Haftung des Herstellers für autonome Fahrzeuge, S. 132. 377 Siehe hierzu Kap. C. X. 378 BGH, NJW 1981, 1606, 1607. 379 BGH, NJW 1981, 1606, 1607. 380 Staudinger/Hager, § 823 BGB Rn. F 21; vgl. BGH, NJW 1987, 1009, 1011. 381 Gomille, JZ 2016, 76, 80; BGH, NJW 1987, 1009, 1011; BGH, NJW 2009, 2952, 2954.

VII. Pflichten nach dem Inverkehrbringen

91

Die Produktbeobachtungspflichten des Herstellers werden in den Art. 83 ff. MDR näher konkretisiert. Gem. Art. 83 Abs. 1 S. 1 MDR muss der Hersteller für jedes Produkt in einer Weise, die der Risikoklasse und der Art des Produkts angemessen ist, ein System zur Überwachung nach dem Inverkehrbringen planen, einrichten, dokumentieren, anwenden, Instand halten und auf den neuesten Stand bringen. Dieses Überwachungssystem gehört zum Qualitätsmanagementsystem des Herstellers.382 Es muss geeignet sein, aktiv und systematisch einschlägige Daten über die Qualität, die Leistung und die Sicherheit eines Produkts während dessen gesamter Lebensdauer zu sammeln, aufzuzeichnen und zu analysieren sowie die erforderlichen Schlussfolgerungen zu ziehen und etwaige Präventiv- oder Korrekturmaßnahmen zu ermitteln, durchzuführen und zu überwachen.383 Die Vernetzung autonomer Produkte ermöglicht dem Hersteller ein gänzlich neues Instrument bei der Produktbeobachtung.384 Ist das intelligente Medizinprodukt dauerhaft mit dem Internet verbunden, hat der Medizinproduktehersteller die Möglichkeit auf alle nutzungsrelevanten Daten und Ergebnisse zuzugreifen, sie auszuwerten und zu analysieren, um auf sicherheitsgefährdende Verhaltensweisen angemessen und in Echtzeit reagieren zu können.385 Zusätzlich sollte der Medizinproduktehersteller öffentlich zugängliche Quellen auswerten.386 Daraus ergeben sich zweifelsohne auch datenschutzrechtliche Probleme,387 welche allerdings nicht Gegenstand dieser Arbeit sind. Die Produktbeobachtungspflicht des Medizinprodukteherstellers erstreckt sich auch auf Zubehör, das von Fremdherstellern in Verkehr gebracht wird.388 Einschränkend bezieht sich die Produktbeobachtungspflicht nicht auf sämtliches fremdes Zubehör, sondern nach der Rechtsprechung des BGH auf solches Zubehör, das für die Inbetriebnahme des eigenen Produkts notwendig ist oder das der Hersteller eigens empfohlen hat oder dessen Verwendung er durch entsprechende Anbauvorrichtungen ermöglicht hat oder mit dessen Nutzung mit Blick auf allgemeine Verbrauchergewohnheiten zu rechnen ist.389 Übertragen auf intelligente Medizinprodukte bedeutet dies, dass der Hersteller geeignete Vorkehrungen treffen muss, wenn eine Fremdsoftware aufgespielt werden kann. Dabei muss die KI-Software so programmiert werden, dass das Aufspielen von von Dritten erstellter Software nicht 382

Art. 83 Abs. 1 S. 2 MDR. Art. 83 Abs. 2 MDR. 384 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 243; Gomille, JZ 2016, 76, 80. 385 Wagner, AcP 217 (2017), 707, 751; v. Bodungen/Hoffmann, NZV 2016, 503, 506. 386 W. Droste, MPR 2018, 109, 111; Mühlböck/Taupitz, AcP 221 (2021), 179, 195; Martini, JZ 2017, 1017, 1021 f. 387 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 33; Veith, KI, Haftung und Kartellrecht, S. 97. 388 Wagner, AcP 217 (2017), 707, 752. 389 Wagner, AcP 217 (2017), 707, 752; BGH, NJW 1987, 1009, 1011. 383

92

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

zu einem Sicherheitsdefizit des Medizinprodukts führen kann.390 Der Algorithmus muss folglich so programmiert werden, dass das autonome Medizinprodukt vor unerwünschten Eingriffen anderer Software geschützt ist.391 Ist eine solche Programmierung nicht möglich, muss der Medizinproduktehersteller das Aufspielen von fremder Software verbieten, wobei sich ein solches Verbot in der Ausgestaltung des Produkts selbst manifestieren muss (Konstruktionspflicht).392 Nicht einzustehen hat der Hersteller hingegen für missbräuchliches Verhalten des Nutzers, welches er in keiner Weise mehr kontrollieren kann, wie beispielsweise bei bewusster Umgehung von den vom Hersteller eingerichteten Sicherungsmechanismen.393 Bei intelligenten Medizinprodukten dürfte die Produktbeobachtungspflicht aufgrund der Komplexität autonomer Systeme und der Kenntnis des unvermeidbaren Auftretens von Programmierungsfehlern besonders bedeutsam und sorgfältig ausfallen.394 Gerade bei intelligenten Medizinprodukten kann sich ein Fehler der KISoftware gesundheitsschädigend auswirken.

2. Software-Update-Pflicht Es stellt sich die Frage, ob der Medizinproduktehersteller im Rahmen seiner Produktbeobachtungspflicht zur Vermeidung von Rechtsgutsverletzungen zum Aufspielen von Software-Updates verpflichtet ist. Wie bereits festgestellt wurde, ist die Produktbeobachtungpflicht im Bereich von KI-basierten Medizinprodukten aufgrund ihrer Fehleranfälligkeit besonders umfassend. Die MDR enthält keine explizite Vorschrift, welche die Durchführung von Software-Updates bei vom Hersteller erkannten Risiken vorschreibt. Anhang I Ziffer 17.1 S. 2 MDR spricht lediglich davon, dass der Hersteller bei auftretenden Defekten geeignete Vorkehrungen ergreifen muss. Ausdrücklich verpflichtet die Vorschrift den Medizinproduktehersteller demnach nicht zur Durchführung von Software-Updates. Allerdings

390 Wagner, AcP 217 (2017), 707, 752 f.; Thöne, Autonome Systeme und deliktische Haftung, S. 231. 391 Wagner, AcP 217 (2017), 707, 752; Thöne, Autonome Systeme und deliktische Haftung, S. 231. 392 Wagner, AcP 217 (2017), 707, 753; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 186; Thöne, Autonome Systeme und deliktische Haftung, S. 231. 393 Wagner, AcP 217 (2017), 707, 753; Thöne, Autonome Systeme und deliktische Haftung, S. 231. 394 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 243 f.; v. Bodungen/Hoffmann, NZV 2016, 503, 505 f.; Spindler, CR 2015, 766, 769; Gomille, JZ 2016, 76, 80; Siebert/Gaden, InTeR 2016, 194, 197; Eichelberger, in: Ebers/ Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 33; Spindler, in: Beck/Kusche u. a. (Hrsg.), KI, 255, 264.

VII. Pflichten nach dem Inverkehrbringen

93

könnten die von der Vorschrift genannten „geeigneten Vorkehrungen“ zur Fehlerbehebung auch Sicherheits-Updates umfassen.395 Mitunter wird eine Update-Pflicht verneint, da die deliktische Produzentenhaftung nur das Integritätsinteresse und nicht das Äquivalenzinteresse schütze. Insoweit sei der Hersteller nicht zur Bereitstellung fehlerfreier Produkte verpflichtet, sondern nur zum Schutz der von § 823 Abs. 1 BGB geschützten Rechtsgüter angehalten; ersteres sei der Vertragsordnung vorbehalten. Eine allgemeine Software-UpdatePflicht benachteilige den Hersteller zudem wirtschaftlich unangemessen, da der Nutzer des intelligenten Medizinprodukts (Arzt) am technischen Fortschritt kostenlos teilnehmen würde und das Äquivalenzinteresse, d. h. das Interesse an mangelfreien Produkten bei Gefahrübergang, systemwidrig ersetzt verlangen könne. Letztlich würde nur der Neukunde die Kosten von u. U. kostenintensiven SicherheitsUpdates tragen. Lediglich für den Fall, dass allein ein Software-Update eine Rechtsgutsverletzung nach § 823 Abs. 1 BGB effektiv vermeiden kann, träfe den Hersteller eine solche Pflicht. Könne der Hersteller die Rechtsgutsgefährdung auch auf andere Weise abwehren, z. B. durch eine Warnung, einen Rückruf oder eine Stilllegung des Produkts, sei eine Software-Update-Pflicht zu verneinen.396 Der BGH hat den Hersteller im Wege der Produktbeobachtungspflicht bisher nur selten zum Rückruf und zur Nachrüstung von fehlerhaften Produkten verpflichtet. „Aus deliktischer Sicht würde eine weitergehende Pflicht des Herstellers, bereits im Verkehr befindliche Produkte nicht nur zurückzurufen, sondern das Sicherheitsrisiko durch Nachrüstung oder Reparatur auf seine Kosten zu beseitigen, jedenfalls voraussetzen, dass eine solche Maßnahme im konkreten Fall erforderlich ist, um Produktgefahren, die durch § 823 Abs. 1 BGB geschützten Rechtsgütern der Benutzer oder unbeteiligter Dritter drohen, effektiv abzuwehren. Dabei ist zu berücksichtigen, dass der deliktsrechtliche Schutz nicht deren Äquivalenzinteresse, sondern allein ihr Integritätsinteresse erfasst.“397 Wie der BGH klarstellt, bestimmt sich der Umfang der Gefahrabwendungspflicht des Herstellers nach den Umständen des Einzelfalls, wobei dabei insbesondere auf die Größe des zu erwartenden Schadens, der Wahrscheinlichkeit des Schadenseintritts und der wirtschaftlichen Zumutbarkeit abzustellen ist.398 Begründet wird die Entscheidung des BGH mit den hohen Kosten, die mit dem Rückruf und der Umrüstung von fehlerhaften Produkten einhergehen.399 Gleichzeitig würde eine allgemeine Rückrufpflicht den deliktsrechtlich relevanten Zeitpunkt des Inverkehrbringens aushebeln, da der Hersteller faktisch über die gesamte Lebensdauer des einmal in Verkehr gebrachten Produkts für dessen Fehlerfreiheit einzustehen hätte, sobald er Kenntnis von sicherheitsrelevanten Risiken 395

Wiebe, NJW 2019, 625, 625 f.; vgl. Gärtner, MPR 2014, 187, 191. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 196 ff. 397 BGH, NJW 2009, 1080, 1081. 398 BGH, NJW 2009, 1080, 1081; Raue, NJW 2017, 1841, 1844. 399 Wagner, AcP 2017, 707, 756. 396

94

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

erhält.400 Aus diesen Gründen beschränkt sich der BGH in seiner Rechtsprechung regelmäßig auf Warnpflichten, die für den Hersteller kostengünstig, aber gleichzeitig die Rechtsgüter des Nutzers und anderer betroffener Dritter effektiv schützen.401 Fraglich ist, ob diese Argumente auch bei autonomen Medizinprodukten verfangen oder die zunehmende Vernetzung von autonomen Medizinprodukten die Reichweite und Intensität der zumutbaren Produktbeobachtung erweitern. Kern des intelligenten Medizinprodukts ist der KI-basierte Lernalgorithmus. Die KI-spezifische Lernfähigkeit des intelligenten Medizinprodukts führt dazu, dass das erlernte Verhalten der KI weniger auf der ursprünglichen Programmierung des Herstellers beruht, sondern entscheidend von den gesammelten Datensätzen abhängt. Auch bei einer fehlerfreien Implementierung des Lernalgorithmus kann die KI unerwünschte und gefährliche Verhaltensweisen erlernen.402 Betrifft die Fehlerhaftigkeit nur die Software und nicht die Hardware des Medizinprodukts, stellt sich die Frage, ob der Hersteller nachträglich zum Aufspielen von Software-Updates verpflichtet ist, um den Fehler zu beheben. Erlangt der Medizinproduktehersteller Kenntnis von sicherheitsrelevanten Risiken, muss er den Algorithmus überarbeiten und die Software mit einem entsprechenden Update versehen, damit künftig produzierte Medizinprodukte keinen Fehler i. S. d. § 3 Abs. 1 ProdHaftG aufweisen.403 Hat der Medizinproduktehersteller die Software durch Updates bereits weiterentwickelt und in das System integriert, kann das Update kostengünstig drahtgebunden oder drahtlos über das Computersystem des Herstellers auf das bereits im Einsatz befindliche Medizinprodukt installiert werden (z. B. durch Verbreitung und Download des Sicherheits-Updates über das Internet). Im Vergleich zu einer Warnung dürfte das Update keine oder nur geringe Mehrkosten verursachen.404 Ein klassischer Rückruf des Medizinprodukts in dem Sinne, dass das Produkt zum Hersteller oder in eine Werkstatt gebracht und repariert bzw. ausgetauscht werden muss, ist nicht erforderlich, um die KI auf den aktualisierten Stand zu bringen.405 Auch dürfte das Argument nicht verfangen, dass sich eine Pflicht zum Aufspielen von Software-Updates nur über das Vertragsrecht, nicht jedoch über das Deliktsrecht begründen lasse. Richtigerweise schützt das Aufspielen von Software-Updates, insbesondere Sicherheits-Updates, auch das Integritätsinteresse.406 Die von dem intelligenten Medizinprodukt ausgehenden Risiken gefährden vorwiegend die Gesundheit des Pati400

Wagner, AcP 2017, 707, 756. Vgl. Wagner, AcP 2017, 707, 754 ff. 402 Vgl. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 34. 403 Wagner, AcP 217 (2017), 707, 756; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 41; Raue, NJW 2017, 1841, 1844. 404 Wagner, AcP 217 (2017), 707, 756; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 41; Raue, NJW 2017, 1841, 1844. 405 Wagner, AcP 217 (2017), 707, 756. 406 Sommer, Haftung für autonome Systeme, S. 280; Hinze, Haftungsrisiken des automatisierten und autonomen Fahrens, S. 163. 401

VII. Pflichten nach dem Inverkehrbringen

95

enten. Dieser aber kann mangels vertraglicher Beziehung zum Hersteller keine Mängelgewährleistungsrechte geltend machen, sodass das Aufspielen von Sicherheits-Updates auch das Integritätsinteresse des Patienten schützt.407 Überdies zeigt ein Vergleich zwischen den mit dem Einsatz von KI verbundenen Risiken und den geringen (Mehr-)Kosten für den Hersteller, dass ein SoftwareUpdate zum effektiven, auch von der MDR geforderten, Patienten- und Drittschutz verlangt werden kann. Eine Warnung kann das sicherheitsgefährdende Verhalten des autonomen Medizinprodukts nicht gleich effektiv beseitigen wie ein Software-Update, da es den Anwender lediglich auf die Produktgefahr hinweist, diese aber nicht korrigiert oder ausräumt.408 Zusätzlich wächst durch eine öffentliche Warnung vor Sicherheitslücken die Gefahr, dass sich Hacker zur Ausnutzung der Sicherheitslücke herausgefordert fühlen könnten.409 Dadurch würde die Warnung praktisch in ihr Gegenteil verkehrt. Zudem besteht die Gefahr, dass sich das Sicherheitsdefizit eines fehlerhaften Softwaresystems auch auf andere vernetzte Medizinprodukte überträgt, da die autonomen Medizinprodukte über eine Vernetzung miteinander verbunden sind und zusammen interagieren.410 Aus diesen Gründen ist der Medizinproduktehersteller zur Zurverfügungstellung von Software-Updates verpflichtet, wenn sich der Fehler allein auf die Software des bereits in Verkehr gebrachten intelligenten Medizinprodukts bezieht und er das intelligente Medizinprodukt noch vertreibt.411 407

Vgl. Hinze, Haftungsrisiken des automatisierten und autonomen Fahrens, S. 163. Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 41; vgl. Regenfus, JZ 2018, 79, 82 f.; Raue, NJW 2017, 1841, 1844; Wittbrodt, InTeR 2020, 74, 81. 409 Grünvogel/Dörrenbächer, ZVertriebsR 2019, 87, 89; J. Droste, CCZ 2015, 105, 108; Rockstroh/Kunkel, MMR 2017, 77, 81; Raue, NJW 2017, 1841, 1844; Wiesemann/Mattheis u. a., MMR 2020, 139, 140. 410 Vgl. Raue, NJW 2017, 1841, 1844. 411 Ebenso Wagner, AcP 217 (2017), 707, 755 ff.; Grünvogel/Dörrenbächer, ZVertriebsR 2019, 87, 89 f. und Raue, NJW 2017, 1841, 1844, welche die Software-Update-Pflicht verneinen, wenn der Hersteller die Weiterentwicklung einer Produktlinie aufgegeben hat oder der Nutzer des Produkts seine Zustimmung zum Aufspielen des Updates verweigert. Eine UpdatePflicht bejahend: Zech, DJT 2020 Gutachten A, S. 73; Wagner, VersR 2020, 717, 728; MüKoBGB/Wagner, § 823 BGB Rn. 1008, 965; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 40 ff.; Oechsler, NJW 2022, 2713, 2715; Gomille, JZ 2016, 76, 80 f.; Orthwein/Obst, CR 2009, 1, 3; J. Droste, CCZ 2015, 105, 108, 110; Schrader, DAR 2016, 242, 244; Haagen, Verantwortung für KI, S. 276 mit dem Vorschlag einer Pflicht zur Erneuerung der Datenmenge, S. 276 f.; Veith, KI, Haftung und Kartellrecht, S. 89; Thöne, Autonome Systeme und deliktische Haftung, S. 217; Borges, CR 2016, 272, 276; Wittbrodt, InTeR 2020, 74, 81; Ringlage, Haftungskonzepte für autonomes Fahren, S. 106 f. Grundsätzlich verneinend: Spindler, JZ 2022, 793, 795; Spindler, CR 2015, 766, 770; BeckOGK-BGB/Spindler, § 823 BGB Rn. 766; Spindler, NJW 2004, 3145, 3148 Schrader/ Engstler, MMR 2018, 356, 360; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 197 f.; Lüftenegger, NJW 2018, 2087, 2089 ff. und Rockstroh/Kunkel, MMR 2017, 77, 81, welche eine Update-Pflicht nur für den Fall annehmen, dass eine drohende Gesundheits- oder Eigentumsgefahr effektiv nur durch eine Fehlerbehebung verhindert werden kann. Ebenso v. Bodungen/Hoffmann, NVZ 2016, 503, 506, welche 408

96

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Für den Fall, dass nicht nur die Software, sondern auch oder ausschließlich die Hardware von dem Fehler betroffen sind, bleibt es hingegen bei einer Warnpflicht. Die hiermit einhergehende Umrüstung des Medizinprodukts ist weitaus kostenintensiver und rechtfertigt keine andere Beurteilung als bei herkömmlichen Produkten, die keinen Lernalgorithmus enthalten. Hier ist an den vom BGH aufgestellten Grundsätzen festzuhalten, dass in der Regel eine Warnung oder Stilllegung als mildestes Mittel zum effektiven Rechtsgüterschutz ausreichend ist. Alternativ könnte der Hersteller das intelligente Medizinprodukt gegen Übernahme der Kosten durch den Nutzer zurückrufen und reparieren oder austauschen. Zu berücksichtigen ist bei KI-basierten Medizinprodukten, dass das Aufspielen von Updates die Mitwirkung des Nutzers der KI erfordert. Der Arzt hat dafür Sorge zu tragen, dass sein eingesetztes Medizinprodukt eine aktualisierte Software besitzt, vgl. § 7 Abs. 1 und § 3 Abs. 2 MPBetreibV. Treten aufseiten des Arztes Versäumnisse auf, indem er ein sicherheitsrelevantes Update nicht durchführt, muss dies im Rahmen der Herstellerhaftung berücksichtigt werden. Ist der Medizinproduktehersteller seiner Software-Update-Pflicht nachgekommen und hat er dem Arzt das Sicherheits-Update zur Verfügung gestellt, scheidet eine Haftung des Herstellers aus. In diesem Fall kommt eine Schadensersatzpflicht des Arztes wegen Verletzung seiner Organisationspflichten in Betracht.412

3. Zwischenergebnis Die Eigenschaften von KI, ihre ständige Weiterentwicklung und nur begrenzte Steuerbarbarkeit des Lernprozesses, sprechen für eine Erweiterung der Produktbeobachtungspflicht des Herstellers. Deliktsrechtlich sollte der Hersteller zum Suchen und Identifizieren von Sicherheitslücken verpflichtet werden und das KI-System durch Software-Updates dem Stand von Wissenschaft und Technik laufend anzupassen und dem Nutzer ein entsprechendes Sicherheits-Update bereitzustellen. Für den Hersteller bedeutet das kostenlose Aufspielen von Software-Updates keine große wirtschaftliche Belastung. Mit Blick darauf, dass eine solche Fehlerbehebung auch das nicht vom Deliktsrecht geschützte Interesse an der Mangelfreiheit des Produkts betrifft, bleibt fraglich, ob die Rechtsprechung eine Software-Update-Pflicht auch dann anerkennen wird, wenn sich die Gefahr einer Rechtsgutsverletzung durch eine Warnung, einen Produktrückruf oder einer Aufforderung zur Nichtbenutzung des Produkts effektiv beseitigen lässt. Letztlich ist es Aufgabe der Rechtsprechung, die für die Anerkennung einer solchen Pflicht geltenden Grundlagen zu etablieren, da jedenfalls die MDR keine Update-Pflicht kodifiziert. Im Hinblick auf die bedrohten Rechtsgüter und der nur sehr eingeschränkten Möglichkeit des Selbstschutzes des sich grundsätzlich für eine Ausweitung der Produktbeobachtungspflicht aussprechen, eine kostenlose Nachrüstung oder Reparatur hingegen dem Mängelgewährleistungsrecht zuordnen. 412 Siehe hierzu Kap. D. III. 2. und 3.

VIII. Haftungsbegründende Kausalität

97

Patienten, sollte der Medizinproduktehersteller zur kostenlosen Zurverfügungstellung von Software-Updates verpflichtet werden. Zumindest dann, wenn er die betroffene Software noch weiter herstellt und vertreibt.

VIII. Haftungsbegründende Kausalität Der eingetretene Gesundheits- oder Körperschaden des Patienten muss auf der Verkehrspflichtverletzung des Medizinprodukteherstellers beruhen. Gem. § 1 Abs. 1 S. 1 ProdHaftG muss die Rechtsgutsverletzung „durch den Fehler eines Produkts“ verursacht worden sein. Der Fehler des intelligenten Medizinprodukts muss demnach ursächlich bzw. kausal sein für den eingetretenen Personenschaden. Mangels Definition in der EG-Richtlinie bestimmt sich die Kausalität im Rahmen des ProdHaftG nach den nationalen Grundsätzen der Kausalitätslehren, die auch bei der deliktischen Produzentenhaftung maßgeblich sind.413 Nach der Äquivalenztheorie (Conditio-sine-qua-non-Formel) ist der Fehler ursächlich, wenn er nicht hinweggedacht werden kann, ohne dass die Rechtsgutsverletzung entfiele.414 Hingegen ist die Adäquanztheorie, wonach außerhalb der Lebenserfahrung liegende Ereignisse haftungsausschließend sind, nach der Rechtsprechung bei Gefährdungstatbeständen nicht anzuwenden, da es im Rahmen des § 1 Abs. 1 S. 1 ProdHaftG nicht um die Verletzung von Sorgfaltspflichten geht.415 Stattdessen ist zur Einschränkung der sehr weitrechenden Äquivalenztheorie die Lehre vom Schutzzweck der Norm heranzuziehen.416 Gemäß dieser Lehre muss ein innerer Zusammenhang zwischen dem Produktfehler und dem eingetretenen Schaden bestehen.417 Entscheidend ist, „ob der geltend gemachte Schaden innerhalb des Schutzzwecks dieser Vorschrift liegt, m. a. W., ob es sich dabei um Folgen handelt, die in den Bereich der Gefahren fallen, um derentwillen die Rechtsnorm erlassen wurde“.418 Gemeint ist hiermit, dass sich in der Verletzung des Patienten gerade das Risiko der Fehlerhaftigkeit des intelligenten Medizinprodukts verwirklicht haben muss.419 413

Bereits im ersten ProdHaft-RL-Entwurf wurde die Beurteilung des Kausalzusammenhangs den EU-Mitgliedsstaaten überlassen, ABlEG 1976 Nr. C 241/9, BegrErwägungen Abs. 14; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 32; MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 19; BeckOK/Förster, § 1 ProdHaftG Rn. 29, 30. 414 Vgl. BGH, NJW 1951, 711; MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 19; MüKo-BGB/ Oetker, § 249 BGB Rn. 103; BeckOK/Förster, § 823 BGB Rn. 256. 415 Dazu näher BGH, NJW 1981, 983 zu § 33 LuftVG; BGH, NJW 1962, 1676; ebenso BeckOK/Förster, § 1 ProdHaftG Rn. 30; MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 20; Staudinger/Oechsler, § 1 ProdHaftG Rn. 32; BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 62. 416 MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 21; BeckOK/Förster, § 1 ProdHaftG Rn. 30. 417 Staudinger/Oechsler, § 1 ProdHaftG Rn. 33. 418 BGH, NJW 1958, 1041, 1042. 419 Vgl. BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 63; MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 21.

98

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Bei KI-basierten Medizinprodukten stellen sich mehrere Zurechnungsprobleme im Rahmen der haftungsbegründenden Kausalität. So könnte der Schaden auf die fehlerhafte Programmierung des autonomen Systems, auf das Aufspielen eines fehlerhaften Software-Updates, auf einen erfolgreichen Cyber-Angriff, auf eine Funktionsstörung der Hardware, auf eine fehlerhafte Bedienung durch den Nutzer (Arzt), auf das Training bzw. Sammeln von fehlerhaften Daten oder auf eine fehlerhafte Entscheidung des Medizinprodukts selbst zurückzuführen sein. Wird zusätzlich ein KI-Trainer eingesetzt, kann die Fehlerquelle auch hierin begründet sein.420 Eine abschließende Aufzählung von möglichen Fehlerquellen ist derzeit nicht möglich, sodass der Schaden auch auf anderen Ursachen beruhen kann. Insbesondere durch die erhöhte Vernetzung, das Training der KI mit Daten, die nicht nur vom Hersteller des intelligenten Medizinprodukts stammen müssen, stellen sich neue Kausalitätsfragen.421 Probleme im Bereich der haftungsbegründen Kausalität können Hackerangriffe (nachfolgend unter 1.) und ärztliches (Fehl-)Verhalten (nachfolgend unter 2.) bereiten. Die Vernetzungsfähigkeit von intelligenten Systemen und der Input von Daten spielen dagegen eine größere Rolle auf der beweisrechtlichen Ebene (nachfolgend unter 3.).

1. Hackerangriffe Als erster Problembereich kommt zunächst eine Unterbrechung des Kausalzusammenhangs durch einen vorsätzlichen Hackerangriff in Betracht. Zu denken ist hier etwa an den Fall, dass das System des intelligenten Medizinprodukts erfolgreich durch einen Hackerangriff (Cyberangriff) kompromittiert und der Patient infolgedessen geschädigt wird. Der eingetretene Gesundheitsschaden ist sodann unmittelbar auf den Cyberangriff zurückzuführen, sodass sich die Frage stellt, ob der Medizinproduktehersteller für den entstandenen Schaden einzustehen hat, oder ob die Cyberattacke zu einer Unterbrechung des Zurechnungszusammenhangs führt, mit der Folge, dass der Medizinproduktehersteller haftungsrechtlich nicht in die Verantwortung gezogen werden kann.422 Nach der gefestigten Rechtsprechung des BGH wird der Zurechnungszusammenhang nicht bereits dadurch ausgeschlossen, dass außer der in Rede stehenden Verletzungshandlung noch weitere Ursachen zur Rechtsgutsverletzung beigetragen haben.423 Dies gilt auch dann, wenn erst das eingreifende (Fehl-)Verhalten eines Dritten die Rechtsgutsverletzung verursacht 420

Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 117; Zech, DJT 2020 Gutachten A, S. 66. 421 Spindler, in: Beck/Kusche u. a. (Hrsg.), KI, 255, 271. 422 Zu dieser Fragestellung auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 33. 423 BGH, NJW 2014, 2029, 2036.

VIII. Haftungsbegründende Kausalität

99

hat.424 Der haftungsrechtliche Zurechnungszusammenhang ist dagegen nicht mehr gegeben, „wenn der weitere Schaden durch ein völlig ungewöhnliches und unsachgemäßes Verhalten des Dritten ausgelöst worden ist, da unter solchen Voraussetzungen zwischen den beiden Schadensbeiträgen bei wertender Betrachtung nur ein äußerlicher, gleichsam ,zufälliger‘ Zusammenhang besteht und dem Erstschädiger ein Einstehenmüssen auch für diese Folgen deshalb billigerweise nicht mehr zugemutet werden kann.“425 Der Zurechnungszusammenhang wird nicht unterbrochen, wenn die besonderen Gefahren, die durch die erste Ursache gesetzt wurden, in der Rechtsgutsverletzung fortwirken.426 Bei der Zurechnung eines von einem Dritten vorsätzlich verübten Schädigungsverhaltens ergibt sich die haftungsrechtliche Zurechnung in der Regel daraus, dass ein rechtswidriges Tun eines Dritten nicht verhindert oder begünstigt worden ist.427 Im ersteren Fall liegt häufig schon eine „Verletzung einer gegen Rechtsbrecher gerichteten Garantiepflicht“ vor.428 Diese Garantiepflicht kann gesetzlich normiert sein.429 Gem. Anhang I Ziffer 17.4 MDR muss der Hersteller bei programmierbaren Elektroniksystemen, also bei Produkten, zu deren Bestandteilen programmierbare Elektroniksysteme gehören und Produkte in Form einer Software, Mindestanforderungen bezüglich Hardware, Eigenschaften von IT-Netzen und IT-Sicherheitsmaßnahmen einschließlich des Schutzes vor unbefugtem Zugriff festlegen, die für den bestimmungsgemäßen Einsatz der Software erforderlich sind. Demnach ist der Medizinproduktehersteller gesetzlich angehalten, das netzwerkfähige Medizinprodukt gegen Hacker-Angriffe zu schützen.430 Hierbei muss der bereits erwähnte Grundsatz, dass keine absolute Sicherheit geschuldet ist, berücksichtigt werden. Der Hersteller muss folglich alle möglichen und zumutbaren Konstruktionsmaßnahmen ergreifen, um derartige Angriffe zu vermeiden. Wird ein Hacker-Angriff dennoch erfolgreich verübt, unterbricht dieser den Zurechnungszusammenhang nicht, sofern der vorsätzlich handelnde Dritte eine vermeidbare Konstruktionslücke zur Schadenszufügung ausgenutzt hat.431 In einem solchen Fall kann nicht von einem äußerlichen, gleichsam zufälligen Zusammenhang gesprochen werden, da ein fehlender Schutz gegen Hackerangriffe die Rechtsgutsverletzung gerade erst ermöglicht hat und in der Schädigung des Patienten fortwirkt. Unter wertenden Gesichtspunkten ist dem Medizinproduktehersteller diese Schädigung 424

BGH, NJW 2014, 2029, 2036. BGH, NJW 2000, 947, 948; BGH, NJW 1989, 767, 768; BGH, NJW 1997, 865, 866; BGH, NJW 2014, 2029, 2036 jeweils m. w. N. 426 BGH, NJW 2014, 2029, 2036. 427 BGH, NJW 1979, 712, 712; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 33. 428 BGH, NJW 1979, 712, 712. 429 BGH, NJW 1979, 712, 712. 430 So auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34. 431 So auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34; Sommer, Haftung für autonome Systeme, S. 256. 425

100

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

zuzurechnen, sodass er für den dadurch entstandenen Schaden Schadensersatz zu leisten hat.432

2. Ärztliches Handeln Zudem stellt sich die Frage, ob die Entscheidung des Arztes den haftungsrechtlichen Zusammenhang unterbricht. Diese Problematik stellt sich bei intelligenten Medizinprodukten, die eine ärztliche Entscheidung nicht gänzlich ersetzen, sondern einen Diagnose- oder Therapievorschlag unterbreiten, auf dessen Grundlage der Arzt die endgültige Diagnose- oder Therapieentscheidung trifft.433 Weist das autonome Medizinprodukt einen Fehler auf und stellt daraufhin eine falsche Diagnose oder entscheidet sich für eine falsche Therapie und übernimmt der behandelnde Arzt diese Fehlentscheidung, könnte dies zu einer Unterbrechung des Ursachenzusammenhangs führen.434 Entscheidend dürfte hier sein, ob sich der Arzt auf die Entscheidung des intelligenten Medizinprodukts verlassen durfte oder ob Anhaltspunkte vorlagen, dass die Diagnose- oder Therapieentscheidung fehlerhaft waren.435 Für diese Beurteilung kommt es darauf an, was von einem erfahrenen und besonnenen Facharzt der entsprechenden Fachrichtung erwartet werden kann.436 Liegen Anhaltspunkte vor, dass die getroffene Entscheidung fehlerhaft ist und kann der Arzt dies bei der erforderlichen Einhaltung des medizinischen Standards erkennen, darf er die Entscheidung des autonomen Medizinprodukts nicht übernehmen.437 Dabei gilt: Je gefährlicher sich ein Irrtum der von der KI getroffenen Entscheidung auf die Gesundheit des Patienten auswirken kann, desto höher sind die Sorgfaltsanforderungen und damit die Nachprüfungspflichten des Arztes.438 Hingegen findet der sog. Vertrauensgrundsatz, wonach sich ein Arzt im Rahmen der horizontalen Arbeitsteilung darauf verlassen darf, dass auch der Kollege des anderen Fachgebiets seine Aufgabe mit der gebotenen Sorgfalt erfüllt, ohne dass eine gegenseitige Überwachungspflicht besteht, solange keine offensichtlichen Qualifikationsmängel oder Fehlleistungen

432 So auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34. 433 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34. 434 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34. 435 Vgl. W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 34 f. 436 Taupitz, AcP 211 (2011), 352, 387. 437 Taupitz, AcP 211 (2011), 352, 387; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 35. 438 Taupitz, AcP 211 (2011), 352, 387; W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 35.

VIII. Haftungsbegründende Kausalität

101

erkennbar werden,439 wie später dargestellt wird, keine Anwendung.440 Der Einsatz von KI-Technologie entbehrt den Arzt demnach nicht davon, die Entscheidung der KI zu hinterfragen und die Funktion des KI-Systems zu überwachen, wobei die Intensität der Kontrollpflichten im Einzelfall unterschiedlich ausfallen kann.441 Daraus ergibt sich, dass eine Unterbrechung der Kausalkette vorliegt, wenn der Arzt die (Fehl-)Entscheidung des intelligenten Medizinprodukts zur Grundlage seiner eigenen Entscheidung macht, ohne dabei seinen Überprüfungspflichten im erforderlichen Maße nachgekommen zu sein.442 In einem solchen Fall unterbricht das ärztliche Fehlverhalten den Kausalverlauf, sodass der Hersteller für diesen Fehler nicht einzustehen hat. Voraussetzung hierfür ist allerdings, dass der Hersteller den Arzt über die Möglichkeiten und Grenzen des Einsatzes des autonomen Medizinprodukts aufgeklärt hat und ihn in die Lage versetzt hat, die Ergebnisse der KI richtig zu interpretieren. Gleiches gilt, wenn der Hersteller seiner Konstruktions- und Instruktionspflicht ordnungsgemäß nachgekommen ist und der Schaden auf einer Fehlfunktion des autonom agierenden Medizinprodukts beruht, das auf eine fehlerhafte Dateneingabe, ein fehlerhaftes Anlernen oder auf einer fehlerhaften Bedienung oder Wartung seitens des Arztes zurückzuführen ist. Der geschädigte Patient ist dann auf die Geltendmachung von vertraglichen oder deliktischen Schadensersatzansprüchen gegen den Arzt angewiesen.443 Ist unklar, ob der Medizinproduktehersteller oder der Arzt als Nutzer die Ursache für den Patientenschaden gesetzt hat und lässt sich dies rückblickend nicht mehr endgültig ermitteln, hilft dem geschädigten Patienten § 830 Abs. 1 S. 2 BGB weiter. Demnach sind der Medizinproduktehersteller und der Arzt für den Schaden verantwortlich, wenn sich nicht ermitteln lässt, wer von den beiden Beteiligten den Schaden durch seine Handlung verursacht hat.444 Dafür muss der Patient nachweisen, dass jeder der beiden Anspruchsgegner den Haftungstatbestand erfüllt und jeweils nur die Kausalität nicht nachgewiesen werden kann. Gelingt dies, haften der Medizinproduktehersteller und der Arzt gesamtschuldnerisch nach § 830 Abs. 1 S. 2 BGB.445 Letztlich ist im Einzelfall immer danach zu fragen, ob der Fehler des

439

BGH, NJW 1991, 1539, 1539; BeckOGK-BGB/Spindler, § 823 BGB Rn. 849; vgl. BGH, NJW 1980, 649, 650. 440 Siehe hierzu Kap. D. III. 3. 441 Ausführlich hierzu Kap. D. III. 3. b). 442 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 35. Ausführlich zum Behandlungsfehler des Arztes beim Einsatz intelligenter Medizinprodukte siehe Kap. D. III. 3. 443 So auch W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 35. Zu den Schadensersatzansprüchen gegen den Arzt siehe Kap. D. 444 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 246; vgl. Zech, DJT 2020 Gutachten A, S. 57 f. 445 Wagner, VersR 2020, 717, 733; Zech, DJT 2020 Gutachten A, S. 57 f.

102

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Herstellers in der Schädigung des Patienten fortwirkt oder sich allein das Anwendungs- bzw. Betriebsrisiko des Arztes in der Rechtsgutsverletzung realisiert hat.446

3. Vernetzungsfähigkeit und Input von Daten Neue Kausalitätsprobleme können aufgrund der Vernetzungsfähigkeit und des nötigen Trainings derartiger Systeme auftreten. Zusätzlich besteht die Problematik, dass die für das autonom handelnde System erforderlichen Daten nicht vom Hersteller oder dem Betreiber des intelligenten Medizinprodukts stammen müssen. Durch das Zusammenspiel der verschiedenen Akteure lassen sich Kausalzusammenhänge nur schwer erkennen und nachvollziehen. Dabei handelt es sich aber – wie Zech zu Recht darauf hinweist – weniger um eine Frage der Kausalität als um ein beweisrechtliches Problem.447

IX. Verschulden Schließlich ist zu berücksichtigen, dass im Rahmen der deliktischen Produzentenhaftung das Verschuldensprinzip gilt. Gem. § 823 Abs. 1 BGB haftet nur derjenige, der ein von § 823 Abs. 1 BGB geschütztes Rechtsgut vorsätzlich oder fahrlässig verletzt. Die dominierende Verschuldensform des Deliktsrechts ist die Fahrlässigkeit.448 Der Medizinproduktehersteller muss demnach die erforderliche Sorgfalt im Verkehr außer Acht gelassen haben (§ 276 Abs. 2 BGB). Für einen Fahrlässigkeitsvorwurf muss der Hersteller nach überwiegender Ansicht die äußere sowie die innere Sorgfalt verletzt haben.449 Eine Verletzung der äußeren Sorgfalt liegt vor, wenn der Hersteller einer Verkehrssicherungspflicht nicht oder nicht in ausreichendem Maße nachgekommen ist.450 Zur Bestimmung der äußeren Sorgfalt dienen die Verkehrspflichten.451 Bei der Prüfung, ob dem Medizinproduktehersteller fahrlässiges Verhalten vorgeworfen werden kann, ist mithin entscheidend auf die Verletzung von Verkehrssicherungspflichten abzustellen.452 Hinsichtlich der Verletzung

446

Sommer, Haftung für autonome Systeme, S. 258. Zech, DJT 2020 Gutachten A, S. 84; so auch Spindler, in: Beck/Kusche u. a. (Hrsg.), KI, 255, 271; Spindler, JZ 2022, 793, 797. 448 Denga, CR 2018, 69, 74. 449 Vgl. BGH, VersR 1986, 765, 766. 450 Denga, CR 2018, 69, 74; vgl. Horner/Kaulartz, CR 2016, 7, 8; Sommer, Haftung für autonome Systeme, S. 290 f.; Staudinger/Hager, § 823 BGB Rn. E 70; BGH, NJW 1994, 2232, 2233. 451 MüKo-BGB/Wagner, § 823 BGB Rn. 29, 445 f. 452 Rempe, InTeR 2016, 17, 19. 447

X. Beweislast

103

der inneren Sorgfalt ist auf die Möglichkeit der Erkennbarkeit und Vermeidbarkeit der Realisierung der Gefahr abzustellen.453 Ein Verschulden des Medizinprodukteherstellers liegt vor, wenn es um die Verletzung seiner Konstruktions-, Fabrikations-, Instruktions- oder Produktbeobachtungspflicht geht. Die Produktbeobachtungpflicht des Herstellers wird angesichts der Lernfähigkeit der KI und der Fortentwicklung der Kenntnisse über Gefahren und der Weiterentwicklung der Technik an Bedeutung gewinnen. Auch eine Verletzung der Software-Update-Pflicht kann Anknüpfungspunkt für einen Fahrlässigkeitsvorwurf des Herstellers sein. Ist er einer dieser Pflichten nicht nachgekommen, liegt hiermit zugleich eine Verletzung der äußeren Sorgfalt vor, die regelmäßig die Verletzung der inneren Sorgfalt indiziert.454 Insgesamt führt das Verschuldenserfordernis für die deliktische Produzentenhaftung nach § 823 Abs. 1 BGB in der Rechtsanwendung nicht zu einem anderen Ergebnis als die Haftung nach dem ProdHaftG und spielt im Produkthaftungsprozess keine große Rolle. Es wurde bereits angesprochen, dass die Sorgfaltsanforderungen des § 276 Abs. 2 BGB in den Fehlerbegriff verlegt werden, sodass für die Prüfung des Verschuldens nichts mehr verbleibt. Entscheidend für eine Haftung des Herstellers sowohl nach § 823 Abs. 1 BGB als auch nach dem ProdHaftG ist allein die Feststellung eines Produktfehlers. Wurde ein Produktfehler festgestellt, ist auch ein Verschulden des Herstellers gegeben.455

X. Beweislast Aus dem Blackbox-Effekt und der Vernetzung von intelligenten Medizinprodukten resultiert nicht zuletzt die Schwierigkeit zu ermitteln und darzulegen, wer für den Schaden haftungsrechtlich verantwortlich ist (nachfolgend unter 1.). Es gelten grundsätzlich die allgemeinen Regeln der zivilprozessualen Beweislastverteilung, sodass dem Geschädigten der Nachweis einer ihm günstigen Tatsache obliegt.456 Das bedeutet, dass der geschädigte Patient sämtliche Anspruchsvoraussetzungen des § 823 Abs. 1 BGB (Rechtsgutsverletzung, Pflichtverletzung, haftungsbegründende Kausalität, Rechtswidrigkeit, Verschulden, Schaden und haftungsausfüllende Kausalität) beweisen muss.457 Folglich muss er das Vorliegen eines Produktfehlers, der 453 BGH, NJW 1981, 1603, 1606; BGH, NJW 1994, 2232, 2233; MüKo-BGB/Wagner, § 823 BGB Rn. 30. 454 Denga, CR 2018, 69, 74. 455 Wagner, AcP 217 (2017), 707, 712; Haagen, Verantwortung für KI, S. 340; in diese Richtung auch Sommer, Haftung für autonome Systeme, S. 291 ff., der das Verschulden nur im Falle unvermeidbarer Irrtümer ablehnt. 456 BGH, NJW 1991, 1052, 1053; BGH, NJW 1992, 683, 686; BGH, NJW 2005, 2395, 2396. 457 MüKo-BGB/Wagner, § 823 BGB Rn. 89.

104

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

aus dem Organisationsbereich des Herstellers entspringt und bereits bei Inverkehrbringen vorlag, beweisen.458 Im Rahmen der Haftung nach dem ProdHaftG muss der geschädigte Patient zwar nicht nachweisen, dass der Fehler aus der Sphäre des Herstellers stammt (Beweislast des Herstellers, Art. 1 Abs. 2 Nr. 2 ProdHaftG), allerdings muss er darlegen und beweisen, dass das intelligente Medizinprodukt zum Zeitpunkt, in dem es in den Verkehr gebracht wurde, fehlerhaft und für den eingetretenen Schaden ursächlich war, § 1 Abs. 4 S. 1 ProdHaftG.459 Er trägt also die Beweislast für den Fehler, d. h. den objektiven Mangel des Produkts460, den Schaden und die Kausalität des Fehlers für den Schaden. Hinsichtlich des Fehlernachweises muss der Geschädigte nicht die Art des Fehlers beweisen, sondern er muss den Fehler im Sinne der Enttäuschung berechtigter Sicherheitserwartungen nachweisen.461 Da der Geschädigte nicht die genaue Lokalisierung des Fehlers nachweisen muss,462 obliegt es ihm nicht, den Fehler im Programmcode oder die genaue technische Ursache des Fehlers zu ermitteln.463 Dem Geschädigten kommen im Bereich der deliktischen Produzentenhaftung Beweiserleichterungen in Form einer Beweislastumkehr (nachfolgend unter 2.) und durch den Anscheinsbeweis (nachfolgend unter 3.) zugute. Darüber hinaus kann der Beweisnot des Patienten mit der Einführung einer Protokollierungspflicht bzw. einer Pflicht zur Implementierung von Dokumentationssystemen Rechnung getragen werden (nachfolgend unter 4.). Schließlich sind im Rahmen der Beweislast die Entwürfe der Europäischen Kommission zur außervertraglichen zivilrechtlichen KIHaftung (nachfolgend unter 5.) und zur Änderung der ProdHaftRL (nachfolgend unter 6.) in den Blick zu nehmen. Die Europäische Kommission schlägt die Einführung von Offenlegungspflichten und widerlegbaren Vermutungen vor, die die Geltendmachung von Schadensersatzansprüchen erleichtern soll, die aus dem schädigenden Einsatz von KI-Systemen resultieren.

1. Ausgangslage Probleme hinsichtlich der Beweislast könnten sich daraus ergeben, dass die inneren Entscheidungsprozesse der KI komplex und intransparent sind und ihre Verhaltensweisen nicht oder nur schwer vorhersehbar sind, da die KI dem Einfluss einer Vielzahl äußerer Einflüsse und der Interaktion mit anderen Produkten ausgesetzt 458

Spindler, CR 2015, 776, 772. Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 67. 460 Siehe BeckOGK-BGB/Spindler, § 823 BGB Rn. 719 ff.; MüKo-BGB/Wagner, § 823 BGB Rn. 1016; BGH, NJW 1996, 2507, 2508. 461 MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 80, § 823 BGB Rn. 1016. 462 BeckOK/Förster, § 1 ProdHaftG Rn. 74. 463 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 248; MüKo-BGB/ Wagner, § 823 BGB Rn. 1016. 459

X. Beweislast

105

ist.464 Bei KI-Algorithmen besteht wegen des Blackbox-Effekts465 die Schwierigkeit, dass selbsterlernte Fähigkeiten nicht oder nur schwer sichtbar gemacht und damit kaum nachvollzogen werden können.466 Der Patient hat keinen Einblick in die komplexe Struktur des KI-Algorithmus.467 Wegen der Interaktion von intelligenten Medizinprodukten mit anderen autonomen Systemen und des Menschen werden künftig eine Vielzahl von möglichen Ursachen in Betracht kommen, die eine Fehlentscheidung des intelligenten Medizinprodukts ausgelöst haben könnten. Die Herausforderung wird in der Praxis darin liegen, nachzuvollziehen, welche Ursache die Fehlentscheidung verursacht hat.468 Deshalb wird es dem Patienten im Schadensfall nur schwerlich gelingen, den Nachweis zu erbringen, dass das intelligente Medizinprodukt schon zum Zeitpunkt des Inverkehrbringens fehlerhaft und für den Schaden ursächlich war. Noch dazu wird der Patient in aller Regel nicht mit dem Algorithmus und den von diesem verwendeten Daten vertraut sein. Das für die Analyse der Daten erforderliche Fachwissen wird dem Patienten in aller Regel fehlen. Auf ihn würden hohe Kosten zukommen (etwa Einschaltung eines Sachverständigen), welche ihn davon abhalten könnten, gegen den Hersteller einen Schadensersatzanspruch gerichtlich geltend zu machen.469 Problematisch dürfte zudem auf praktischer Ebene sein, dass der Geschädigte keinen Einblick in die internen Vorgänge des Algorithmus nehmen kann, da Hersteller die Preisgabe ihrer Algorithmen als Betriebsgeheimnisse gegenüber der (Gerichts-)Öffentlichkeit möglichst verhindern wollen.470 Hingegen ist bei klassischen Hardwarefehlern davon auszugehen, dass die Fehlerursache einfacher nachzuweisen ist.471

2. Beweislastumkehr Die Rechtsprechung hat im Bereich der deliktischen Produzentenhaftung eine Beweislastumkehr zugunsten des Geschädigten entwickelt. Für die Produzenten464 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 247; Koch, in: Lohsse/Schulze u. a. (Hrsg.), Liability for AI, 99, 109. 465 Siehe hierzu schon Kap. A. I. Fn. 21. 466 Frost/Kießling, MPR 2020, 178, 182; vgl. v. Westphalen, VuR 2020, 248, 252. 467 Spindler, in: FS Hart, 581, 597. 468 Grützmacher, CR 2016, 695, 697; Horner/Kaulartz, CR 2016, 7, 9; vgl. Reichwald/ Pfisterer, CR 2016, 208, 211. 469 Frost/Kießling, MPR 2020, 178, 182; Helle, MedR 2020, 993, 997; Europäische Kommission, Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung vom 19. 2. 2020, COM(2020) 64 final, S. 17. 470 Ringlage, Haftungskonzepte für autonomes Fahren, S. 98 f.; v. Westphalen, ZIP 2019, 889, 892. 471 Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 247.

106

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

haftung nach § 823 Abs. 1 BGB wird für Konstruktions- und Fabrikationsfehler eine Beweislastumkehr für die objektive Verkehrspflichtverletzung als auch für das Verschulden zugunsten des Geschädigten angenommen.472 Die Beweislastumkehr im Bereich der Instruktionsfehler bei Inverkehrgabe des Produkts beschränkt sich dagegen auf das Verschulden.473 Hinsichtlich der Verletzung der Produktbeobachtungspflicht greift ebenfalls keine Beweislastumkehr hinsichtlich des objektiven Pflichtverstoßes ein, da es hierbei um generell verfügbare Informationen geht, welche dem Geschädigten in demselben Maße zugänglich sind wie dem Hersteller.474 Kann der Patient nachweisen, dass sein Schaden durch einen objektiven Mangel ausgelöst worden ist, muss demnach nicht der Geschädigte, sondern der Hersteller darlegen und beweisen, dass ihn in Bezug auf die Fehlerhaftigkeit des Produkts, die zum Schaden geführt hat, kein pflichtwidriges Verhalten vorzuwerfen ist und ihn kein Verschulden trifft.475 Das bedeutet, dass nicht der Geschädigte, sondern der Hersteller den Nachweis für das Nichtvorliegen des Verschuldens erbringen muss.476 Der Beweislastumkehr liegt die Erwägung zugrunde, dass sich der Geschädigte gegenüber dem Produkthersteller regelmäßig in der Beweisnot befindet. Der Hersteller kann die Vorgänge, die sich innerhalb seines Betriebs abspielen, leichter aufklären, da er den Überblick über die Produktionssphäre hat und ihm die Organisation des Herstellungsprozesses und der Auslieferungskontrolle obliegt.477 Allerdings entlastet dies den Geschädigten nicht davon, zunächst die verantwortliche Person zu ermitteln, sowie die zum Zeitpunkt des Inverkehrbringens vorliegende Fehlerhaftigkeit des Produkts, die aus dem Organisationsbereich des Herstellers stammt und dessen Kausalität für die Rechtsgutsverletzung darzulegen und zu beweisen.478 Doch auch dieser Nachweis wird aus den bereits oben dargestellten Gründen nur schwer zu erbringen sein. Der Geschädigte müsste nachweisen, dass eine erlernte, sicherheitsgefährdende Funktion auf eine fehlerhafte Programmierung zurückzuführen ist und nicht durch einen anderen Umstand verursacht wurde (z. B. fehlerhaftes Algorithmentraining, unterlassene Aktualisierung oder fehlerhafte In-

472 BGH, NJW 1981, 1603, 1605 f.; BGH, NJW 1996, 2507, 2508; BGH, NJW 1999, 1028, 1029; MüKo-BGB/Wagner, § 823 BGB Rn. 103; BeckOGK-BGB/Spindler, § 823 BGB Rn. 725 ff.; Spindler, CR 2015, 776, 772; Staudinger/Hager, § 823 BGB Rn. F 43. 473 BGH, NJW 1981, 1603, 1605 f.; BeckOGK-BGB/Spindler, § 823 BGB Rn. 728; MüKo-BGB/Wagner, § 823 BGB Rn. 1018. 474 BeckOGK-BGB/Spindler, § 823 BGB Rn. 728; Spindler, CR 2015, 776, 772; vgl. BGH, NJW 1981, 1603, 1605 f. 475 BGH, NJW 1992, 1039, 1040; BGH, NJW 1981, 1603, 1605. 476 MüKo-ZPO/Prütting, § 286 ZPO Rn. 128. 477 BGH, NJW 1992, 1039, 1040; Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 27. 478 Vgl. BGH, NJW 1981, 1603, 1605; Ministerium der Justiz des Landes NordrheinWestfalen, Arbeitsgruppe „Digitaler Neustart“, S. 245; BeckOK/Förster, § 823 BGB Rn. 779; MüKo-BGB/Wagner, § 823 BGB Rn. 1016.

X. Beweislast

107

teraktion/Datenaustausch mit anderen intelligenten Medizinprodukten/Menschen).479

3. Anscheinsbeweis Dem Geschädigten kommen, wie schon bei klassisch programmierten Produkten, Beweiserleichterungen zugute. Hierzu gehört der Anscheinsbeweis, der immer dann Anwendung findet, wenn nach allgemeiner Lebenserfahrung ein Erfahrungssatz existiert, der typischerweise den Schluss auf das Vorliegen einer bestimmten rechtserheblichen Tatsache zulässt.480 Maßgeblich ist mithin die Typizität des infrage stehenden Geschehens.481 Es handelt sich hierbei um Wahrscheinlichkeitsaussagen, die von unterschiedlicher Qualität und Tragfähigkeit sind und sich unterscheiden in zwingende Erfahrungsgesetze, Erfahrungsgrundsätze, einfache Erfahrungssätze und Vorurteile.482 In diesem Zusammenhang kann die Befolgung technischer Normen und sonstiger technischer Standards von Bedeutung sein. Der Einhaltung von technischen Normen kommt eine Indizwirkung zu: Stellt der Hersteller ein Produkt in Übereinstimmung mit den geltenden technischen Regelwerken und technischen Normen her, erwächst zugunsten des Herstellers der Anschein, dass sein Produkt fehlerfrei ist. Für den umgekehrten Fall, dass der Hersteller den Sicherheitsstandard unterschreitet, stellt dies ein Indiz für die Fehlerhaftigkeit seines Produkts dar.483 Die Nichteinhaltung von technischen Normen begründet folglich eine widerlegbare Vermutung der Fehlerhaftigkeit des Produkts.484 Im Hinblick auf autonom agierende Medizinprodukte besteht allerdings das Problem, dass es keine technischen Normen gibt, die die Autonomie der Produkte adressieren.485 Daraus ergibt sich gleichzeitig, dass der Anscheinsbeweis zumindest solange keine Bedeutung bei intelligenten Medizinprodukten hat, wie entsprechende Normen noch nicht existieren.486 Darüber hinaus lassen sich zum jetzigen Zeitpunkt keine typischen Erfahrungswerte für das Verhalten selbstlernender (Medizin-)Produkte ermitteln, sodass sich ein Anscheinsbe479

Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 67; Thöne, Autonome Systeme und deliktische Haftung, S. 258. 480 BGH, NJW 1987, 1694, 1695 f.; BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 146; MüKo-ZPO/Prütting, § 286 ZPO Rn. 50; MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 80. 481 BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 146. 482 Hierzu näher MüKo-ZPO/Prütting, § 286 ZPO Rn. 58 ff. 483 BT-DRS. 11/2447, S. 19; BGH, NJW 2014, 2106, 2107; BeckOK/Förster, § 3 ProdHaftG Rn. 25 f.; Ebers, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 3 Rn. 54; Spindler, CR 2015, 776, 771. 484 MüKo-BGB/Wagner, § 1 ProdHaftG Rn. 80. 485 Siehe hierzu Kap. C. VI. 1. a) dd). 486 So auch Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 250; Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 67.

108

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

weis kaum begründen lässt.487 Die Typizität darf bei neuen Technologien auch nicht vorschnell angenommen werden.488 Dies bedeutet aber nicht, dass der Anscheinsbeweis bei intelligenten Medizinprodukten künftig gar keine Relevanz mehr haben wird. Bei einem längerfristigen Einsatz solcher Produkte ist es denkbar, allgemeine Erfahrungssätze zu bilden. Dafür erfordert es aber gerade längerer Erfahrungen im Umgang mit ebendiesen Produkten, sodass sich zumindest typische Geschehensabläufe bilden könnten.489

4. Dokumentation durch die KI Der beweisrechtlichen Problematik, die sich gleichermaßen auf die Kausalitätsfrage erstreckt, könnte mit einer Protokollierungspflicht bzw. Pflicht zur Implementierung von Dokumentationssystemen begegnet werden. Eine solche Protokollierungspflicht könnte dazu beitragen, dass dem geschädigten Patienten eine Tatsachengrundlage geschaffen wird, mit deren Hilfe er mögliche technische oder menschliche Fehler beweisen kann.490 Allerdings können Protokollierungen nach dem derzeitigen Stand von Wissenschaft und Technik noch keinen ausreichenden Aufschluss über die introvertierten und nicht nachvollziehbaren Entscheidungsvorgänge der KI liefern.491 Zur Lösung gibt es bereits Forschungen zur sog. „Explainable Artificial Intelligence“. Dies bedeutet so viel wie „erklärbare KI“, welche die Möglichkeit bieten soll, das Lern- und Entscheidungsverhalten der KI zu analysieren und die internen Entscheidungsprozesse nachträglich darzustellen und zugänglich zu machen.492 Es ist davon auszugehen, dass diese Darstellung durch technische Fortschritte schon zeitnah möglich sein wird, sodass den Hersteller gleichfalls die Verpflichtung treffen sollte, ein Protokollierungssystem einzuführen, um dem Patienten im Schadensfall eine Beweisgrundlage zur Verfügung stellen zu können.493 487

Ringlage, Haftungskonzepte für autonomes Fahren, S. 98. Vgl. BeckOGK-ProdHaftG/Seibl, § 1 ProdHaftG Rn. 146. 489 So auch Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S. 250. 490 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 35, 122; W. Droste, MPR 2018, 109, 113 f.: Dazu könnten Datenbestände, Konfigurations-, Wartungseingaben und Ausgabewerte, die durch Befehlseingaben oder durch das System selbst einbezogen werden, erfasst werden. 491 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 122; W. Droste, MPR 2018, 109, 113 f. 492 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 122; Spindler, in: Beck/Kusche u. a. (Hrsg.), KI, 255, 269; Zech, ZfPW 2019, 198, 217. 493 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 122, 36 f. mit weiteren Vorschlägen zur Ausgestaltung einer Protokollierung; Horner/Kaulartz, CR 2016, 7, 10; Lutz, NJW 2015, 119, 120; Gless/Janal, JR 2016, 561, 573; Schaub, JZ 2017, 342, 344 f.; Decker, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 23, 488

X. Beweislast

109

Hinsichtlich der Ausgestaltung dieses Protokollierungssystems ist neben dem Sammeln der Daten vor allem ein großes Augenmerk auf die Analyse und Auswertung der gesammelten Daten zu legen. Denn ohne eine Auswertung der Daten ist dem Patienten mangels Aussagekraft der Daten nicht geholfen. Eine solche Auswertung kann in aller Regel nur der Hersteller der intelligenten Software vornehmen, der über die erforderliche Expertise verfügt. Mithin muss der Hersteller nicht nur die intelligente Technik, sondern auch ein Protokollierungssystem mit integrierter Analysefunktion bereithalten.494 Die gesammelten Informationen müssen derart ausgewertet und zugänglich gemacht werden, dass diese von einem Sachverständigen zur Aufklärung einer Schadensursache herangezogen und im gerichtlichen Verfahren eingebracht werden können.495 Die Einführung einer Protokollierungspflicht inklusive Auswertung der Daten würde die Beweisnot des Patienten zumindest partiell lösen.496

5. Offenlegungspflichten und widerlegbare Vermutungen nach dem KI-RL-E Die Europäische Kommission hat am 28. September 2022 einen Entwurf für eine Richtlinie über KI-Haftung veröffentlicht.497 Ziel der Richtlinie ist es, eine Fragmentierung des Binnenmarktes zu vermeiden sowie die Akzeptanz von KI und das Vertrauen in diese zu stärken, indem einheitliche Anforderungen für bestimmte Aspekte der außervertraglichen zivilrechtlichen Haftung für Schäden festgelegt werden, die sich aus der Anwendung von KI-Systemen ergeben können.498 Die Europäische Kommission kritisiert, dass die Geltendmachung eines nationalen Schadensersatzanspruchs, wozu ein etwaiger Schadensersatzanspruch des Herstellers nach § 823 BGB gehört, an dem Nachweis des Verschuldens und des ursächlichen Zusammenhangs zwischen diesem Verschulden und dem betreffenden 42; Oechsler, NJW 2022, 2713, 2716. Hier sind zweifelsohne auch datenschutzrechtliche Probleme zu berücksichtigen, näher hierzu W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 125 ff. 494 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 122 f.; Burrer, in: Bräutigam/Klindt (Hrsg.), Digitalisierte Wirtschaft/Industrie 4.0, 146, 149 f. 495 Vgl. W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 123. 496 W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S. 122 f.; W. Droste, MPR 2018, 109, 113 f.; Thöne, Autonome Systeme und deliktische Haftung, S. 251 ff. 497 Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz (Richtlinie über KI-Haftung) vom 28. 9. 2022, COM(2022) 496 final. Im Folgenden „KIRL-E“. 498 Egrd. 4, 7 KI-RL-E.

110

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

Schaden scheitern kann. Grund hierfür sind die besonderen Merkmale von KISystemen, wie Undurchsichtigkeit, autonomes Verhalten und Komplexität.499 Die Geltendmachung eines außervertraglichen zivilrechtlichen Schadensersatzanspruchs soll daher mithilfe von Offenlegungspflichten und widerleglichen Vermutungen erleichtert werden. Hingegen regelt der KI-RL-E nicht die in den nationalen Vorschriften festgelegte Beweislast, d. h. die Vorschriften darüber, welche Partei die Beweislast trägt, welches Beweismaß erforderlich ist oder wie ein Verschulden definiert wird.500 Ebenfalls werden durch den KI-RL-E nicht die Rechte berührt, die ein Geschädigter aufgrund des ProdHaftG haben kann.501 Der Richtlinienentwurf ist eng verzahnt mit dem KI-VO-E, da bei einer Verletzung der Pflichten nach dem KIVO-E die Haftungsvorschriften des KI-RL-E gelten sollen. Der Vorschlag soll deshalb auch dazu beitragen, dass die Sicherheitsvorschriften des KI-VO-E eingehalten und durchgesetzt werden.502 Hinsichtlich der Begriffsbestimmungen in Art. 2 Abs. 1 bis 4 verweist der KI-RL-E auf den Entwurf zur KI-VO, um Kohärenz sicherzustellen. Der Zugang zu Beweismitteln über KI-Systeme, bei denen der Verdacht besteht, dass sie einen Schaden verursacht haben, ist für den potenziell Geschädigten von essenzieller Bedeutung hinsichtlich der Feststellung, ob ein Schadensersatzanspruch besteht und zur Begründung eines solchen Anspruchs.503 Daher regelt Art. 3 KI-RLE die Offenlegung von Beweismitteln durch den Anbieter oder Nutzer504 eines Hochrisiko-KI-Systems und enthält widerlegbare Vermutungen eines Verstoßes. Dem Geschädigten soll es ermöglicht werden, eine Offenlegung der Beweismittel vorgerichtlich geltend zu machen oder gerichtlich anordnen zu lassen.505 Neben dem Kläger (Art. 3 Abs. 2 KI-RL-E) ist auch schon der potenzielle Kläger antragsberechtigt. Voraussetzung hierfür ist nach Art. 3 Abs. 1 KI-RL-E, dass noch keine Klage anhängig ist, dass der potenzielle Kläger vergeblich die Herausgabe der Informationen gefordert hat und er die Plausibilität seines Schadensersatzanspruchs durch die Vorlage von Tatsachen und Beweise ausreichend belegt hat. Zu den von Art. 3 Abs. 1 KI-RL-E nicht abschließend aufgezählten Beweismitteln dürften Datensätze, die zur Entwicklung des KI-Systems verwendet wurden, technische Unterlagen, Protokolle, das Qualitätsmanagementsystem und alle Korrekturmaßnahmen gehören.506 Eine Begrenzung erhält die Offenlegungspflicht durch die Kriterien der Erforderlichkeit und Verhältnismäßigkeit. Die Offenlegung von Beweismitteln 499

Egrd. 3 KI-RL-E. Art. 1 Abs. 3 lit. d) KI-RL-E und Egrd. 13 KI-RL-E. 501 Egrd. 11 KI-RL-E. 502 Begründung KI-RL-E, S. 3. 503 Egrd. 16 KI-RL-E. 504 Zu den Begriffen Anbieter und Nutzer siehe Kap. E. III. 1. 505 Pieper/Schmalenberger, „AI Liability Directive – Welche Haftungsregeln erwarten uns zukünftig für KI“ vom 4. 10. 2022. 506 Pieper/Schmalenberger, „AI Liability Directive – Welche Haftungsregeln erwarten uns zukünftig für KI“ vom 4. 10. 2022. 500

X. Beweislast

111

ist auf das Maß zu beschränken, das erforderlich und verhältnismäßig ist, um einen Schadensersatzanspruch zu stützen (Art. 3 Abs. 4 UAbs. 1 KI-RL-E). Die Nichteinhaltung der Offenbarungsanordnung im Rahmen eines Schadensersatzanspruchs führt schließlich zur widerleglichen Vermutung, dass der Beklagte gegen seine einschlägige Sorgfaltspflicht verstoßen hat (Art. 3 Abs. 5 KI-RL-E). Gem. Art. 3 Abs. 3 KI-RL-E kann der Kläger die Offenlegung von Beweismitteln von Anbietern oder Nutzern, die keine Beklagten sind, nur dann beantragen, wenn der Kläger zuvor alle angemessenen Anstrengungen unternommen hat, die einschlägigen Beweismittel vom Beklagten zu beschaffen. Ferner normiert Art. 4 KI-RL-E eine widerlegbare Vermutung eines ursächlichen Zusammenhangs im Falle eines Verschuldens. Unter den in Art. 4 Abs. 1 lit. a) bis c) KI-RL-E genannten Voraussetzungen wird eine widerlegliche Vermutung statuiert, dass ein ursächlicher Zusammenhang (Kausalität) zwischen einem Verschulden und dem durch das KI-Ergebnis herbeigeführten Schaden besteht.507 Folgende drei kumulative Voraussetzungen müssen hierzu erfüllt sein: Erstens muss der Kläger ein Verschulden des Beklagten nachweisen (Art. 4 Abs. 1 lit. a) KI-RL-E). Zweitens muss das Verschulden des Beklagten das hervorgebrachte Ergebnis des KI-Systems beeinflusst haben (Art. 4 Abs. 1 lit. b) KI-RL-E). Und drittens muss die Kausalität zwischen dem hervorgebrachten Ergebnis und dem Schaden nachgewiesen werden (Art. 4 Abs. 1 lit. c) KI-RL-E). Weiter unterscheidet Art. 4 KI-RL-E bei den Voraussetzungen für das Vorliegen einer Kausalitätsvermutung zwischen Schadensersatzansprüchen gegen den Anbieter (Abs. 2) und gegen den Nutzer (Abs. 3) sowie in Bezug auf ein Hochrisiko-KISystem (Abs. 4) und solchen KI-Systemen, die kein hohes Risiko bergen (Abs. 5) und Ersatzansprüche gegen einen Verbraucher (Abs. 6). Insgesamt ist der KI-RL-E wegen der nach geltendem Recht bestehenden Beweisnot des Geschädigten durchaus zu begrüßen. Allerdings ist fraglich, ob der Richtlinienentwurf auch auf Schadensersatzansprüche des Patienten Anwendung findet, die auf dem Einsatz von autonomen Medizinprodukten beruhen. Nach Erwägungsgrund 15 der KI-RL-E sollte508 der Richtlinienentwurf nur Schadensersatzansprüche für Schäden abdecken, die aufgrund des Verschuldens einer Person gemäß des KI-VO-E durch ein von dem KI-System hervorgebrachtes Ergebnis oder die Tatsache, dass das KI-System kein Ergebnis hervorgebracht hat, verursacht wurden. Für Schadensersatzansprüche, in denen der Schaden durch eine Bewertung durch Personen und eine anschließende Handlung oder Unterlassung dieser Person verursacht wurde, wenn also das KI-System nur Informationen oder Entscheidungsgrundlagen zur Verfügung stellte, die von der betreffenden handelnden Person berücksichtigt wurden, sieht die Europäische Kommission hingegen keine Not-

507 Pieper/Schmalenberger, „AI Liability Directive – Welche Haftungsregeln erwarten uns zukünftig für KI“ vom 4. 10. 2022; Eichelberger, DB 2022, 2783, 2786 ff. 508 Hervorgehoben durch die Verfasserin.

112

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

wendigkeit, den Entwurf auch auf solche Ersatzansprüche anzuwenden.509 In diesem Fall sei es möglich, den Schaden auf eine menschliche Handlung oder Unterlassung zurückzuführen, da die Ergebnisse des KI-Systems nicht zwischen der menschlichen Handlung bzw. Unterlassung und dem Schaden stehen. Die Feststellung der Kausalität gleiche denjenigen Situationen, in denen kein KI-System beteiligt sei.510 Vor dem Hintergrund, dass intelligente Medizinprodukte den Arzt nicht gänzlich ersetzen und dieser trotz ihres Einsatzes die Gesamtverantwortung der Behandlung trägt,511 könnte der Schluss gezogen werden, dass der Richtlinienentwurf diese Haftungsansprüche nicht abdeckt. Allerdings findet die Beschränkung des Anwendungsbereichs keine Berücksichtigung im Normtext des KI-RL-E, sodass insoweit nicht eindeutig ist, ob solche Haftungskonstellationen erfasst sind oder nicht. Es bleibt abzuwarten, wann und in welcher Form die Richtlinie tatsächlich in Kraft tritt und wann das entsprechende nationale Umsetzungsgesetz anwendbar sein wird. Die Bestrebungen verdeutlichen aber, dass die Geltendmachung von Schadensersatzansprüchen hinsichtlich des Nachweises des Verschuldens und der Kausalität erhebliche Schwierigkeiten bereiten kann.

6. Offenlegungspflichten und widerlegbare Vermutungen nach dem ProdHaftRL-E Neben dem KI-RL-E, der ausdrücklich keine Anwendung auf Ansprüche nach der ProdHaft-RL findet, hat die Europäische Kommission in dem Entwurf zur Änderung der ProdHaft-RL ebenfalls vorgeschlagen, Offenlegungspflichten und widerlegbare Tatsachenvermutungen einzuführen. Die Offenlegungspflichten von Beweismitteln entsprechen im Wesentlichen denjenigen, die die Europäische Kommission in Art. 3 KI-RL-E vorgeschlagen hat. Auch der ProdHaftRL-E sieht in Art. 8 Abs. 1 ProdHaftRL-E ausdrücklich vor, dass die Gerichte anordnen können, dass der Beklagte die ihm zur Verfügung stehenden einschlägigen Beweismittel offenlegt. Voraussetzung für eine gerichtliche Anordnung der Offenlegung ist, dass der Geschädigte Tatsachen und Beweismittel vorgelegt hat, die die Plausibilität des Schadensersatzanspruchs belegen.512 Die Offenlegungspflichten sind von den Gerichten auf das Notwendige und Angemessene und unter Wahrung von Geschäftsgeheimnissen zu beschränken.513 Zudem schlägt die Europäische Kommission vor, in bestimmten Fällen widerlegbare Tatsachenvermutungen einzuführen. Hierdurch sollen Beweisschwierigkeiten des Klägers gemindert werden, die aus dem erschwerten Zugang zu und das 509

Egrd. 15 KI-RL-E. Egrd. 15 KI-RL-E. 511 Siehe hierzu Kap. D. III. 3. 512 Art. 8 Abs. 1 ProdHaftRL-E. 513 Art. 8 Abs. 2 bis 4 ProdHaftRL-E. 510

X. Beweislast

113

Verständnis von Informationen über die Herstellung und Funktionsweise des Produkts entstehen.514 Nach wie vor trägt der Geschädigte die Beweislast für die Fehlerhaftigkeit des Produkts, den erlittenen Schaden und den Kausalzusammenhang zwischen der Fehlerhaftigkeit und dem Schaden.515 In Art. 9 ProdHaftRL-E schlägt die Europäische Kommission aber widerlegliche Fehlervermutungen und Kausalitätsvermutungen vor. Ist der Beklagte seinen Offenlegungspflichten nach Art. 8 ProdHaftRL-E nicht nachgekommen oder kann der Kläger nicht nachweisen, dass das Produkt nicht den vorgeschriebenen Sicherheitsanforderungen entsprach oder der Schaden durch eine offensichtliche Fehlfunktion bei normaler Verwendung oder unter gewöhnlichen Umständen verursacht wurde, wird ein Fehler des Produkts widerleglich vermutet.516 Der Kausalzusammenhang zwischen der Fehlerhaftigkeit des Produkts und dem Schaden wird nach Art. 9 Abs. 3 ProdHaftRL-E vermutet, wenn feststeht, dass das Produkt fehlerhaft ist und der verursachte Schaden typischerweise mit dem betreffenden Fehler einhergeht. Und schließlich wird vorgeschlagen, die Fehlerhaftigkeit des Produkts und/oder den Kausalzusammenhang zwischen der Fehlerhaftigkeit und dem Schaden zu vermuten, wenn das Gericht der Auffassung ist, dass es für den Kläger aufgrund der technischen oder wissenschaftlichen Komplexität übermäßig schwierig ist, die Fehlerhaftigkeit des Produkts und/oder den Kausalzusammenhang nachzuweisen. Hierfür muss der Kläger nachgewiesen haben, dass das Produkt zum Schaden beigetragen hat und es wahrscheinlich ist, dass das Produkt fehlerhaft war und/oder dass seine Fehlerhaftigkeit eine wahrscheinliche Ursache für den Schaden ist.517 Der Beklagte, d. h. der Hersteller, hat die Möglichkeit, das Vorliegen übermäßiger Schwierigkeiten oder die Wahrscheinlichkeit zu bestreiten.518 Eine solche Regelung der Beweislast erscheint angemessen zu sein, da künftig der Hersteller die Beweislast tragen würde, um nachzuweisen, dass das Produkt nicht fehlerhaft war. Der Hersteller verfügt im Vergleich zum Geschädigten über Expertenwissen und hat einen leichteren Zugang zu relevanten Informationen.519 Hier muss natürlich das endgültige Ergebnis des Gesetzgebungsverfahrens abgewartet werden.

7. Zwischenergebnis In der Literatur und auch auf europäischer Ebene werden möglicherweise bestehende Beweisprobleme des Geschädigten intensiv diskutiert. Ob und inwieweit 514

Egrd. 30 ProdHaftRL-E. Art. 9 Abs. 1 ProdHaftRL-E. 516 Art. 9 Abs. 1 lit. a) bis c), Abs. 5 ProdHaftRL-E. 517 Art. 9 Abs. 4 UAbs. 1 ProdHaftRL-E. 518 Art. 9 Abs. 4 UAbs. 2 ProdHaftRL-E. 519 Chandler/Behrendt u. a., „Der Entwurf einer neuen Produkthaftungsrichtlinie“ vom 12. 10. 2022. 515

114

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

diese Beweisprobleme in der Praxis entstehen werden, kann zum jetzigen Zeitpunkt noch nicht abschließend eingeschätzt werden. Der Nachweis, dass eine fehlerhaft erlernte Verhaltensweise auf die ursprüngliche Programmierung zurückzuführen ist, wird entscheidend vom Autonomiegrad des intelligenten Medizinprodukts abhängen. Je autonomer ein KI-System arbeitet und je vernetzter es mit anderen autonomen Systemen ist, desto schwieriger wird der Nachweis gelingen, dass ein bestimmter Schaden bei Einhaltung der erforderlichen Sorgfalt nicht eingetreten wäre.520 Abhilfe könnten die Einführung einer Protokollierungspflicht mit Analysefunktion und die von der Europäischen Kommission erwogenen Offenlegungspflichten und widerlegbaren Vermutungen für das Verschulden bzw. die Fehlerhaftigkeit des Produkts und die Kausalität schaffen. Es erscheint sachgerecht dem Hersteller die Pflicht aufzuerlegen, den Sachverhalt zu untersuchen und den Nachweis der Widerlegung der vermuteten Tatschen zu erbringen. Der Hersteller als Programmierer der KISoftware hat ein umfassenderes Systemverständnis und weiterreichende Analysemöglichkeiten als der Geschädigte, sodass es ihm leichter möglich sein wird eine Vermutung des Verschuldens und der Kausalität zu widerlegen.521

XI. Schutzgesetzverletzung (§ 823 Abs. 2 BGB i. V. m. MDR und MPDG) Letztlich ist noch an eine Haftung des Herstellers aus § 823 Abs. 2 BGB wegen der Verletzung eines Schutzgesetzes zu denken. Ein Schutzgesetz liegt vor, wenn die verletzte Vorschrift dem Schutz von Individualinteressen über einen bloßen Reflex hinaus zu dienen bestimmt ist, wobei der Individualschutz nicht der ausschließliche Zweck des Gesetzes sein muss, sondern es reicht aus, wenn neben Allgemeininteressen auch Individualinteressen geschützt werden sollen.522 In Betracht kommen hierbei Vorschriften der MDR, die den Patienten- und Gesundheitsschutz gewährleisten sollen. Hierbei ist Art. 5 Abs. 1 und 2 MDR zu erwähnen, wonach das Medizinprodukt den Anforderungen und dabei insbesondere den geltenden grundlegenden Sicherheits- und Leistungsanforderungen der MDR entsprechen muss. Da gemäß Erwägungsgrund 1 und 2 MDR ein hohes Niveau an Sicherheit und Gesundheitsschutz für Patienten gewährleistet werden soll, dient Art. 5 Abs. 1 und 2 MDR dem Schutz von Individualinteressen und ist folglich als Schutzgesetz i. S. d. § 823 Abs. 2 BGB anzusehen.523 Ferner kommt Art. 7 MDR ein Schutzgesetzcharakter zu, durch welchen die Sicherheit und Leistung des Produkts 520

Horner/Kaulartz, CR 2016, 7, 9. Thöne, Autonome Systeme und deliktische Haftung, S. 259. 522 BGH, NJW-RR 2005, 673, 673; BGH, NJW 2005, 2923, 2924; BGH, NJW-RR 2018, 738, 739; BGH, NJW 2018, 1671, 1673; MüKo-BGB/Wagner, § 823 BGB Rn. 562; BeckOGK-BGB/Spindler, § 823 BGB Rn. 264. 523 Vgl. Helle, MedR 2020, 993, 998; MüKo-BGB/Wagner, § 823 BGB Rn. 594, 1040. 521

XI. Schutzgesetzverletzung (§ 823 Abs. 2 BGB i. V. m. MDR und MPDG)

115

durch eine entsprechende Angabepflicht sichergestellt werden soll.524 Als weitere Schutzgesetze sind die Vorschriften der MDR einzuordnen, die die CE-Kennzeichnungspflicht für Medizinprodukte adressieren. Dazu gehören Art. 20 Abs. 1, Art. 13 Abs. 2 S. 1 lit. a) und Art. 14 Abs. 2 lit. a) MDR. Zur CE-Kennzeichnung müssen die Sicherheits- und Leistungsanforderungen erfüllt werden und das jeweils vorgeschriebene Konformitätsbewertungsverfahren durchgeführt werden, weshalb diesen Vorschriften die Schutzgesetzeigenschaft zukommt.525 Da die Vorschriften der MDR auch im Rahmen der Produkthaftung nach dem ProdHaftG zur Bestimmung der Fehlerhaftigkeit eines Produkts i. S. d. § 3 Abs. 1 ProdHaftG dienen und gleichzeitig die Verkehrssicherungspflichten des Herstellers konkretisieren, kommt der Haftung nach § 823 Abs. 2 BGB insofern kaum eigenständige Bedeutung zu.526 Schutznorm i. S. d. § 823 Abs. 2 BGB ist auch § 12 Nr. 1 MPDG527, welcher in der Praxis insbesondere deshalb an Relevanz gewinnt, weil die Vorschrift das Inverkehrbringen von Produkten bereits im Fall eines Fehlerverdachts untersagt.528 Danach ist es verboten, ein Produkt in den Verkehr zu bringen oder auf dem Markt bereitzustellen, wenn der begründete Verdacht besteht, dass das Produkt, selbst wenn es sachgemäß angewendet, instandgehalten und seiner Zweckbestimmung entsprechend verwendet wird, die Sicherheit und die Gesundheit der Patienten, der Anwender oder Dritter unmittelbar oder mittelbar in einem Maß gefährdet, das nach den Erkenntnissen der medizinischen Wissenschaft nicht mehr vertretbar ist. Zum zuvor geltenden, im Wesentlichen gleichlautenden § 4 Abs. 1 Nr. 1 MPG aF wurde vertreten, dass ein begründeter Verdacht mehr als die entsprechende Behauptung des Geschädigten erfordere, nämlich den Vortrag konkreter Anhaltspunkte für einen Sicherheitsmangel.529 Auch hier ist ein Verstoß gegen § 12 Nr. 1 MPDG nur dann anzunehmen, wenn dem Medizinproduktehersteller Vorsatz oder Fahrlässigkeit

524 Mit Vergleich zu § 4 Abs. 2 MPG aF, der eine entsprechende Regelung enthielt, BeckOGK-BGB/Spindler, § 823 BGB Rn. 686; OLG Saarbrücken, MPR 2011, 156. 525 § 6 i. V. m. § 9 MPG aF regelten ebenfalls die CE-Kennzeichnungspflicht und wurden als Schutzgesetze qualifiziert, BeckOGK-BGB/Spindler, § 823 BGB Rn. 686; BGH, NJW 2020, 1514, 1514. 526 Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn. 48. 527 KG Berlin, MPR 2018, 52, 54; LG Berlin, Urt. v. 10. 2. 2012 – 19 O 263/11 –, juris Rn. 48 f.; OLG Saarbrücken, MPR 2011, 156, 161; MüKo-BGB/Wagner, § 823 BGB Rn. 1040 zum zuvor geltenden gleichlautenden § 4 Abs. 1 MPG aF. 528 MüKo-BGB/Wagner, § 823 BGB Rn. 1040 zum zuvor geltenden gleichlautenden § 4 Abs. 1 MPG aF. 529 KG Berlin, MPR 2018, 52, 54; LG Berlin, Urt. v. 10. 2. 2012 – 19 O 263/11 –, juris Rn. 49; OLG Saarbrücken, MPR 2011, 156, 161; MüKo-BGB/Wagner, § 823 BGB Rn. 1040 zum zuvor geltenden gleichlautenden § 4 Abs. 1 MPG aF.

116

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

vorzuwerfen ist, er mithin Kenntnis von dem Sicherheitsmangel hatte oder ihn hätte erkennen können und müssen.530

XII. Ergebnis und Bewertung der Haftung des Herstellers Erleidet der Patient infolge des Einsatzes eines fehlerhaften intelligenten Medizinprodukts einen Schaden, kann er den Medizinproduktehersteller grundsätzlich nach § 1 Abs. 1 S. 1 ProdHaftG und nach § 823 Abs. 1 BGB in Anspruch nehmen. Beide Ansprüche knüpfen an die Fehlerhaftigkeit des autonomen Medizinprodukts an, die auf die Verletzung einer Konstruktions-, Fabrikations- und Instruktionspflicht sowie im Rahmen von § 823 Abs. 1 BGB auf die Verletzung der Produktbeobachtungspflicht zurückzuführen ist. Die beiden Haftungsgrundlagen entsprechen sich im Wesentlichen, enthalten aber auch gewisse gegenseitige Ergänzungen. Neben dem unbeschränkten Anwendungsbereich hinsichtlich Software-Produkten wird die deliktische Produzentenhaftung auf die Pflicht zur Produktbeobachtung ausgeweitet, die das ProdHaftG nicht kennt. Die Anwendbarkeit des ProdHaftG für Embedded Software ist wegen ihrer Verkörperung in der Hardware des Medizinprodukts unproblematisch. Nach hier vertretener Ansicht sollte das ProdHaftG allerdings auch für Standalone-Software (Medizinproduktesoftware) Anwendung finden, um eine Haftungslücke und eklatante Widersprüche bei der Behandlung von Software zu vermeiden. Dabei sollte der europäische Gesetzgeber eine Klarstellung wie im Rahmen der MDR vornehmen, wonach Software als eigenständiges Medizinprodukt aufgeführt wird. Als Haftungsadressaten kommen nach hier vertretener Ansicht deshalb sowohl der Endhersteller als auch der Teilhersteller der KI-Software in Betracht. Dagegen ist die Produzentenhaftung unproblematisch auch auf Standalone-Software anwendbar. Etwaige Haftungslücken, die dadurch entstehen könnten, dass Standalone-Software vom Anwendungsbereich des ProdHaftG nicht erfasst wird, können folglich durch die Produzentenhaftung geschlossen werden. Das autonome Medizinprodukt kann bereits im Zeitpunkt seines Inverkehrbringens fehlerhaft sein (vgl. § 3 Abs. 1 ProdHaftG). Bei der Bestimmung des Sicherheitsmaßstabs wurde gezeigt, dass eine Vielzahl von unterschiedlichen Faktoren zu berücksichtigen sind, wobei die Besonderheiten von KI-Produkten, insbesondere auch deren Autonomiegrad entscheidend sind. Wichtiger, aber nicht alleiniger, Anknüpfungspunkt bei der Haftung des Medizinprodukteherstellers ist die Einhaltung der für Medizinprodukte geltenden Vorschriften der MDR. Die Vorschriften sind nicht auf KI-basierte Medizinprodukte zugeschnitten, sodass ihnen nur die 530 KG Berlin, MPR 2018, 52, 54; MüKo-BGB/Wagner, § 823 BGB Rn. 1040 zum zuvor geltenden gleichlautenden § 4 Abs. 1 MPG aF.

XII. Ergebnis und Bewertung der Haftung des Herstellers

117

grundlegenden Sicherheitsanforderungen zu entnehmen sind, die jedes Medizinprodukt erfüllen muss und die deshalb auch der Hersteller von intelligenten Medizinprodukten einzuhalten hat. Für Hersteller, aber auch für die mitwirkende Benannte Stelle, besteht die Schwierigkeit, dass die MDR nicht an autonome Medizinprodukte angepasst ist. Die Ausarbeitung hat gezeigt, dass nach der MDR zurzeit nur KI-basierte Medizinprodukte zertifizierbar sind, die nicht mit einem selbstlernenden Algorithmus ausgestattet sind. Stattdessen muss der KI-Algorithmus vor dem Inverkehrbringen eingefroren werden, sodass er sich nachträglich nicht mehr eigenständig weiterentwickeln und verändern kann. Die Haftungssituation weicht deshalb nicht grundlegend von derjenigen ab, die bei anderen (komplexen) technischen Medizinprodukten besteht.531 Die haftungsrechtlichen Besonderheiten ergeben sich erst durch die Autonomie und Selbstlernfähigkeit von dynamischen Systemen, die auch nach Auffassung der Benannten Stellen mangels Verifizierung und Validierung aktuell nicht zertifizierbar und damit nach der MDR nicht verkehrsfähig sind. Dynamische KI könnte im Medizinbereich aber künftig durch die KI-VO zertifizierbar werden. Insofern bleibt es auch bei KI-basierten Medizinprodukten bei einer Wechselwirkung zwischen Haftungs- und Zulassungsrecht: Das Zulassungsrecht stellt Mindestanforderungen an das autonome Medizinprodukt, wohingegen die sich trotz der Zulassung realisierenden Restrisiken vom zivilrechtlichen Haftungsrecht erfasst werden.532 Insbesondere die fehlende Vorhersehbarkeit und mangelnde Beherrschbarkeit von KI-Systemen wirken sich verschärfend auf den Sorgfaltsmaßstab des Herstellers in Bezug auf die Konstruktion, Instruktion und Produktbeobachtung aus. Offene Systeme haben die Besonderheit, dass sie während ihres Einsatzes, d. h. nach ihrem Inverkehrbringen, weiterlernen, sich ihrer Umgebung anpassen und eigenständige Entscheidungen treffen. Sie sammeln neue Daten, lernen aus Erfahrungen und passen ihren Algorithmus an diese Änderungen an. Diese Offenheit führt dazu, dass der Hersteller neu erlernte Funktionsänderungen bei der Konstruktion des Produkts im Detail nicht vorhersehen und deshalb auch im Rahmen der Programmierung nur bedingt berücksichtigen kann. Das Inverkehrbringen eines solchen intelligenten Medizinprodukts birgt somit unvorhersehbare und unbeherrschbare Risiken. Besonders bedeutsam werden daher künftig die Konstruktionspflichten des Herstellers sein. Bei der Programmierung des KI-Algorithmus hat er sich an dem aktuellen Stand von Wissenschaft und Technik zu orientieren. Welche Sicherheitsmaßnahmen der Hersteller im Einzelnen vornehmen muss, ist anhand einer Kosten-Nutzen-Abwägung festzustellen. Wegen des erhöhten Gefahrenpotenzials der KI und der Besonderheit, dass der Hersteller im Voraus nicht vorhersehen kann, welche Verhaltensänderungen die KI erlernen wird, muss er die technisch sicherste Programmierung des KI-Algorithmus wählen. Nach hier vertretener Auffassung ist in der Entwicklung und des Inverkehrbringens eines lernfähigen und sich nachträglich 531 532

Handorn/Juknat, MPR 2022, 77, 86. v. Bodungen, SVR 2022, 1, 4.

118

C. Die Haftung des Herstellers von intelligenten Medizinprodukten

verändernden Medizinprodukts aber nicht generell eine Pflichtverletzung zu sehen. Stattdessen muss die vom Hersteller vor dem Inverkehrbringen vorzunehmende Abwägung des Nutzens und der von dem intelligenten Medizinprodukt ausgehenden Risiken ergeben, dass von dem Produkt keine unvertretbar hohen Gesundheitsgefährdungen ausgehen. Fällt diese Abwägung negativ aus und erfüllt das autonome Medizinprodukt nicht einmal ein Mindestsicherheitsmaß, darf der Hersteller keinen offenen Algorithmus in den Verkehr bringen. Er muss den Algorithmus dann entsprechend so programmieren, dass ein selbständiges Lernen nach dem Inverkehrbringen nicht möglich ist oder Verhaltensänderungen erst überprüft und manuell entweder vom Hersteller oder vom Arzt als Nutzer des autonomen Medizinprodukts bestätigt werden müssen. Aus den vorstehenden Erwägungen ergibt sich, dass das der KI inhärente Autonomierisiko dem Hersteller so lange nicht zurechenbar ist, wie er im Rahmen der Konstruktion, d. h. der Programmierung des KI-Algorithmus, alle möglichen und zumutbaren am aktuellen Stand von Wissenschaft und Technik orientierten Sicherheitsmaßnahmen ergriffen hat. Kommt er bei der Konstruktion nachweislich allen Sorgfaltspflichten nach und beruht die schadensursächliche Fehlfunktion bzw. Entscheidung der KI auf einer zuvor technisch unmöglich vermeidbaren Systemveränderung der KI, haftet der Hersteller weder nach § 823 Abs. 1 BGB noch nach dem ProdHaftG. Die den Patienten schädigende Realisierung des der KI inhärenten Autonomierisikos ist demnach dem Hersteller nur dann vorzuwerfen, wenn sich der Fehler in einer unzureichenden Programmierung des Algorithmus niederschlägt oder dem Medizinproduktehersteller eine Verletzung der Instruktionspflicht vorzuwerfen ist, indem er den Arzt nicht hinreichend über das Autonomierisiko des Produkts aufgeklärt hat. Schließlich wird der nicht vom ProdHaftG erfassten Produktbeobachtungspflicht künftig eine hohe Bedeutung zukommen. Das intelligente Medizinprodukt kann sich aufgrund seiner Lernfähigkeit nachträglich verändern und neue Verhaltensweisen erlernen und in sicherheitsgefährdende Entscheidungen umsetzen. Vom Medizinprodukthersteller ist daher eine besonders sorgfältige Produktbeobachtung zu fordern. Nach hier vertretener Auffassung beschränken sich die Reaktionspflichten bei der Produktbeobachtung nicht auf bloße Warnpflichten oder die Stilllegung des Produkts. Vielmehr muss der Hersteller Weiterentwicklungen, die dem aktuellen Stand von Wissenschaft und Technik entsprechen, in der Programmierung des KIAlgorithmus umsetzen und dem Nutzer, d. h. dem Arzt, in Form von SoftwareUpdates zur Verfügung stellen. Zurechnungsprobleme können sich auf der Ebene der haftungsbegründenden Kausalität ergeben, die aber im Grunde mit den herkömmlichen Kausalitätslehren zu bewältigen sind. Eine Unterbrechung des Zurechnungszusammenhangs ist insbesondere dann anzunehmen, wenn der Arzt seinen Pflichten im Umgang mit dem intelligenten Medizinprodukt nicht in ausreichendem Maße nachgekommen ist.

XII. Ergebnis und Bewertung der Haftung des Herstellers

119

In der Theorie scheint eine Ersatzpflicht des Herstellers nach dem ProdHaftG nicht ausgeschlossen. Die Schwierigkeit wird in der Praxis allerdings darin liegen, zu ermitteln, ob und inwieweit sich ein Fehler des Algorithmus zurückverfolgen und zweifelsfrei dem Zeitpunkt des Inverkehrbringens zuordnen lässt. Bei KI-Algorithmen besteht wegen des Blackbox-Effekts die Schwierigkeit, dass selbsterlernte Fähigkeiten nicht oder nur schwer sichtbar gemacht und damit kaum nachvollzogen werden können. Deshalb sollte eine Protokollierungspflicht zum Sammeln und Auswerten der von der KI verwendeten Daten eingeführt werden. Abzuwarten bleibt, ob auch die internen Vorgänge der KI sichtbar gemacht und dokumentiert werden können.

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten Erleidet der Patient infolge des Einsatzes eines autonomen Medizinprodukts körperliche oder gesundheitliche1 Beeinträchtigungen, kommt neben der Haftung des Herstellers eine Haftung des behandelnden Arztes nach § 280 Abs. 1 i. V. m. §§ 630a ff. BGB oder nach Deliktsrecht in Betracht. Zu denken ist etwa an den Fall, dass der Arzt ein intelligentes Medizinprodukt im Rahmen der Diagnose einsetzt und auf der Grundlage einer Fehlentscheidung des KI-Systems eine falsche Diagnose stellt und daraufhin eine falsche Therapieentscheidung trifft. Oder aber der Behandelnde verwendet bei der Therapie des Patienten, beispielweise bei einem operativen Eingriff, ein autonomes Medizinprodukt und der Patient kommt infolge eines Lernfehlers zu Schaden. In diesem Zusammenhang steht die Frage im Mittelpunkt, ob der Arzt den Sorgfaltspflichten hinsichtlich der Überprüfung und Überwachung des intelligenten Medizinprodukts nachgekommen ist. Haftungsrechtlich relevant ist aber auch eine unzureichende Aufklärung des Patienten über die Besonderheiten des Einsatzes eines KI-basierten Medizinprodukts. Hierzu gehört insbesondere auch die Unterrichtung über die besonderen Autonomierisiken. Ärztliche Behandlungsmaßnahmen müssen grundsätzliche Voraussetzungen erfüllen, um eine Haftung des Behandelnden auszuschließen. Dazu muss die Behandlungsmaßnahme erstens medizinisch indiziert sein, „d. h. der ärztliche Heilauftrag muss die vorgesehene Maßnahme umfassen und gebieten“2, zweitens muss sie nach einer umfassenden Aufklärung des Patienten von dessen Einwilligung getragen sein3 und drittens muss die Behandlung des Patienten de lege artis, d. h. entsprechend den geltenden fachlichen Regeln (Verfahren lege artis) durchgeführt werden4. Der Behandlungsfehler und der Aufklärungsfehler sind die beiden wesentlichen haftungsbegründenden Verhaltensweisen im Arzthaftungsrecht.5 Im Folgenden werden zunächst die Rechtsgrundlagen der ärztlichen Haftung dargestellt (nachfolgend unter I.). Aus arzthaftungsrechtlicher Perspektive ist sodann zu klären, welcher Sorgfaltsmaßstab an eine ärztliche Behandlung anzulegen ist 1

Zur Unterscheidung siehe Kap. C. I. Fn. 3. Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 1. 3 BGH, NJW 2005, 1718, 1719; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 1; Bördner, GuP 2019, 131, 133. 4 Stellpflug, GesR 2019, 76, 76; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 1. 5 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 1; Stellpflug, GesR 2019, 76, 76. 2

I. Rechtsgrundlagen der ärztlichen Haftung

121

(nachfolgend unter II.). Anschließend wird erörtert, unter welchen Voraussetzungen ein autonomes Medizinprodukt bei der Behandlung des Patienten eingesetzt werden darf, um das Vorliegen eines Behandlungsfehlers zu vermeiden (nachfolgend unter III.). Daran anschließend wird die analoge Anwendung von § 278 BGB diskutiert (nachfolgend unter IV.) und welche Besonderheiten sich im Zusammenhang mit den Aufklärungspflichten aus dem Einsatz autonomer Medizinprodukte ergeben (nachfolgend unter V.). Schließlich wird noch die Beweislast unter dem Blickwinkel des Einsatzes von KI-basierten Medizinprodukten beleuchtet (nachfolgend unter VI.).

I. Rechtsgrundlagen der ärztlichen Haftung Verletzt der Arzt schuldhaft eine seiner ärztlichen Pflichten und wird der Patient dadurch geschädigt, kommt zunächst eine vertragliche Schadensersatzpflicht des Arztes in Betracht (§ 280 Abs. 1 S. 1 BGB). Jede vertragliche Haftung bedarf eines Vertrages; dieser wird in Form eines Behandlungsvertrages geschlossen (§ 630a Abs. 1 BGB). Der Behandlungsvertrag wird zwischen dem Krankenhausträger und/ oder dem Arzt und dem Patienten geschlossen (der Vertragsschluss richtet sich nach den allgemeinen Regeln der §§ 145 ff. BGB).6 Durch den Abschluss eines Be6 Bei einem Behandlungsvertrag mit dem Krankenhaus sind folgende Konstellationen zu unterscheiden: Bei einem totalen Krankenhausaufnahmevertrag wird der Vertrag mit dem Krankenhausträger geschlossen, der für sämtliche Leistungen der stationären Krankenhausbetreuung verantwortlich ist. Er haftet allein für das Verschulden des ärztlichen und nichtärztlichen Personals (§ 278 BGB), vgl. Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 424 f. Häufiger wird ein einheitlicher Krankenhausaufnahmevertrag mit Arztzusatzvertrag vereinbart, etwa wenn der Patient die ärztliche Leistung des Chefarztes wählt. Grundsatz ist auch hier die Haftung des Krankenhausträgers für alle an der Behandlung Beteiligten (§ 278 BGB). Der Krankenhausträger haftet auch für das Fehlverhalten des selbstliquidierenden Arztes. Zusätzlich bildet der zwischen dem Patienten und dem selbstliquidierenden Arzt geschlossene Behandlungsvertrag eine vertragliche Haftung des selbstliquidierenden Arztes, vgl. Spickhoff/ Greiner, MedR, §§ 823–839 BGB Rn. 445 ff. Bei einem gespaltenen Krankenhausaufnahmevertrag (Belegarzt) erfolgt eine Aufspaltung der vertraglichen Haftung: Der Belegarzt haftet für die belegärztliche Behandlung (einschließlich des von ihm beauftragten Personals nach § 278 BGB), der Klinikträger haftet für die allgemeinen Krankenhausleistungen (Schaffung der Voraussetzungen für die belegärztliche Behandlung), vgl. Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 426 ff. Hinsichtlich der Haftung beim Einsatz von intelligenten Medizinprodukten ergeben sich keine Unterschiede mit Blick auf die unterschiedlichen Vertragskonstellationen. Entweder ist dem Krankenhausträger das Fehlverhalten des Arztes über § 278 BGB zuzurechnen (totaler Krankenhausaufnahmevertrag oder einheitlicher Krankenhausaufnahmevertrag mit Arztzusatzvertrag) oder der Arzt haftet selbst für eine etwaige Fehlfunktion der KI. Die Frage nach der Haftung für intelligente Medizinprodukte stellt sich in allen Konstellationen gleichermaßen. Im Folgenden wird deshalb aus Gründen der Vereinfachung ausschließlich die Konstellation des Vertragsschlusses zwischen Arzt und Patient behandelt. Setzt der Arzt zur Diagnose oder Therapie ein KI-basiertes Medizinprodukt ein, ändert dies nichts an dem Zustandekommen des Vertrages zwischen dem Krankenhausträger bzw. Arzt

122

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

handlungsvertrages wird der Behandelnde insbesondere zur Behandlung des Patienten nach dem gebotenen fachlichen Standard (§ 630a Abs. 2 BGB), zur Aufklärung des Patienten (§ 630e BGB) und zur Einholung seiner Einwilligung (§ 630d BGB) verpflichtet. Der Begriff der „Behandlung“ wird vom Gesetz nicht definiert. Ausweislich der Gesetzesbegründung ist unter Behandlung die Heilbehandlung zu verstehen: „Sie umfasst neben der Diagnose die Therapie und damit sämtliche Maßnahmen und Eingriffe am Körper eines Menschen, um Krankheiten, Leiden, Körperschäden, körperliche Beschwerden oder seelische Störungen nicht krankhafter Natur zu verhüten, zu erkennen, zu heilen oder zu lindern.“7 Neben der vertraglichen Haftung kann der Arzt nach § 823 Abs. 1 BGB zum Schadensersatz verpflichtet sein. Nach herrschender Auffassung stellt der ärztliche Heileingriff tatbestandlich eine Körperverletzung i. S. d. § 823 Abs. 1 BGB dar, unabhängig davon, ob der Arzt den Eingriff lege artis oder fehlerhaft ausführt. Die ärztliche Behandlungsmaßnahme muss deshalb von einer Einwilligung des Patienten getragen sein, die zuvor einer ordnungsgemäßen und umfassenden Aufklärung des Patienten bedarf.8 Da die Einführung der §§ 630a ff. BGB eine Kodifikation des bisher praktizierten Richterrechts ist, ergibt sich ein Gleichlauf von vertraglicher und deliktischer Arzthaftung.9 Die wesentlichen Grundsätze zur Einwilligung und Aufklärung, zur Haftung für Behandlungsfehler und zur Verletzung von Organisationspflichten sowie zur Beweislast stammen aus dem Deliktsrecht.10 Die Pflichten im Rahmen der vertraglichen Haftung sind mit denjenigen im Rahmen der deliktischen Haftung (weitgehend) identisch, sodass sich insoweit keine haftungsrechtlichen Unterschiede zur vertraglichen Schadensersatzpflicht des Arztes ergeben. Das Verschulden wird anders als im Rahmen der vertraglichen Haftung nicht vermutet, sondern muss vom Patienten bewiesen werden. Daneben kommt eine Haftung des Arztes nach § 823 Abs. 2 BGB i. V. m. einem Schutzgesetz in Betracht. Zu den Schutzgesetzen zählen die Vorschriften der MPBetreibV und des MPDG.11 Die Haftung läuft parallel zur Haftung nach § 823 Abs. 1 BGB und damit zur Vertragshaftung, da die Vorschriften der MPBetreibV und des MPDG im Wesentlichen die Rechtsprechung zu den ärztlichen Sorgfaltspflichten kodifizieren.

und dem Patienten, vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 226. 7 BT-DRS. 17/10488, S. 17. 8 MüKo-BGB/Wagner, § 823 BGB Rn. 1073 f.; vgl. BGH, NJW 2006, 2108, 2108. 9 BT-DRS. 17/10488, S. 9; vgl. Spickhoff/Spickhoff, MedR, § 630a BGB Rn. 3. 10 Spickhoff/Spickhoff, MedR, § 630a BGB Rn. 3. 11 Siehe hierzu Kap. D. III. 2. c).

II. Sorgfaltsstandard

123

II. Sorgfaltsstandard Die Behandlung des Patienten hat gem. § 630a Abs. 2 BGB nach den zum Zeitpunkt der Behandlung bestehenden, allgemein anerkannten fachlichen Standards zu erfolgen, soweit nicht etwas anderes vereinbart ist. Dieser Standard gilt auch im Deliktsrecht.12 Es handelt sich dabei um eine Konkretisierung bzw. Ergänzung der Fahrlässigkeitsdefinition des § 276 Abs. 2 BGB.13 Für die Bewertung des Sorgfaltsverstoßes bei einer medizinischen Behandlung gilt ein objektivierter Sorgfaltsmaßstab.14 Allerdings sind über den medizinischen Standard hinausgehende individuelle Kenntnisse und Fähigkeiten des Arztes zu berücksichtigen und diese erhöhen den anzuwendenden Sorgfaltsmaßstab.15 Bei einer Unterschreitung des jeweils gebotenen Standards liegt ein sog. Behandlungsfehler vor.16 Im umfassenden Sinne bezeichnet dieser das nach dem Stande der Medizin unsachgemäße Verhalten des Arztes.17 Ob im konkreten Fall ein Behandlungsfehler vorliegt, ist anhand eines Vergleichstests zu ermitteln. Dabei wird die tatsächlich durchgeführte ärztliche Behandlung mit den nach den Regeln der medizinischen Wissenschaft im Zeitpunkt der Behandlung angezeigten Maßnahmen verglichen (Ist-/Soll-Betrachtung).18 Maßstab für die Betrachtung im Einzelfall sind die medizinischen Standards.19 Behandlungsfehler können bei der Behandlung selbst, im Behandlungsumfeld und bei der therapeutischen Aufklärung auftreten.20 Ärztliche Behandlungsfehler können in einzelne Fallgruppen unterteilt werden: Fehler bei der Diagnosestellung (Diagnosefehler),21 Fehler bei der Erhebung der für die Diagnosestellung und 12

MüKo-BGB/Wagner, § 630a BGB Rn. 117. Spickhoff/Spickhoff, MedR, § 630a BGB Rn. 38; MüKo-BGB/Wagner, § 630a BGB Rn. 117. 14 BGH, NJW 2003, 2311, 2313; BGH, NJW 2001, 1786, 1787. 15 BGH, NJW 1987, 1479, 1480. 16 Vgl. Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 4; BGH, NJW 2000, 2737, 2740; BGH, NJW 1995, 776, 777; BGH, NJW 1999, 1778, 1779; BGH, NJW-RR 2014, 1053, 1054. 17 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 4. 18 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 5. 19 BeckOK/Katzenmeier, § 630a BGB Rn. 147; vgl. BGH, NJW 1987, 1479, 1480 f. mit Anmerkung von Deutsch. 20 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 4. 21 Ein Diagnosefehler wird von der Rechtsprechung in weitaus weniger Fällen angenommen als im übrigen Therapiesektor, vgl. BGH, NJW 2008, 1381, 1382; BGH, NJW 2003, 2827; BGH, NJW 1992, 2963. Der Diagnosefehler ist vom Diagnoseirrtum zu unterscheiden: Ein (bloßer) Diagnoseirrtum liegt vor, wenn der Arzt erhobene oder sonst vorliegende Befunde falsch interpretiert und deshalb nicht die gebotenen diagnostischen oder therapeutischen Maßnahmen ergreift. Die Fehlerhaftigkeit einer Diagnose, aus der eine Haftung des Behandelnden hergeleitet werden kann, besteht erst dann, wenn der Diagnoseirrtum auf einer objektiven Sorgfaltspflichtverletzung des Behandelnden beruht, vgl. BGH, NJW 2003, 2827, 2827 f.; OLG Koblenz, MedR 2017, 514; Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 66. 13

124

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Therapie erforderlichen Befunde (Befunderhebungsfehler),22 Therapiewahlfehler,23 fehlerhafte Durchführung der an sich richtig ausgewählten Therapie,24 Fehler bei der Nachsorge und Fehler bei der therapeutischen Aufklärung25.26 Der Dokumentationsfehler stellt keinen eigenen Haftungstatbestand dar, sondern erlangt über das Beweisrecht Bedeutung.27 Schließlich kommt ein Behandlungsfehler aus Übernahmeverschulden28 oder in Form eines Organisationsfehlers29 in Betracht. Im Folgenden wird zunächst der für die Behandlung relevante medizinische Standard erläutert (nachfolgend unter 1.), der durch ärztliche Leitlinien eine gewisse Konkretisierung erfährt (nachfolgend unter 2.).

1. Medizinischer Standard Der in § 630a Abs. 2 BGB genannte Standardbegriff wird vom Gesetz nicht näher konkretisiert und ist auch in der Medizin und in der Rechtswissenschaft verhältnismäßig unbestimmt.30 Er wird häufig definiert als „Stand der naturwissenschaftlichen Erkenntnisse und der ärztlichen Erfahrung, der zur Erreichung des ärztlichen Behandlungsziels erforderlich ist und sich in der Erprobung bewährt hat“.31 Der 22

Ein Befunderhebungsfehler liegt vor, wenn der Behandelnde es unterlassen hat, medizinisch zwingend gebotene Befunde zu erheben bzw. diese Befunde zu sichern, Clausen/ Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 635; vgl. BGH, NJW-RR 2007, 744. 23 Ein Therapiewahlfehler liegt vor, wenn der Behandelnde eine falsche Methode für die Behandlung einer Krankheit oder deren Diagnostik auswählt, Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 55 ff. 24 Ein Therapiefehler liegt vor, wenn die Ausführung der gewählten Therapiemaßnahme gegen den medizinischen Standard verstößt, Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 76 f. 25 Fehler im Bereich der therapeutischen Aufklärung (§ 630c Abs. 2 S. 1 BGB) sind keine Aufklärungsfehler, sondern Behandlungsfehler. Die therapeutische Aufklärung soll dem Patienten die notwendigen Erkenntnisse von Art und Schwere der Therapie bzw. des Eingriffs und seiner Dringlichkeit vermitteln, Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 686, 688. 26 Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 54, 6. 27 BGH, NJW 1988, 2949, 2949; Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 6. 28 Ein Übernahmefehler liegt vor, wenn der Arzt mit der Behandlung seine fachliche Kompetenz überschreitet oder die personelle oder apparative Ausstattung für die Behandlung nicht ausreicht, Quaas/Zuck u. a./Quaas, MedR, § 14 Rn. 74. 29 Ein Organisationsfehler liegt vor, wenn der Behandelnde gegen seine Organisationspflichten verstößt. Zu den Organisationpflichten gehören beispielsweise: Ausreichende Qualifikation des ärztlichen und nicht-ärztlichen Personals; Organisation des Praxis- und Krankenhausbetriebs; Kommunikation und Koordination; Überwachung und Weiterbildung des Personals; Einhaltung von personellen, fachlichen und apparativen Standards, vgl. hierzu Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 45. 30 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 7. 31 BGH, NJW 1999, 1811, 1812; BGH, NJW-RR 2014, 1053, 1053; BGH, NJW 2015, 1601, 1601; Hart, MedR 1998, 8, 9; so auch BT-DRS. 17/10488, S. 19.

II. Sorgfaltsstandard

125

medizinische Standard ist mithin eine Kombination aus wissenschaftlicher Erkenntnis, ärztlicher Erfahrung und professioneller Akzeptanz.32 Er entwickelt sich angesichts des sehr schnellen Wandels der Erkenntnisse in der medizinischen Wissenschaft stetig weiter und ist nicht als statischer, sondern als dynamischer Standard zu verstehen.33 Der medizinische Standard ist mithin von der jeweiligen in Frage stehenden Zeit abhängig, in welcher der Arzt gehandelt hat oder hätte handeln müssen.34 Nachträglich gewonnene Erkenntnisse sind unbeachtlich; es kommt auf den Erkenntnisstand der medizinischen Wissenschaft zum Zeitpunkt der Behandlung an.35 Der Sorgfaltsmaßstab ist nicht auf den Einheitsmediziner bezogen, sondern fachgebietsbezogen.36 Geschuldet ist diejenige Behandlung, die ein durchschnittlich qualifizierter Arzt des jeweiligen Fachgebiets nach dem jeweiligen Stand von medizinischer Wissenschaft und Praxis an Kenntnissen, Wissen, Können und Aufmerksamkeit zu erbringen in der Lage ist (sog. Facharztstandard).37 Nicht erforderlich ist die formelle Anerkennung des Behandelnden als Facharzt. Entscheidend ist, dass seine Kenntnisse und Erfahrungen für die durchzuführende Maßnahme ausreichen.38 Hat sich (noch) kein Standard etabliert, liegt eine sog. Neulandmethode vor, bei der sich die ärztlichen Sorgfaltspflichten anhand der konkreten Behandlungssituation nach den gegebenen Möglichkeiten eines Eingriffs unter möglichster Schonung der körperlichen Integrität des Patienten bestimmen.39 In diesem Fall gelten erhöhte Sorgfaltsanforderungen, d. h. der Arzt muss eine besonders gewissenhafte NutzenRisiko-Abwägung vornehmen, indem er die zu erwartenden Vorteile dieser Methode und ihrer abzusehenden und zu vermutenden Nachteile mit der standardgemäßen Behandlung unter Berücksichtigung des Wohls des Patienten gegeneinander abwägt und diese Abwägung muss die Anwendung der neuen Methode rechtfertigen.40 Die Abwägung ist erneut vorzunehmen, sobald neue Erkenntnisse über mögliche Risiken und Nebenwirkungen vorliegen, über die sich der behandelnde Arzt stets informieren

32

Hart, MedR 1998, 8, 9 f. Vgl. BeckOK/Katzenmeier, § 630a BGB Rn. 158; Eickbusch, Die Zweckbestimmung von Medizinprodukten, S. 184. 34 Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 548. 35 BeckOK/Katzenmeier, § 630a BGB Rn. 160. 36 MüKo-BGB/Wagner, § 630a BGB Rn. 122. 37 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 8; BGH, NJW-RR 2014, 1053, 1055; BGH, NJW 2000, 2737, 2740. 38 BeckOK/Katzenmeier, § 630a BGB Rn. 161. 39 BeckOK/Katzenmeier, § 630a BGB Rn. 149; vgl. BT-DRS. 17/10488, S. 19; BGH, MedR 2007, 653, 655 f. 40 BGH, NJW 2006, 2477, 2478; BGH, NJW 2007, 2774, 2775; BGH, NJW 2007, 2767, 2768; BGH, NJW 2017, 2685, 2686; BGH, NJW 2020, 1358, 1359; MüKo-BGB/Wagner, § 630a BGB Rn. 133. 33

126

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

muss.41 Der Arzt ist zur Einhalt der Sorgfalt eines „vorsichtigen Arztes“ angehalten,42 er muss den Patienten intensiv begleiten und kontrollieren und bei Komplikationen sofort reagieren.43 Wenn sich Risiken für die Gesundheit des Patienten abzeichnen, die zwar nach Ursache, Art und Umfang noch nicht genau bekannt sind, jedoch bei ihrem Eintreten zu schweren Gesundheitsschäden führen können, hat der Arzt unverzüglich Kontrolluntersuchungen vorzunehmen.44 Zudem erfordert der Einsatz einer Neulandmethode eine umfassende Aufklärung des Patienten.45 Unterschreitet der Arzt bei der Behandlung des Patienten den medizinischen Standard, weil er beispielsweise eine darunterliegende Therapie wählt und anwendet, ohne dass etwas anderes vereinbart ist (§ 630a Abs. 2 BGB aE), ist regelmäßig ein Behandlungsfehler anzunehmen.46

2. Konkretisierung des medizinischen Standards durch Leitlinien Im Arzthaftungsprozess ist die Feststellung eines Behandlungsfehlers eine zentrale Voraussetzung der ärztlichen Haftung. Ärztliche Leitlinien können den medizinischen Standard präzisieren und damit die Feststellung des Behandlungsfehlers erleichtern.47 Leitlinien sind systematisch entwickelte, wissenschaftlich begründete und praxisorientierte Entscheidungshilfen über die angemessene ärztliche Vorgehensweise bei typischen diagnostischen und therapeutischen Problemstellungen.48 Sie werden durch professionelle Institutionen, insbesondere durch medizinische Fachgesellschaften, erstellt und bieten Entscheidungshilfen im Arzthaftungsprozess.49 Sie dienen dem gerichtlichen Sachverständigen nicht nur dazu eine individuell-ärztliche, sondern eine ärztlich-institutionelle Bewertung abzugeben, die das Gericht anhand der Leitlinie in gewissem Maße auf Plausibilität kontrollieren und dem Kläger den Beweis eines Behandlungsfehlers u. U. erleichtern kann.50 Bei der Hinzuziehung von Leitlinien ist zu beachten, dass diese den Erkenntnisstand der medizinischen Wissenschaft nur deklaratorisch wiedergeben und keine rechtlich bindende Bedeutung haben.51 Sie können vom medizinischen Standard 41

BGH, NJW 2007, 2767, 2769; BGH, NJW 2007, 2774, 2775. BGH, NJW 2007, 2774, 2775; Spickhoff/Spickhoff, MedR, § 630a BGB Rn. 43. 43 MüKo-BGB/Wagner, § 630a BGB Rn. 134. 44 BGH, NJW 2007, 2767, 2769. 45 Siehe hierzu Kap. D. V. 1. b). Vgl. MüKo-BGB/Wagner, § 630a BGB Rn. 133. 46 Vgl. BGH, NJW 2000, 2737, 2740; BGH, NJW 1995, 776. 47 Hart, MedR 1998, 8, 12. 48 Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 571; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 10; Taupitz, AcP 211 (2011), 352, 376. 49 BeckOK/Katzenmeier, § 630a BGB Rn. 154. 50 Hart, MedR 1998, 8, 12; BeckOK/Katzenmeier, § 630a BGB Rn. 154. 51 Vgl. OLG Hamm, NJW 2000, 1801, 1802; MüKo-BGB/Wagner, § 630a BGB Rn. 127. 42

III. Behandlungsfehler

127

abweichen, sie können den ärztlichen Standard neu entwickeln, vorhandene Standards verbessern oder bestätigen oder aber bereits veraltet sein.52 Eine Abweichung von einer Leitlinie begründet deshalb nie automatisch einen Behandlungsfehler.53 Die Abweichung von einer Leitlinie kann aber als Indiz für einen Behandlungsfehler dienen.54 Allerdings ist dabei immer zu berücksichtigen, ob die Leitlinie tatsächlich den medizinischen Standard repräsentiert und dem Arzt Optionen für Entscheidungsalternativen lässt (Handlungs- und Entscheidungskorridor), ohne gleichzeitig einen eindeutigen ärztlichen Standard zu bestimmen.55 Bei einer Abweichung von der Leitlinie oder der von ihr genannten Optionen kommt es für die Fehlerhaftigkeit der Behandlung entscheidend darauf an, ob die Abweichungsgründe medizinisch plausibel sind.56

III. Behandlungsfehler Der Arzt kann sich im Rahmen seiner Therapiefreiheit für den Einsatz eines autonomen Medizinprodukts entscheiden (nachfolgend unter 1.). Entscheidet er sich für den Einsatz solcher Medizinprodukte, muss er vor, während und nach dem Einsatz des KI-basierten Medizinprodukts gewisse Pflichten erfüllen. Da zum heutigen Zeitpunkt noch keine autonomen Medizinprodukte am Patienten eingesetzt werden, gibt es noch kein feststehendes Pflichtenprogramm. Um ein Pflichtenprogramm für den Einsatz von intelligenten Medizinprodukten aufzustellen, wird im Folgenden zunächst der Sorgfaltsstandard beim Einsatz von herkömmlichen Medizinprodukten herausgearbeitet (nachfolgend unter 2.). Dieser wird sodann auf intelligente Medizinprodukte übertragen und modifiziert (nachfolgend unter 3.). Verletzt der Behandelnde eine seiner ärztlichen Pflichten beim Einsatz, liegt ein Behandlungsfehler vor für den der Arzt haftungsrechtlich einstehen muss.

1. Therapiefreiheit des Arztes Die Therapiewahl ist grundsätzlich primär Sache des Arztes.57 Bei der Wahl der im konkreten Fall zu ergreifenden Diagnostik- oder Therapiemethoden räumt die 52 BeckOK/Katzenmeier, § 630a BGB Rn. 155; Hart, MedR 1998, 8, 12 f.; BGH, NJW-RR 2014, 1053, 1055. 53 Hart, MedR 1998, 8, 12. 54 BeckOK/Katzenmeier, § 630a BGB Rn. 157; vgl. BGH, NJW-RR 2014, 1053, 1055; BGH, Beschl. v. 28. 3. 2008–VI ZR 57/07 –, juris Rn. 3 ff. 55 Hart, MedR 1998, 8, 13; BeckOK/Katzenmeier, § 630a BGB Rn. 157. 56 Hart, MedR 1998, 8, 13. 57 BGH, NJW 1989, 1538, 1539; BGH, NJW 2007, 2774, 2774; BGH, NJW 2020, 1358, 1359; vgl. BGH, NJW 1988, 763; BGH, NJW 2005, 1718.

128

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Rechtsprechung dem Behandelnden bei mehreren gleichwertigen zur Verfügung stehenden Methoden einen weiten Beurteilungs- und Ermessenspielraum ein. Dabei ist er nicht stets auf den jeweils sichersten therapeutischen Weg angewiesen.58 Grundsätzlich kann sich der Arzt im Rahmen seiner Therapiefreiheit für eine zum Standard gehörende Methode entscheiden, auch wenn diese, im Vergleich zu anderen Behandlungsmethoden, nicht die optimale Behandlung darstellt.59 Eine bestimmte Behandlungsmethode ist aber ab dem Zeitpunkt veraltet und überholt und ihre Anwendung genügt nicht mehr dem einzuhaltenden Qualitätsstandard und wird damit zu einem Behandlungsfehler, „wenn es neue Methoden gibt, die risikoärmer oder für den Patienten weniger belastend sind und/oder bessere Heilungschancen versprechen und in der medizinischen Wissenschaft im Wesentlichen unumstritten sind“.60 Ob und wann diese Grenze bei KI-Systemen im Medizinbereich erreicht wird, ist zum heutigen Zeitpunkt noch nicht absehbar. Zumindest ab dem Zeitpunkt, ab dem intelligente Medizinprodukte in ärztlichen Leitlinien Berücksichtigung finden, kann das Gericht das autonome Medizinprodukt als Standardmethode einordnen.61 Bis zum Eingang des intelligenten Medizinprodukts in den medizinischen Standard stellt sich dessen Einsatz als Neulandmethode dar. Nach umfassender Aufklärung des Patienten und nach Einholung seiner Einwilligung kann sich der Arzt für den neuartigen Einsatz eines autonomen Medizinprodukts entscheiden. Vor dem Einsatz eines solchen Medizinprodukts muss der Arzt eine intensive Nutzen-RisikoAbwägung vornehmen. Da der Einsatz von KI-Systemen mit einem höheren Risiko einhergeht (es können unvorhersehbare und unbeherrschbare Risiken auftreten), muss sich der Einsatz durch die Umstände des konkreten Falls oder eine günstigere Heilungsprognose sachlich rechtfertigen lassen.62 Das autonome Medizinprodukt muss (zum Teil) gute Therapieerfolge aufweisen, während Zahl und Schwere der bekannten Nebenwirkungen gering sein müssen.63 Zudem hat der Arzt bei der Anwendung von intelligenten Medizinprodukten alle bekannten und medizinisch vertretbaren Sicherungsmaßnahmen zu ergreifen, die eine erfolgreiche und komplikationsfreie Behandlung gewährleisten. Je gefährlicher sich ein Fehler auf die Gesundheit des Patienten auswirken kann, desto vorsichtiger muss der Behandelnde bei seinem Vorgehen sein.64 Welche Sicherungsmaßnahmen der Arzt beim Einsatz von intelligenten Medizinprodukten zu erfüllen hat, wird im folgenden Kapitel erarbeitet. 58 BGH, NJW 2007, 2774, 2774; BGH, NJW 2020, 1358, 1359; vgl. BGH, NJW 1988, 763; BGH, NJW 1989, 1538; BGH, NJW 2005, 1718. 59 Vgl. BGH, NJW 1992, 754; BGH, NJW 1989, 2321. 60 BGH, NJW 1992, 754, 755; BGH, NJW 1988, 763, 764. 61 Thissen, RWF 12/21, 7, 7. 62 Vgl. BGH, NJW 2007, 2774, 2774; BGH, NJW 2020, 1358, 1359. 63 Vgl. BGH, NJW 2007, 2774, 2774 f. 64 Vgl. BGH, NJW 2007, 2774, 2774.

III. Behandlungsfehler

129

2. Sorgfaltsstandard beim Einsatz von herkömmlichen Medizinprodukten Die Rechtsprechung hat anhand einer Einzelfallkasuistik verschiedene Sorgfaltspflichten aufgestellt, die der Arzt bei der Anwendung eines medizinisch-technischen Geräts65 einzuhalten hat. Grundsätzlich gilt, dass Gefahren aus dem technisch-apparativen Bereich durch geeignete Vorkehrungen ausgeschlossen werden müssen.66 Hierzu zählen die apparative (nachfolgend unter a)) und die personelle Ausstattung (nachfolgend unter b)) sowie die Einhaltung der Pflichten nach der MPBetreibV und des MPDG (nachfolgend unter c)). a) Apparative Ausstattung Niedergelassene Ärzte67 haben umfangreiche Organisationspflichten. So hat der Arzt grundsätzlich die modernsten technischen Geräte einzusetzen bzw. eine hinreichende apparative Ausstattung vorzuhalten.68 Aus Kostengründen dürfen auch ältere Medizingeräte eingesetzt werden, wenn sie noch dem medizinischen Standard entsprechen, mithin in der Wissenschaft anerkannt sind.69 Kann eine dem zu erwartenden Standard entsprechende Behandlung des Patienten mit der vorhandenen apparativen Ausstattung nicht gewährleistet werden, ist der Arzt verpflichtet, den Patienten an einen Arzt oder eine Klinik mit entsprechenden Geräten zu überweisen.70 Eine nicht dem Standard entsprechende apparative Ausstattung hat zudem Auswirkungen auf die Aufklärungspflichten des Arztes.71 Behandlungsfehlerhaft ist der Nichteinsatz von vorhandenen und verfügbaren besseren und moderneren Medizingeräten, wenn dadurch die Heilungschancen verbessert und unerwünschte Nebenwirkungen erkannt und gemindert werden können.72 Möchte der Arzt bei der medizinischen Behandlung ein technisches Medizingerät einsetzen, muss er sich nach der Rechtsprechung des BGH mit diesem Gerät insoweit vertraut machen, wie dies einem naturwissenschaftlichen und technisch aufge-

65

Ein Medizingerät fällt auch unter den Begriff des „Medizinprodukts“ i. S. d. MDR. OLG Düsseldorf, Urt. v. 28. 10. 1999 – 8 U 216/98 –, juris Rn. 19. 67 Gleiches gilt für den Krankenhausträger. 68 BGH, NJW 1988, 763, 764 f.; BGH, NJW 1989, 2321, 2322; BGH, NJW 1992, 754, 755; OLG Hamm, NJW 2000, 3437; OLG Oldenburg, VersR 2008, 924. 69 OLG Frankfurt a. M., VersR 1991, 185; Spindler, in: FS Hart, 581, 586; Laufs/Kern u. a./ Kern, Arztrechtshandbuch, § 57 Rn. 2. 70 BGH, NJW 1989, 2321, 2322; BGH, NJW 1984, 1810, 1811. Andernfalls kann den Arzt ein Übernahmeverschulden treffen, hierzu BGH, NJW 1989, 2321, 2322. 71 Siehe hierzu Kap. D. V. 72 BGH, NJW 1989, 2321, 2322; vgl. BGH, NJW 1988, 763, 764; BGH, NJW 1992, 754, 755; Neelmeier, NJW 2013, 2230, 2231 f.; Laufs/Kern u. a./Kern, Arztrechtshandbuch, § 57 Rn. 2; Spindler, in: FS Hart, 581, 587. 66

130

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

schlossenen Menschen möglich und zumutbar ist.73 Wegen der zunehmenden Technisierung der modernen Medizin muss der Arzt jedoch nicht mehr alle technischen Einzelheiten der ihm verfügbaren Geräte erfassen und gegenwärtig haben.74 Die für die Anwendung des Medizingeräts erforderlichen Kenntnisse muss er anhand der Bedienungsanleitung und der einschlägigen Fachliteratur erwerben.75 Darüber hinaus muss sich der Arzt vor und während jedem Einsatz des Medizinprodukts vergewissern, dass dieses einsatzfähig ist und keine erkennbaren Mängel hat.76 Die Überprüfung der Geräte hat er nicht in jedem Fall persönlich vorzunehmen. Er kann hierzu auch spezialisiertes Personal einsetzen, dessen fachliche und charakterliche Zuverlässigkeit er überwachen muss. Ihn trifft zudem die Pflicht zu gewährleisten, dass sich die mit der Prüfung betraute Hilfsperson der mit ihrer Tätigkeit verbundenen hohen Verantwortung bewusst bleibt.77 Für ein Fehlverhalten der Hilfsperson hat der Arzt gem. § 278 BGB einzustehen.78 73 BGH, NJW 1978, 584, 585; OLG Saarbrücken, VersR 1991, 1289; OLG Nürnberg, VersR 1970, 1061. 74 BGH, NJW 1978, 584, 585; BGH, NJW 1975, 2245. 75 OLG Frankfurt, Urt. v. 28. 1. 2014 – 8 U 116/12 –, juris Rn. 55; OLG Frankfurt, Urt. v. 20. 4. 2010 – 8 U 187/08 –, juris Rn. 50. OLG Nürnberg, VersR 1970, 1061: „Ein Operateur, der mit elektrischen Geräten arbeitet, ist verpflichtet, die Bedienungsanleitung peinlich genau (hervorgehoben durch die Verfasserin) innezuhalten und die einschlägigen Hinweise im medizinischen Schrifttum zu beachten.“; vgl. OLG Celle, Urt. v. 20. 9. 1976 – 9 U 174/75 –, juris Rn. 41. 76 BGH, NJW 1975, 2245, 2245 zur Pflicht eines Arztes, den einwandfreien Zustand eines medizinischen Geräts selbst zu überprüfen; BGH, NJW 1978, 584, 585 zur Pflicht des Arztes, die Funktionsweise eines Narkosegeräts zu überprüfen, ebenso OLG Hamm, VersR 1980, 585; BGH, NJW 1994, 1594, 1594 zur Pflicht des Arztes, durch organisatorische Maßnahmen sicherzustellen, dass Wärmflaschen aus Gummi, die zur Verwendung in Inkubatoren bestimmt sind, vor jedem Einsatz äußerlich geprüft werden; BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/ 06 –, juris Rn. 7 zur Pflicht des Arztes, ein Röntgengerät vor dem Einsatz visuell zu überprüfen; OLG Nürnberg, VersR 1970, 1061 zur Pflicht des Operateurs, den Zustand eines Ultrathermgeräts zu überprüfen; OLG Frankfurt, Urt. v. 20. 4. 2010 – 8 U 187/08 –, juris Rn. 50 zur Pflicht des Operateurs, die ihm zur Verfügung gestellten Medizinprodukte einer äußerlichen Prüfung auf ihre Funktionstauglichkeit zu unterziehen; OLG Düsseldorf, VersR 1985, 744, 745 zur Pflicht des Krankenhausträgers durch technische Kontrollen sicherzustellen, dass einzusetzende Geräte funktionsfähig sind und fehlerfrei arbeiten; OLG Hamm, NJW 1999, 1787, 1788 zur Pflicht des Arztes, das ordnungsgemäße Funktionieren eines Elektrokauters sicherzustellen; OLG Köln, VersR 2000, 974, 975 zur Pflicht des Arztes, die Festigkeit des Schraubverschlusses einer arteriellen Schlauchverbindung (Verschraubung zwischen dem Katheter und der Filtrationspatrone) in regelmäßigen Abständen zu prüfen; OLG Düsseldorf, Urt. v. 28. 10. 1999 – 8 U 216/98 –, juris Rn. 19 zur Pflicht des Krankenhausträgers, Gefahren aus dem technisch-apparativen Bereich (Defekt an einem Blutdruckmessgerät) durch geeignete Vorkehrungen auszuschließen. 77 BGH, NJW 1975, 2245, 2246; BGH, NJW 1978, 584, 585. 78 Siehe BGH, NJW 1975, 2245, 2245 f.: „[Bei dem Einsatz von hochentwickelten Geräten, deren Funktion verlässlich oft nur von einem Techniker zu kontrollieren ist], ist dem Arzt ein persönliches Tätigwerden im Einzelfall teils aus Gründen der wirtschaftlichen Arbeitsteilung nicht zumutbar, teils auch wegen der Grenzen seiner fachlichen Kenntnisse gar nicht möglich. Damit kann sich eine Pflicht des Arztes, solche Tätigkeiten im Einzelfall persönlich

III. Behandlungsfehler

131

b) Personelle Ausstattung Neben der technischen Ausstattung muss der niedergelassene Arzt79 die personellen Voraussetzungen für die Anwendung der Medizinprodukte sicherstellen80. Hierzu gehört in erster Linie die erforderliche fachliche Qualifikation, sowie die Einweisung des Personals in die Funktionsfähigkeit der Geräte.81 Insbesondere muss das mit dem Medizingerät arbeitende Personal mit klaren und bestimmten Weisungen versehen werden.82 c) Pflichten nach MPBetreibV und MPDG Für Medizinprodukte gelten spezielle Pflichten, die der Gesetzgeber auf der Grundlage von § 88 Abs. 1 Nr. 6a) MPDG in der MPBetreibV detailliert geregelt hat.83 Bei den Vorschriften der MPBetreibV und des MPDG handelt es sich, wie bei den Vorschriften der MDR, um öffentliches Recht, das öffentlich-rechtliche Pflichten und deren Verstöße normiert.84 Die in der Verordnung und dem Gesetz enthaltenen Regelungen konkretisieren im Wesentlichen die von der Rechtsprechung entwickelten Sorgfaltspflichten beim Betrieb und Anwenden von Medizinprodukten.85 Die auszuüben, nicht schon aus der Schwere der Gefahren ergeben, die eine unsachgemäße Ausführung mit sich bringen kann. Ein persönliches Eingreifen des Arztes ist vielmehr grundsätzlich nur zu fordern, wo die betreffende Tätigkeit gerade dem Arzte eigene Kenntnisse und Kunstfertigkeiten voraussetzt.“; ebenso BGH, NJW 1978, 584, 585. 79 Gleiches gilt für den Krankenhausträger. 80 BGH, NJW 1996, 2429; vgl. OLG Oldenburg, VersR 2008, 924. 81 OLG Nürnberg, VersR 1970, 1061. 82 OLG Nürnberg, VersR 1970, 1061; BGH, NJW 1983, 1374; BGH, NJW 1985, 2189. 83 Gem. § 1 Abs. 1 S. 1 MPBetreibV gelten die Vorschriften der MPBetreibV für das Betreiben und Anwenden von Produkten nach § 3 Nr. 1 MPDG einschließlich der damit zusammenhängenden Tätigkeiten. „Betreiber eines Medizinprodukts“ ist gem. § 2 Abs. 2 MPBetreibV jede natürliche oder juristische Person, die für den Betrieb der Gesundheitseinrichtung verantwortlich ist, in der das Medizinprodukt durch dessen Beschäftigte betrieben oder angewendet wird. Das kann zum einen der Krankenhausträger sein, wenn der Arzt in einem Krankenhaus angestellt ist. Zum anderen kann aber auch der Arzt selbst Betreiber eines Medizinprodukts sein, wenn er das intelligente Medizinprodukt in (s)einer Arztpraxis einsetzt. Er ist dann für den Betrieb seiner medizinischen Produkte verantwortlich. Gleichzeitig ist der Arzt mindestens auch „Anwender“ i. S. d. § 2 Abs. 3 MPBetreibV, wenn er das intelligente Medizinprodukt am Patienten einsetzt. Entsprechend § 3 Nr. 1 MPDG sind „Produkte“ Medizinprodukte, ihr Zubehör und die in Anhang XVI der MDR aufgeführten und unter den Anwendungsbereich der MDR fallende Produkte. Wie bereits oben erörtert wurde, handelt es sich bei intelligenten Medizinprodukten, die zur Diagnose oder Therapie eingesetzt werden, um Medizinprodukte i. S. v. Art. 2 Nr. 1 MDR. Mithin hat der Arzt beim Betreiben und Anwenden von intelligenten Medizinprodukten die Vorschriften der MPBetreibV zu berücksichtigen. 84 Eickbusch, Die Zweckbestimmung von Medizinprodukten, S. 189. 85 Bergmann/Pauge u. a./Webel, Medizinrecht, § 2 MPBetreibV Rn. 1; Deutsch/Lippert u. a./Ratzel, MPG, MPBetreibV Rn. 7; Eickbusch, Die Zweckbestimmung von Medizinpro-

132

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Zivilgerichte sind nicht an das öffentliche Sicherheitsrecht und technische Regeln gebunden. Vielmehr kann das Gericht einen über die öffentlich-rechtlichen Vorschriften hinausgehenden Sorgfaltsmaßstab bestimmen.86 Daher sind die medizinprodukterechtlichen Vorschriften als einen vom Arzt einzuhaltenden Mindeststandard anzusehen.87 Ein Verstoß gegen die von der MPBetreibV normierten öffentlichrechtlichen Sicherheitsanforderungen bedeutet regelmäßig, dass dem Arzt eine Pflichtverletzung i. S. v. § 280 Abs. 1 BGB vorzuwerfen ist für die er, sofern er diese Pflichtverletzung auch zu vertreten hat, haftungsrechtlich einstehen muss.88 Gleichzeitig können Verstöße gegen öffentlich-rechtliche Vorschriften eine Haftung des Arztes nach § 823 Abs. 2 BGB begründen, sofern es sich bei der verletzten Norm um ein Schutzgesetz handelt.89 Die Pflicht des Arztes, den einwandfreien Zustand und die Sicherheit des Medizinprodukts zu kontrollieren sowie das für die Anwendung erforderliche Wissen verfügbar zu haben, findet sich in § 4 Abs. 6 S. 1 MPBetreibV wieder. Hiernach muss sich der Arzt als Anwender von „der Funktionsfähigkeit und dessen ordnungsgemäßen Zustand überzeugen“ und „die Gebrauchsanweisung sowie die sonstigen beigefügten sicherheitsbezogenen Informationen und Instandhaltungshinweise“ beachten.90 Für die personellen Organisationspflichten gilt Ähnliches. Die von der Rechtsprechung aufgestellte Verpflichtung, nur ausreichend qualifiziertes und befähigtes Personal mit der Anwendung von Medizinprodukten zu betrauen, findet sich ebenfalls in der MPBetreibV wieder.91 Die Pflicht zur Einweisung in die orddukten, S. 201; vgl. Zipfel, Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, S. 124; vgl. OLG Schleswig, GesR 2014, 671, 674 zu den Vorschriften der Medizinprodukte-Sicherheitsplanverordnung (MPSV). 86 Eickbusch, Die Zweckbestimmung von Medizinprodukten, S. 200; MüKo-BGB/Wagner, § 823 BGB Rn. 958. 87 Eickbusch, Die Zweckbestimmung von Medizinprodukten, S. 201. Die zivilrechtlichen Pflichten können aber auch über diejenigen der MPBetreibV hinausgehen. Vgl. hierzu BGH, NJW 1994, 1594: Die Kontrollpflichten des Arztes bzw. Krankenhauses beim Einsatz von Wärmflaschen aus Gummi, die zur Verwendung von Inkubatoren bestimmt sind, gehen über die in § 4 Abs. 6 MPBetreibV normierte Anforderung zur allgemeinen Überprüfung der Funktionsfähigkeit und dem Verbot der Anwendung eines Medizinprodukts, dessen Datum abgelaufen ist (§ 12 Nr. 2 MPDG) hinaus. Der BGH hat die Pflicht des Arztes bzw. Krankenhauses statuiert, durch organisatorische Maßnahmen sicherzustellen, dass zumindest das Anschaffungsdatum erfasst wird, dass die Wärmflasche vor jedem Einsatz äußerlich geprüft und nach vergleichsweise kurzer Gebrauchsdauer ausgesondert wird. 88 Zipfel, Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, S. 124; vgl. OLG Schleswig, GesR 2014, 671, 674 zu den Vorschriften der Medizinprodukte-Sicherheitsplanverordnung (MPSV). 89 Eickbusch, Die Zweckbestimmung von Medizinprodukten, S. 189. 90 § 4 Abs. 6 S. 1 MPBetreibV. 91 Siehe § 4 Abs. 2 MPBetreibV: „Medizinprodukte dürfen nur von Personen betrieben oder angewendet werden, die die dafür erforderliche Ausbildung oder Kenntnis und Erfahrung besitzen.“ Die zu fordernde Befähigung wird maßgeblich von der Art des Medizinprodukts

III. Behandlungsfehler

133

nungsgemäße Handhabung des Medizinprodukts ist in § 4 Abs. 3 S. 1 MPBetreibV niedergeschrieben. Auch der von der Rechtsprechung entwickelte Grundsatz, wonach sich der Arzt zur Kontrolle der einzusetzenden Geräte auch Hilfspersonen bedienen kann, wenn er deren fachliche und charakterliche Zuverlässigkeit überwacht, stimmt im Kern mit § 4 Abs. 5 MPBetreibV überein. Daneben muss der Arzt das Medizinprodukt gem. § 7 Abs. 1 MPBetreibV instand halten. Zu den Instandhaltungsmaßnahmen gehören Inspektionen und Wartungen, die erforderlich sind, um den sicheren und ordnungsgemäßen Betrieb der Medizinprodukte fortwährend zu gewährleisten.92 Diese Maßnahmen sind unter Berücksichtigung der Herstellerangaben durchzuführen, der diese Angaben dem Medizinprodukt beizufügen hat.93 Nach der Instandhaltung eines Medizinprodukts müssen gem. § 7 Abs. 3 MPBetreibV die für die Sicherheit und Funktionstüchtigkeit der Medizinprodukte wesentlichen konstruktiven und funktionellen Merkmale geprüft werden. Schließlich enthält das MPDG ergänzende nationale Regelungen zur MDR.94 Es hat das zuvor geltende MPG aF abgelöst.95 Gem. § 11 S. 1 MPDG darf der Arzt kein mangelhaftes Produkt verwenden, durch das Patienten gefährdet werden. Die Norm entspricht dem zuvor geltenden § 14 MPG aF. Weiterhin normiert § 12 MPDG ein Verbot zum Schutz des Patienten. Hiernach darf der Arzt kein Medizinprodukt anwenden, wenn der begründete Verdacht besteht, dass das Produkt, selbst wenn es sachgemäß angewendet, instandgehalten und seiner Zweckbestimmung entsprechend verwendet wird, die Sicherheit und die Gesundheit der Patienten unmittelbar oder mittelbar in einem Maß gefährdet, das nach den Erkenntnissen der medizinischen Wissenschaften nicht mehr vertretbar ist (§ 12 Nr. 1 MPDG). Zudem dürfen nur Produkte angewendet werden, deren Ablaufdatum noch nicht überschritten wurde (§ 12 Nr. 2 MPDG). Eine Verletzung von § 4 Abs. 1, 4, 6 MPBetreibV96 oder von § 11 S. 1 MPDG97 und § 12 MPDG98 kann eine Schadensersatzpflicht des Arztes nach § 823 Abs. 2 und von der bei zweckentsprechender Handhabung ausgehenden Gefährdung abhängen. Zu den geforderten Kenntnissen zählen: Kenntnisse über die theoretischen Grundlagen, die Bedienelemente, die dazugehörigen Funktionen, die Funktionsprüfung, die Anwendungsregeln inklusive des Umfangs der Zweckbestimmung (ggf. Kombinationen), die Bedienung und die patientengerechte Einstellung, Bergmann/Pauge u. a./Webel, Medizinrecht, § 4 MPBetreibV Rn. 3. 92 § 7 Abs. 1 S. 2 MPBetreibV. 93 § 7 Abs. 1 S. 3 MPBetreibV. 94 Erbs/Kohlhaas/Häberle, Strafrechtliche Nebengesetze, Vorbemerkungen zu MPDG Rn. 1, vgl. § 1 MPDG. 95 Erbs/Kohlhaas/Häberle, Strafrechtliche Nebengesetze, Vorbemerkungen zu MPDG Rn. 1; BR-DRS. 594/19, S. 2. 96 Zipfel, Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, S. 125; Clausen/Schroeder-Printzen/Friedrich, MAH MedR, § 17 Rn. 346.

134

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

BGB i. V. m. mit dem jeweiligen Gesetz auslösen. Die Vorschriften sind als Schutzgesetze i. S. d. § 823 Abs. 2 BGB zu qualifizieren, da ihr Sinn und Zweck in dem Schutz von Gesundheit und Sicherheit des Patienten liegt.99

3. Anwendung auf intelligente Medizinprodukte Nachdem nun die haftungsrechtlichen Anforderungen für herkömmliche Medizinprodukte herausgearbeitet wurden, stellt sich die Frage, welche rechtlichen Folgen sich daraus für den Einsatz von KI ergeben. Sobald der Einsatz eines autonomen Medizinprodukts zum medizinischen Standard gehört und damit medizinisch vertretbar ist, kann der Arzt sich für ebendiese Behandlungsmethode entscheiden.100 Eine Pflicht zum Einsatz eines zur Standardmethode gewordenen und in der Klinik/ der Arztpraxis vorhandenen intelligenten Medizinprodukts besteht dann, wenn dadurch die Heilungschancen des Patienten verbessert und unerwünschte Nebenwirkungen erkannt und abgewendet werden können. Bis zum Eingang von KI-Systemen in den medizinischen Standard (Neulandmethode) kann sich der Arzt für deren Einsatz nach umfassender Aufklärung des Patienten entscheiden, ist aber nicht dazu verpflichtet.101 Zunächst werden die Pflichten des Arztes beim Einsatz von intelligenten Medizinprodukten herausgearbeitet (nachfolgend unter a)). Im Besonderen stellt sich sodann die Frage, welche Überprüfungspflichten der Arzt im Umgang mit autonomen Medizinprodukten zu erfüllen hat (nachfolgend unter b)). a) Pflichtenkatalog Die Rechtsprechung hat Kontrollpflichten bei technischen Medizinprodukten nur bei solchen Produkten entwickelt, deren Fehlerhaftigkeit bei einer sorgfältigen haptischen und visuellen Kontrolle (schnell) erkennbar ist (Narkosegerät,102 Ultrathermgerät,103 Hüft-Totalendoprothese,104 Druckmanometer für Blutsperrman97 Spickhoff/Lücker, MedR, § 11 MPDG Rn. 3; vgl. zu § 14 MPG aF Rehmann/Wagner/ Wagner, MPG, § 14 Rn. 4. Da § 11 S. 1 MPDG und § 14 S. 2 MPG aF im Wortlaut identisch sind, ist auch § 11 S. 1 MPDG als Schutzgesetz einzuordnen. 98 Spickhoff/Lücker, MedR, § 12 MPDG Rn. 2; vgl. zum gleichlautenden § 4 MPG aF Bergmann/Pauge u. a./Webel, Medizinrecht, § 4 MPG Rn. 6; Rehmann/Wagner/Wagner, MPG, § 4 Rn. 8. 99 Clausen/Schroeder-Printzen/Friedrich, MAH MedR, § 17 Rn. 346; Zipfel, Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, S. 125. 100 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 12. 101 Vgl. Spindler, in: FS Hart, 581, 587; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 36. 102 BGH, NJW 1978, 584; OLG Hamm, VersR 1980, 585. 103 OLG Nürnberg, VersR 1970, 1061.

III. Behandlungsfehler

135

schetten,105 Elektrokauter,106 arterielle Schlauchverbindung,107 Blutdruckmessgerät108). Gegenstand dieser relevanten Entscheidungen waren Medizingeräte, die nicht von einer (KI-)Software, sondern von menschlicher Hand bedient werden. Dies stellt aber einen wesentlichen Unterschied zu KI-basierten Medizinprodukten dar. Die eigentliche und für den Patienten schädliche Fehlerursache liegt in der Software begründet und lässt sich weder anhand einer visuellen noch einer haptischen Prüfung des intelligenten Medizinprodukts (Hardware) feststellen. Der Hersteller müsste den Algorithmus folglich so konstruieren, dass das System selbständig auf fehlerhafte Verhaltensweisen aufmerksam macht. Einzig in einer Entscheidung hatte der BGH die Frage der Kontrollpflicht eines softwarebasierten Medizinprodukts (Röntgengerät) zu entscheiden.109 Hier urteilte der Gerichtshof, dass eine visuelle Kontrolle des durch das Röntgengerät automatisch eingelegten Filters vor jeder Bestrahlung nicht durchzuführen sei, solange keine Anhaltspunkte für die Unzuverlässigkeit der eingebauten Fehlerkontrolle des Geräts vorlagen. Im hiesigen Fall verlangte die Klägerin materiellen und immateriellen Schadensersatz wegen Verbrennungen an ihren Händen, die nach einer medizinisch verordneten Bestrahlung aufgetreten sind.110 Das Gerät war mit einer automatischen Spannungskontrolle ausgestattet, die bei Nichtübereinstimmung von gewählter Spannungsstufe und Filtereinstellung die Strahlung blockiert und über die Software dergestalt untrennbar miteinander verbunden waren, dass sie bei der Bedienung nicht geändert werden und auch manuell keine Kombination erzeugt werden konnte, die einen Strahlenschaden hätte verursachen können.111 Fehleinstellungen würden von dem Gerät durch eine Fehlermeldung angezeigt und die Abgabe von Strahlung unterbunden.112 Eine solche fehlerhafte Filterstellung habe der Arzt allerdings nicht selbst vornehmen können, sondern diese sei nur mithilfe des Herstellers gelungen, der hierfür in das Softwareprogramm des Geräts eingreifen musste.113 Das Gericht stellte fest, dass eine visuelle Kontrolle der durch das Gerät automatisch vorgenommenen Filterwahl vor jeder Bestrahlung nicht erforderlich gewesen sei, sofern keine Anhaltspunkte dafür vorlagen, dass die Fehlerkontrolle des Geräts nicht zuverlässig und wirksam funktionieren würde und damit keine Anhaltspunkte für einen Gerätefehler gegeben waren.114 104

OLG Frankfurt, Urt. v. 20. 4. 2010 – 8 U 187/08 –, juris. OLG Düsseldorf, VersR 1985, 744. 106 OLG Hamm, NJW 1999, 1787. 107 OLG Köln, VersR 2000, 974. 108 OLG Düsseldorf, Urt. v. 28. 10. 1999 – 8 U 216/98 –, juris. 109 BGH, VersR 2007, 1416; mit Berufungsurt. OLG Jena, VersR 2007, 69. 110 BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/06 –, juris Rn. 1. 111 BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/06 –, juris Rn. 6. 112 BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/06 –, juris Rn. 6. 113 BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/06 –, juris Rn. 6. 114 BGH, Beschl. v. 13. 2. 2007 – VI ZR 174/06 –, juris Rn. 7.

105

136

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Die Entscheidung kann in ihren wesentlichen Grundzügen zumindest auf solche KI-basierten Medizinprodukte übertragen werden, auf deren Softwareprogramm, wie in der rezipierten Entscheidung des BGH, der Arzt selbst keinen Zugriff hat, sondern Änderungen des Softwareprogramms nur durch den Hersteller vorgenommen werden können. Kann eine Fehlfunktion nicht durch den Arzt bedingt werden, kann folglich nach Aussage des BGH eine Kontrolle der KI-Software unterbleiben. Übertragen auf KI-basierte Medizinprodukte würde dies also bedeuten, dass der Arzt, solange keine anderweitigen Anhaltspunkte für einen Gerätefehler vorliegen, keine visuelle Kontrolle der ordnungsgemäßen Funktionsweise des autonomen Medizinprodukts vor jedem Einsatz vornehmen müsste. Er müsste das Gerät mithin nur dann visuell überprüfen, wenn das Gerät Anzeichen für eine Fehlfunktion erkennen ließe. Es erscheint allerdings fraglich, ob eine nur ausnahmsweise vorzunehmende Kontrolle des intelligenten Medizinprodukts den Besonderheiten von KISystemen ausreichend Rechnung trägt. Sachgerechter ist es, dass sich die Unvorhersehbarkeit und Lernfähigkeit von KISystemen auf die haftungsrechtlichen Anforderungen verschärfend auswirken. Die Pflichten des Arztes, sich mit der Funktionsweise des intelligenten Medizinprodukts auseinanderzusetzen, dessen fehlerfreien Zustand zu kontrollieren sowie es so einzusetzen, dass Schäden durch ihren Umgang möglichst vermieden werden, intensivieren sich in Anbetracht des unvorhersehbaren Verhaltens von KI.115 Insbesondere werden Kontrollen zu Beginn des Einsatzes des autonomen Medizinprodukts wegen ihrer Selbstlernfähigkeit nicht mehr ausreichen. Es besteht bei KI die Besonderheit, dass sich Funktionsänderungen im Vergleich zum Trainingsszenario ergeben können.116 Diese Veränderungen müssen nicht nur vor, sondern auch während des Einsatzes der KI überprüft werden, denn neue Funktionen und Verhaltensänderungen können auch während des Einsatzes von offenen Systemen erlernt und umgesetzt werden. Das bedeutet gleichzeitig, dass der Arzt das System über das Maß bei herkömmlichen Medizingeräten hinausgehend auf mögliche Funktionsstörungen oder Verzerrungen des Ausgabeergebnisses durch Qualität und Eingabe von Daten laufend kontrollieren und überwachen muss.117 Vor jedem Einsatz könnten u. U. Testeinsätze des intelligenten Medizinprodukts vorzunehmen sein, um das System auf erkennbare Mängel zu überprüfen und sicherzustellen, dass das Produkt die ihm zugewiesenen Aufgaben ordnungsgemäß ausführt.118 Um der intensivierten Überwachungspflicht effektiv nachkommen zu können, muss das System vom Hersteller jedoch so ausgestaltet sein, dass fehlerhaft erlernte Funktionen vom Arzt erkannt und behoben werden können.119 115 Katzenmeier, MedR 2021, 859, 860; Spindler, in: FS Hart, 581, 588; BeckOGK-BGB/ Spindler, § 823 BGB Rn. 1068. 116 Spindler, in: FS Hart, 581, 588. 117 Spindler, in: FS Hart, 581, 589; BeckOGK-BGB/Spindler, § 823 BGB Rn. 1069. 118 Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 33. 119 Spindler, in: FS Hart, 581, 588.

III. Behandlungsfehler

137

Auch bei autonomen Medizinprodukten wird man vom Arzt, nicht zuletzt wegen der noch komplexeren technischen Struktur des Systems, nicht erwarten können, dass er alle Funktionen und technischen Einzelheiten, insbesondere den hinter der KI steckenden Algorithmus, genau kennt und versteht.120 Dies befreit ihn aber nicht davon, sich ausreichend mit der Steuerung und Kontrolle des intelligenten Medizinprodukts zu befassen. Der Arzt muss fähig sein, rechtzeitig einzugreifen und das System so zu steuern oder abzuschalten, dass Gefahren für die Gesundheit des Patienten verhindert werden können.121 Erforderlich sind dafür Kenntnisse über die fachgerechte Anwendung, Überwachung und Wartung des intelligenten Medizinprodukts.122 Die Vermittlung dieser digitalen Kenntnisse muss Gegenstand der ärztlichen Aus-, Weiter- und Fortbildung sein.123 Der Arzt muss sich über neue Erkenntnisse im Zusammenhang mit dem intelligenten Medizinprodukt ständig informieren; dazu hat er etwaige Vorgaben des Herstellers, hierzu zählt insbesondere die Gebrauchsanweisung, oder einer Zulassungsbehörde zu berücksichtigen.124 Sofern das intelligente Medizinprodukt selbst die Möglichkeit zur Fehleranalyse hat und diese dokumentiert, muss der Arzt diese Informationen in regelmäßigen Abständen auswerten und dem Patienten neue Erkenntnisse mitteilen. Die notwendige Einweisung in das intelligente Medizinprodukt könnte durch geeignete Fachleuchte, insbesondere solche des Herstellers (Medizinprodukteberater), erfolgen.125 Hiermit korrespondiert die Pflicht des Arztes, nur technisch spezialisiertes Personal einzusetzen und dieses in die Funktionsweise des autonomen Medizinprodukts einzuweisen. Da es sich bei KI-Systemen um hochkomplexe (IT-) Produkte handelt, kommt eine Übertragung von Aufgaben an KI-Experten in Betracht (z. B. bei Überprüfung oder Wartung des Systems).126 Im Hinblick auf die von § 7 Abs. 1 MPBetreibV geforderte Instandhaltungspflicht des intelligenten Medizinprodukts und der anschließenden Sicherheits- und Funktionsprüfung (§ 7 Abs. 3 MPBetreibV) muss der Arzt das autonome System regel120 So auch Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 9. 121 Spindler, in: FS Hart, 581, 589. 122 Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 9. 123 Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 12. 124 Vgl. Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 33. 125 Ein Medizinprodukteberater informiert berufsmäßig Fachkreise fachlich oder weist in die sachgerechte Handhabung der Medizinprodukte ein (§ 83 Abs. 1 MPDG). Der Medizinprodukteberater ist als Vermittler zwischen dem Hersteller und dem Anwender bzw. Betreiber der Medizinprodukte anzusehen, der den Informationsaustausch zwischen ihnen erleichtern soll, vgl. Erbs/Kohlhaas/Häberle, Strafrechtliche Nebengesetze, Kap. M 60. § 83 MPDG Rn. 1. 126 Siehe hierzu Spindler, in: FS Hart, 581, 589 bzgl. der Auslagerung von Aufgaben an geeignete Fachfirmen seitens des Krankenhausträgers.

138

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

mäßig warten und auf mögliche Fehler untersuchen (lassen).127 Das eigenständige Identifizieren von Fehlern in der Software sollte vom Arzt allerdings nicht erwartet werden. Er muss aber (z. B. durch Wartungsverträge mit dem Hersteller) sicherstellen, dass eine Überwachung des Systems in regelmäßigen Abständen erfolgt und so mögliche Fehlerquellen erkannt und beseitigt werden können.128 Zudem muss er regelmäßig überprüfen, ob das intelligente Medizinprodukt mit der neuesten Softwareversion ausgestattet ist und diese gegebenenfalls aktualisieren (lassen).129 Wesentlicher Bestandteil eines fehlerfrei funktionierenden autonomen Medizinprodukts ist nicht zuletzt die Qualität der (Eingabe-)Daten. „Füttert“ der Arzt das intelligente Medizinprodukt mit eigenen Daten, hat er dafür Sorge zu tragen, dass diese fehlerfrei sind und das Ausgabeergebnis nicht fehlerhaft bzw. negativ beeinflussen. Die Fehlerfreiheit der Daten kann der Arzt durch Testläufe außerhalb des originären Einsatzes des autonomen Systems überprüfen und ggf. Verzerrungen des Ausgabeergebnisses korrigieren. Der Einsatz eines intelligenten Medizinprodukts muss sich stets an der Sicherheit und der Gesundheit des Patienten orientieren. Über den gesundheitlichen Zustand hat sich der Arzt fortlaufend zu vergewissern. Treten Auffälligkeiten, Komplikationen oder Nebenwirkungen auf, die auf das Intelligenzrisiko solcher Systeme zurückzuführen sind und die medizinisch nicht mehr vertretbar sind, muss der Arzt die Behandlung mit dem autonomen Medizinprodukt unterbrechen. Bevor er die Behandlung mit dem Medizinprodukt wieder aufnimmt, hat der Arzt trotz sachgemäßer Anwendung und Instandhaltung zu prüfen, ob er das intelligente Medizinprodukt aufgrund der Besonderheiten des individuellen Behandlungsfalls weiter anwenden darf. Abschließend ist festzuhalten, dass der Arzt beim Einsatz von intelligenten Medizinprodukten im Vergleich zu herkömmlichen Medizinprodukten erweiterte Pflichten zu erfüllen hat. Zur weiteren Konkretisierung und Spezifizierung der Pflichten, die insbesondere auch von Fachgebiet zu Fachgebiet divergieren können, sollte das aufgestellte Pflichtenprogramm in medizinischen Leitlinien festgehalten werden. Dies ermöglicht nicht nur dem Arzt sich an dem Pflichtenkanon zu orientieren und eine Art „Checkliste“ vor, während und nach der Anwendung eines autonomen Medizinprodukts abarbeiten zu können. Auch dem Patienten dienen sie im Schadensfall, da er bei einer Abweichung von der Leitlinie den Nachweis eines Behandlungsfehlers leichter erbringen kann.

127

Vgl. Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 33. Vgl. Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 33, vgl. W. Droste, MPR 2018, 109, 113. 129 Leupold/Wiebe u. a./Leupold/Wiesner, IT-Recht, Teil 9.6.4 Rn. 33. 128

III. Behandlungsfehler

139

b) Überprüfungspflichten des Arztes – Kontrolle der Entscheidung der KI? Beim Einsatz von Medizinprodukten treffen den Arzt, wie eben erörtert, weitreichende Prüfungs- und Kontrollpflichten. Verwendet der Arzt im Rahmen der Behandlung des Patienten ein Medizinprodukt, muss er während des Einsatzes prüfen, ob das Medizinprodukt richtig arbeitet oder ob er ggf. eingreifen und den Einsatz des Produkts abbrechen muss.130 Hiermit eng verbunden ist die Frage, ob und inwieweit der Arzt auf die Entscheidung der KI vertrauen darf oder diese kontrollieren bzw. eigens bewerten muss, wenn er das intelligente Medizinprodukt zur Diagnosestellung oder zur Therapie des Patienten einsetzt. Vorwegzunehmen ist, dass ein autonomes Medizinprodukt den Arzt nicht ersetzen darf. Die Entscheidung über das „Ob“, die Art und Weise der Behandlung sowie die Verantwortung verbleiben beim behandelnden Arzt. Es stellt sich dennoch die Frage, welche Kontrollmaßnahmen der Arzt ergreifen muss, um die Richtigkeit der Entscheidung zu überprüfen und wie intensiv diese Prüfungspflichten ausfallen müssen. Hier sind zwei Wege denkbar: Zum einen könnte eine reine Plausibilitätskontrolle der Diagnosestellung der KI ausreichen und eine stichprobenartige Kontrolle der Funktion des autonomen Medizinprodukts beim Einsatz ausreichen. Zum anderen ist eine intensivierte Kontrollpflicht des Arztes denkbar, sodass der Arzt die von der KI gestellte Diagnose unter Zugrundelegung der Befunde und Patienteninformationen selbständig bewerten und das KI-System während seines Einsatzes stetig überwachen müsste.131 Die Verletzung von Kontrollpflichten kann auf der einen Seite einen Behandlungsfehler in Form eines Diagnosefehlers begründen, wenn der Arzt auf die von dem autonomen Medizinprodukt fehlerhafte Diagnosestellung vertraut und den Patienten infolgedessen falsch behandelt. Auf der anderen Seite ist ein Therapiefehler denkbar, wenn die Ausführung der gewählten Therapiemaßnahme gegen den medizinischen Standard verstößt. Dies kann etwa der Fall sein, wenn ein autonomer Operationsroboter eine bestimmte Aufgabe während des operativen Eingriffs selbsttätig fehlerhaft durchführt oder neue fehlerhafte Operationstechniken erarbeitet und umsetzt und darin eine Standardunterschreitung zu erblicken ist. Im Ausgangspunkt hat der Arzt beim Einsatz von intelligenten Medizinprodukten die im vorherigen Abschnitt erörterten Pflichten zu erfüllen. Diese sind aber nur als Mindestvoraussetzungen zu verstehen. Bei offenen Systemen, d. h. bei autonomen Medizinprodukten, die auch während des Betriebs stetig weiterlernen und eigene Entscheidungen treffen, müssen erhöhte Kontrollpflichten gelten. Es stellt sich daher

130 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 229. 131 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 230; zur Plausibilitätsprüfung Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 5.

140

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

die Frage, welche arzthaftungsrechtlichen Grundsätze angewendet werden können, um die Reichweite der Kontrollpflichten zu bestimmen. Der Einsatz eines autonomen Medizinprodukts könnte weitgehend mit der Einbeziehung von weiterem Personal in die Behandlung zu vergleichen sein. Dies ergibt sich aus den folgenden zwei Überlegungen: Erstens trifft das intelligente Medizinprodukt, anders als herkömmliche Medizinprodukte, eigene Entscheidungen und arbeitet wie ärztliches/nicht-ärztliches Personal eigenverantwortlich. Zweitens können aufgrund dieser Selbständigkeit Fehler auftreten, wie es auch bei ärztlichem/ nicht-ärztlichem Personal denkbar ist. Setzt der Arzt bei der Behandlung des Patienten weiteres ärztliches oder nichtärztliches Personal ein, kommen das Prinzip der Eigenverantwortlichkeit und der Vertrauensgrundsatz zur Anwendung. Aus dem Vertrauensgrundsatz ergeben sich für den Behandelnden unterschiedlich stark ausgeprägte Auswahl- und Überwachungspflichten. Da es sich bei dem intelligenten Medizinprodukt nicht um eine Person und damit weder um „ärztliches“ noch „nicht-ärztliches Personal“ handelt, sind die Grundsätze nicht direkt übertragbar. Um die Reichweite der Kontrollpflichten des Arztes beim Einsatz von intelligenten Medizinprodukten dennoch zu ermitteln, werden Parallelen zur horizontalen und vertikalen Arbeitsteilung gesucht. Es ist an dieser Stelle aber klarzustellen, dass hiermit nicht gemeint ist, dass das autonome Medizinprodukt selbst „Arzt“ sein soll und die Haftung das KI-System als solches treffen sollte. Das autonome Medizinprodukt soll auch in Zukunft als Hilfsmittel verstanden werden, sodass der Arzt als Verantwortlicher haftungsrechtlich einzustehen hat. Dennoch soll anhand von bestehenden arzthaftungsrechtlichen Grundsätzen die Reichweite der Kontrollpflichten des Arztes beim Einsatz von intelligenten Medizinprodukten ermittelt werden.132 Dazu wird zunächst das Prinzip der Eigenverantwortung erläutert (nachfolgend unter aa)) sowie die Grundsätze der horizontalen (nachfolgend unter bb)) und der vertikalen Arbeitsteilung (nachfolgend unter cc)) herangezogen. aa) Prinzip der Eigenverantwortung und Vertrauensgrundsatz Grundsätzlich sind ärztliche Leistungen vom behandelnden Arzt persönlich zu erbringen (sog. Arztvorbehalt). Dieser Grundsatz ist in mehreren gesetzlichen Grundlagen zu finden: Gem. §§ 630b, 613 S. 1 BGB hat die medizinische Behandlung des Patienten im Zweifel persönlich zu erfolgen. Weiter ist er in der Berufsordnung (beispielhaft § 19 Abs. 1 MBO-Ä bzw. der entsprechenden Regelung in den Berufsordnungen der jeweiligen Bundesländer), § 32 Abs. 1 Ärzte-ZV, § 15 Abs. 1 BMV-Ä, § 17 KHEntgG, im Gebührenrecht (§ 4 Abs. 2 GOÄ, Ziffer I.2.2 Allg. Bestimmungen EBM) sowie in § 15 Abs. 1 S. 1 und § 28 Abs. 1 SGB V ko-

132 In diese Richtung auch Hilgendorf/Kudlich u. a./Sternberg-Lieben, Handbuch Strafrecht, § 52 Rn. 34.

III. Behandlungsfehler

141

difiziert.133 Allerdings ist die ärztliche Arbeitsteilung in der modernen Medizin unverzichtbar, sodass sie ein wesentlicher Aspekt der medizinischen Behandlung ist. Aus ihr ergeben sich für den Patienten zugleich zusätzliche Risiken, denn eine Zusammenarbeit mit ärztlichem oder nicht-ärztlichem Personal birgt Fehler im Hinblick auf die notwendige Kommunikation und Koordination des in die Behandlung eingeschalteten Personals. Daraus ergibt sich die Fragestellung, inwieweit der Behandelnde auf Ergebnisse und das ordnungsgemäße Verhalten des in die Behandlung einbezogenen ärztlichen und nicht-ärztlichen Personals vertrauen darf. Diese Frage stellt sich gleichermaßen im Bereich der horizontalen sowie der vertikalen Arbeitsteilung.134 bb) Horizontale Arbeitsteilung Unter der horizontalen Arbeitsteilung versteht man das Zusammenwirken von einzelnen Fachabteilungen eines Krankenhauses sowie die Zusammenarbeit der niedergelassenen Ärzte untereinander.135 Der Grundsatz der horizontalen Arbeitsteilung bedeutet, dass sich der einzelne Arzt, solange keine offensichtlichen Qualifikationsmängel oder Fehlleistungen erkennbar werden, darauf verlassen darf, dass auch der Kollege des anderen Fachgebiets seine Aufgabe mit der gebotenen Sorgfalt erfüllt und den Patienten in seinem Verantwortungsbereich sorgfältig untersucht und behandelt (sog. Vertrauensgrundsatz). Eine gegenseitige Überwachungspflicht, d. h. die Prüfung der Person und des fachlichen Könnens eines hinzugezogenen Facharztes, besteht nicht.136 Für Fehler, die in dem Aufgabenbereich der anderen Ärzte entstehen, hat der behandelnde Arzt haftungsrechtlich nicht einzustehen.137 Damit korrespondiert die Eigenverantwortlichkeit der an der Behandlung beteiligten Fachärzte: In dem durch den Behandlungsauftrag gezogenen Rahmen ist der jeweilige Facharzt für die Erbringung der ärztlichen Leistung verantwortlich und haftet dem Patienten gegenüber (vertraglich oder deliktisch) für Pflichtverletzungen.138 Zieht der behandelnde Arzt einen Facharzt desselben oder eines anderen Fachgebiets zur konsiliarischen Mitbeurteilung eines Behandlungsfalles heran (Konsiliararzt), trägt der behandelnde Arzt die Gesamtverantwortung. Der Konsiliararzt schuldet lediglich eine dem Auftrag entsprechende Leistung. Das bedeutet aber nicht, dass 133

Siehe zur Auflistung Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn. 37. 134 Igl/Welti/Nebendahl, GesR, § 48 Rn. 57. 135 Laufs/Kern u. a./Kern/Rehborn, Arztrechtshandbuch, § 99 Rn. 10; BeckOGK-BGB/ Spindler, § 823 BGB Rn. 1012. 136 BGH, NJW 1991, 1539, 1539; BGH, NJW 1994, 797, 798; BGH, NJW 1999, 1779, 1780; BGH, NJW 2010, 1200, 1202; BGH, NJW 2020, 2467, 2468; OLG Stuttgart, VersR 1992, 55; Laufs/Katzenmeier u.a/Katzenmeier, Arztrecht, Kap. X Rn. 49; Clausen/SchroederPrintzen/Terbille/Feifel, MAH MedR, § 1 Rn. 580 f. 137 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 49. 138 MüKo-BGB/Wagner, § 630a BGB Rn. 110; Igl/Welti/Nebendahl, GesR, § 48 Rn. 71.

142

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

seine Tätigkeit lediglich auf die technische Ausführung des Auftrags begrenzt ist und er nur als ein Werkzeug ohne eigene Verantwortung anzusehen ist. Er übernimmt im Rahmen des Auftrags auch eigenständige Pflichten: Er bestimmt eigenverantwortlich nicht nur Art und Weise der Leistungserbringung und das „Ob“ seiner Leistung, sondern er muss auch prüfen, ob die von ihm erbetene Leistung ärztlich sinnvoll ist, ob also der Auftrag des behandelnden Arztes richtig gestellt ist und dem Krankheitsbild entspricht.139 Im Rahmen seines Zuständigkeitsbereiches und entsprechend des Auftrags muss der Konsiliararzt sämtliche nötigen und in sein Fachgebiet fallende Befunderhebungen entweder selbst durchführen oder veranlassen.140 Als Ausfluss des Vertrauensgrundsatzes darf der Konsiliararzt aber darauf vertrauen von dem die Behandlung führenden Arzt vollständig unterrichtet zu sein. Allerdings ist er dazu verpflichtet auf erkennbare Unklarheiten oder Fehler des Untersuchungs- oder Behandlungsauftrags hinzuweisen und sich daraus ergebende weitergehende diagnostische Maßnahmen zu empfehlen.141 Der hinzugezogene Arzt muss den behandelnden Arzt in einem Arztbrief, bei Dringlichkeit auch mittels mündlicher bzw. telefonischer Rückfrage, zeitnah, sorgfältig und für den hinzuziehenden Arzt verständlich über das Ergebnis des Überweisungsauftrags unterrichten.142 Die gegenseitige Kommunikation zwischen den Ärzten ist daher entscheidend.143 Es stellt keinen Behandlungsfehler dar, wenn der hinzuziehende Arzt auf die Diagnose des eingeschalteten Facharztes vertraut, solange sich die Unrichtigkeit der Diagnose dem hinzuziehenden Arzt nach seinem Fachwissen nicht aufdrängen musste.144 Der Vertrauensgrundsatz gilt hingegen nicht bzw. nur sehr eingeschränkt, wenn Ärzte der gleichen Fachrichtung beteiligt sind. In einem solchen Fall müssen die beteiligten Ärzte die Diagnose und Therapieentscheidung eigenverantwortlich treffen bzw. auf ihre Richtigkeit überprüfen und Zweifeln nachgehen. Dazu muss der hinzugezogene Arzt die zu seinem Fachgebiet gehörenden Befunderhebungen zumindest bei nicht belastenden diagnostischen Maßnahmen oder solchen mit zweifelhaften Ergebnissen eigenständig durchführen.145 Diagnostische Maßnahmen 139 Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 110; Geiß/Greiner, Arzthaftpflichtrecht, Rn. B 119, 127; BGH, NJW 1994, 797, 798; OLG Hamm, Urt. v. 30. 10. 2020 – I-26 U 131/19 –, juris Rn. 30 ff.; OLG Stuttgart, NJW-RR 2001, 960; OLG Naumburg, NJW-RR 2009, 28, 29. 140 Igl/Welti/Nebendahl, GesR, § 48 Rn. 66. 141 Geiß/Greiner, Arzthaftpflichtrecht, Rn. B 125; Igl/Welti/Nebendahl, GesR, § 48 Rn. 66; BGH, NJW 1994, 797, 798; OLG Stuttgart, NJW-RR 2001, 960, 961. 142 Igl/Welti/Nebendahl, GesR, § 48 Rn. 66; Geiß/Greiner, Arzthaftpflichtrecht, Rn. B 123. 143 BeckOGK-BGB/Spindler, § 823 BGB Rn. 1015. 144 Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 580. 145 Igl/Welti/Nebendahl, GesR, § 48 Rn. 67; BeckOGK-BGB/Spindler, § 823 BGB Rn. 1013; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 53; OLG Jena, GesR 2008, 49, 52; OLG Naumburg, Urt. v. 29. 4. 1997 – 9 U 266/96 –, juris Rn. 5; OLG Düsseldorf, NJW 1984, 2636, 2637; MüKo-BGB/Wagner, § 630a BGB Rn. 112. Weitere Ansicht, d. h. der Vertrauensgrundsatz gilt auch zwischen Ärzten der gleichen Fachrichtung: OLG Düsseldorf,

III. Behandlungsfehler

143

müssen aber nicht wiederholt werden, wenn die vorliegenden Befunde aktuell und hinreichend aussagekräftig sind.146 cc) Vertikale Arbeitsteilung Neben der horizontalen Arbeitsteilung ist das Prinzip der vertikalen Arbeitsteilung ein wesentlicher Bestandteil bei der Erbringung ärztlicher Leistungen. Unter der vertikalen Arbeitsteilung versteht man die subordinative Verteilung von ärztlichen Leistungen; sie beruht also auf fachlicher Über- und Unterordnung. Die vertikale Arbeitsteilung umfasst die Delegation von Aufgaben des vorgesetzten Arztes an nachgeordnetes ärztliches Personal, sowie von Ärzten an nicht-ärztliches Personal.147 Bei der Delegation ärztlicher Aufgaben stellen sich zwei arbeitsteilungsbezogene Fragen. Erstens geht es um die Frage, ob das Übertragen der ärztlichen Tätigkeit an das ärztliche oder nicht-ärztliche Personal zulässig ist. Insbesondere bei der Übertragung von ärztlichen Aufgaben auf nicht-ärztliches Personal stellt sich die Frage nach der Zulässigkeit der Delegation. Einigkeit besteht darin, dass nicht jedwede medizinische Tätigkeit vom Arzt persönlich erbracht werden muss.148 Dies gilt für pflegerische Leistungen, aber auch für ärztliche Tätigkeiten.149 Die Grenze der Delegation von ärztlichen Leistungen auf nicht-ärztliches Personal ist aber dann erreicht, wenn der Kernbereich ärztlicher Tätigkeit berührt wird.150 Dazu gehören solche Tätigkeiten, die aufgrund ihrer Schwierigkeit, Gefährlichkeit oder Unvorhersehbarkeit ärztliches Fachwissen erfordern und angesichts dessen nur vom Arzt übernommen werden dürfen.151 Einen abschließenden Katalog der ärztlichen Tätigkeiten des Kernbereichs gibt es nicht.152 Die Tätigkeiten, die in diesen Kernbereich fallen, sind vom Arzt höchstpersönlich zu erbringen und dürfen nicht an Pflegepersonal übertragen werden. Zu diesen genuin ärztlichen Leistungen gehören etwa die Anamnese, die Indikationsstellung und Untersuchung des Patienten sowie die Diagnosestellung und Therapieentscheidung, die ärztliche Aufklärung (insbesondere RisikoaufkläUrt. v. 17. 11. 2011 – I-8 U 1/08 –, juris Rn. 32; OLG Düsseldorf, NJW-RR 2004, 22; Clausen/ Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 580 ff.; Spickhoff/Greiner, MedR, §§ 823 – 839 BGB Rn. 110. 146 Igl/Welti/Nebendahl, GesR, § 48 Rn. 67. 147 Igl/Welti/Nebendahl, GesR, § 48 Rn. 79; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. X Rn. 54. 148 Staudinger/Gutmann, § 630b BGB Rn. 74; BeckOK/Katzenmeier, § 630b BGB Rn. 5; MüKo-BGB/Wagner, § 630a BGB Rn. 109. 149 OLG Dresden, RDG 2008, 240 zur Delegation einer intravenösen Injektion an eine medizinisch-technische Assistentin; vgl. BeckOK/Katzenmeier, § 630b BGB Rn. 6. 150 BeckOK/Katzenmeier, § 630b BGB Rn. 6; MüKo-BGB/Wagner, § 630a BGB Rn. 109; Staudinger/Gutmann, § 630b BGB Rn. 74. 151 Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn. 38. 152 BeckOK/Katzenmeier, § 630b BGB Rn. 6.

144

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

rung), invasive diagnostische Eingriffe, Entscheidungen über sämtliche therapeutischen Maßnahmen und alle operativen Eingriffe.153 Zweitens muss der Arzt das einbezogene Personal ordnungsgemäß auswählen und überwachen. Der vorgesetzte Arzt muss bei der Aufgabenübertragung an einen nachgeordneten Arzt nicht nur sicherstellen, dass der gebotene Facharztstandard eingehalten wird. Er hat darüber hinaus zu gewährleisten, dass der angewiesene Arzt entsprechend seines Ausbildungsstands und seiner Fähigkeiten tatsächlich fähig ist, die ihm übertragene Aufgabe durchzuführen.154 Neben dieser Pflicht zur ordnungsgemäßen Auswahl hat der vorgesetzte Arzt für eine ordnungsgemäße Kontrolle des eingesetzten ärztlichen Personals zu sorgen. Inhalt und Umfang der Überwachungspflichten richten sich nach den Grundsätzen der sog. Anfängerbehandlung.155 Die Intensität der Überwachung ist abhängig vom Stand der Weiterbildung im jeweiligen Einzelfall. Die Überwachungsmaßnahmen müssen so ausgestaltet sein, dass die mit dem Einsatz eines in der Weiterbildung befindlichen Arztes verbundenen erhöhten Fehlerrisiken aufgefangen werden.156 Diese Anforderungen sind auch bei der Delegation von ärztlichen Leistungen auf nicht-ärztliches Personal zu erfüllen. Delegationsfähige ärztliche Leistungen dürfen nur auf fachlich geeignetes Pflegepersonal übertragen werden.157 Der Arzt muss sich darüber vergewissern, dass das nicht-ärztliche Personal über eine entsprechende formale Qualifikation verfügt und eine der Qualifikation entsprechende tatsächliche Befähigung hat.158 Die konkrete Anwendung muss er in regelmäßigen Abständen kontrollieren.159 Es stellt sich die Frage, ob eine Parallele zum Vertrauensgrundsatz bei horizontaler Arbeitsteilung gezogen werden kann (nachfolgend unter (1)) oder ob die Reichweite der Kontrollpflichten anhand des Vertrauensgrundsatzes bei vertikaler Arbeitsteilung zu ermitteln ist (nachfolgend unter (2)). (1) Anwendung des Vertrauensgrundsatzes bei horizontaler Arbeitsteilung Der Vertrauensgrundsatz bei horizontaler Arbeitsteilung lässt sich auf den Einsatz von autonomen Medizinprodukten nicht übertragen, da das KI-System nicht als fachgebietsfremder Arzt einzuordnen ist. Die Anwendbarkeit des Vertrauensgrundsatzes setzt voraus, dass Spezialkenntnisse auf einem anderen Fachgebiet 153

Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 593. Igl/Welti/Nebendahl, GesR, § 48 Rn. 81. 155 Hiermit ist die Übernahme einer Behandlung gemeint, für die der Arzt ausbildungsbedingt den Facharztstandard noch nicht erfüllt, Igl/Welti/Nebendahl, GesR, § 48 Rn. 7. 156 Igl/Welti/Nebendahl, GesR, § 48 Rn. 7; vgl. zu Anforderungen an die Überwachung eines Assistenzarztes: BGH, NJW 1993, 2989; BGH, NJW 1992, 1560; BGH, NJW 1988, 2298. 157 Igl/Welti/Nebendahl, GesR, § 48 Rn. 87. 158 Clausen/Schroeder-Printzen/Terbille/Feifel, MAH MedR, § 1 Rn. 592. 159 Igl/Welti/Nebendahl, GesR, § 48 Rn. 87. 154

III. Behandlungsfehler

145

eingeholt werden.160 Das bedeutet, dass der Grundsatz nur dann angewendet werden könnte, wenn das intelligente Medizinprodukt Aufgaben übernähme, die einem anderen Fachgebiet zuzuordnen sind als desjenigen des behandelnden Arztes.161 Der Arzt wird das intelligente Medizinprodukt allerdings in der Regel in seinem eigenen Fachgebiet einsetzen; er wird es nicht verwenden, um eigene Kenntnisse durch Spezialkenntnisse auf einem anderen Fachgebiet zu ergänzen.162 Daher gilt der Vertrauensgrundsatz nicht und eine reine Plausibilitätskontrolle ist nicht ausreichend. Darüber hinaus ist der Einsatz eines intelligenten Medizinprodukts auch nicht mit den Umständen bei einer Hinzuziehung eines Konsiliararztes derselben Fachrichtung zu vergleichen: Der Arzt setzt das intelligente Medizinprodukt in seinem eigenen Pflichtenkreis und damit in seiner Risikosphäre ein. Auch wenn das intelligente Medizinprodukt eigenständige Entscheidungen trifft, ist es als Hilfsmittel bzw. Behandlungsunterstützung des Arztes anzusehen und nicht mit einer Konsultation eines anderen Facharztes bzw. einer Überweisung des Patienten an diesen vergleichbar. Das KI-basierte Medizinprodukt übernimmt, anders als ein hinzugezogener Konsiliararzt im Rahmen des Auftrags, keine eigenständigen Pflichten. Das autonome Medizinprodukt bestimmt nicht in eigener Verantwortung die Art und Weise der Leistungserbringung und entscheidet schon gar nicht über das „Ob“ der Leistung. Es führt vielmehr einen festgelegten und zuvor bestimmten Auftrag des Behandelnden aus, ist auf diesen beschränkt und wird faktisch zum Werkzeug des Arztes ohne eigene Verantwortung.163 Anders als ein Konsiliararzt kann das KISystem zudem mögliche Versäumnisse oder Fehler des Behandelnden in seiner bisherigen Diagnostik und/oder Therapie nicht durch Ratschläge oder Fragen ausgleichen.164 Das KI-System kann auch nicht sämtliche nötigen Befunderhebungen selbst durchführen oder veranlassen. Es arbeitet ergebnisorientiert und kommt daher zu einer Diagnose- oder Therapieempfehlung, die es mangels Nachvollziehbarkeit der Entscheidung dem Behandelnden nicht verständlich erklären kann. Letztlich zeichnet sich das autonome Medizinprodukt dadurch aus, dass es trotz seiner Fähigkeit zum selbständigen Lernen weisungsgebunden ist, da es nur im Rahmen der vorgegebenen Programmierung handlungsfähig ist.165

160

Taupitz, AcP 211 (2011), 352, 388. Vgl. Taupitz, AcP 211 (2011), 352, 387 f.; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 46. 162 Taupitz, AcP 211 (2011), 352, 387 f.; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 46; Fontaine, medstra 2021, 203, 207. 163 Vgl. Zech, DJT 2020 Gutachten A, S. 80 für die Betrachtung autonomer Systeme als Werkzeug. 164 Taupitz, AcP 211 (2011), 352, 388. 165 Vgl. Kluge/A. Müller, InTeR 2017, 24, 28. 161

146

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

(2) Anwendung des Vertrauensgrundsatzes bei vertikaler Arbeitsteilung Beim Einsatz von autonomen Medizinprodukten lassen sich die Grundsätze der vertikalen Arbeitsteilung anwenden, da der Arzt das autonome Medizinprodukt bei der medizinischen Behandlung zur Mithilfe oder Unterstützung zur Ausführung einer bestimmten ärztlichen Behandlungsmaßnahme einsetzt. Angesichts der Weisungsgebundenheit nimmt es eine nachgeordnete Stellung ein. Auf den ersten Blick lassen sich die Umstände beim Einsatz von KI-Systemen mit der Delegation von Aufgaben an nicht-ärztliches Personal vergleichen, weil das KISystem mangels Facharztausbildung nicht als Arzt im formellen Sinne anzusehen ist. Andererseits ist das System angesichts des ärztlichen Könnens und Fähigkeiten eher wie ein (untergeordneter) Arzt zu behandeln. Die Anwendung der Grundsätze der vertikalen Arbeitsteilung zwischen Ärzten hat den Vorteil, dass ein autonomes Medizinprodukt auch selbständig Aufgaben, wenn auch unter Aufsicht und Kontrolle, übernehmen dürfte, die zum Kernbereich ärztlicher Tätigkeit gehören. Es dürfte also insbesondere bei der Diagnosestellung und Therapieempfehlung sowie bei invasiv diagnostischen und operativen Eingriffen eingesetzt werden. So würde man den Einsatz von KI im Großteil der medizinischen Bereiche nicht ausschließen und damit das große Potenzial von autonomen Medizinprodukten nicht einschränken. Aus diesen Gründen liegt es näher den Vertrauensgrundsatz beim Zusammenwirken von vor- und nachgeordneten Ärzten anzuwenden und die Auswahl- und Kontrollpflichten am Maßstab des Zusammenwirkens von ärztlichem Personal zu messen. Bei der Zusammenarbeit des Behandelnden mit nachgeordnetem Personal hat der behandelnde Arzt Auswahl- und Überwachungspflichten, deren Intensität sich an der Qualifikation und Qualität des Personals orientiert. Wendet man diesen Maßstab auf intelligente Medizinprodukte an, ist die Reichweite der Auswahl- und Kontrollpflichten anhand folgender Überlegungen zu ermitteln: Welchen Autonomiegrad hat das Medizinprodukt und wann trifft es eigenständige Entscheidungen? Wie lange wurde das autonome Medizinprodukt vor dem richtigen Einsatz vom Hersteller oder vom Arzt getestet? Wie lange wird das KI-System schon bei der Behandlung des Patienten eingesetzt? Wie oft gab es Komplikationen bzw. Fehlfunktionen des Systems? Welche Behandlungsergebnisse konnten mithilfe des intelligenten Medizinprodukts erzielt werden? Hat das KI-System präziser gearbeitet als der Behandelnde und bessere Behandlungsergebnisse erreicht? Wie gefährlich kann sich ein Irrtum des KI-Systems auf die Gesundheit des Patienten auswirken? Bevor der Arzt ein intelligentes Medizinprodukt anwenden möchte, muss er prüfen, ob das Medizinprodukt für die Diagnosestellung oder die Therapie des Patienten geeignet ist (Auswahlpflicht). Diese Prüfung hat der Arzt anhand der Zweckbestimmung des Medizinprodukts vorzunehmen, die der Hersteller bestimmt hat.

III. Behandlungsfehler

147

Bei der Überwachung des intelligenten Medizinprodukts gilt Folgendes: Kann der Arzt aufgrund seiner Fachkunde erkennen, dass die Ergebnisse des autonomen Medizinprodukts falsch sind, darf er sie nicht übernehmen. In diesem Fall wird vom Facharzt erwartet, dass er die Informationen des KI-Systems eigenständig bewertet. Entscheidend für das Vertrauen des Arztes auf die Leistung des KI-Systems ist, ob sich das KI-System schon länger in der Praxis bewährt hat und gesicherte Erkenntnisse über den Einsatz vorliegen. Nur unter diesen Voraussetzungen ist es gerechtfertigt, dass sich der Arzt auf die Leistung des autonomen Medizinprodukts verlassen darf.166 Je zuverlässiger und fehlerfreier das KI-System in der Vergangenheit gearbeitet hat, desto weniger ausgeprägt sind die Überwachungs- und Kontrollpflichten des Arztes. Auf der anderen Seite ist der Grad der Autonomie des Medizinprodukts zu berücksichtigen. Je autonomer ein Medizinprodukt arbeitet und je gefährlicher ein Irrtum des KI-Systems für die Gesundheit des Patienten ist, desto intensiver muss die Kontrollpflicht des Arztes ausfallen.167 Ein höherer Grad an Autonomie lässt eine weitere Entwicklung des Systems von der ursprünglichen Programmierung und des bisherigen Einsatzes zu. Dadurch können vermehrt unvorhersehbare Fehlfunktionen auftreten, die durch häufigere Kontrollen des Systems ausgeglichen werden müssen. Bei einer Operation darf der Arzt das autonome Medizinprodukt mithin nicht übermäßig lange allein, d. h. ohne Aufsicht, arbeiten lassen. In festgeschriebenen Zeitabständen, diese sollten in medizinischen Leitlinien festgelegt werden, muss er das KI-System stichprobenartig kontrollieren. Die Überprüfungspflichten des Arztes verschärfen sich, sofern es sich bei dem intelligenten Medizinprodukt um eine Neulandmethode handelt. Aufgrund der Möglichkeit des Auftretens unbekannter Risiken, muss der Behandelnde den Patienten und seinen klinischen Zustand eingehender, insbesondere im Hinblick auf auftretende gesundheitliche Auffälligkeiten/ Komplikationen, beobachten und begleiten sowie die gebotenen Kontrolluntersuchungen in deutlich kürzeren zeitlichen Abständen vornehmen. Wird das intelligente Medizinprodukt zum ersten Mal am Patienten eingesetzt oder beschränkt sich die Anwendung noch auf wenige Einzelfälle, muss der Arzt jeden Behandlungsschritt beobachtend verfolgen und jederzeit korrigierend eingriffsbereit sein; hier genügt eine Kontrolle in (sehr) kurzen Abständen nicht. Nur so kann die Einhaltung des Facharztstandards sicher gewährleistet werden. Bei der Diagnosestellung durch das KI-System ist hinsichtlich der Reichweite der Kontrollpflichten des Arztes danach zu differenzieren, ob es sich um einen „Standardfall“ handelt oder ob im Einzelfall eine Abweichung vom Normalen oder Typischen vorliegt. Wenn die Befunderhebung ergibt, dass typische Anzeichen für ein bestimmtes Krankheitsbild vorliegen, reicht es aus, wenn der Arzt eine Plausibilitätskontrolle der von der KI gestellten Diagnose vornimmt. Liegen allerdings au166 Vgl. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 230. 167 Vgl. Taupitz, AcP 211 (2011), 352, 387.

148

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

ßergewöhnliche Befunde vor, die nicht auf ein typisches Krankheitsbild hindeuten, muss er die von dem autonomen Medizinprodukt getroffene Diagnose strenger kontrollieren und ggf. einzelne bildgebundene Befunde selbständig auswerten bzw. erheben. Hier geht die Kontrolle über eine bloße Plausibilitätsprüfung hinaus. Insgesamt ergibt sich aus der Anwendung des Vertrauensgrundsatzes beim Zusammenwirken von vorgesetzten und nachgeordneten Ärzten, dass der behandelnde Arzt das intelligente Medizinprodukt stets kontrollieren muss. Dabei reichen die Kontrollpflichten von einer bloßen Plausibilitätsprüfung über eine stichprobenartige Prüfung bis hin zu einer lückenlosen Kontrolle des autonomen Medizinprodukts. Die Diagnosestellung vom KI-System darf nicht blind übernommen werden und bei operativen Eingriffen darf das autonome Medizinprodukt den Eingriff nicht ohne jegliche Kontrolle durchführen.

4. Zwischenergebnis Zusammenfassend ist festzuhalten, dass die von der Rechtsprechung entwickelten Pflichten beim Einsatz von herkömmlichen Medizinprodukten als Mindestvoraussetzungen auch bei der Anwendung von autonomen Medizinprodukten einzuhalten sind. Aufgrund der Unvorhersehbarkeit und Lernfähigkeit von KI werden sich diese Pflichten künftig intensivieren. Die Bestimmung der Reichweite der Pflichten beim Einsatz von KI in der Medizin wird vor allem der Rechtsprechung und den medizinischen Leitlinien vorbehalten bleiben; mit Ausnahme der von der EU verfolgten anwenderbezogenen Pflichten im Rahmen der geplanten KI-Verordnung.168 Dabei bleibt abzuwarten, ob Pflichten vermehrt auf KI-spezialisiertes Personal ausgelagert werden dürfen und welche IT-Kenntnisse vom Arzt selbst verlangt werden. Die Pflichten des Arztes werden sich mit dem vermehrten Einsatz von intelligenten Medizinprodukten weitgehend verändern. Die ursprüngliche Verpflichtung des Arztes zur eigenständigen Vornahme der Tätigkeit wandelt sich mit dem Einsatz von KI: Die Pflichten des Arztes dürften sich zukünftig vermehrt auf die Auswahl, Inbetriebnahme und Kontrolle des autonomen Medizinprodukts beschränken.169 Verdichten sich die Aufgaben des Arztes aber vermehrt zu Kontrollpflichten, muss sich der Arzt in einem größeren Umfang als bisher mit der Funktionsweise des Medizinprodukts vertraut machen. Von ihm kann dann erwartet werden, dass er sich mit den einzelnen Funktionsabläufen des KI-Algorithmus auseinandersetzt und sich ein gewisses tiefgehendes IT-Wissen aneignet (beispielsweise durch Schulungen oder durch den Einsatz von KI-Trainern). Der Arzt muss in der Lage sein, die spezifischen Intelligenzrisiken zu erfassen, um diese angemessen in die Nutzen-

168

Siehe hierzu Kap. E. III. 3. Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 168. 169

IV. Analoge Anwendung von § 278 BGB

149

Risiko-Abwägung einzustellen und um etwaige Auffälligkeiten des KI-Algorithmus zu erkennen.170 Aus der Anwendung des Grundsatzes der vertikalen Arbeitsteilung im Verhältnis zwischen vor- und nachgeordnetem ärztlichen Personal ergibt sich, dass der Arzt das KI-System während seines Einsatzes stets kontrollieren muss. Die Intensität der Auswahl- und Überwachungspflichten hängt nicht nur von der Qualität des autonomen Systems ab, sondern wird auch entscheidend davon beeinflusst, ob es sich bei dem System um eine Neuland- oder Standardmethode handelt und ob ein typisches oder außergewöhnliches Krankheitsbild vorliegt. In jedem Fall muss der Behandelnde die herausgearbeiteten Organisationspflichten (Pflichtenkatalog) erfüllen und das KI-System mindestens stichprobenartig kontrollieren und die Entscheidung einer Plausibilitätskontrolle unterziehen. Verletzt der Arzt eine dieser Pflichten und erleidet der Patient dadurch einen Schaden, liegt ein Behandlungsfehler vor für den der Arzt vertraglich oder deliktisch einstehen muss. Keine Haftung des Arztes begründet hingegen eine für den Arzt unvorhersehbare Fehlfunktion des intelligenten Medizinprodukts, wenn er alle ihm obliegenden Sorgfaltspflichten im Umgang mit dem autonomen Medizinprodukt eingehalten hat. Eine solche Annahme würde dazu führen, dass der Arzt eine Garantie für das fehlerfreie Funktionieren des bei der medizinischen Behandlung eingesetzten autonomen Medizinprodukts übernehmen und man ihn für den Fehler des autonomen Systems verschuldensunabhängig haften lassen würde.171

IV. Analoge Anwendung von § 278 BGB Setzt der Arzt bei der medizinischen Behandlung zur Mithilfe oder Unterstützung ärztliches oder nicht-ärztliches Personal ein, so haftet er für sämtliche Pflichtverletzungen seiner Mitarbeiter gem. § 278 BGB.172 Verwendet der Arzt bei der medizinischen Behandlung ein intelligentes Medizinprodukt, stellt sich mithin die Frage, ob dieses „Fehlverhalten“ des Systems dem Arzt über § 278 BGB analog zugerechnet werden kann. Ausgangspunkt dieser Überlegung ist, dass der Arzt für unvorhersehbare und unvermeidbare Schäden des intelligenten Medizinprodukts bei gleichzeitiger Einhaltung aller Pflichten gem. § 280 Abs. 1 S. 2 BGB nicht einzustehen hat. Diese „Haftungslücke“ wird von manchen Stimmen in der Literatur zum Anlass genommen, eine analoge Anwendung von § 278 BGB zu fordern. Dahinter verbirgt sich der Gedanke, dass die bisher vom Menschen wahrgenommenen Aufgaben vermehrt von 170

Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 41. Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 39; BeckOK/Katzenmeier, § 630h BGB Rn. 23. 172 Näher hierzu MüKo-BGB/Wagner, § 630a BGB Rn. 107 ff. 171

150

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

autonomen Systemen übernommen werden, woraus offenbar eine vergleichbare Interessenlage resultiere.173 Zum Teil wird argumentiert, dass ein KI-System als „Erfüllungsgehilfe“ anzusehen sei, dessen „Verschulden“ der Anwender des KI-Systems nach § 278 S. 1 BGB analog „wie eigenes Verschulden“ zu vertreten habe. Der Geschäftsherr (Arzt) könne sich dann nicht mehr damit entlasten, dass ihm selbst kein Fehlverhalten vorzuwerfen sei.174 § 278 BGB stellt allein auf das Verschulden der KI-Technologie ab, mit der Folge, dass der Betreiber genauso für das Fehlverhalten des autonomen Systems einzustehen hätte, wie bei einem Fehlverhalten eines eingesetzten menschlichen Erfüllungsgehilfen.175 Dem ist nicht zuzustimmen. Die analoge Anwendung scheitert insbesondere aufgrund der folgenden Gesichtspunkte: § 278 BGB ist zunächst nur auf natürliche Personen anwendbar. Nach umstrittener, aber vorzugswürdiger Ansicht, ist KI keine Rechtspersönlichkeit zuzusprechen;176 sie ist keine Trägerin von Rechten und Pflichten und kann damit auch nicht Normadressatin sein.177 Selbst wenn man hierin einen Zirkelschluss erblicken sollte, so scheitert die analoge Anwendung der Norm daran, dass dem KI-System kein Verschuldensvorwurf bei der Erfüllung der übertragenen Pflichten gemacht werden kann. Autonomen Produkten mangelt es mithin an der Verschuldensfähigkeit.178 Trotz der weitgehenden Objektivierung der Fahrlässigkeit umfasst diese auch immer eine subjektive Komponente.179 Unbeschadet der Fähigkeit, aus einem Fehlverhalten zu lernen und das Handeln künftig zu optimieren, beruht das Handeln des KI-Systems auf einer entsprechenden Programmierung und ist nicht das Ergebnis eines selbstbestimmten Willensentschlusses des

173

Mühlböck/Taupitz, AcP 221 (2021), 179, 198 ff.; Teubner, AcP 218 (2018), 155, 188; vgl. Zech, ZfPW 2019, 198, 211 f., der für eine „funktionale Verschuldensäquivalenz“ plädiert. 174 Teubner, AcP 218 (2018), 155, 187. 175 Für eine analoge Anwendung: Teubner, AcP 218 (2018), 155, 186 ff.; Schirmer, JZ 2016, 660, 665; Keßler, MMR 2017, 589, 592; differenzierend Hacker, RW 2018, 243, 256 ff. Gegen eine analoge Anwendung: Grützmacher, CR 2016, 695, 697; Horner/Kaulartz, CR 2016, 7, 7 f.; Möslein, ZIP 2018, 204, 210; Günther/Böglmüller, BB 2017, 53, 55; Spindler, JZ 2022, 793, 796; Spindler, JZ 2016, 805, 816; MüKo-BGB/Grundmann, § 278 BGB Rn. 46; Heuer-James/Chibanguza u. a., BB 2018, 2818, 2829 f.; Müller-Hengstenberg/Kirn, MMR 2014, 307, 311; Müller-Hengstenberg/Kirn, CR 2018, 682, 686; Grapentin, Vertragsschluss und vertragliches Verschulden beim Einsatz von KI, S. 130 f.; Klingbeil, JZ 2019, 718, 720; Katzenmeier, MedR 2021, 859, 861; Schaub, JZ 2017, 342, 343; kritisch Kluge/A. Müller, InTeR 2017, 24, 27; Burchardi, EuZW 2022, 685, 687. Zumindest nicht von vornherein ablehnend Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 45. 176 Siehe hierzu Kap. E. I. 177 Katzenmeier, MedR 2021, 859, 861; Heuer-James/Chibanguza u. a., BB 2018, 2818, 2829; Müller-Hengstenberg/Kirn, CR 2018, 682, 685. 178 Katzenmeier, MedR 2021, 859, 861; Borges, CR 2022, 553, 556. 179 So Katzenmeier, MedR 2021, 859, 861; Mühlböck/Taupitz, AcP 221 (2021), 179, 198; Schaub, JZ 2017, 342, 343.

V. Aufklärungsfehler

151

Systems.180 Die Analogie müsste hier also noch so weit ausgedehnt werden, dass auch das Konzept eines Verschuldens auf autonome Systeme erweitert würde.181 Gegen eine Analogie von § 278 BGB spricht zudem, dass es einer solchen erst gar nicht bedarf. Die umfangreichen Pflichten, die beim Betrieb des intelligenten Medizinprodukts zu erfüllen sind, in Kombination mit den Kontroll- und Überwachungspflichten solcher Systeme sowie die Beweislastumkehr gem. § 280 Abs. 1 S. 2 BGB gewährleisten einen ausreichenden Schutz des Patienten.182 Hätte der Arzt für jedes Fehlverhalten des autonomen Medizinprodukts einzustehen, obwohl er dem umfassenden Pflichtenprogramm nachgekommen ist, würde seine vertragliche Verschuldenshaftung zu weit ausgedehnt werden, da es an einer Einschränkung durch eine schuldhafte Handlung des Systems fehlen würde.183 Ein schadensursächlicher Fehler des autonomen Medizinprodukts würde stets eine Haftung des Arztes auslösen. Dadurch würde eine Kausalhaftung des Arztes eingeführt werden, die zwar durchaus denkbar ist, aber im Wege der Analogie nicht eingeführt werden kann.184 Schließlich spricht gegen eine analoge Anwendung von § 278 BGB, dass der Arzt keine Regressansprüche gegen das KI-System geltend machen könnte. Wird dem Arzt das schuldhafte Verhalten des von ihm eingesetzten Personals über § 278 BGB zugerechnet, steht ihm ein Regressanspruch gegen den schadensverursachenden Mitarbeiter (Erfüllungsgehilfen) wegen dessen schuldhaften Handelns zu.185 Die Möglichkeit der Geltendmachung von Ausgleichsansprüchen im Innenverhältnis ist beim Einsatz von autonomen Medizinprodukten mangels Rechtspersönlichkeit hingegen ausgeschlossen. Die besseren Argumente sprechen folglich gegen eine analoge Anwendung von § 278 BGB, sodass dem Arzt das Fehlverhalten des KI-Systems nicht zugerechnet wird. Der Arzt haftet nur für eigene Pflichtverletzungen beim Einsatz des intelligenten Medizinprodukts.186

V. Aufklärungsfehler Zu den Pflichten des Arztes gehört gem. § 630e Abs. 1 BGB die ordnungsgemäße Aufklärung des Patienten, ohne die dessen Einwilligung (§ 630d Abs. 1 BGB) un180

Günther/Böglmüller, BB 2017, 53, 55. Borges, CR 2022, 553, 556. 182 Vgl. MüKo-BGB/Grundmann, § 278 BGB Rn. 46. 183 Vgl. MüKo-BGB/Grundmann, § 278 BGB Rn. 46. 184 Borges, CR 2022, 553, 556. 185 Vgl. BeckOGK-BGB/Schaub, § 278 BGB Rn. 109. 186 So auch Katzenmeier, MedR 2021, 859, 861; ausführlich hierzu Veith, KI, Haftung und Kartellrecht, S. 73 ff. 181

152

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

wirksam ist. Die Aufklärung muss sich auf sämtliche für die Einwilligung wesentlichen Umstände beziehen (§ 630e Abs. 1 S. 1 BGB). Hierzu gehören insbesondere Art, Umfang, Durchführung, zu erwartende Folgen und Risiken der Maßnahme sowie ihre Notwendigkeit, Dringlichkeit, Eignung und Erfolgsaussichten im Hinblick auf die Diagnose oder die Therapie (§ 630e Abs. 1 S. 2 BGB). Darüber hinaus ist nach § 630e Abs. 1 S. 3 BGB auch auf Behandlungsalternativen hinzuweisen, wenn mehrere medizinisch gleichermaßen indizierte und übliche Methoden zu wesentlich unterschiedlichen Belastungen, Risiken oder Heilungschancen führen können. Die Selbstbestimmungsaufklärung soll den Patienten in die Lage versetzen, frei und autonom darüber zu entscheiden, ob er sich der konkreten Behandlungsmaßnahme unterziehen möchte.187 Eine unzureichende Aufklärung des Patienten begründet einen Aufklärungsfehler, für den eine Haftung des Arztes in Betracht kommt. Der Arzt muss den Patienten über den Einsatz von KI bei der Behandlung aufklären (nachfolgend unter 1.). Daneben stellt sich die Frage, ob eine Aufklärung des Patienten durch das KI-System rechtlich zulässig ist oder dieses zur Aufklärung nur unterstützend eingesetzt werden darf (nachfolgend unter 2.). Schließlich ist im Falle einer nicht ordnungsgemäßen Aufklärung die eingeholte Einwilligung unwirksam (§ 630d Abs. 2 BGB) und eine hypothetische Einwilligung kommt in Betracht (nachfolgend unter 3.).

1. Aufklärung über den Einsatz von KI Möchte der Arzt bei der ärztlichen Behandlung ein intelligentes Medizinprodukt einsetzen, hat er den Patienten darüber zuvor aufzuklären. Hinsichtlich der Reichweite der Aufklärungspflichten ist danach zu unterscheiden, ob die Anwendung des KI-basierten Medizinprodukts bereits zum medizinischen Standard gehört (nachfolgend unter a)) oder eine Neulandmethode darstellt (nachfolgend unter b)). Beim Einsatz von Neulandmethoden, die noch nicht allgemein anerkennt und erprobt sind, sind erhöhte Anforderungen an die Aufklärung zu stellen.188 a) KI als Standardmethode Ist der Einsatz eines autonomen Medizinprodukts bereits Standardmethode, gelten die allgemeinen Grundsätze zum Gegenstand und Umfang der Aufklärung. Danach muss die Aufklärung den Patienten in die Lage versetzen, Wesen und Tragweite der Behandlung zu erfassen und eigenverantwortlich das Für und Wider

187

MüKo-BGB/Wagner, § 630e BGB Rn. 2. BGH, NJW-RR 2022, 886; BGH, NJW-RR 2021, 886; BGH, NJW 2006, 2477; BGH, NJW 2007, 2767, 2769; vgl. BGH, NJW 2007, 2774 zur sog. Außenseitermethode. 188

V. Aufklärungsfehler

153

abwägen zu können.189 Nach ständiger Rechtsprechung muss der Patient „im Großen und Ganzen“ wissen, worin er einwilligt.190 Dies erfordert eine Information über die Art des Eingriffs und seine nicht ganz außerhalb der Wahrscheinlichkeit liegenden Risiken, die für die Entschließung des Patienten von Bedeutung sein können.191 Die Aufklärung muss dem Patienten eine „allgemeine Vorstellung von der Schwere des Eingriffs und den spezifisch mit ihm verbundenen Risiken“ vermitteln.192 Die Risiken müssen dabei weder medizinisch exakt noch mit genauen Prozentzahlen über die Möglichkeit der Verwirklichung eines Behandlungsrisikos beschrieben werden.193 Es dürfen aber keine unzutreffenden, verharmlosenden Darstellungen über das Ausmaß der mit der Behandlung verbundenen Risiken vorgenommen werden.194 Der Arzt muss über (sehr) seltene Risiken aufklären, wenn sie spezifisch für die Behandlung sind und mit erheblichen gesundheitlichen Beeinträchtigungen verbunden sind.195 Im Rahmen dessen stellt sich die Frage, ob das Autonomierisiko von KI als aufklärungspflichtiger Umstand zu qualifizieren ist und in welchem Ausmaß der Arzt den Patienten über mögliche technische Fehler des autonomen Systems informieren muss. Hier besteht die Besonderheit, dass nicht vorhersehbare Fehlfunktionen wegen der Eigenart der KI als der Behandlungsmethode typischerweise anhaftende Risiken einzuordnen sind; sie müssen sich aber nicht im konkreten Behandlungsfall verwirklichen. Einigkeit besteht aber insoweit, als dass der Arzt den Patienten nicht über jedes erdenkliche Risiko oder nur allgemeine oder sogar nur theoretische Komplikationen umfassend aufklären muss.196 Die Frage, ob und in welchem Ausmaß über das Intelligenzrisiko aufzuklären ist, hängt deshalb maßgeblich davon ab, welche Gesundheitsrisiken daraus im konkreten Anwendungsszenario für den Patienten folgen.197 Über das Intelligenzrisiko ist zumindest dann aufzuklären, wenn die Realisierung des Risikos die weitere Lebensführung des Patienten stark negativ beeinflussen kann.198 Daneben beeinflusst der Grad der 189

BGH, NJW 1959, 814, 814; BGH, NJW 1986, 780, 780; BGH, NJW 1990, 2929, 2930; BGH, NJW 2006, 2108, 2109; BGH, NJW 2020, 1358, 1360; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. V Rn. 26; Stellpflug, GesR 2019, 76, 78. 190 BGH, NJW 1977, 337, 337; BGH, NJW 1984, 1397, 1398; BGH, NJW 1988, 763, 764; BGH, NJW 2000, 1784, 1786; BGH, NJW 2006, 2108, 2108; BGH, NJW 2011, 375, 375; BGH, NJW-RR 2017, 533, 533; BGH, NJW 2019, 1283, 1284. 191 BGH, NJW 2011, 375, 375. 192 BGH, NJW 2011, 375, 375. 193 BGH, NJW 2019, 1283, 1284; BGH, NJW 1992, 2351, 2352. 194 BGH, NJW 2019, 1283, 1284; BGH, NJW 1992, 2351, 2352. 195 Bördner, GuP 2019, 131, 133; Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. V Rn. 36, 30 ff.; BGH, NJW 1994, 3012, 3012 f.; BGH, NJW 2006, 2108, 2109; BGH, NJW-RR 2017, 533, 534. 196 Bördner, GuP 2019, 131, 133. 197 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 19. 198 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 19.

154

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Autonomie des intelligenten Medizinprodukts die Reichweite der Aufklärung über das Intelligenzrisiko. Je autonomer ein intelligentes Medizinprodukt arbeitet, desto weniger hat der Arzt Einfluss auf das Ergebnis der KI. Über diese verminderte Beherrschbarkeit und Vorhersehbarkeit, die mit dem Grad der Autonomie wächst, muss der Arzt den Patienten informieren. Ob unabhängig von einer wesentlichen Beeinträchtigung der weiteren Lebensführung im Falle der KI als Standardmethode generell über den Umstand aufzuklären ist, dass die KI nicht vollständig vorhersehbare und beherrschbare Risiken in sich birgt, ist derzeit noch ungeklärt. Für eine solche Aufklärung spricht, dass sich der Einsatz von KI erst in der Medizin etablieren und dementsprechend auch Akzeptanz auf Patientenseite erfahren muss.199 Auch nach dem Eingang von KI in den medizinischen Standard muss zumindest zu Beginn damit gerechnet werden, dass der Patient eine Behandlung mit herkömmlichen Methoden erwartet und KI kritisch oder ablehnend gegenübersteht.200 Für diese Sichtweise der generellen Aufklärung über Intelligenzrisiken kann § 7 Abs. 4 S. 3 MBO-Ä herangezogen werden. Die Neuregelung des ärztlichen Berufsrechts regelt die Aufklärung von Fernbehandlungen. Danach ist eine ausschließliche Beratung oder Behandlung über Kommunikationsmedien im Einzelfall erlaubt, „wenn dies ärztlich vertretbar ist und die erforderliche ärztliche Sorgfalt insbesondere durch die Art und Weise der Befunderhebung, Beratung, Behandlung sowie Dokumentation gewahrt wird und die Patientin oder der Patient auch über die Besonderheiten der ausschließlichen Beratung und Behandlung über Kommunikationsmedien aufgeklärt wird“201 (§ 7 Abs. 4 S. 3 MBOÄ).202 Die Vorschrift zeigt, dass die Fernbehandlung erlaubt ist, an die Aufklärung wegen der Neuheit jedoch höhere Anforderungen zu stellen sind. Der Patient muss auf die Besonderheiten der Fernbehandlung hingewiesen werden. Gleiches muss mutatis mutandis auch für die Besonderheiten von KI gelten. Das Autonomierisiko ist als ein für das Selbstbestimmungsrecht und die Entscheidungsfreiheit des Patienten relevanter Umstand zu verstehen.203 Um Haftungsrisiken zu vermeiden, muss der Arzt deshalb über diesen Umstand aufklären.204 Eine solche Auslegung ge199

Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 20. Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 20. 201 Hervorgehoben durch die Verfasserin. 202 Für diesen Vergleich Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 21. 203 So auch BeckOGK-BGB/U. Walter, § 630e Rn. 15.1; vgl. Katzenmeier, MedR 2021, 859, 861. 204 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 22. A. A. W. Droste, MPR 2018, 109, 112; Bördner, GuP 2019, 131, 133: Nicht vorhersehbare Fehlfunktionen können zwar wegen der Eigenart der KI als spezifische Risiken der Behandlungsmethode qualifiziert werden, allerdings sind diese – insoweit nicht aufklärungsbedürftigen – Risiken in der Gesamtschau so unerwartet und außergewöhnlich, dass sie im Ergebnis auf die Entscheidung des Patienten zur Durchführung der medizinischen Behandlung keine Bedeutung haben. Dies gelte zumindest dann, wenn Fehlfunktionen durch technische und organisatorische Maßnahmen ausgeschlossen werden. Nach Ansicht von W. Droste und Bördner handelt es sich 200

V. Aufklärungsfehler

155

währleistet, dass der von der Aufklärung verfolgte Zweck, dem Patienten eine sinnvolle Wahrnehmung des Selbstbestimmungsrechts zu ermöglichen,205 erreicht wird. b) KI als Neulandmethode Stellt das autonome Medizinprodukt noch keine Standardmethode dar, gilt der Einsatz eines solchen Systems als Neulandmethode. In diesem Fall sind erhöhte Anforderungen an die Aufklärung des Patienten zu stellen: Die Aufklärung muss umso umfassender sein, je stärker der Arzt von etablierten Behandlungsmethoden abweicht und je risikobehafteter der Eingriff ist.206 In der Robodoc-Entscheidung hat der BGH klargestellt, dass die Anwendung neuer Verfahren für den medizinischen Fortschritt unerlässlich ist.207 Am Patienten dürfen sie aber nur dann angewandt werden, wenn diesem zuvor unmissverständlich verdeutlicht wurde, dass die neue Methode die Möglichkeit unbekannter Risiken birgt.208 Die Aufklärung muss den Patienten in die Lage versetzen, für sich sorgfältig abzuwägen, ob er sich nach der herkömmlichen Methode mit bekannten Risiken behandeln lassen möchte oder nach einer neuen Methode unter besonderer Berücksichtigung der in Aussicht gestellten Vorteile und der noch nicht in jeder Hinsicht bekannten Gefahren.209 Diese Grundsätze gelten auch beim Einsatz von intelligenten Medizinprodukten, sofern ihr Einsatz noch nicht dem medizinischen Standard entspricht. Die Aufklärung muss dem Patienten eine allgemeine Vorstellung über die Chancen und Risiken bei der Gefahr, dass die KI fehlerhafte Funktionen erlernen kann, nur um eine allgemeine bzw. rein theoretische Komplikation, über die der Arzt nicht aufzuklären hat. Hierbei beziehen sie sich auf die Rechtsprechung des BGH, wonach über außergewöhnliche und nicht vorhersehbare Risiken, die für den Entschluss des Patienten, ob er in die Operation einwilligt, keine Bedeutung haben könnten, nicht aufzuklären ist, BGH, NJW 1991, 2346, 2347. Zweifelhaft ist, ob autonom erlernte Fehlfunktionen der KI tatsächlich als außergewöhnliche und nicht vorhersehbare Risiken einzustufen sind und darüber hinaus für den Entschluss des Patienten irrelevant sind. Die schon länger bestehende Diskussion auf deutscher und europäischer Ebene über die Zulassung von KI – nicht nur im Gesundheitssektor – zeigt, dass das Recht vor neuen technologischen und ethischen Herausforderungen steht. Dabei ist auch auf das Wohl und den selbstbestimmten Willen des Patienten Rücksicht zu nehmen, vgl. Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 4. Die besseren Argumente sprechen deshalb dafür, dass der Arzt den Patienten auch über die Gefahr unterrichten muss, dass autonome Medizinprodukte Fehlfunktionen erlenen können, die sich gefahrerhöhend auf die Behandlung des Patienten auswirken können. 205 BT-DRS. 17/10488, S. 24; BVerfG, NJW 1979, 1925, 1929; Katzenmeier, NJW 2019, 1769, 1773. 206 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 228; Laufs/Kern u. a./Kern/Rehborn, Arztrechtshandbuch, § 66 Rn. 30, § 96 Rn. 51. 207 BGH, NJW 2006, 2479. 208 BGH, NJW 2006, 2479. 209 BGH, NJW 2006, 2479; BGH, NJW 2007, 2767, 2770.

156

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

der KI vermitteln, um zu entscheiden, ob ein autonomes Medizinprodukt eingesetzt oder die Behandlung nach einer herkömmlichen Methode mit bekannten Risiken durchgeführt werden soll.210 Der Patient ist mithin darüber zu unterrichten, dass das KI-basierte Medizinprodukt noch nicht lange eingesetzt wird, dessen Wirksamkeit statistisch noch nicht abgesichert ist und bisher unbekannte Risiken nicht auszuschließen sind und damit ein Bereich verbleibt, für den eine Risikoeinschätzung nicht möglich ist.211 Zu diesen unbekannten Risiken gehören die fehlende Transparenz und Nachvollziehbarkeit von KI oder die Gefahr von Verzerrungen der durch die KI getroffenen Diagnose- oder Therapieentscheidung.212 Da es für den Patienten schwierig sein wird, sich eine Vorstellung davon zu machen, welche gesundheitliche Bedeutung die Realisierung des Intelligenzrisikos im konkreten Fall haben kann, sollte die Aufklärung anhand von Beispielen näher erläutert werden. Dabei kann der Arzt Rückgriff auf veröffentlichte Studien und Statistiken zum eingesetzten autonomen Medizinprodukt nehmen oder auch über eigene Erfahrungen berichten.

2. Aufklärung durch das KI-System Daneben stellt sich die Frage, ob der Arzt seiner Aufklärungspflicht auch dann gerecht wird, wenn die Aufklärung des Patienten durch die KI selbst erfolgt. § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB spricht davon, dass die Aufklärung mündlich durch den Behandelnden oder durch eine Person erfolgen muss, die über die zur Durchführung der Maßnahme notwenige Ausbildung verfügt. Da es einer KI de lege lata bereits an der Rechtsfähigkeit fehlt,213 widerspricht die ärztliche Aufklärung durch ein KIbasiertes Medizinprodukt nach geltendem Recht dem Grundsatz des § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB.214 Die Aufklärung würde in einem solchen Fall nicht mündlich durch eine Person durchgeführt werden, die über die zur Durchführung der Maßnahme notwendige Ausbildung verfügt.215 Allerdings muss die Aufklärung nicht vom behandelnden Arzt vorgenommen werden, sondern kann einem anderen Arzt übertragen werden. Hiermit korrespondieren Anleitungs- und Überwachungspflichten des behandelnden Arztes, um sicherzustellen, dass die Aufklärung ordnungsgemäß stattgefunden hat. Dies kann durch Nachfrage beim Patienten und/oder durch einen Blick in die Krankenakte 210 Vgl. Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. V Rn. 36; Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 228. In diese Richtung auch Thissen, RWF 12/21, 7, 7. 211 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. V Rn. 36; Igl/Welti/Nebendahl, GesR, § 49 Rn. 26; vgl. BGH, NJW-RR 2021, 886; BGH, NJW 2006, 2477. 212 Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 9. 213 BeckOGK-BGB/Spindler, § 823 BGB Rn. 1069. 214 Spindler, in: FS Hart, 581, 592. 215 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 25.

V. Aufklärungsfehler

157

geschehen.216 Aus einer Parallele des oben bereits herausgearbeiteten Grundsatzes zur vertikalen Arbeitsteilung zwischen vor- und nachgeordnetem ärztlichen Personal könnte sich ergeben, eine Aufklärung des Patienten durch ein autonomes Medizinprodukt unter Einhaltung von Überwachungspflichten zuzulassen.217 Dies würde zunächst voraussetzen, dass der Wortlaut des § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB erweitert wird, denn de lege lata ist eine Aufklärung durch das KI-System nicht zulässig. Dafür ist aber zuvorderst die Frage zu klären, ob eine Aufklärung durch ein KI-System mit dem Sinn und Zweck des Aufklärungsgesprächs vereinbar ist und unter welchen Voraussetzungen ein KI-System im Rahmen der Aufklärung verwendet werden dürfte. Gegen eine Selbstbestimmungsaufklärung durch ein autonomes System selbst könnte sprechen, dass das Aufklärungsgespräch seinen persönlich-menschlichen Aspekt verlieren könnte.218 Der BGH hat wiederholend betont, dass die Aufklärung des Patienten ein vertrauensvolles Gespräch zwischen Arzt und Patient erfordere.219 Andererseits kann der Arzt den Patienten in einfach gelagerten Fällen telefonisch über die Risiken eines bevorstehenden Eingriffs aufklären, wenn der Patient damit einverstanden ist.220 Zudem kann bei Routinebehandlungen mit geringer Risikoneigung die Aufklärung in schriftlicher Form durch Aushändigung von Merkblättern erfolgen, wenn dem Patienten die Gelegenheit zur Nachfrage gegeben wird.221 Gleiches sollte für den Einsatz von KI zur Aufklärung von Routineeingriffen gelten. Der persönlich-menschliche Bezug des Aufklärungsgesprächs darf nicht gänzlich in den Hintergrund geraten, insbesondere sollte die KI zu Beginn des Gesprächs erfragen, ob der Patient ein persönliches Gespräch mit dem Arzt wünscht. Bei Routineeingriffen überwiegt allerdings die reine Informationsvermittlung und der Schutz des Patienten erfordert nicht zwingend die Aufklärung durch ärztliches Personal. Dies gilt zumindest dann, wenn das autonome Medizinprodukt über die für die Aufklärung erforderlichen Kenntnisse und Informationen verfügt. Das Aufklärungsgespräch muss von der KI in der Form aufgezeichnet und protokolliert werden, dass es in der Krankenakte des Patienten vermerkt wird und der Arzt kontrollieren kann, ob eine ordnungsgemäße Aufklärung durch das System erfolgt ist. Auf technischer Ebene besteht die Möglichkeit, das System so zu trainieren, dass zwischen dem Patienten und dem System eine Art Dialog bzw. Gespräch stattfindet. Durch Rückfragen seitens der KI kann zudem geprüft werden, ob der Patient alle Informationen verstanden hat. Bei Fragen des Patienten, die die KI nicht beantworten kann, besteht hingegen die Pflicht, einen Arzt hinzuzuziehen. Entsprechend den 216

BGH, NJW-RR 2007, 310, 311; BeckOK/Katzenmeier, § 630e BGB Rn. 37. A. A. Katzenmeier, MedR 2021, 859, 861. 218 Zu dieser Frage Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 25. 219 BGH, NJW 2000, 1784, 1787; BGH, NJW 1985, 1399, 1399; BGH, NJW 2010, 2430, 2432; BGH, NJW 2014, 1527, 1527. 220 BGH, NJW 2010, 2430, 2432. 221 BGH, NJW 2000, 1784, 1787 f.; MüKo-BGB/Wagner, § 823 BGB Rn. 52. 217

158

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

bereits herausgearbeiteten Grundsätzen zur vertikalen Arbeitsteilung,222 muss sich der behandelnde Arzt aber darüber vergewissern, dass das KI-System den Patienten im erforderlichen Maße aufgeklärt hat. Dies kann beispielsweise durch Nachfrage beim Patienten oder durch Nachschauen in der Krankenakte kontrolliert werden. Solange dem Patienten alle für seine Entscheidungsfindung relevanten Umstände vermittelt werden und seinem Selbstbestimmungsrecht ausreichend Rechnung getragen wird, wird zumindest der Schutzzweck der Aufklärungspflichten erreicht. Im Hinblick auf den schon jetzt bestehenden Ärzte- und Pflegemangel, der sich in Zukunft noch verstärken könnte,223 ist der Einsatz von KI-Systemen begrüßenswert. Die Ärzteschaft könnte sich dadurch auf die medizinisch wichtigsten Aufgaben konzentrieren. Zudem könnte die Übertragung von Aufklärungspflichten auch deren Qualität verbessern, weil intelligente Medizinprodukte große Mengen an Informationen schneller verarbeiten können als Menschen.224 Eine Ausnahme gilt aber für den Fall, dass zusätzlich bei der Diagnostik und/oder der Therapie des Patienten ein autonomes Medizinprodukt zur Anwendung kommen soll. Über die Autonomierisiken, die für das Selbstbestimmungsrecht des Patienten von besonderer Bedeutung sind, darf das KI-System den Patienten nicht aufklären. Bei diesen besonderen aufklärungspflichtigen Umständen muss der Patient die Möglichkeit haben, Rückfragen persönlich beim Arzt zu stellen. Es ist noch einmal wichtiger, dass sich der Arzt darüber vergewissert, dass der Patient die Informationen auch tatsächlich verstanden hat. Hierzu bedarf es eines vertrauensvollen Gesprächs zwischen Arzt und Patient bei dem Sorgen und Zweifel angesprochen werden können. Der persönlich-menschliche Aspekt des vertrauensvollen Gesprächs überwiegt in diesem Fall die reine Informationsvermittlung durch das autonome Medizinprodukt. Zusammenfassend ergibt sich, dass eine Aufklärung des Patienten durch ein KISystem bei Routineeingriffen ermöglicht werden sollte.225 Dafür muss der Gesetzgeber allerdings tätig werden, denn der Wortlaut des § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB lässt eine solche Auslegung zum heutigen Zeitpunkt nicht zu.

3. (Hypothetische) Einwilligung Vor der Durchführung einer medizinischen Maßnahme hat der Behandelnde die Einwilligung des Patienten einzuholen (§ 630d Abs. 1 S. 1 BGB). Grundsätzlich kann die Einholung der Einwilligung an eine andere Person delegiert werden; es gelten insoweit die gleichen Grundsätze wie bei der Delegation der ärztlichen

222

Siehe Kap. D. III. 3. b) cc). MüKo-BGB/Wagner, § 630e BGB Rn. 43. 224 Vgl. Beck, MedR 2018, 772, 778. 225 In diese Richtung auch Rahn, Ärztliche Aufklärung durch KI, S. 119 f.; 196 f. 223

V. Aufklärungsfehler

159

Aufklärung.226 Im Gegensatz zu § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB setzt § 630d BGB keine persönlichen Voraussetzungen, wie etwa eine notwendige Ausbildung, für die Einholung der Einwilligung voraus. Grundsätzlich könnte also auch ein autonomes System die Einwilligung des Patienten einholen.227 Im Falle einer nicht ordnungsgemäßen Aufklärung ist die eingeholte Einwilligung unwirksam (§ 630d Abs. 2 BGB). Grundsätzlich kann sich der Arzt darauf berufen, dass der Patient auch im Falle einer ordnungsgemäßen Aufklärung in die Maßnahme eingewilligt hätte (sog. hypothetische Einwilligung, vgl. § 630h Abs. 2 S. 2 BGB). Die Anforderungen an diesen Nachweis sind nach der Rechtsprechung sehr streng, um das Selbstbestimmungsrecht des Patienten nicht zu unterlaufen.228 Zunächst muss sich der Arzt auf eine hypothetische Einwilligung des Patienten auch im Falle ordnungsgemäßer Aufklärung berufen.229 Auf der zweiten Stufe kann der Patient diesem Vorbringen begegnen, indem er nachvollziehbar plausibel macht, warum er auch bei ordnungsgemäßer Aufklärung in einen Entscheidungskonflikt geraten wäre.230 Der Patient muss zur Überzeugung des Tatrichters plausibel machen, dass er, wären ihm rechtzeitig die Risiken des Eingriffs verdeutlicht worden, vor einem echten Entscheidungskonflikt gestanden hätte.231 Dabei darf nicht auf eine objektive Risikobewertung abgestellt werden; entscheidend ist die persönliche Entscheidungssituation des Patienten aus damaliger Sicht.232 Besonders strenge Maßstäbe sind anzulegen, wenn sich die Behandlungsseite bei einer Neulandmethode auf das Vorliegen einer hypothetischen Einwilligung berufen möchte.233 Hier sind die Anforderungen an die Glaubhaftmachung eines Entscheidungskonflikts wesentlich geringer.234 Beim Einsatz eines noch nicht zum medizinischen Standard gehörenden intelligenten Medizinprodukts, mithin einer Neulandmethode, wird daher der Beweis einer hypothetischen Einwilligung regelmäßig nicht gelingen.235

226

BeckOK/Katzenmeier, § 630d BGB Rn. 6. Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 29. 228 BGH, NJW 1991, 2342, 2343; BGH, NJW 2019, 3072. 229 BGH, NJW 2007, 2767, 2770; MüKo-BGB/Wagner, § 630h BGB Rn. 50. 230 BGH, NJW 1984, 1397; BGH, NJW 1989, 1533, 1535; BGH, NJW 2007, 2767, 2770; MüKo-BGB/Wagner, § 630h BGB Rn. 51. 231 BGH, NJW 1991, 2342, 2343; BGH, NJW 2019, 3072. 232 BGH, NJW 1994, 799, 801; BGH, NJW 2009, 1209, 1211; BGH, NJW 2015, 74, 77. 233 BGH, NJW 2007, 2767, 2770. 234 BGH, NJW 2007, 2774, 2776; MüKo-BGB/Wagner, § 630h BGB Rn. 51; vgl. Spickhoff, NJW 2008, 1636, 1640. 235 So auch Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 27. 227

160

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

VI. Beweislast Vor Inkrafttreten des Patientenrechtegesetzes galt die Grundregel der Beweislast im Zivilrecht auch im Arzthaftungsprozess. Demnach oblag dem Patienten die Beweislast für einen Behandlungsfehler, den Schaden und die Kausalität.236 Mit dem Patientenrechtegesetz wurde die höchstrichterliche Rechtsprechung zur Beweislastverteilung im Arzthaftungsprozess, die aus dem Deliktsrechts stammt, in § 630h BGB umgesetzt.237 Die Vorschrift enthält in ihren fünf Absätzen mehrere Beweiserleichterungen zu Gunsten des Patienten. Im Folgenden wird lediglich auf die Fehlervermutung gem. § 630h Abs. 1 BGB (nachfolgend unter 1.) und auf einen Dokumentationsmangel gem. § 630h Abs. 3 BGB (nachfolgend unter 2.) eingegangen, da sich hier die Besonderheiten des Einsatzes von autonomen Medizinprodukten abzeichnen.

1. KI als vollbeherrschbares Risiko Da es sich bei KI-basierten Medizinprodukten im Kern um medizinisch-technische Geräte und damit um einen Gerätefehler handelt, sind die Grundsätze des § 630h Abs. 1 BGB und die Rechtsprechung zur Beweislastverteilung grundsätzlich übertragbar.238 Nach § 630h Abs. 1 BGB wird ein Fehler des Behandelnden vermutet, wenn sich ein allgemeines Behandlungsrisiko verwirklicht hat, das für den Behandelnden voll beherrschbar war und das zur Verletzung des Lebens, des Körpers oder der Gesundheit des Patienten geführt hat. Es handelt sich hierbei um eine Beweiserleichterung zugunsten des Patienten, die dessen Beweisnot Rechnung trägt, denn dem Patienten bleiben die Vorgänge aus dem Organisations- und Gefahrenbereich des Behandelnden regelmäßig verborgen.239 Voraussetzung für die Fehlervermutung ist das Vorliegen eines voll beherrschbaren Behandlungsrisikos. Dabei handelt es sich um Gefahren, die dem Herrschafts- und Organisationsbereich des Behandelnden zuzuordnen sind, die nach dem Erkennen mit Sicherheit ausgeschlossen werden können und die in keinem Zusammenhang mit den Unwägbarkeiten des menschlichen Organismus stehen.240 Die Schadensursache darf weder aus der Sphäre des 236 BeckOK/Katzenmeier, § 630h BGB Rn. 7; BGH, NJW 1991, 1540, 1541; BGH, NJW 1994, 1594, 1595; BGH, NJW 1999, 860, 861; BGH, NJW 2012, 850, 851; Erman/Rehborn/ Gescher, § 630h Rn. 1. 237 BeckOGK-BGB/U. Walter, § 630h BGB Rn. 1; BT-DRS. 17/10488, S. 27. 238 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49; Spindler, in: FS Hart, 581, 594. 239 BeckOGK-BGB/U. Walter, § 630h BGB Rn. 2; BeckOK/Katzenmeier, § 630h BGB Rn. 10; BT-DRS. 17/10488, S. 28. 240 BT-DRS. 17/10488, S. 28.

VI. Beweislast

161

Patienten stammen noch dem Kernbereich ärztlichen Handelns zuzurechnen sein.241 Unerheblich ist, ob das Risiko konkret vermeidbar war.242 Maßgeblich ist, dass das Risiko nach Erkennen mit Sicherheit hätte ausgeschlossen werden können.243 Zu den voll beherrschbaren Behandlungsrisiken gehören unter anderem die bei der Behandlung eingesetzten medizinisch-technischen Geräte.244 Der Arzt hat die technischen Voraussetzungen für eine sachgemäße und möglichst gefahrlose Behandlung durch fehlerfreie medizinische Geräte sicherzustellen.245 Wann ein solches beherrschbares Behandlungsrisiko beim Einsatz von medizinisch-technischen Geräten vorliegt, definiert § 630h Abs. 1 BGB hingegen nicht; es ist auf den Einzelfall abzustellen. In der Rechtsprechung wurde volle Beherrschbarkeit etwa bei Gerätefehlern,246 bei einer fehlerhaften Beschaffenheit des Tubus,247 des Narkosegeräts248 oder eines Bestrahlungsgeräts,249 bei nicht bemerkter Entkopplung des Infusionssystems,250 bei mangelnder Sterilität der Infusionsflüssigkeit251 oder bei Luft in der Spülung bei einer Herzkatheteruntersuchung angenommen.252 Beruht die Fehlfunktion des intelligenten Medizinprodukts auf der Verwirklichung des der KI immanenten Intelligenzrisikos, ist allerdings fraglich, ob ein voll beherrschbares Behandlungsrisiko vorliegt.253 Grundsätzlich können die aus der Behandlung des Patienten resultierenden Gefahren beim Einsatz von medizinisch-technischen Geräten nach der Rechtsprechung des BGH in zwei Gefahrenbereiche bzw. -sphären eingeordnet werden. Risiken, die durch den Klinik- bzw. Praxisbetrieb gesetzt werden und durch dessen ordnungsgemäße Gestaltung ausgeschlossen werden können und müssen,254 sind dem Herrschafts- und Organisationsbereich des Arztes zuzuordnen. Bei solchen Gefahren handelt es sich daher um voll beherrschbare Risiken i. S. d. § 630h Abs. 1 BGB. Diese sind abzugrenzen „von den Gefahren, die aus den Unwägbarkeiten des menschlichen 241

BGH, NJW 2007, 1682, 1682; MüKo-BGB/Wagner, § 630h BGB Rn. 26. BT-DRS. 17/10488, S. 28; BGH, NJW 2007, 1683; BeckOGK-BGB/U. Walter, § 630h BGB Rn. 3. 243 Spickhoff/Greiner, MedR, §§ 823–839 BGB Rn. 264. 244 Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. XI Rn. 126; Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49; BT-DRS. 17/10488, S. 28. 245 BeckOK/Katzenmeier, § 630h BGB Rn. 21. 246 BGH, VersR 2007, 1416; BGH, NJW 1994, 1594; BGH, VersR 2007, 1416; BGH, VersR 1981, 462; OLG Köln, VersR 2000, 975; OLG Hamm, VersR 1980, 585; OLG Karlsruhe, MDR 2003, 1233. 247 BGH, NJW 1975, 2245. 248 BGH, NJW 1978, 584, 584 f.; OLG Hamm, VersR 1980, 585. 249 BGH, VersR 2007, 1416. 250 BGH, NJW 1984, 1400, 1401. 251 BGH, NJW 1982, 699, 699. 252 OLG Schleswig, Urt. v. 29. 8. 2014 – 4 U 21/13 –, juris Rn. 51 ff. 253 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49. 254 BGH, Beschl. v. 16. 8. 2016 – VI ZR 634/15 –, juris Rn. 6. 242

162

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

Organismus bzw. den Besonderheiten des Eingriffs in diesen Organismus erwachsen und deshalb der Patientensphäre zuzurechnen sind“.255 Kommt es infolge der Verwirklichung des Autonomierisikos der KI zu einem Gesundheitsschaden des Patienten, beruht dieser Gesundheitsschaden, sofern dieser tatsächlich „nur“ auf den Gerätefehler zurückzuführen ist, nicht auf einer besonderen Disposition des Patienten, sodass die Verwirklichung des Autonomierisikos zunächst nicht der Sphäre des Patienten zuzuordnen ist. Hingegen kann daraus nicht der Schluss gezogen werden, dass das Autonomierisiko automatisch dem voll beherrschbaren Bereich des Arztes zuzurechnen ist. Bei der Frage des beherrschbaren Behandlungsrisikos ist auf die Beherrschbarkeit des Geräts in der konkreten Situation abzustellen.256 Dass der Arzt den Einsatz des medizinisch-technischen Geräts als solches beherrschen kann, ist nicht ausreichend.257 Den von der Rechtsprechung entschiedenen Fällen zum Vorliegen eines voll beherrschbaren Risikos ist gemeinsam, „dass objektiv eine Gefahr besteht, deren Quelle jeweils festgestellt und die deshalb mit Sicherheit ausgeschlossen werden kann“258 bzw. dass die vom Arzt eingesetzten Medizingeräte vollständig steuerbar und unter Einhaltung der im Verkehr erforderlichen Sorgfalt nicht schädigend für den Patienten sind.259 Maßgeblich ist also, dass durch mögliche und wirtschaftlich zumutbare Sorgfaltsmaßnahmen ausgeschlossen werden kann, dass der Gesundheitsschaden auch bei sorgfaltsgemäßem Verhalten bzw. Einsatz eingetreten wäre.260 Bei KI-basierten Medizinprodukten ist die Feststellung der Fehlfunktion im Vergleich zu herkömmlichen medizinischen Geräten nicht so deutlich.261 Die Entscheidung über das „Ob“ des Einsatzes der KI ist für den Arzt voll beherrschbar. Allerdings ist das KI-basierte Medizinprodukt angesichts der bereits angesprochenen Autonomie in der konkreten Behandlungssituation gerade nicht voll beherrschbar. Selbst unter äußerster Einhaltung der im Verkehr erforderlichen Sorgfalt kann der Arzt das Gesundheitsrisiko des Patienten beim Einsatz von KI nicht auf null reduzieren; es verbleibt immer ein nicht auszuschließendes Restrisiko.262 Deshalb kann, anders als bei herkömmlichen medizinischen Geräten, die deterministisch arbeiten, nicht von der objektiven Fehlfunktion des KI-basierten Medizinprodukts auf einen Sorgfaltsverstoß des Arztes geschlossen werden.263 Hat der Arzt alle erforderlichen technischen und organisatorischen Kontrollmaßnahmen eingehalten, greift die Vermutungswirkung

255

BGH, Beschl. v. 16. 8. 2016 – VI ZR 634/15 –, juris Rn. 6. Katzenmeier, MedR 2021, 859, 861; BeckOK/Katzenmeier, § 630h Rn. 23. 257 Katzenmeier, MedR 2021, 859, 861; BeckOK/Katzenmeier, § 630h Rn. 23. 258 BGH, Beschl. v. 16. 8. 2016 – VI ZR 634/15 –, juris Rn. 6. 259 Vgl. OLG Karlsruhe, MDR 2003, 1233. 260 MüKo-BGB/Wagner, § 630h BGB Rn. 26. 261 Vgl. Laufs/Katzenmeier u. a./Katzenmeier, Arztrecht, Kap. XI Rn. 126. 262 Vgl. Spindler, in: FS Hart, 581, 594. 263 Vgl. Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49. 256

VI. Beweislast

163

nicht.264 Aus diesen Gründen ist die Fehlervermutung des § 630h Abs. 1 BGB auf den Einsatz von KI in dieser Hinsicht nicht anwendbar.265 Für alle anderen Risiken, die nicht auf das Intelligenzrisiko zurückzuführen sind (z. B. defektes Hardware-Teil des autonomen Medizinprodukts oder Unterbrechung der Internetverbindung) und für den Behandelnden vollbeherrschbar sind, findet die Fehlervermutung hingegen weiterhin Anwendung. In diesem Fall bestehen keine Besonderheiten gegenüber herkömmlichen Medizingeräten.266

2. Dokumentationspflicht Beweisrechtliche Konsequenzen haben daneben Dokumentationsmängel des Arztes.267 Eine für den Patienten wesentliche Informationsquelle für den Nachweis einer Pflichtverletzung des Arztes ist die gem. § 630f BGB zu führende Patientenakte, deren Einsicht der Arzt auf Verlangen des Patienten zu gewähren hat (§ 630g BGB).268 Dokumentationsmängel sind zwar keine Behandlungsfehler, sie können aber eine Vermutung gem. § 630h Abs. 3 BGB auslösen. Hiernach wird vermutet, dass der Arzt die medizinische Maßnahme nicht getroffen hat, wenn er eine medizinisch gebotene wesentliche Maßnahme und ihr Ergebnis entgegen § 630f Abs. 1 oder Abs. 2 BGB nicht in der Patientenakte aufgezeichnet hat oder die Patientenakte entgegen § 630f Abs. 3 BGB nicht aufbewahrt hat. Das KI-basierte Medizinprodukt muss dementsprechend technisch so ausgestaltet sein, dass der Arzt die dokumentationspflichtigen Umstände in die Patientenakte aufnehmen kann. Das bedeutet, dass das KI-System beispielsweise die Untersuchungsergebnisse, Befunde und Diagnosen so aufzeichnen und kenntlich machen muss, dass der Arzt diese Umstände in der Akte vermerken kann.269 Die Vermutung des § 630h Abs. 3 BGB greift auch dann ein, wenn der Arzt sich darauf beruft, er habe keine Kenntnis davon gehabt, welche dokumentationspflichtigen Maßnahmen das KI-System vorgenommen hat.270

264

So auch MüKo-BGB/Wagner, § 630h BGB Rn. 26; Katzenmeier, MedR 2021, 859, 861. Katzenmeier, MedR 2021, 859, 861; BeckOK/Katzenmeier, § 630h Rn. 23; Spindler, in: FS Hart, 581, 594; BeckOGK-BGB/Spindler, § 823 BGB Rn. 1070; BeckOGK-BGB/ U. Walter, § 630h BGB Rn. 2.2. Wohl auch Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49. A. A. Brand, MedR 2019, 943, 950; Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. 10.1.3.2 S. 126; W. Droste, MPR 2018, 109, 113. 266 So auch Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 49. 267 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 54. 268 MüKo-BGB/Wagner, § 630h BGB Rn. 58. 269 Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 56. 270 Hierzu ausführlicher Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn. 56. 265

164

D. Die Haftung des Arztes beim Einsatz von intelligenten Medizinprodukten

VII. Ergebnis und Bewertung der Haftung des Arztes Der Einsatz von intelligenten Medizinprodukten in der Medizin wird das Arzthaftungsrecht künftig auf die Probe stellen. Im Hinblick auf die Autonomie von KI besteht de lege lata Rechtsunsicherheit. Das Instrumentarium des Arzthaftungsrechts ist aber grundsätzlich flexibel genug, die Besonderheiten von KI zu berücksichtigen. Diese Anpassung ist nicht nur Aufgabe der Rechtsprechung, sondern auch diejenige des deutschen Gesetzgebers sowie der medizinischen Fachgesellschaften in Form von ärztlichen Leitlinien. Grundlegend neue Fragen stellen sich bei der Reichweite der Risikoaufklärung hinsichtlich des der KI immanenten Intelligenzrisikos. Angesichts des Selbstbestimmungsrechts des Patienten sollte der Arzt den Patienten stets über das Autonomierisiko informieren. Zudem sollte die Aufklärung in Bezug auf den Einsatz von KI-Systemen erweitert werden, um intelligente Medizinprodukte unterstützend einsetzen zu können oder sogar eine Aufklärung durch KI unter Einhaltung von Auswahl- und Überwachungspflichten zu ermöglichen.271 Hierfür bedarf es einer gesetzlichen Änderung von § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB. Ebenfalls bedarf es einer Konkretisierung des § 630h Abs. 1 BGB hinsichtlich des Intelligenzrisikos als vollbeherrschbares Risiko.272 Bei der Frage, ob der Einsatz von intelligenten Medizinprodukten behandlungsfehlerhaft war, kommt es maßgeblich darauf an, welche Überprüfungspflichten der Arzt beim Einsatz von intelligenten Medizinprodukten zu erfüllen hat. Zum jetzigen Zeitpunkt gibt es keinen anzulegenden Haftungsmaßstab anhand dem das pflichtgemäße Verhalten des Arztes gemessen werden könnte. Grundsätzlich sind die von der Rechtsprechung anhand einer Einzelfallkasuistik aufgestellten Sorgfaltspflichten im Rahmen des Einsatzes von herkömmlichen Medizinprodukten auf autonom agierende Medizinprodukte übertragbar. Sie tragen aber den Besonderheiten von KI nicht ausreichend Rechnung und müssen an den Einsatz von autonomen Medizinprodukten angepasst werden. Um die Reichweite der Überprüfungspflichten des Arztes zu ermitteln, kann eine Parallele zur vertikalen Arbeitsteilung zwischen vorgesetztem und nachgeordnetem ärztlichen Personal gezogen werden. Hiernach muss der Arzt das autonome Medizinprodukt stets mindestens einer Plausibilitätskontrolle unterziehen. Die Autonomie von KI kann ausreichend berücksichtigt werden, indem Rechtsprechung, Rechtswissenschaft, aber auch die medizinischen wissenschaftlichen Fachgesellschaften in Form von ärztlichen Leitlinien273 auf den ärztlichen Einsatz von KI zugeschnittene Sorgfaltsanforderungen entwickeln.274 Dabei ist auch der 271

So auch Spindler, in: FS Hart, 581, 602. So auch Spindler, in: FS Hart, 581, 602. 273 Ein umfangreicher Katalog ärztlicher Leitlinien findet sich unter AWMF online, https:// www.awmf.org/leitlinien/aktuelle-leitlinien.html#FK (zuletzt abgerufen am: 25. 11. 2022). 274 Vgl. Mühlböck/Taupitz, AcP 221 (2021), 179, 217. 272

VII. Ergebnis und Bewertung der Haftung des Arztes

165

jeweilige Grad an Autonomie in Rechnung zu stellen. Konkretisierte und angepasste Sorgfaltsanforderungen sollten insbesondere hinsichtlich der Auswahl, der für die Anwendung erforderlichen IT-Kenntnisse, das Anlernen, der Wartung und Überwachung der KI-basierten Medizinprodukte festgelegt werden.275 Dabei wird die Herausforderung bestehen, die Balance zu finden zwischen zu hohen Sorgfaltsanforderungen und dem ausreichenden Schutz des Patienten. Hierbei ist eine innovationshemmende Überregulierung möglichst zu vermeiden. Zusammenfassend kommt ein Sorgfaltspflichtverstoß beim Einsatz von intelligenten Medizinprodukten dann in Betracht, wenn der Arzt ein KI-basiertes Medizinprodukt fehlerhaft in Betrieb nimmt oder anwendet oder wenn er sich vor dem Einsatz nicht ausreichend mit der Funktionsweise vertraut macht. Außerdem kommt eine Haftung in Betracht, wenn der Arzt das autonome Medizinprodukt nicht in den vom Hersteller vorgegebenen Zeitabständen wartet, wenn er vor dem Einsatz keine umfassende Nutzen-Risiko-Abwägung vornimmt oder wenn die Anwendung unzureichend qualifiziertem Personal überlassen oder dieses nicht ausreichend überwacht wird.276 Ein Behandlungsfehler ist auch dann anzunehmen, wenn der Arzt das autonome Medizinprodukt nicht im erforderlichen Maße kontrolliert und überprüft. Auch das „Füttern“ des KI-Systems mit fehlerhaften Daten, die aus der Sphäre des Arztes stammen, kann eine Schadensersatzpflicht des Arztes auslösen. Keine Haftung begründet ein Fehler des Systems selbst (Konstruktions-, Fabrikations- oder Instruktionsfehler), wenn der Arzt diesen nicht erkennen konnte und er das System ordnungsgemäß eingesetzt und gewartet hat.277 In einem solchen Fall kommt lediglich eine Haftung des Herstellers in Betracht.

275

Vgl. Mühlböck/Taupitz, AcP 221 (2021), 179, 217. So auch Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 10. 277 Vgl. Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118, Heft 33–34, S. 10. 276

E. Ausblick – Haftung de lege ferenda Nach hier vertretener Auffassung ist das spezifische Autonomierisiko weder dem Hersteller noch dem Arzt zuzurechnen, sofern diese ihren Sorgfaltspflichten nachgekommen sind. Um diese „Haftungslücke“ zu schließen, wurden verschiedene Haftungskonzepte entwickelt, die im Folgenden in ihren Grundzügen dargestellt werden. Ob diese Lösungsansätze umsetzbar sind und welcher Ansatz die meisten Vorteile bietet, soll in dieser Arbeit nicht abschließend bewertet werden. De lege ferenda werden verschiedene Haftungskonzepte vorgeschlagen, um die Besonderheiten von KI zu berücksichtigen. Neben der Einführung einer E-Person (nachfolgend unter I.) wird in der Literatur eine analoge Anwendung der Regeln über vermutetes Verschulden diskutiert (nachfolgend unter II.). Weitaus größere Bedeutung im Zusammenhang mit der Haftung de lege ferenda hat der Verordnungsvorschlag der Europäischen Kommission zur Regelung von KI (nachfolgend unter III.). Schließlich wird auf den Entwurf des Europäischen Parlaments zur Einführung einer Gefährdungshaftung für Betreiber von KI-Systemen eingegangen (nachfolgend unter IV.).

I. Einführung einer E-Person und Fondslösung In der Literatur wird mitunter diskutiert, autonom agierende KI-Systeme bzw. Roboter selbst als sog. E-Person in Anspruch zu nehmen und mit einer eigenen „elektronischen“ Rechtspersönlichkeit auszustatten.1 Auch das Europäische Parlament sprach von der Idee eines eigenen Rechtsstatus von KI-Systemen.2 Es hat von diesem Vorschlag aber wieder Abstand genommen.3 Hintergrund dieses Vorschlags ist die Überlegung, dass sich autonom handelnde KI-Systeme an das Verhalten und die Entscheidungsprozesse des Menschen sehr weit annähern.4 Dieser Vorschlag 1 Siehe hierzu John, Haftung für KI, S. 372 ff.; Matthias, Automaten als Träger von Rechten, S. 85 ff., 241 ff.; Beck, JR 2009, 225, 229 f.; Beck, in: Hilgendorf, Günther (Hrsg.), Robotik und Gesetzgebung, 239, 255 ff.; Hilgendorf, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 119, 127 f.; Kritisch z. B. Brand, MedR 2019, 943, 947; Schaub, JZ 2017, 342, 345 f.; Spindler, CR 2015, 766, 774 f.; Wagner, ZEuP 2021, 545, 549 f.; Gless/Janal, JR 2016, 561, 571. Ablehnend auch Zech, DJT 2020 Gutachten A, S. 96 f., 111 Nr. 8. 2 Europäisches Parlament, Zivilrechtliche Regelungen im Bereich Robotik, Nr. 59 lit. f). 3 Wagner, ZEuP 2021, 545, 550. 4 Hierzu Beck, JR 2009, 225, 229 f.; Hilgendorf, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 119, 125 ff.

II. Analoge Anwendung von § 831 BGB

167

zielt darauf ab, dass ein Haftungssubjekt mit eigener Haftungsmasse geschaffen wird, das im Schadensfall vom Geschädigten in Anspruch genommen werden kann.5 Die Einführung eines neuen Rechtssubjekts führt im Ergebnis aber zu gravierenden Folgeproblemen: Als E-Person ist diese nun wie ein Mensch Trägerin von Rechten und Pflichten. Soll sie ihre Rechte auf Kosten von Menschen durchsetzen können und ist diese auch Grundrechtsträgerin? Wie soll das KI-System in die Pflicht genommen werden? Da die E-Person rechtsfähig und damit auch gleichzeitig parteifähig (§ 50 Abs. 1 ZPO) wäre, könnte sie im Rechtsstreit als eigene Partei auftreten und direkt verklagt und in Anspruch genommen werden. Wie aber kann das intelligente System eine Leistung erfüllen, zu der es verurteilt wurde? Zahlungsansprüche kann sie mangels Vermögens nicht befriedigen.6 Zur Lösung dieses Problems schlug das Europäische Parlament die Implementierung eines Versicherungssystems in Kombination mit staatlich kontrollierten Fonds vor, welches durch Hersteller, Betreiber oder Nutzer finanziert würde und im Schadensfall zum Ausgleich des Geschädigten dienen könnte.7 Durch die Schaffung einer eigenen Rechtspersönlichkeit für KI werden die Probleme nicht gelöst, sondern nur verschoben. Auch hier haftet letztlich der Hersteller, Betreiber oder Nutzer der KI (ggf. über eine Kapitalanlage für die Rechtspersönlichkeit) bzw. die von ihm bezahlte Versicherung.8 Angesichts der vielfältigen Folgeprobleme ist ein solcher Vorschlag abzulehnen.

II. Analoge Anwendung von § 831 BGB Neben der bereits angesprochenen analogen Anwendung von § 278 BGB wird in der Literatur eine analoge Anwendung des § 831 BGB, die Haftung des Geschäftsherrn für das Verhalten von Verrichtungsgehilfen, erwogen. Ähnlich wie im Rahmen der vertraglichen Haftung und der Analogie zu § 278 BGB könnte die KI im Bereich der deliktischen Haftung als (digitaler bzw. maschineller) Verrichtungsgehilfe des Arztes nach § 831 Abs. 1 S. 1 BGB qualifiziert werden.9 Anders als bei § 278 BGB scheitert eine analoge Anwendung von § 831 BGB nicht bereits an der mangelnden Rechtspersönlichkeit und dem Verschulden der KI, denn § 831 BGB 5

Hierzu Hilgendorf, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 119, 128; Schaub, JZ 2017, 342, 345 f. 6 Hierzu Haagen, Verantwortung für KI, S. 357. 7 Europäisches Parlament, Zivilrechtliche Regelungen im Bereich Robotik, Rn. 57, 58. 8 Grützmacher, CR 2021, 433, 437. 9 Bejahend: Denga, CR 2018, 69, 74 f.; Kluge/A. Müller, InTeR 2017, 24, 28; Zech, ZfPW 2019, 198, 211; Keßler, MMR 2017, 589, 593; Hacker, RW 2018, 243, 266. Gegen eine analoge Anwendung Schaub, JZ 2017, 342, 344, da das autonom agierende System nicht weisungsabhängig sei und auch Grützmacher, CR 2016, 695, 697 f. Ausführlich zur sog. digitalen Assistenzhaftung, Zech, DJT 2020 Gutachten A, S. 77 ff.

168

E. Ausblick – Haftung de lege ferenda

setzt kein Verschulden des Verrichtungsgehilfen voraus.10 Unabhängig davon, ob man eine solche Einordnung für sachgerecht erachtet, wird dem Arzt als Geschäftsherr der Entlastungsbeweis des § 831 Abs. 1 S. 2 BGB gelingen, wenn er seine Überwachungs- und Kontrollpflichten erfüllt hat.11 Daher würde eine analoge Anwendung zu keinem anderen Ergebnis führen und die Diskussion ist deshalb eine rein theoretische. Aus den gleichen Gründen ist eine Analogie zur Haftung des Aufsichtspflichtigen nach § 832 BGB oder zur Haftung des Nutztierhalters nach § 833 BGB abzulehnen. Wegen des Einsatzgebiets des intelligenten Medizinprodukts erschiene, wenn eine Vergleichbarkeit des KI-Systems und einem Tier überhaupt angenommen werden kann, die Haftung für Nutztiere nach § 833 S. 2 BGB analog näherliegend als eine analoge Haftung für Luxustiere (§ 833 S. 1 BGB).12 Nach beiden Vorschriften könnte der Betreiber bzw. Nutzer des intelligenten Medizinprodukts allerdings die Vermutung des Verschuldens widerlegen. Eine analoge Anwendung dieser Ausnahmevorschriften hilft dem Geschädigten im Schadensfall nicht weiter und sollte daher unterbleiben.13

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI Die EU-Kommission hat am 21. April 2021 einen Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) vorgelegt.14 Hintergrund einer europäischen Verordnung ist die Sorge vor einer Fragmentierung des Binnenmarkts, die durch einen einheitlichen Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung von KI vermieden werden soll.15 Der Schutz der Gesundheit von Menschen und der (Produkt-)Sicherheit zählen zu den Primärzielen des Vorschlags.16 Der KI-VO-E verfolgt, ähnlich wie die MDR, einen risikobasierten Ansatz und gilt sektorübergreifend für alle Produkte, die dem Begriff des KI-Systems unterfallen. Daher wird der KI-VO-E künftig auch auf KI-basierte Medizinprodukte(-Software) Anwendung 10

Spindler, in: FS Hart, 581, 596. Teubner, AcP 218 (2018), 155, 190; Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163, 190. 12 Brand, MedR 2019, 943, 949. 13 So auch Grützmacher, CR 2021, 433, 436. 14 Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union vom 21. 4. 2021, COM(2021) 206 final. Im Folgenden „KI-VO-E“. 15 Egrd. 1, 2 KI-VO-E. 16 Egrd. 1 KI-VO-E. 11

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 169

finden. Der Verordnungsvorschlag unterscheidet zwischen KI-Systemen mit unannehmbaren Risiken (Art. 5 KI-VO-E), Hochrisiko-KI-Systemen (Art. 6 KI-VO-E) und KI-Systemen mit geringem (Art. 52 KI-VO-E) oder minimalem Risiko (Art. 69 KI-VO-E).17 Letztere werden nur rudimentär geregelt.18 KI-Systeme, die ein unannehmbares Risiko darstellen, sind nach Art. 5 KI-VO-E gänzlich verboten. Der Schwerpunkt des KI-VO-E liegt auf der Regulierung von Hochrisiko-KI-Systemen.19 Der KI-VO-E enthält wie die MDR keine Haftungsvorschriften. Der KI-VO-E hat viele Gemeinsamkeiten mit der MDR. Hochrisiko-KI-Systeme müssen, ähnlich wie Medizinprodukte i. S. d. der MDR, grundlegende Sicherheitsanforderungen erfüllen. Die Systeme dürfen ebenfalls nur dann in Verkehr gebracht werden, wenn sie ein Konformitätsbewertungsverfahren erfolgreich durchlaufen haben, der Anbieter eine entsprechende EU-Konformitätserklärung ausgestellt (Art. 48 KI-VO-E) und das System mit der CE-Kennzeichnung gekennzeichnet hat (Art. 49 KI-VO-E). Schließlich gibt es Regelungen zur Marktbeobachtung und zur Marktüberwachung (Art. 61 ff. KI-VO-E). Viele Anforderungen, die die MDR an Medizinprodukte stellt, finden sich auch in dem KI-VO-E wieder. An einigen Stellen legt der KI-VO-E aber über die MDR hinausgehende formelle, prozessuale oder inhaltliche Voraussetzungen fest.20

1. Anwendungsbereich Medizinproduktesoftware (vgl. Art. 2 Nr. 1 MDR) unterliegt der MDR und muss den Vorschriften der MDR entsprechen. Die MDR unterscheidet dabei nicht zwischen klassischer Software und KI-basierter Software. Für letztere hält die MDR, wie bereits herausgearbeitet wurde, keine speziellen Vorschriften bereit.21 KI-basierte Medizinprodukte werden künftig auch in den Anwendungsbereich des KI-VO-E fallen, sodass beide nebeneinanderstehende Verordnungen auf KI-basierte medizinische Software Anwendung finden werden.22 Der Medizinproduktehersteller muss dann nicht nur die inhaltlichen Anforderungen der MDR, sondern auch die Vorschriften des KI-VO-E bei der Konzeption und Entwicklung seiner autonomen Medizinprodukte berücksichtigen.23

17

Begründung KI-VO-E, S. 15. Siehe Art. 69 KI-VO-E. 19 Wiebe, BB 2022, 899, 899. 20 Heil, MPR 2022, 1, 1. 21 Siehe Kap. C. VI. 1. b). 22 Heil, MPR 2022, 1, 6. 23 Heil, MPR 2022, 1, 6. 18

170

E. Ausblick – Haftung de lege ferenda

Der KI-VO-E gilt für das Inverkehrbringen,24 die Inbetriebnahme und die Verwendung von Systemen der künstlichen Intelligenz in der Union (Art. 1 lit. a) KIVO-E), wobei Art. 3 Nr. 1 KI-VO-E ein System der künstlichen Intelligenz (KISystem) definiert als „eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“. Anhang I KI-VO-E zählt Konzepte des maschinellen Lernens (Deep Learning, lit. a)), logik- und wissensgestützte Konzepte (lit. b)), statistische Ansätze sowie Bayessche Schätz-, Such- und Optimierungsverfahren (lit. c)) auf. Problematisch an diesem zwar offenen, aber zu weitreichenden Begriffsverständnis ist, dass nach dem Wortlaut von Anhang I lit. c) KI-VO-E auch klassisch programmierte Software erfasst wird, die nach dem eigentlichen Begriffsverständnis von KI nicht unter den Anwendungsbereich der Verordnung fallen sollte.25 Auch nicht KI-gestützte Software kann auf Basis von „statistischen Ansätzen“ und „Such- und Optimierungsverfahren“ arbeiten.26 Daher würden auch nicht KI-basierte Softwareanwendungen mit einer medizinischen Zweckbestimmung, die Patientendaten auswerten und Empfehlungen aussprechen, unter die Definition der KI i. S. v. Art. 3 Nr. 1 KI-VO-E fallen, da auch diese mit dem Umfeld interagieren und dieses beeinflussen.27 Der Wortlaut der Definition des KISystems oder zumindest Anhang I sollten daher so angepasst werden, dass ein gewisser Autonomiegrad des KI-Systems vorausgesetzt wird, der typisch ist für die eigene Weiterentwicklung des Algorithmus oder die Begriffe „Unvorhersehbarkeit“ und „Blackbox-Effekt“ erwähnt. Erst wenn eine Software einen gewissen Autonomiegrad erreicht hat, sollte sie unter den Anwendungsbereich des KI-VO-E fallen.28 Hinsichtlich des personellen Anwendungsbereichs ist Art. 2 KI-VO-E maßgebend. Der Vorschlag gilt gem. Art. 2 Abs. 1 lit. a) und b) KI-VO-E für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anwender in der Union oder in einem Drittland niedergelassen sind und für Nutzer von KI-Systemen, die sich in der Union befinden. Unglücklicherweise entsprechen die Begriffsbestimmungen für den relevanten Personenkreis teilweise nicht denjenigen der MDR. Der „Anbieter“ eines KI-Systems ist mit dem „Her-

24 Zum Begriff des Inverkehrbringens Art. 3 Nr. 9 KI-VO-E; es entspricht dem Inverkehrbringen nach der MDR (Art. 2 Nr. 28 MDR) und dem ProdHaftG. 25 Heil, MPR 2022, 1, 4; Heil, PharmR 2022, 473, 475; Steege, MMR 2022, 926, 927 f. 26 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 178; Heil, MPR 2022, 1, 4; Thiermann/Böck, RDi 2022, 333, 334. 27 Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 178; Heil, MPR 2022, 1, 4; Handorn/Juknat, MPR 2022, 77, 79. 28 Heil, MPR 2022, 1, 4. In diese Richtung auch schon Egrd. 6 KI-VO-E; vgl. Spindler, CR 2021, 361, 363.

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 171

steller“ eines Medizinprodukts i. S. d. MDR gleichzustellen.29 Unklar ist, warum der europäische Gesetzgeber in den Verordnungen unterschiedliche Begriffe verwendet. Inhaltlich ändert sich dadurch aber nichts. Der Medizinproduktehersteller von intelligenten Medizinprodukten, insbesondere von KI-basierter Medizinproduktesoftware, ist Anbieter i. S. d. KI-VO-E und Hersteller i. S. d. MDR. Verbaut der Medizinproduktehersteller Software in Hardware-Medizinprodukte und werden diese zusammen unter dem Namen des Medizinprodukteherstellers in Verkehr gebracht oder in Betrieb genommen, so übernimmt er die Verantwortung für die Konformität des KI-Systems mit dem KI-VO-E und hat in Bezug auf das KISystem dieselben Pflichten, die dem Anbieter durch die KI-VO-E auferlegt werden (Art. 24 KI-VO-E). Das bedeutet, dass der Medizinproduktehersteller nicht nur die Pflichten der MDR hinsichtlich des von ihm hergestellten Hardware-Medizinprodukts erfüllen muss. Er muss auch sicherstellen, dass die inhaltlichen Anforderungen des KI-VO-E eingehalten werden, wobei er hierbei auf die Informationen des eigentlichen Entwicklers bzw. Anbieters der KI-basierten Software angewiesen ist.30 Wesentlich übersichtlicher wäre es, die Anforderungen an KI-basierte Medizinprodukte in der MDR zu regeln, die dem Hersteller in Form der MDR als einheitliche und gebündelte Vorschriftensammlung zur Verfügung stünde.31

2. Klassifizierung intelligenter Medizinproduktesoftware als Hochrisiko-KI-System Medizinische Software, die als eigenständiges Medizinprodukt klassifiziert wird, wird entsprechend Regel 11 (Anhang VIII Ziffer 6.3 MDR) regelmäßig mindestens als Klasse-IIa-Medizinprodukt eingeordnet. Bei der erforderlichen CE-Zertifizierung bedarf es deshalb der Mitwirkung einer Benannten Stelle.32 Eine Eingruppierung in Klasse I und einer damit verbundenen Selbstzertifizierung durch den Hersteller wird nur ausnahmsweise erfolgen,33 wobei die in dieser Arbeit thematisierten KI-basierten Diagnose-Entscheidungshilfen und therapeutischen Maßnahmen nicht in Klasse I fallen.

29 Siehe hierzu Art. 3 Nr. 2 KI-VO-E. Hiernach ist ein Anbieter eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke, entgeltlich oder unentgeltlich, in Verkehr zu bringen oder in Betrieb zu nehmen. Hersteller i. S. v. Art. 2 Nr. 30 MDR ist eine natürliche oder juristische Person, die ein Produkt herstellt oder als neu aufbereitet bzw. entwickeln, herstellen oder als neu aufbereiten lässt und dieses Produkt unter ihrem eigenen Namen oder ihrer eigenen Marke vermarktet. 30 Heil, MPR 2022, 1, 8. 31 Heil, MPR 2022, 1, 8. 32 Siehe hierzu Kap. C. V. 3. 33 Heil, MPR 2022, 1, 6.

172

E. Ausblick – Haftung de lege ferenda

Regel 11 (Anhang VIII Ziffer 6.3 MDR) wirkt sich gleichzeitig auf die Klassifizierung der KI-basierten Medizinproduktesoftware als Hochrisiko-KI-System unter dem KI-VO-E aus. Für die Einordnung als Hochrisiko-KI-System stellt Art. 6 Abs. 1 KI-VO-E i. V. m. Anhang II Nr. 11 KI-VO-E darauf ab, ob das KI-System als Sicherheitskomponente eines unter die MDR fallenden Produkts verwendet wird oder selbst ein solches Produkt ist (Art. 6 Abs. 1 lit. a) KI-VO-E) und es einer Konformitätsbewertung durch eine Benannte Stelle im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme des Produkts nach der MDR bedarf (Art. 6 Abs. 1 lit. b) KI-VO-E). Beide Voraussetzungen werden von KI-basierter Medizinproduktesoftware erfüllt, da nahezu jede in der Medizin eingesetzte Software nach der Klassifizierungsregel 11 der MDR der Klasse IIa oder höher angehören und somit einer Konformitätsbewertung durch eine Benannte Stelle unterliegen. Auch Embedded KI-Software, die ein Medizinprodukt steuert oder beeinflusst, kann als Hochrisiko-KI-System eingestuft werden (als sog. Sicherheitskomponente oder als eigenständiges Medizinprodukt gem. Art. 6 Abs. 1 KI-VO-E).34 KI-basierte Medizinprodukte sind mithin fast ausnahmslos als Hockrisiko-KI-Systeme einzustufen.35 Daraus folgt, dass der Medizinproduktehersteller nicht nur die Anforderungen der MDR, sondern auch die weitreichenden und strengeren Anforderungen des KI-VO-E für Hochrisiko-KI-Systeme befolgen muss.

3. Anforderungen des Anbieters von Hochrisiko-KI-Systemen Die Anforderungen, die Hochrisiko-KI-Systeme erfüllen müssen, sind in Art. 8 ff. KI-VO-E geregelt (Art. 16 KI-VO-E als sog. Scharniernorm). Gemeinsamkeiten mit den Anforderungen nach der MDR bestehen hinsichtlich der Einrichtung eines Risiko- und Qualitätsmanagementsystems. Nach Art. 9 Abs. 1 KI-VO-E muss ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten werden. Die inhaltlichen Vorgaben des Risikomanagementsystems entsprechen im Wesentlichen dem Risikomanagementsystem der MDR. Insbesondere die Ermittlung, Analyse und Bewertung von Risiken und die Ergreifung entsprechender Risikomanagementmaßnahmen werden von beiden Verordnungen verpflichtend vorgeschrieben.36 Zusätzlich sind bei Hochrisiko-KI-Systemen mittels Testverfahren vor dem Inverkehrbringen oder der Inbetriebnahme während des gesamten Entwicklungsprozesses die geeigneten Risikomanagementmaßnahmen zu ermitteln und das bestimmungsgemäße Funktionieren und die Einhaltung der Anforderungen nach dem KI-VO-E sicherzustellen.37 Art. 9 Abs. 4 KI-VO-E erlaubt, genau wie Anhang I Ziffer 4 MDR, ein gewisses, wohl abgewogenes und verhältnismäßiges Restrisiko, 34

Siehe hierzu Fuderer, MPR 2022, 121, 123. Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 177. 36 Siehe hierzu Art. 10 Abs. 2 i. V. m. Anhang I Ziffer 3, 8 MDR und Art. 9 Abs. 2, 4 KIVO-E. 37 Art. 9 Abs. 5, 7 KI-VO-E. 35

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 173

sodass auch nach dem KI-VO-E keine hundertprozentige Sicherheit gefordert wird. Dies wird durch Art. 9 Abs. 4 S. 3 lit. b) KI-VO-E bestätigt, wonach angemessene Minderungs- und Kontrollmaßnahmen für nicht auszuschließende Risiken gefordert werden.38 Das Qualitätsmanagementsystem dient ebenso wie das nach der MDR einzurichtende Qualitätsmanagementsystem dazu, die Einhaltung des KI-VO-E zu gewährleisten.39 Inhaltlich ergeben sich auch hier keine wesentlichen Unterschiede. Da die Entscheidungsprozesse der KI wesentlich von der Qualität der Daten abhängen, regelt der Verordnungsvorschlag in Art. 10 KI-VO-E die Anforderungen im Hinblick auf Daten und Datenverwaltungsverfahren. Hochrisiko-KI-Systeme, in denen Techniken eingesetzt werden, bei denen Modelle mit Daten trainiert werden, müssen mit relevanten, repräsentativen, fehlerfreien und vollständigen Trainings-, Validierungs- und Testdatensätzen entwickelt werden (Art. 10 Abs. 1, 3 S. 1 KI-VOE). Die Einhaltung von fehlerfreien und vollständigen Trainingsdatensätzen dürfte für den Hersteller angesichts der großen Datenmengen, die KI-basierte Medizinproduktesoftware verarbeiten kann, praktisch kaum umsetzbar sein. Auch dürften repräsentative Datensätze bei seltenen Krankheiten nur schwer zu finden sein.40 Ebenfalls adressiert der Vorschlag Aufzeichnungs- und Protokollierungspflichten. Der Medizinproduktehersteller muss das KI-basierte Medizinprodukt mithin so konzipieren und entwickeln, dass eine automatische Aufzeichnung von Vorgängen und Ereignissen („Protokollierung“) während des Betriebs des Systems ermöglicht wird (Art. 12 Abs. 1 KI-VO-E). Dass eine solche Protokollierungspflicht im Hinblick auf das Blackbox-Problem und die Beweisführung sinnvoll ist, wurde bereits herausgestellt.41 Die Einführung einer solchen Pflicht ist deshalb sachgerecht und zu befürworten. Die technische Umsetzbarkeit der Aufzeichnung von internen Vorgängen der KI (Blackbox) lässt sich zum jetzigen Zeitpunkt noch nicht abschließend beurteilen. Aus den gleichen Gründen ist fraglich, ob die nach Art. 13 Abs. 1 KI-VOE geforderte Transparenz für den „Betrieb“ von Hochrisiko-KI-Systemen für Blackbox-Software vom Hersteller umsetzbar ist.42 Auch die wichtige bereits angesprochene Mensch-Maschine-Interaktion wird in Art. 14 KI-VO-E geregelt. Der Medizinproduktehersteller muss das KI-System folglich so konzipieren und entwickeln, dass der Arzt das Medizinprodukt wirksam beaufsichtigen kann und mögliche Restrisiken, die trotz bestimmungsgemäßer Verwendung und Einhaltung der Vorschriften des KI-VO-E fortbestehen, wirksam

38

Vgl. Spindler, CR 2021, 361, 366. Art. 17 Abs. 1 KI-VO-E und Art. 9 UAbs. 2, 3 MDR. 40 Heil, MPR 2022, 1, 9; Ströbel/Grau, ZD 2022, 599, 604; Marx/Gladkov, MPR 2022, 37, 40; vgl. Steege/Chibanguza, SVR 2022, 401, 403; Linardatos, GPR 2022, 58, 64. 41 Siehe hierzu Kap. C. X. 42 Heil, MPR 2022, 1, 9. 39

174

E. Ausblick – Haftung de lege ferenda

ausgeschlossen bzw. verringert werden können.43 Insbesondere muss das System so programmiert sein, dass der Arzt die Fähigkeiten und Grenzen des Medizinprodukts vollständig verstehen und seinen Betrieb ordnungsgemäß überwachen kann, um mögliche Anomalien oder Fehlfunktionen so schnell wie möglich erkennen und beheben zu können.44 Dient das KI-basierte Medizinprodukt zur Entscheidungsempfehlung, muss sich der Arzt dieser nur unterstützenden Funktion bewusst sein und darf dem System nicht automatisch oder übermäßig stark vertrauen.45 Daneben muss eine menschliche Aufsicht gewährleistet werden, die vor dem Inverkehrbringen vom Medizinproduktehersteller in das System eingebaut oder vom Arzt implementiert werden muss (Art. 14 Abs. 3 KI-VO-E). Die Maßnahmen müssen den Arzt in die Lage versetzen, in einer bestimmten Situation zu beschließen, das System ggf. nicht zu verwenden, das Entscheidungsergebnis der KI richtig zu interpretieren und u. U. nicht zu berücksichtigen sowie in den Betrieb des Systems einzugreifen, indem es auf Konstruktionsebene bereits mit einer „Stopptaste“ oder einem ähnlichen unterbrechenden Verfahren auszustatten ist.46 Die Implementierung von Cybersicherheitsmaßnahmen ist ferner in Art. 15 KI-VO-E geregelt. Es handelt sich bei diesen Vorschriften mithin um Konstruktionsanforderungen, die der Hersteller neben den Vorgaben der MDR im Rahmen seiner Konstruktionspflichten berücksichtigen muss. Die instruktiven Anforderungen sind ferner in Art. 13 Abs. 2 und 3 KI-VO-E geregelt. Bei der Produktbeobachtungspflicht des Medizinprodukteherstellers sind die Überwachungsmaßnahmen gem. Art. 83 ff. MDR nach Inverkehrbringen des Medizinprodukts zu berücksichtigen. Die zum Teil fast wortlautidentischen Pflichten sind auch dem KI-VO-E zu entnehmen (Art. 61 KI-VO-E). Art. 61 Abs. 4 UAbs. 1 KI-VO-E bestimmt, dass bei Hochrisiko-KI-Systemen, die unter die MDR fallen und für die bereits nach der MDR ein System zur Beobachtung nach dem Inverkehrbringen sowie ein entsprechender Plan festgelegt wurden, die in Art. 61 Abs. 1 bis 3 KI-VO-E genannten Elemente ggf. in dieses System bzw. in diesen Plan aufgenommen werden müssen. Neu und für die Produktbeobachtungspflicht von Bedeutung ist die Regelung des Art. 21 S. 1 KI-VO-E: Der Anbieter muss unverzüglich erforderliche Korrekturmaßnahmen ergreifen, um die Konformität des KI-Systems mit den Anforderungen des KI-VO-E wiederherzustellen oder er muss es ggf. zurücknehmen oder zurückrufen. Eine Rückrufpflicht könnte daher über die bisher von der Rechtsprechung eher restriktiv zugesprochenen aktiven Produktbeobachtungspflichten hinausgehen.47 Insgesamt finden sich viele Voraussetzungen in dem Entwurf wieder, die bereits oben bei der Herstellerhaftung nach dem ProdHaftG angesprochen wurden und in der 43

Art. 14 Abs. 1, 2 KI-VO-E. Art. 14 Abs. 4 lit. a) KI-VO-E. 45 Art. 14 Abs. 4 lit. b) KI-VO-E. 46 Art. 14 Abs. 4 lit. c), d), e) KI-VO-E. 47 Grützmacher, CR 2021, 433, 440. Vgl. hierzu auch Art. 95 Abs. 1 MDR.

44

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 175

MDR nicht geregelt sind. Allerdings drohen durch den Verordnungsvorschlag eine Doppelregulierung und Rechtsunsicherheit für den Medizinproduktehersteller von KI-basierten Medizinprodukten. Dieser muss künftig nicht nur die Pflichten der MDR beachten, sondern muss die Pflichten mit denjenigen des KI-VO-E vergleichen, um allen Pflichten nach der MDR und des KI-VO-E erfüllen zu können.

4. Anforderungen des Nutzers von Hochrisiko-KI-Systemen Der KI-VO-E hat zudem Auswirkungen auf die Pflichten des Arztes als Nutzer des Hochrisiko-KI-Systems. Nutzer ist nach der Begriffsbestimmung des Art. 3 Nr. 4 KI-VO-E jede natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KISystem wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Da der Arzt das KI-System in eigener Verantwortung im Rahmen seiner beruflichen Tätigkeit verwendet, ist er als Nutzer eines KI-Systems anzusehen. Er muss daher nach Art. 29 Abs. 1, 4 KI-VO-E das System entsprechend der beigefügten Gebrauchsanweisung verwenden und überwachen, wobei die Organisation seiner eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Medizinproduktehersteller angegebenen Maßnahmen der menschlichen Aufsicht unberührt bleibt (Art. 29 Abs. 2 KI-VO-E). Der KI-VO-E statuiert mithin erstmalig eine Beobachtungs- bzw. Überwachungspflicht des Nutzers. Zudem muss der Arzt schwerwiegende Vorfälle oder Fehlfunktionen i. S. v. Art. 62 KI-VO-E oder bei Risiken i. S. d. Art. 65 Abs. 1 KI-VO-E dem Anbieter melden und eine Verwendung des KI-Systems unterbrechen (Art. 29 Abs. 4 UAbs. 1 S. 2, 3 KI-VO-E). Darüber hinaus hat der Arzt, der ein Hochrisiko-KI-System einsetzt, die von dem System automatisch erzeugten und seiner Kontrolle unterliegenden Protokolle für einen Zeitraum aufzubewahren, der der Zweckbestimmung des KI-Systems und den geltenden rechtlichen Verpflichtungen nach Unionsrecht oder nationalem Recht angemessen ist.48 Diese Regelung ist angesichts der angesprochenen Beweisschwierigkeiten des Patienten im Schadensfall von besonderer Bedeutung. Keine Regelung findet sich hinsichtlich des Trainings von KI-Systemen wieder, die häufig vom Nutzer durchgeführt werden. Hier bietet lediglich Art. 29 Abs. 3 KI-VO-E einen Anhaltspunkt. Hiernach müssen die Eingabedaten der Zweckbestimmung des KI-Systems entsprechen.49 Eine Regelung hinsichtlich des ordnungsgemäßen Trainings von KI-Systemen in Bezug auf Dauer, Häufigkeit und inhaltliche Angaben wäre begrüßenswert.

48 49

Art. 29 Abs. 5 UAbs. 1 KI-VO-E. Vgl. Spindler, CR 2021, 361, 369.

176

E. Ausblick – Haftung de lege ferenda

5. Das Verhältnis von MDR und KI-VO-E Aus dem vorherigen Abschnitt ergibt sich, dass die Vorschriften der MDR und des KI-VO-E auf KI-basierte Medizinproduktesoftware Anwendung finden. Ungeklärt ist, in welchem Verhältnis die Vorschriften zueinanderstehen. Weder die MDR noch der KI-VO-E geben klare Hinweise auf deren Zusammenspiel. Zu ermitteln ist deshalb, ob der Hersteller die zum Teil parallelen Anforderungen der MDR und des KI-VO-E getrennt voneinander erfüllen muss oder ob er sie durch ein gemeinsames Verfahren zusammen erfüllen kann.50 Unbedingt zu vermeiden ist eine innovationshemmende und widersprüchliche Doppelregulierung, die dem Medizinproduktehersteller die Entwicklung von autonomen Medizinprodukten wesentlich erschwert.51 Hinsichtlich der technischen Dokumentation gibt Art. 11 Abs. 2 KI-VO-E vor, dass für ein Hochrisiko-KI-System, das mit einem Produkt verbunden ist, das unter die in Anhang II Abschnitt A aufgeführten Rechtsakte fällt, in Verkehr gebracht oder in Betrieb genommen wird, nur eine einzige technische Dokumentation erstellt wird, die alle in Anhang IV genannten Informationen sowie die nach diesen Rechtsakten erforderlichen Informationen enthält. Von Anhang II Abschnitt A Ziffer 11 KI-VOE ist auch die MDR erfasst, sodass für das Inverkehrbringen oder die Inbetriebnahme eines Hochrisiko-KI-Systems, das mit einem Medizinprodukt i. S. d. MDR verbunden ist, nur eine technische Dokumentation erstellt werden muss. Nach dem Wortlaut bezieht sich Art. 11 Abs. 2 KI-VO-E nur auf Medizinprodukte, die mit einem Hochrisiko-KI-System verbunden sind. Die Vorschrift sollte aber erst recht auf Medizinprodukte Anwendung finden, die selbst ein Hochrisiko-KI-System sind. Eine gesetzgeberische Klarstellung sollte an dieser Stelle vorgenommen werden, um Unsicherheiten und eine andere Auslegung zu vermeiden.52

6. Konformitätsbewertung nach MDR und KI-VO-E Beide Verordnungen sehen vor dem Inverkehrbringen die Durchführung eines Konformitätsbewertungsverfahrens und eine anschließende CE-Kennzeichnung vor.53 Diesbezüglich bestimmt Art. 43 Abs. 3 UAbs. 1 S. 1 KI-VO-E, dass bei Hochrisiko-KI-Systemen, die unter die MDR fallen, nur ein Konformitätsbewertungsverfahren nach der MDR durchzuführen ist. Bei der Konformitätsbewertung sind nach Art. 43 Abs. 3 S. 1 KI-VO-E die Anforderungen des KI-VO-E (Art. 8 bis 15 KI-VO-E) für diese Hochrisiko-KI-Systeme zu erfüllen und in die Bewertung mit einzubeziehen. Für die Bewertung der Einhaltung der KI-spezifischen Vorschriften des KI-VO-E ist die nach der MDR notifizierte Benannte Stelle berechtigt. Dafür ist 50

Vgl. Heil, MPR 2022, 1, 7. Vgl. Heil, MPR 2022, 1, 7; Marx/Gladkov, MPR 2022, 37, 40. 52 Heil, MPR 2022, 1, 7. 53 Art. 20 i. V. m. Art. 52 MDR und Art. 16 lit. e), i) i. V. m. Art. 19, 48, 49 KI-VO-E. 51

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 177

erforderlich, dass die Benannte Stelle die Anforderungen des Art. 33 Abs. 4, 9 und 10 KI-VO-E erfüllt (Art. 43 UAbs. 2 KI-VO-E). Während die von Art. 33 Abs. 4 KIVO-E geforderte wirtschaftliche und inhaltliche Unabhängigkeit von Anbietern des Hochrisiko-KI-Systems und anderen Akteuren und Wettbewerbern von der nach der MDR notifizierten Benannten Stelle noch relativ leicht gewährleistet werden kann, sieht dies für die Anforderungen nach Art. 33 Abs. 9 und 10 KI-VO-E anders aus. Hiernach müssen die Benannten Stellen die erforderliche Fachkompetenz für die ihnen durch den KI-VO-E zufallenden Aufgaben haben (Art. 33 Abs. 9 KI-VO-E). Eine Auslagerung dieser Aufgaben an externe Dritte ist nach dem Vorschlag erlaubt, sie erfordert von der Benannten Stelle aber eine ausreichende interne Kompetenz, um die von externen Stellen in ihrem Namen wahrgenommenen Aufgaben wirksam beurteilen zu können (Art. 33 Abs. 10 S. 1 KI-VO-E).54 Dazu muss die Benannte Stelle jederzeit für jedes Konformitätsbewertungsverfahren und für jede Art von Hochrisiko-KI-Systemen, für die sie benannt wurde, ständig über ausreichendes administratives, technisches und wissenschaftliches Personal verfügen, das die entsprechenden Erfahrungen und Kenntnisse in Bezug auf einschlägige KI-Technik, Daten und Datenverarbeitung sowie die inhaltlichen Anforderungen an HochrisikoKI-Systeme besitzt (Art. 33 Abs. 10 S. 2 KI-VO-E). Dieses inhaltliche an KI-Spezifika geknüpfte Fachwissen dürfte nicht von allen der nach jetzigem Stand nach der MDR notifizierten Benannten Stellen nachgewiesen werden können.55 Der bereits bestehende Engpass von notifizierten Benannten Stellen nach der MDR dürfte sich im Hinblick auf Benannte Stellen für Anbieter von KI-basierten Medizinprodukten noch weiter verschärfen.56

7. Zertifizierung von (selbstlernender) KI-basierter Medizinproduktesoftware Es wurde bereits festgestellt, dass eine Zertifizierung von selbstlernenden intelligenten Medizinprodukten nach der MDR mangels Verifizierung und Validierung von offenen KI-Systemen praktisch nicht möglich ist. Die MDR erlaubt derzeit keine Zertifizierung von selbstlernfähigen KI-Systemen. Zumindest müsste jede Änderung, die die Sicherheit und Leistungsfähigkeit des Produkts oder die für das Produkt vorgeschriebenen Anwendungsbedingungen beeinträchtigen können,57 durch die Benannte Stelle überprüft und entsprechend einem neuen Konformitätsbewertungsverfahren unterzogen werden.58 Dies schließt eine Änderung des KI-Algorithmus während des Betriebs des autonomen Medizinprodukts praktisch aus, da der 54

Hierzu Fuderer, MPR 2022, 121, 125. Heil, MPR 2022, 1, 9. 56 Heil, MPR 2022, 1, 9; Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 181; Marx/Gladkov, MPR 2022, 37, 40. 57 Anhang IX Ziffer 4.10 S. 1 MDR. 58 Siehe hierzu Kap. C. V. 3. 55

178

E. Ausblick – Haftung de lege ferenda

Hersteller Gefahr läuft, dass die Konformitätsbewertung die neue Produktänderung nicht erfasst und sein Medizinprodukt über kein erforderliches CE-Kennzeichen verfügt. Es stellt sich daher die Frage, ob der KI-VO-E an dieser Stelle weiterhelfen kann, um die Zertifizierung von (selbstlernenden) autonomen Medizinprodukten zu ermöglichen. Der KI-VO-E sieht kein spezielles Zertifizierungsverfahren für dynamische KI vor. Nach Art. 43 Abs. 3 UAbs. 1 S. 1 KI-VO-E ist nur ein Konformitätsbewertungsverfahren nach der MDR unter Einbeziehung der Anforderungen nach dem KI-VO-E durchzuführen. Zur Risikoreduzierung setzt Art. 15 Abs. 3 UAbs. 3 KI-VO-E bei selbstlernenden Hochrisiko-KI-Systemen voraus, dass sie so zu entwickeln sind, dass auf möglicherweise verzerrte Ergebnisse, die durch eine Verwendung vorheriger Ergebnisse als Eingabedaten für den künftigen Betrieb entstehen („Rückkopplungsschleifen“), angemessen mit geeigneten Risikominderungsmaßnahmen reagiert wird. Daneben stellt Art. 43 Abs. 4 UAbs. 2 KI-VO-E bei dazulernenden Hochrisiko-KI-Systemen klar, dass bestimmte Änderungen, die vom Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab erkannt, bestimmt und geprüft worden sind, nicht als wesentliche Änderungen59 gelten und damit keinem neuen Konformitätsbewertungsverfahren unterzogen werden müssen. Im Vorfeld erkannte Änderungen des KI-Systems können folglich im ursprünglichen Konformitätsbewertungsverfahren beschrieben und in die Risiko-Abwägung einbezogen werden. In diesem Fall bedarf es keines erneuten Konformitätsbewertungsverfahrens. Diese Regelung hilft dem Medizinproduktehersteller von KI-basierten Medizinprodukten allerdings nicht weiter. Die Durchführung des Konformitätsverfahrens ist nach der MDR vorzunehmen, die eine entsprechende Regelung nicht kennt. An dieser Stelle sollte der europäische Gesetzgeber dringend nachbessern und eine entsprechende Regelung in der MDR aufnehmen oder Art. 43 Abs. 4 UAbs. 2 KIVO-E ausdrücklich auch für das Konformitätsbewertungsverfahren nach der MDR für anwendbar erklären.60

8. Bedeutung des KI-VO-E für intelligente Medizinprodukte Künftig wird der Hersteller von KI-basierter Medizinproduktesoftware bei der Konzeption und Entwicklung seiner Produkte nicht nur die Vorschriften der MDR, sondern auch diejenigen des KI-VO-E berücksichtigen müssen. Eine Verordnung, die die Besonderheiten von KI adressiert und verbindlich regelt, ist zur Vermeidung von Rechtsunsicherheit grundsätzlich zu befürworten. Aus den beiden Verordnungen 59 Eine „wesentliche Änderung“ ist gem. Art. 3 Ziffer 23 KI-VO-E eine Änderung des KISystems nach dessen Inverkehrbringen oder Inbetriebnahme, die sich auf die Konformität des KI-Systems mit den Anforderungen in Art. 8 bis 15 KI-VO-E auswirkt oder zu einer Änderung der Zweckbestimmung führt, für die das KI-System geprüft wurde. 60 Vgl. Heil, MPR 2022, 1, 10.

III. Verordnungsvorschlag der Europäischen Kommission zur Regulierung von KI 179

ergibt sich allerdings ein ergänzendes, zum Teil auch überlappendes System, das für den Hersteller undurchsichtig ist und die Gefahr einer zu strengen Doppelregulierung birgt, ohne einen Mehrwert an Gesundheitsschutz und Sicherheit zu gewähren. Es drängt sich zudem die Frage auf, ob der Medizinproduktehersteller die parallelen Anforderungen der MDR und des KI-VO-E getrennt voneinander erfüllen muss oder ob ein Nachweis der Einhaltung in einem einheitlichen Verfahren ausreichend ist. Das Zusammenspiel von MDR und KI-VO-E bedarf daher einer weiteren Klarstellung, vorzugswürdig durch den europäischen Gesetzgeber selbst. Vorzugswürdig wäre eine Regulierung der speziellen Regelungen zu KI-basierter Medizinproduktesoftware in der MDR selbst, um eine einheitliche und widerspruchsfreie Regulierung sicherzustellen. Insgesamt nimmt die Komplexität der vom Medizinproduktehersteller zu erfüllenden Anforderungen für intelligente Medizinprodukte erheblich zu. Mit dem KIVO-E werden neben den produktspezifischen Normen der MDR künftig auch horizontale Vorschriften existieren. Die Beachtung des „allgemein anerkannten Stands der Technik“ (Anhang I Ziffer 1 MDR und Art. 9 Abs. 3 S. 2 KI-VO-E) wird für den Hersteller immer schwieriger, da schon jetzt eine Vielzahl von Organisationen technische Normen und Standards von KI-Software entwickeln und eine Fülle von verschiedenen technischen Regelwerken zu erwarten ist.61 Darüber hinaus kann die Europäische Kommission im Wege von Durchführungsrechtsakten gemeinsame Spezifikationen62 für die Sicherheits- und Leistungsanforderungen festschreiben, wenn es keine harmonisierten Normen gibt oder die bestehenden relevanten harmonisierten Normen nicht ausreichend sind. Eine solche Ermächtigung sieht sowohl die MDR in Art. 9 Abs. 1 MDR als auch der KIVO-E in Art. 41 Abs. 1 KI-VO-E vor. Diese von der Kommission erlassenen gemeinsamen Spezifikationen haben dann, anders als technische Normen von Normungsorganisationen, rechtsverbindlichen Charakter.63 Hier wird noch einmal deutlich, dass die Abstimmung von MDR und KI-VO-E von wesentlicher Bedeutung ist, um Widersprüche und Doppelregulierungen auch im Hinblick von gemeinsamen Spezifikationen zu vermeiden. Auf zivilrechtlicher Ebene wird der KI-VO-E vor allem im Rahmen von § 823 Abs. 2 BGB Bedeutung erlangen. Ähnlich wie die Vorschriften der MDR wird ein Großteil der KI-Vorschriften den Charakter eines Schutzgesetzes besitzen, da der KIVO-E auf den Schutz des Lebens und der Gesundheit von Menschen abzielt. Für schuldhafte Verletzungen der durch den KI-VO-E statuierten Pflichten hätte der 61

Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 179. Nach Art. 3 Nr. 28 KI-VO-E ist darunter ein Dokument zu verstehen, das keine Norm ist und das technische Lösungen enthält, deren Befolgung es ermöglicht, bestimmte Anforderungen und Verpflichtungen des KI-VO-E zu erfüllen. Ähnlich Art. 2 Nr. 71 MDR: „,Gemeinsame Spezifikationen‘ (im Folgenden ,GS‘) bezeichnet eine Reihe technischer und/oder klinischer Anforderungen, die keine Norm sind und deren Befolgung es ermöglicht, die für ein Produkt, ein Verfahren oder ein System geltenden rechtlichen Verpflichtungen einzuhalten.“ 63 Wiebe, BB 2022, 899, 902; siehe auch Spindler, CR 2021, 361, 367. 62

180

E. Ausblick – Haftung de lege ferenda

Medizinproduktehersteller daher nach § 823 Abs. 2 BGB Schadensersatz zu leisten. Gleichzeitig könnten die Regelungen des KI-VO-E die berechtigten Sicherheitserwartungen i. S. d. § 3 ProdHaftG und die Verkehrspflichten des Herstellers i. S. v. § 823 Abs. 1 BGB konkretisieren, sodass der KI-VO-E allgemeine Auswirkungen auf die zivilrechtliche Haftung des Medizinprodukteherstellers hätte.64 Insgesamt ist der risikobasierte Ansatz bei der Regulierung von KI-Systemen zu begrüßen. Viele bis jetzt unklare Aspekte im Zusammenhang mit KI-Systemen, insbesondere die Anforderungen an das Training und die entsprechenden Daten von KI-Systemen, die Einführung von Protokollierungspflichten des Anbieters und Nutzers und die damit zusammenhängende Transparenz der Systeme, werden vom KI-VO-E adressiert. Auch die wichtige Ausgestaltung der menschlichen Aufsicht würde durch den KI-VO-E an Konturen gewinnen. Die Regelungen werden auch mit Blick auf zivilrechtliche Haftungsansprüche des Herstellers und Nutzers von KISystemen weiterhelfen, indem die Probleme der Unvorhersehbarkeit und Beweisprobleme abgemildert werden. Gleichwohl sollte das Erfordernis von fehlerfreien und vollständigen Trainingsdatensätzen, um adäquate und bias-freie Ergebnisse zu erhalten, nicht überfrachtet werden. Repräsentative Datensätze werden vor allem im medizinischen Bereich bei seltenen Krankheiten kaum verfügbar sein.65

IV. Verordnungsvorschlag des Europäischen Parlaments zur Haftung für KI Neben dem produktsicherheitsrechtlichen Vorschlag der Kommission für die Inverkehrgabe, Inbetriebnahme und Verwendung von Hochrisiko-KI-Systemen ist auch das Europäische Parlament tätig geworden. Mit Entschließung vom 20. Oktober 2020 hat das Europäische Parlament eine Empfehlung an die Kommission für eine Regelung der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz vorgelegt.66

64 So auch Grützmacher, CR 2021, 433, 437 f., 442; BeckOGK-BGB/Spindler, § 823 BGB Rn. 748.2; Roos/Weitz, MMR 2021, 844, 850; Linardatos, GPR 2022, 58, 60. 65 So auch Heil, MPR 2022, 1, 9; Bundesverband für Medizintechnik (BVMed), MPR 2021, 176, 178. 66 Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über Haftung für den Betrieb von Systemen mit künstlicher Intelligenz, Anlage B zur Entschließung des Europäischen Parlaments vom 20. 10. 2020 mit Empfehlungen an die Kommission für eine Regelung der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz (2020/2014 (INL)), P9_TA (2020)0276. Im Folgenden „VO-E“.

IV. Verordnungsvorschlag des Europäischen Parlaments zur Haftung für KI

181

1. Sachlicher Anwendungsbereich Gem. Art. 1 VO-E soll die Verordnung Regeln für zivilrechtliche Haftungsansprüche von natürlichen und juristischen Personen gegen Betreiber von KI-Systemen festlegen. Der sachliche Anwendungsbereich wird durch die Definition des KISystems in Art. 3 lit. a) VO-E bestimmt. Art. 3 lit. a.) VO-E definiert als „,KI-System‘ ein softwaregestützes oder in Hardware-Geräte eingebettetes System, das ein Intelligenz simulierendes Verhalten zeigt, indem es unter anderem Daten sammelt und verarbeitet, seine Umgebung analysiert und interpretiert und mit einem gewissen Maß an Autonomie Maßnahmen ergreift, um bestimmte Ziele zu erreichen“. Auffällig ist hier, dass diese Definition von derjenigen nach dem KI-VO-E abweicht. Positiv ist, dass das Europäische Parlament als entscheidendes Abgrenzungskriterium zu klassischer Software ein „gewisses Maß an Autonomie“ voraussetzt.67 An diesem wichtigen Differenzierungsmerkmal fehlt es in der Begriffsbestimmung des KI-VO-E. Als autonom definiert Art. 3 lit. b) VO-E „ein System, das durch Interpretation bestimmter Eingaben und durch Verwendung einer Reihe vorab festgelegter Anweisungen funktioniert, ohne durch solche Anweisungen beschränkt zu sein, wenngleich das Verhalten des Systems durch das ihm vorgegebene Ziel und andere relevante Vorgaben seines Entwicklers eingeschränkt wird bzw. auf die Erfüllung des Ziels ausgerichtet ist“. Maßgeblich ist also die unvollständige Festlegung des Verhaltens durch den Programmierer. Autonomie dürfte daher mit Lernfähigkeit gleichgesetzt werden.68 Selbstlernende Medizinprodukte würden deshalb künftig in den Anwendungsbereich des VO-E fallen. Da von der Definition auch softwaregestützte Systeme umfasst sind, die nicht in einer Hardware eingebettet sind (Standalone-Software), kommt es auf eine Verkörperung des KI-basierten Medizinprodukts nicht an. Der VO-E ist in diesem Punkt also weitergehend als der Anwendungsbereich des ProdHaftG.

2. Persönlicher Anwendungsbereich Die vom Europäischen Parlament vorgeschlagene Haftung ist als Betreiberhaftung ausgestaltet, wobei der Betreiberbegriff so weit gefasst ist, dass er auch Hersteller umfasst. Unter Betreiber fällt gem. Art. 3 lit. d) VO-E der Frontend- als auch der Backend-Betreiber, solange die Haftung des letzteren nicht bereits durch die ProdHaft-RL abgedeckt ist. Die Begriffe der beiden Betreiberformen sind in Art. 3 lit. e) und f) VO-E definiert. Danach ist Frontend-Betreiber „die natürliche oder juristische Person, die ein gewisses Maß an Kontrolle über ein mit dem Betrieb und 67 68

Zech, DJT 2022 Ergänzungen Gutachten A, S. 118. Zech, NJW-Beil 2022, 33, 37; Zech, DJT 2022 Ergänzungen Gutachten A, S. 119.

182

E. Ausblick – Haftung de lege ferenda

der Funktionsweise des KI-Systems verbundenes Risiko ausübt und für die sein Betrieb einen Nutzen darstellt“ (Art. 3 lit. e) VO-E). Dies entspricht dem herkömmlichen Betreiberbegriff und ist vom Benutzer, der keine ausreichende Risikokontrolle hat, zu unterscheiden.69 Der Arzt ist als Frontend-Betreiber anzusehen, da er die von der Definition geforderte betriebsbezogene Dispositionsmacht hat und daraus einen Nutzen zieht. Weiterhin ist der Backend-Betreiber vom Vorschlag umfasst. Dieser ist dadurch gekennzeichnet, dass er „auf kontinuierlicher Basis die Merkmale der Technologie definiert und Daten und einen wesentlichen Backend-Support-Dienst bereitstellt und daher auch ein gewisses Maß an Kontrolle über ein mit dem Betrieb und der Funktionsweise des KI-Systems verbundenes Risiko ausübt“ (Art. 3 lit. f) VO-E). Aus den Begriffsmerkmalen ergibt sich, dass auch der Hersteller des KI-Systems als Backend-Betreiber einzuordnen ist, sofern auf deliktischer Ebene die Produktbeobachtungspflicht zu einer Software-Update-Pflicht erweitert würde.70 Dies bestätigt das Europäische Parlament, wenn es in Erwägungsgrund 8 Entschließung festhält, dass der Herstellerbegriff nach der ProdHaft-RL nach einer Überarbeitung der Richtlinie „Hersteller, Entwickler, Programmierer, Dienstleister sowie BackendBetreiber umfassen“ soll.71 Hiernach würden die Haftungsvorschriften des VO-E auch auf den Hersteller von intelligenten Medizinprodukten Anwendung finden, wenn er das Produkt entwickelt und konstruiert hat und mit diesem weiter digital verbunden bleibt. Allerdings würden die Haftungstatbestände des VO-E auf den Medizinproduktehersteller nicht anwendbar sein, sofern seine Haftung schon durch das ProdHaftG abgedeckt ist (Art. 3 lit. d) VO-E). In diesem Zusammenhang ist allerdings Art. 11 VO-E zu berücksichtigen, der die Überschrift „Gesamtschuldnerische Haftung“ trägt. In Art. 11 S. 1 VO-E wird klargestellt, dass mehrere Betreiber gesamtschuldnerisch haften. Die übrigen Regelungen betreffen dagegen das Verhältnis zur ProdHaft-RL.72 Nach Art. 11 S. 3 VO-E sollte das ProdHaftG Anwendung finden, wenn der Backend-Betreiber auch als Hersteller i. S. d. ProdHaftG anzusehen ist. Gibt es allerdings nur einen Betreiber und ist dieser zugleich Hersteller i. S. d. ProdHaftG, sollte der VO-E Anwendungsvorrang zum ProdHaftG genießen (Art. 11 S. 4 VO-E). Demnach könnte auch die Haftung des Medizinprodukteherstellers dem VO-E unterliegen.

69

Zech, NJW-Beil 2022, 33, 37; Egrd. 11 VO-E. Zech, NJW-Beil 2022, 33, 37; Zech, NJW-Beil 2022, 33, 37; Zech, DJT 2022 Ergänzungen Gutachten A, S. 122; Wagner, ZEuP 2021, 545, 552. 71 Egrd. 8 Entschließung VO-E. 72 Wagner, ZEuP 2021, 545, 554. 70

IV. Verordnungsvorschlag des Europäischen Parlaments zur Haftung für KI

183

3. Verschuldens- und Gefährdungshaftung Der VO-E beruht genau wie die MDR und der KI-VO-E auf einem risikobasierten Ansatz. Für KI-Systeme mit hohem Risiko gilt eine Gefährdungshaftung (Art. 4 Abs. 1 VO-E). Für sonstige KI-Systeme haftet der Betreiber verschuldensabhängig, wobei das Verschulden vermutet wird (Art. 8 Abs. 1, 2 VO-E). Entscheidend ist demnach, ob das KI-System ein hohes Risiko aufweist. Ausgehend von Art. 3 lit. c) VO-E handelt es sich dabei um „ein signifikantes Potenzial eines autonom betriebenen KI-Systems, einer oder mehreren Personen einen Personen- oder Sachschaden auf eine Weise zu verursachen, die zufällig ist und darüber hinausgeht, was vernünftigerweise erwartet werden kann; die Bedeutung des Potenzials hängt von der Wechselwirkung zwischen der Schwere des möglichen Schadens, der Frage, inwieweit die Entscheidungsfindung autonom erfolgt, der Wahrscheinlichkeit, dass sich das Risiko verwirklicht, und der Art, in der das KI-System verwendet wird, ab.“ Die weit gefasste Begriffsbestimmung bekommt durch Art. 4 Abs. 2 VO-E mehr Konturen, indem KI-Systeme mit hohem Risiko abschließend in einem Anhang der Verordnung aufgeführt werden und in regelmäßigen Abständen (mindestens alle sechs Monate) überprüft werden sollen.73 Da der Anhang derzeit noch leer ist, bleibt abzuwarten, welche KI-Systeme der Gefährdungshaftung unterliegen werden. a) Gefährdungshaftung nach Art. 4 ff. VO-E Verursacht ein KI-System mit hohem Risiko einen Personen- oder Sachschaden, der auf einer von dem KI-System angetriebenen physischen oder virtuellen Aktivität, Vorrichtung oder Prozess beruht, haftet der Betreiber verschuldensunabhängig für den entstandenen Schaden (Art. 4 Abs. 1 VO-E). Die Gefährdungshaftung sollte nur eingreifen, wenn es um die Verwirklichung des Autonomierisikos geht. Dies wird durch die Formulierung „von dem KI-System angetriebenen physischen oder virtuellen Aktivität, Vorrichtung oder Prozess“74 implizit zum Ausdruck gebracht und durch Art. 4 Abs. 3 VO-E bestätigt. Hiernach kann sich der Betreiber nicht von der Haftung befreien, indem er argumentiert, er habe die gebührende Sorgfalt eingehalten oder der Schaden sei durch „autonome Aktivitäten, Geräte oder Prozesse“75 (wozu das Autonomierisiko zählt) verursacht worden.76 Zur Deckung der Haftung statuiert Art. 4 Abs. 4 VO-E eine Versicherungspflicht. Die Haftungshöchstgrenzen sind in Art. 5 VO-E geregelt und Art. 7 VO-E enthält ferner Regelungen zur Verjährungsfrist.

73

Egrd. 14 VO-E. Hervorgehoben durch die Verfasserin. 75 Art. 4 Abs. 3 S. 1 VO-E. 76 Zech, DJT 2022 Ergänzungen Gutachten A, S. 128. 74

184

E. Ausblick – Haftung de lege ferenda

b) Verschuldenshaftung nach Art. 8 ff. VO-E Art. 8 VO-E regelt die Verschuldenshaftung für Personen- und Sachschäden, die durch ein KI-System verursacht wurden, das nicht unter die Gefährdungshaftung fällt. Dass es sich um eine Haftung für vermutetes Verschulden handelt, ergibt sich erst aus Art. 8 Abs. 2 VO-E und Erwägungsgrund 17 VO-E. Der Betreiber kann sich von seinem Verschulden nur durch die zwei in Art. 8 Abs. 2 VO-E genannten Gründe entlasten. Zum einen kann der Betreiber entlastend den Nachweis erbringen, dass das KI-System ohne seine Kenntnis aktiviert wurde, während alle angemessenen und erforderlichen Maßnahmen getroffen wurden, um eine solche Aktivierung außerhalb der Kontrolle zu verhindern (Art. 8 Abs. 2 lit. a) VO-E). Zum anderen zählt nach Art. 8 Abs. 2 lit. b) VO-E der Nachweis, dass er alle Sorgfaltsmaßnahmen bei der Auswahl des KI-Systems entsprechend dem Einsatzgebiet, bei der Inbetriebnahme, der Überwachung und Aktualisierung des KI-Systems eingehalten hat. Auch bei der Verschuldenshaftung entlastet die Realisierung des Autonomierisikos nicht (Art. 8 Abs. 2 S. 2 VO-E). Die Einzelheiten der Haftung, insbesondere die Verjährungsfristen, die Höhe und das Ausmaß der Entschädigung sind dem nationalen Recht überlassen (Art. 9 VO-E).

4. Bewertung Eine europäische Regelung der zivilrechtlichen Haftung beim Einsatz von KI ist grundsätzlich zu begrüßen. Das Autonomierisiko wird vom Verordnungsvorschlag ausdrücklich adressiert und sowohl dem Frontend- als auch dem Backend-Betreiber zugeordnet. Allerdings überzeugt der Vorschlag des Europäischen Parlaments zur Regelung der Haftung für KI-Systeme in dieser Form nicht. Zum einen ergeben sich Probleme im Verhältnis zur ProdHaft-RL. Aus Art. 3 lit. d) und Art. 11 S. 3 VO-E ergibt sich, dass sich die Haftung des Herstellers nach der ProdHaft-RL richtet. Die Gegenausnahme in Art. 11 S. 4 VO-E, wonach die ProdHaft-RL vorrangig anzuwenden ist, falls der Hersteller zugleich Backend- und Frontend-Betreiber ist, zeigt, dass künftig Probleme bei der Frage nach der Anwendbarkeit des VO-E oder der ProdHaft-RL auftreten werden.77 Letztlich wird mit dem VO-E ein zweites Haftungssystem für die Haftung des Herstellers geschaffen, das in der Anwendung aber hinter die ProdHaft-RL zurücktritt.78 Insoweit müssten etwaige Verschärfungen der Herstellerhaftung in der ProdHaft-RL selbst umgesetzt werden.79 Zudem bedarf es einer Verschuldenshaftung für Systeme mit normalen Risiken im Grunde nicht, da sich entsprechende Haftungstatbestände in jeder europäischen 77

Wagner, ZEuP 2021, 545, 555. Andere Auslegung Zech, DJT 2022 Ergänzungen Gutachten A, S. 124 f. 79 Wagner, ZEuP 2021, 545, 556. 78

V. Fazit zur Haftung de lege ferenda

185

Rechtsordnung finden80 und solche Haftungskonstellationen auf nationaler Ebene von der deliktischen Produzentenhaftung nach § 823 Abs. 1 BGB erfasst werden. Schließlich vermag die Beschränkung der Höhe der Gefährdungshaftung nicht zu überzeugen: Für Personenschäden gilt eine Haftungshöchstgrenze von zwei Mio. Euro bzw. eine Mio. Euro bei erheblichen immateriellen Schäden mit wirtschaftlichen Verlusten oder Sachschäden (Art. 5 lit. a) und b) VO-E). Ein Vergleich mit dem Haftungshöchstbetrag des ProdHaftG für Personenschäden von 85 Mio. Euro zeigt, dass die Haftungshöchstgrenzen zu niedrig sind.81 Summa summarum können die Auswirkungen des VO-E auf die Haftung des Medizinprodukteherstellers und den Arzt im Umgang mit intelligenten Medizinprodukten derzeit noch nicht abschließend bewertet werden. Da das Europäische Parlament kein Initiativrecht für Gesetzesvorhaben hat (Art. 17 Abs. 2 EUV) und es seinen Entwurf deshalb weder verabschieden noch in ein Gesetzgebungsverfahren einbringen kann, bleibt das weitere Vorgehen abzuwarten. Die Europäische Kommission ist bisher nicht konkret auf den Haftungsvorschlag des Parlaments eingegangen. Vielmehr hat die Europäische Kommission nur die außervertragliche verschuldensabhängige zivilrechtliche Haftung geregelt (Art. 1 Abs. 2 UAbs. 1 KI-RLE) und diese lediglich im Hinblick auf den Zugang zu Beweismitteln und einer widerleglichen Kausalitätsvermutung.82 Nach dem Entwurf der Europäischen Kommission müssen daher selbst Hochrisiko-KI-Systeme nicht zwingend von einer verschuldensunabhängigen Haftung erfasst werden. Die Mitgliedsstaaten können allerdings eine Gefährdungshaftung für KI-Systeme einführen, sofern dies mit dem Unionsrecht vereinbar ist (Art. 1 Abs. 4 KI-RL-E).83

V. Fazit zur Haftung de lege ferenda Das Bestreben der Europäischen Kommission zur produktübergreifenden Regelung von KI-Systemen ist positiv zu bewerten. Es bedarf aber noch einer widerspruchslosen Abstimmung mit den Vorschriften der MDR. Der Vorschlag des Europäischen Parlaments zur Regelung der Haftung für KI-Systeme überzeugt hingegen nicht. Es bleibt abzuwarten, ob und wann die Vorschläge überhaupt in dieser Form erlassen werden. Ein Inkrafttreten des KI-VO-E wird etwa im Laufe des Jahres 2023

80

Wagner, ZEuP 2021, 545, 558. Wagner, ZEuP 2021, 545, 565; Grützmacher, CR 2021, 433, 437; Spindler, JZ 2022, 793, 803. 82 Siehe hierzu bereits Kap. C. X. 5. 83 Eichelberger, DB 2022, 2783, 2784. 81

186

E. Ausblick – Haftung de lege ferenda

erwartet.84 Gem. Art. 85 KI-VO-E gilt die Verordnung 24 Monate nach diesem Datum. Bis dahin gestaltet sich die Rechtslage weiterhin wie in der Arbeit dargestellt.

84

Thiermann/Böck, RDi 2022, 333, 339.

F. Ergebnis zur Haftung beim Einsatz intelligenter Medizinprodukte in Thesen Die Ausführungen haben gezeigt, dass die geltenden Haftungskonzepte der Herstellerhaftung und der Arzthaftung im Grunde flexibel genug sind, um den neuen Risiken, die im Umgang mit intelligenten Medizinprodukten entstehen, angemessen zu begegnen. Der Hersteller haftet für Mängel an der Hard- und Software des intelligenten Medizinprodukts. Daneben haftet der Arzt für die Entscheidung, ob er das autonome Medizinprodukt zur Behandlung des Patienten einsetzt und ob er das richtige autonome Medizinprodukt zur Behandlung ausgewählt hat. Weiterhin bleibt er in der Haftung für den ordnungsgemäßen Betrieb und die fehlerfreie Anwendung des intelligenten Medizinprodukts.1 Es wurde deutlich, dass sich Haftungsrisiken, die sich aus dem Versagen von KI ergeben, im Grunde mithilfe des produkthaftungsrechtlichen Fehlerbegriffs und der diesbezüglichen Verkehrspflichten des Herstellers adäquat bewältigen lassen. Der Fehlerbegriff und die Verkehrspflichten des Herstellers bedürfen aber einer weiteren Adaption an das der KI innewohnende Autonomierisiko. Die besondere Herausforderung wird künftig darin liegen, die jeweils geltenden Sorgfaltsanforderungen zu formulieren. Dies gilt nicht nur für den Sorgfaltsmaßstab des Herstellers, sondern gleichfalls für denjenigen des Arztes, der einen gefahrlosen Umgang mit dem Medizinprodukt zu gewährleisten hat. Dabei handelt es sich aber nicht um ein Problem, dass nur oder im speziellen bei intelligenten Medizinprodukten auftritt, sondern dies ist jeder technischen Innovation immanent. Rechtssicherheit sollte durch den Gesetzgeber und Normungsorganisationen sowie durch die Rechtsprechung sichergestellt werden, indem die Vorschriften der MDR an KI-basierte Medizinprodukte angepasst werden und entsprechende (ärztliche) Leitlinien und technische Normen formuliert und dem stetigen Wandel der technischen Entwicklung angepasst werden. Auf europäischer Ebene wird sich künftig hinsichtlich der Regelung von KI viel Neues auftun. Mit dem weltweit ersten Entwurf zur Regelung von KI (KI-VO-E), der Änderung und Anpassung der ProdHaft-RL und dem Entwurf einer Richtlinie über KI-Haftung (KI-RL-E), die dem Betroffenen einen leichteren Zugang zu Rechtsbehelfen gewähren soll, werden viele Besonderheiten, die sich aus dem Einsatz von selbstlernender KI ergeben, adressiert und abschließend geregelt. Im weiteren Gesetzgebungsverfahren wird sich zeigen wie durchsetzungsfähig die Vorschläge der

1 Ministerium der Justiz des Landes Nordrhein-Westfalen, Arbeitsgruppe „Digitaler Neustart“, S. 238.

188

F. Ergebnis zur Haftung beim Einsatz intelligenter Medizinprodukte in Thesen

Europäischen Kommission tatsächlich sind. Ob sich die Regelungen auch in der Praxis beweisen werden, ist dagegen eine andere Frage. 1.

Ein technisch nicht vermeidbarer Fehler des autonomen Medizinprodukts beruhend auf dem Autonomierisiko bei gleichzeitiger Einhaltung aller Sorgfaltspflichten begründet weder eine Haftung des Herstellers nach dem ProdHaftG noch nach dem Deliktsrecht.

1.1. Nach hier vertretener Ansicht sollte das ProdHaftG nicht nur für Embedded Software, sondern auch für Standalone-Software Anwendung finden. Als Haftungsadressaten kommen der Hersteller des Endprodukts und der Teilprodukthersteller der Hard- und Software in Betracht. 1.2. Derzeit erlaubt die MDR den Herstellern nicht, lernende und sich selbständig verändernde Medizinprodukte auf den Markt zu bringen. Die Selbstlernfähigkeit führt dazu, dass das Medizinprodukt nach jeder Änderung erneut zertifiziert werden müsste. Eine solche wiederholte Konformitätsbewertung für jede einzelne erlernte Veränderung behindert die Entwicklung und die praktische Anwendung von KI-basierten Medizinprodukten. Abhilfe schaffen könnte der Verordnungsvorschlag der Europäischen Kommission zur horizontalen Regulierung von KI. 1.3. Zum jetzigen Zeitpunkt gibt es noch keinen Sorgfaltsmaßstab für die Herstellung intelligenter Medizinprodukte. Die herkömmlichen Grundsätze zur Bestimmung des Sicherheitsmaßstabs können aber auch auf intelligente Medizinprodukte übertragen werden, wobei der jeweilige Autonomiegrad und die Selbstlernfähigkeit bei der Festlegung des Sorgfaltsmaßstabs zu berücksichtigen sind und den anzulegenden Sicherheitsmaßstab erhöhen. Für alle autonom agierenden Medizinprodukte muss ein bestimmter Mindestsicherheitsstandard eingehalten und vom Hersteller durch eine entsprechende Programmierung des KI-Algorithmus gewährleistet werden. Die Grenze stellt aber auch hier das Maß des technisch Möglichen und Zumutbaren dar. 1.4. Die Lernfähigkeit der KI, die zu sicherheitsgefährdenden Verhaltensweisen führen kann, begründet nicht per se einen Konstruktionsfehler. Entscheidend ist, ob der Hersteller alle technisch möglichen und zumutbaren Sicherheitsmaßnahmen ergriffen hat. Hätte der Hersteller den Eintritt des Schadens im Voraus durch eine bessere Konstruktion des Algorithmus, durch präzisere Daten oder durch ein besseres Training vermeiden können, liegt hingegen ein Konstruktionsfehler vor, für den der Hersteller einzustehen hat. 1.5. Der Hersteller kann wegen der Verletzung seiner Instruktionspflichten einer Haftung ausgesetzt sein. Der Medizinproduktehersteller muss dem Arzt die besonderen Intelligenzrisiken des Systems aufzeigen und über den sachgemäßen Umgang, insbesondere den Input von Daten bzw. das Training der KI mit

F. Ergebnis zur Haftung beim Einsatz intelligenter Medizinprodukte in Thesen

189

Daten, instruieren. Er hat den Arzt darüber zu informieren, wann und innerhalb welchen Zeitraums ein Eingreifen in das autonome System erforderlich ist, was bei einem Systemausfall zu tun ist und wie und in welchen Zeitabschnitten eine Wartung des Systems erforderlich ist. 1.6. Die Eigenschaften von KI – ihre ständige Weiterentwicklung und nur begrenzte Steuerbarbarkeit des Lernprozesses – sprechen für eine Erweiterung der Produktbeobachtungspflicht des Herstellers. Auf deliktischer Ebene sollte eine Software-Update-Pflicht des Herstellers eingeführt werden. Dieser ist dazu verpflichtet, Sicherheitslücken zu suchen und zu identifizieren und durch entsprechende Software-Updates zu schließen. Diese Software-Updates sind dem Arzt als Betreiber bzw. Anwender des autonomen Medizinprodukts kostenfrei zur Verfügung zu stellen. 1.7. Ein vorsätzlicher Hackerangriff unterbricht den Zurechnungszusammenhang nicht, sofern der vorsätzlich handelnde Dritte eine vom Hersteller verschuldete Konstruktionslücke zur Schadenszufügung ausnutzt. Dagegen kann ein ärztliches Handeln den Zurechnungszusammenhang unterbrechen, wenn der Arzt eine (Fehl-)Entscheidung des intelligenten Medizinprodukts zur Grundlage seiner eigenen Entscheidung macht und dabei seine Überprüfungspflichten verletzt. Auch eine fehlerhafte Dateneingabe, ein fehlerhaftes Anlernen oder eine unsachgemäße Bedienung oder Wartung seitens des Arztes kann den Zurechnungszusammenhang unterbrechen. 1.8. Hinsichtlich der drohenden Beweisnot des Patienten im Schadensfall sollte der Hersteller dazu verpflichtet werden, ein Protokollierungssystem mit entsprechender Analysefunktion einzuführen, welches die internen Entscheidungsvorgänge des KI-Systems nachvollziehbar protokolliert. 2.

Ein unvorhersehbarer Fehler der KI-Software beruhend auf dem Autonomierisiko bei gleichzeitiger Einhaltung aller Sorgfaltspflichten begründet weder eine vertragliche noch eine deliktische Schadensersatzpflicht des Arztes.

2.1. Die von der Rechtsprechung entwickelten Sorgfaltspflichten beim Einsatz von herkömmlichen medizinisch-technischen Geräten sind als vom Arzt einzuhaltender Mindestmaßstab auch beim Einsatz von KI-basierten Medizinprodukten anzulegen. 2.2. Der Arzt muss das intelligente Medizinprodukt vor jedem Einsatz auf dessen Funktionsfähigkeit prüfen und das Produkt regelmäßig warten und aktualisieren (lassen). Das intelligente Medizinprodukt darf nur von fachlich geschultem Personal angewendet werden. Der Arzt hat das für die Anwendung erforderliche Wissen verfügbar zu haben. Dafür muss sich der Arzt mit den Funktionsabläufen des KI-Algorithmus auseinandersetzen und sich ein ge-

190

F. Ergebnis zur Haftung beim Einsatz intelligenter Medizinprodukte in Thesen

wisses tiefgehendes IT-Wissen durch Schulungen oder durch den Einsatz von KI-Trainern aneignen. 2.3. Verwendet der Arzt im Rahmen der Diagnostik oder Therapie des Patienten ein autonomes Medizinprodukt, gelten erhöhte Sorgfaltsanforderungen hinsichtlich der Kontrolle und Überwachung des intelligenten Medizinprodukts. Die Reichweite der Kontrollpflichten lässt sich anhand einer Parallele zu den Grundsätzen der vertikalen Arbeitsteilung zwischen vorgesetztem und nachgeordnetem ärztlichen Personal ermitteln. Der Arzt darf die Diagnosestellung und/oder Therapieempfehlung nicht blind übernehmen. Er muss die Entscheidung des KI-Systems stets mindestens einer Plausibilitätskontrolle unterziehen. Handelt es sich bei dem autonomen Medizinprodukt um eine Neulandmethode oder liegt ein außergewöhnliches Krankheitsbild vor, verschärfen sich die Kontrollpflichten des Arztes. Gleiches gilt für einen höheren Autonomiegrad des KI-Systems. Die Pflichten sollten in ärztlichen Leitlinien geregelt werden. 2.4. Hat der Arzt alle Pflichten im Umgang mit dem autonomen Medizinprodukt eingehalten, haftet er nicht für einen Schaden, der auf dem Autonomierisiko der KI beruht. Eine analoge Anwendung von § 278 BGB ist abzulehnen. Dem Arzt ist ein etwaiges „Fehlerverhalten“ der KI daher nicht zuzurechnen. 2.5. Die Entscheidung des Arztes für den Einsatz von intelligenten Medizinprodukten ist nicht behandlungsfehlerhaft, wenn er den Patienten umfassend aufklärt. Zu den aufklärungspflichtigen Umständen gehört auch das der KI immanente Intelligenzrisiko. 2.6. Eine Aufklärung des Patienten durch das KI-System ist nach aktueller Rechtslage unzulässig. Bei Routineeingriffen wird der Sinn und Zweck des Aufklärungsgesprächs aber auch durch die Aufklärung von einem autonomen System erreicht. Im Hinblick auf den jetzt schon bestehenden Ärzte- und Pflegemangel sollte daher eine Änderung des § 630e Abs. 2 S. 1 Nr. 1 Hs. 1 BGB für die Aufklärung durch ein KI-System bei Routineeingriffen erwogen werden. Über den Einsatz eines autonomen Medizinprodukts im Rahmen der Diagnose oder Therapie muss der Arzt den Patienten hingegen persönlich aufklären. Hier überwiegt der persönlich-menschliche Aspekt des vertrauensvollen Gesprächs mit dem Arzt.

Literaturverzeichnis Aggarwal, Charu C.: Neural Networks and Deep Learning – A Textbook, Berlin 2018 (zit.: Aggarwal, Neural Networks and Deep Learning, S.). Beck, Susanne: Zum Einsatz von Robotern im Palliativ- und Hospizbereich, MedR 2018, S. 772–778 (zit.: Beck, MedR 2018, 772). Beck, Susanne: Über Sinn und Unsinn in Statusfragen – zu Vor- und Nachteilen der Einführung einer elektronischen Person, in: Hilgendorf, Eric/Günther, Jan-Philipp (Hrsg.), Robotik und Gesetzgebung, Baden-Baden 2013, S. 239–262 (zit.: Beck, in: Hilgendorf, Günther (Hrsg.), Robotik und Gesetzgebung, 239). Beck, Susanne: Grundlegende Fragen zum rechtlichen Umgang mit der Robotik, JR 2009, S. 225–230 (zit.: Beck, JR 2009, 225). Beierle, Benedikt: Die Produkthaftung im Zeitalter des Internet of Things – Analyse des ProdHaftG vor dem Hintergrund vernetzter intelligenter Produkte, zugel. Diss. Univ. Münster (Westfalen) 2020, Baden-Baden 2021 (zit.: Beierle, Die Produkthaftung im Zeitalter des Internet of Things, S.). Bergmann, Karl Otto/Pauge, Burkhard/Steinmeyer, Heinz-Dietrich (Hrsg.): Gesamtes Medizinrecht, 3. Auflage Baden-Baden 2018 (zit.: Bergmann/Pauge u. a./Bearbeiter, Medizinrecht, § Rn.). Bilski, Nico/Schmid, Thomas: Verantwortungsfindung beim Einsatz maschinell lernender Systeme, NJOZ 2019, S. 657–661 (zit.: Bilski/Schmid, NJOZ 2019, 657). Blunden, Mark: „A robot surgeon watched medical videos to learn how to stitch human wounds“ vom 17. 6. 2020, https://www.standard.co.uk/tech/robot-surgeons-watched-videos-tolearn-stitches-a4471776.html (zuletzt abgerufen am 25. 11. 2022) (zit.: Blunden, „A robot surgeon watched medical videos to learn how to stitch human wounds“ vom 17. 6. 2020). Böck, Nicole/Theurer, Jakob: Herstellerpflichten und Haftungsrisiken bei IT-Sicherheitslücken vernetzter Produkte, BB 2021, S. 520–525 (zit.: Böck, BB 2021, 520). von Bodungen, Benjamin: Zivilrechtliche Haftung beim Einsatz künstlicher Intelligenz im autonomen Straßenverkehr von morgen. Geltendes Recht und Reformbestrebungen auf EUEbene, SVR 2022, S. 1–6 (zit.: v. Bodungen, SVR 2022, 1). von Bodungen, Benjamin/Hoffmann, Martin: Autonomes Fahren – Haftungsverschiebung entlang der Supply Chain? (2. Teil), NZV 2016, S. 503–509 (zit.: v. Bodungen/Hoffmann, NZV 2016, 503). Bördner, Jonas: Digitalisierung im Gesundheitswesen – Eine haftungsrechtliche Bestandsaufnahme, GuP 2019, S. 131–136 (zit.: Bördner, GuP 2019, 131). Borges, Georg: Haftung für KI-Systeme–Konzepte und Adressaten der Haftung, CR 2022, S. 553–561 (zit.: Borges, CR 2022, 553).

192

Literaturverzeichnis

Borges, Georg: Haftung für selbstfahrende Autos – Warum eine Kausalhaftung für selbstfahrende Autos gesetzlich geregelt werden sollte, CR 2016, S. 272–280 (zit.: Borges, CR 2016, 272). Brand, Oliver: Haftung und Versicherung beim Einsatz von Robotik in Medizin und Pflege, MedR 2019, S. 943–950 (zit.: Brand, MedR 2019, 943). Bräutigam, Peter/Klindt, Thomas: Industrie 4.0, das Internet der Dinge und das Recht, NJW 2015, S. 1137–1142 (zit.: Bräutigam/Klindt, NJW 2015, 1137). Bundesamt für Sicherheit in der Informationstechnik (BSI): Cyber-Sicherheitsanforderungen an netzwerkfähige Medizinprodukte, Version 1.0 vom 2. 5. 2018, https://www.bsi.bund.de/ SharedDocs/Downloads/DE/BSI/ICS/CS-E-132_Medizinprodukte.pdf;jsessionid=2 75B8FA803715E275FFD9EA0680E88BD.internet471?__blob=publicationFile&v=1 (zuletzt abgerufen am 25. 11. 2022) (zit.: Bundesamt für Sicherheit in der Informationstechnik (BSI), Cyber-Sicherheitsanforderungen an netzwerkfähige Medizinprodukte, S.). Bundesministerium für Wirtschaft und Energie (BMWi): Öffentlichkeitsarbeit: Künstliche Intelligenz und Recht im Kontext von Industrie 4.0, 2019, https://www.plattform-i40.de/IP/ Redaktion/DE/Downloads/Publikation/kuenstliche-intelligenz-und-recht.pdf?__blob=publca tionFile&v=7 (zuletzt abgerufen am 25. 11. 2022) (zit.: Bundesministerium für Wirtschaft und Energie (BMWi), KI, S.). Bundesregierung: Stellungnahme der Bundesregierung der Bundesrepublik Deutschland zum Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen COM(2020) 65 final, https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffent lichungen/2020/stellungnahme-breg-weissbuch-ki.pdf;jsessionid=E448066F32216D292023 DADD86ED647C.2_cid322?__blob=publicationFile&v=2 (zuletzt abgerufen am 25. 11. 2022) (zit.: Bundesregierung, Stellungnahme zum Weißbuch KI, S.). Bundesverband für Medizintechnik (BVMed): BVMed-Positionen zum Entwurf des „Artificial Intelligence Act“ (AIA), MPR 2021, S. 176–182 (zit.: Bundesverband für Medizintechnik (BVMed), MPR 2021, 176). Burchardi, Sophie: Risikotragung für KI-Systeme – Zur Zweckmäßigkeit einer europäischen Betreiberhaftung, EuZW 2022, S. 685–692 (zit.: Burchardi, EuZW 2022, 685). Burrer, Steffen: Prozessrecht, in: Bräutigam, Peter/Klindt, Thomas (Hrsg.), Digitalisierte Wirtschaft/Industrie 4.0, 2015, S. 146–152, https://bdi.eu/media/themenfelder/digitalisie rung/downloads/20151117_Digitalisierte_Wirtschaft_Industrie_40_Gutachten_der_Noerr_ LLP.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Burrer, in: Bräutigam/Klindt (Hrsg.), Digitalisierte Wirtschaft/Industrie 4.0, 146). Buxmann, Peter/Schmidt, Holger (Hrsg.): Künstliche Intelligenz – Mit Algorithmen zum wirtschaftlichen Erfolg, 2. Auflage Berlin 2021 (zit.: Buxmann/Schmidt, KI, S.). Cahn, Andreas: Produkthaftung für verkörperte geistige Leistungen, NJW 1996, S. 2899–2905 (zit.: Cahn, NJW 1996, 2899). Chandler, Katie/Behrendt, Philipp/Kempe, Max: „Der Entwurf einer neuen Produkthaftungsrichtlinie“ vom 12. 10. 2022, https://www.taylorwessing.com/de/insights-and-events/in sights/2022/10/all-change-to-the-eus-strict-product-liability-regime (zuletzt abgerufen am 25. 11. 2022) (zit.: Chandler/Behrendt u. a., „Der Entwurf einer neuen Produkthaftungsrichtlinie“ vom 12. 10. 2022).

Literaturverzeichnis

193

Clausen, Tilman/Schroeder-Printzen, Jörn (Hrsg.): Münchener Anwaltshandbuch Medizinrecht, 3. Auflage München 2020 (zit.: Clausen/Schroeder-Printzen/Bearbeiter, MAH MedR, § Rn.). COCIR, the European Coordination Committee of the Radiological, Electromedical and Healthcare IT Industry: Artificial Intelligence in EU Medical Devices Legislation, 2021, https://www.cocir.org/fileadmin/Publications_2021/COCIR_Analysis_on_AI_in_medical_ Device_Legislation_-_May_2021.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: COCIR, „Artificial Intelligence in Healthcare“von 2021). Cornelius, Kai: Autonome Softwareagenten im Verbandssanktionenrecht, ZRP 2019, S. 8–12 (zit.: Cornelius, ZRP 2019, 8). Decker, Michael: Adaptive Robotik und Verantwortung, in: Gless, Sabine/Seelmann, Kurt (Hrsg.), Intelligente Agenten und das Recht, Baden-Baden 2016, S. 23–44 (zit.: Decker, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 23). Denga, Michael: Deliktische Haftung für künstliche Intelligenz – Warum die Verschuldenshaftung des BGB auch künftig die bessere Schadensausgleichung bedeutet, CR 2018, S. 69–78 (zit.: Denga, CR 2018, 69). Dettling, Heinz-Uwe: Künstliche Intelligenz und digitale Unterstützung ärztlicher Entscheidungen in Diagnostik und Therapie – Arzt-, arzneimittel- und medizinprodukterechtliche Aspekte, PharmR 2019, S. 633–642 (zit.: Dettling, PharmR 2019, 633). Dettling, Heinz-Uwe: Künstliche Intelligenz als Herausforderung des Medizinprodukterechts, MPJ 2019, S. 176–187 (zit.: Dettling, MPJ 2019, 176). Dettling, Heinz-Uwe/Krüger, Stefan: Erste Schritte im Recht der Künstlichen Intelligenz – Entwurf der „Ethik-Leitlinien für eine vertrauenswürdige KI“, MMR 2019, S. 211–217 (zit.: Dettling/Krüger, MMR 2019, 211). Dettling, Heinz-Uwe/Krüger, Stefan: Digitalisierung, Algorithmisierung und Künstliche Intelligenz im Pharmarecht, PharmR 2018, S. 513–522 (zit.: Dettling/Krüger, PharmR 2018, 513). Deutsch, Erwin/Lippert, Hans-Dieter/Ratzel, Rudolf/Tag, Brigitte/Gassner, Ulrich M.: Kommentar zum Medizinproduktegesetz (MPG), 3. Auflage Berlin 2018 (zit.: Deutsch/Lippert u. a./Bearbeiter, MPG, Kap. Rn.). Deutsche Akademie der Technikwissenschaften (acatech): Machine Learning in der Medizintechnik – Analyse und Handlungsempfehlungen, 2020, https://www.acatech.de/publikati on/machine-learning-in-der-medizintechnik/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Deutsche Akademie der Technikwissenschaften (acatech), Machine Learning in der Medizintechnik, S.). Ding, Yiming/Sohn, Jae H./Kawczynski, Michael G./Trivedi, Hari u. a.: A Deep Learning Model to Predict a Diagnosis of Alzheimer Disease by Using F-FDG PET of the Brain, Radiology 2019, Vol. 290, S. 456–464, https://pubmed.ncbi.nlm.nih.gov/30398430/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Ding/Sohn u. a., Radiology 2019, 456). Droste, Johannes: Produktbeobachtungspflichten der Automobilhersteller bei Software in Zeiten vernetzten Fahrens, CCZ 2015, S. 105–110 (zit.: J. Droste, CCZ 2015, 105). Droste, Wiebke: Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt – Ethische, rechtliche und soziale Implikationen am Beispiel interaktiver, auto-

194

Literaturverzeichnis

nomer und vernetzter Mikro-Implantate, zugl. Diss. Univ. Mannheim 2020, Berlin 2020 (zit.: W. Droste, Produkthaftungsrecht und Produzentenhaftung in der digitalen Medizinproduktewelt, S.). Droste, Wiebke: Intelligente Medizinprodukte: Verantwortlichkeiten des Herstellers und ärztliche Sorgfaltspflichten, MPR 2018, S. 109–115 (zit.: W. Droste, MPR 2018, 109). Dzida, Boris/Groh, Naemi: Diskriminierungen nach dem AGG beim Einsatz von Algorithmen im Bewerbungsverfahren, NJW 2018, S. 1917–1922 (zit.: Dzida/Groh, NJW 2018, 1917). Ebers, Martin: Regulierung von KI und Robotik, in: Ebers, Martin/Heinze, Christian/Krügel, Tina/Steinrötter, Björn (Hrsg.), Rechtshandbuch Künstliche Intelligenz und Robotik, München 2020, § 3 (S. 75–138) (zit.: Ebers, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 3 Rn.). Ehring, Philipp/Taeger, Jürgen: Produkthaftungs- und Produktsicherheitsrecht (NomosKommentar), Baden-Baden 2022 (zit.: Ehring/Taeger/Bearbeiter, § Rn.). Eichelberger, Jan: Der Vorschlag einer „Richtlinie über KI-Haftung“, DB 2022, S. 2783–2789 (zit.: Eichelberger, DB 2022, 2783). Eichelberger, Jan: Arzthaftung, in: Chibanguza, Kuuya J./Kuß, Christian/Steege Hans (Hrsg.), Künstliche Intelligenz – Recht und Praxis automatisierter und autonomer Systeme, BadenBaden 2022, § 4 Kap. I (S. 655–674) (zit.: Eichelberger, in: Chibanguza/Kuß u. a. (Hrsg.), KI, § 4 Kap. I Rn.). Eichelberger, Jan: Zivilrechtliche Haftung für KI und smarte Robotik, in: Ebers, Martin/ Heinze, Christian/Krügel, Tina/Steinrötter, Björn (Hrsg.), Rechtshandbuch Künstliche Intelligenz und Robotik, München 2020, § 5 (S. 172–199) (zit.: Eichelberger, in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 5 Rn.). Eickbusch, Julia: Die Zweckbestimmung von Medizinprodukten und ihre Auswirkung auf Haftung und Verantwortlichkeit von Anwender und Betreiber, zugl. Diss. Univ. Marburg 2019, Baden-Baden 2020 (zit.: Eickbusch, Die Zweckbestimmung von Medizinprodukten, S.). Erbs, Georg/Kohlhaas, Max (Begr.)/Häberle, Peter (Hrsg.): Beck’sche Kurz-Kommentare – Strafrechtliche Nebengesetze, 242. Ergänzungslieferung München 2022 (zit.: Erbs/Kohlhaas/Bearbeiter, Strafrechtliche Nebengesetze, Kap. § Rn.). Ertel, Wolfgang: Grundkurs Künstliche Intelligenz – Eine praxisorientierte Einführung, 5. Auflage Wiesbaden 2021 (zit.: Ertel, Grundkurs KI, S.). Etzkorn, Philipp: Bedeutung der „Entwicklungslücke“ bei selbstlernenden Systemen – Rechtliche Fragen zur fortdauernden Softwareentwicklung durch maschinelles Lernen im Praxiseinsatz, MMR 2020, S. 360–365 (zit.: Etzkorn, MMR 2020, 360). Europäische Kommission: Bericht der Europäischen Kommission an das Europäische Parlament, den Rat und den Europäischen Wirtschafts- und Sozialausschuss – Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung, Brüssel 19. 2. 2020, COM(2020) 64 final, https://eur-lex.europa. eu/legal-content/DE/TXT/?uri=COM:2020:0064:FIN (zuletzt abgerufen am 25. 11. 2022) (zit.: Europäische Kommission, Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung vom 19. 2. 2020, COM(2020) 64 final, S.).

Literaturverzeichnis

195

Europäische Kommission: Weißbuch. Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen, Brüssel 19. 2. 2020, COM(2020) 65 final, https://ec.europa.eu/in fo/sites/default/files/commission-white-paper-artificial-intelligence-feb2020_de.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Europäische Kommission, Weißbuch zur KI vom 19. 2. 2020, COM(2020) 65 final, S.). Europäisches Parlament: Zivilrechtliche Regelungen im Bereich Robotik, Entschließung des Europäischen Parlaments vom 16. Februar 2017 mit Empfehlung an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)), Straßburg 16. 2. 2017, P8_TA(2017)0051, https://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_DE. pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Europäisches Parlament, Zivilrechtliche Regelungen im Bereich Robotik, Rn.). Finn, Markus: Keine Haftung mangels nachgewiesener Hinweise auf minderwertige Brustimplantate, NJW 2017, S. 2590–2592 (zit.: Finn, NJW 2017, 2590). Fontaine, Elisa: Strafrechtliche Risiken KI-basierter Diagnosesoftware für Ärzte, medstra 2021, S. 203–210 (zit.: Fontaine, medstra 2021, 203). Fraunhofer-Institut für Kognitive Systeme IKS: „Künstliche Intelligenz (KI) und maschinelles Lernen“, https://www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz.html (zuletzt abgerufen am 25. 11. 2022) (zit.: Fraunhofer-Institut, „Künstliche Intelligenz (KI) und maschinelles Lernen). Frost, Yannick: Künstliche Intelligenz in Medizinprodukten und damit verbundene medizinprodukte- und datenschutzrechtliche Herausforderungen, MPR 2019, S. 117–125 (zit.: Frost, MPR 2019, 117). Frost, Yannick/Kießling, Marlene: Künstliche Intelligenz im Bereich des Gesundheitswesens und damit verbundene haftungsrechtliche Herausforderungen, MPR 2020, S. 178–185 (zit.: Frost/Kießling, MPR 2020, 178). Fuderer, Markus: Doppelte Konformitätsbewertung bei KI-basierten Medizinprodukten?, MPR 2022, S. 121–125 (zit.: Fuderer, MPR 2022, 121). Gärtner, Armin: Die Rolle von Betriebssystemen im Konformitätsbewertungsprozess, MPR 2014, S. 187–193 (zit.: Gärtner, MPR 2014, 187). Gassner, Ulrich M.: Intelligente Medizinprodukte – Regulierungsperspektiven und Zertifizierungspraxis, MPR 2021, S. 41–52 (zit.: Gassner, MPR 2021, 41). Gassner, Ulrich M.: Die neue Medizinprodukte-Verordnung – Aktueller Text mit Einführung, 2. Auflage Köln 2020 (zit.: Gassner, Medizinprodukte-Verordnung, S.). Gassner, Ulrich M.: Dimensionen der Risikoregulierung im Medizinprodukterecht, MPR 2020, S. 162–169 (zit.: Gassner, MPR 2020, 162). Gassner, Ulrich M.: Software als Medizinprodukt – Zwischen Regulierung und Selbstregulierung, MPR 2016, S. 109–115 (zit.: Gassner, MPR 2016, 109). Gassner, Ulrich M./Schreiegg, Tobias: Software als Medizinprodukt – Brüsseler Spitzen, MPR 2019, S. 198–202 (zit.: Gassner/Schreiegg, MPR 2019, 198). Geiß, Karlmann (Begr.)/Greiner, Hans-Peter: Arzthaftpflichtrecht, 8. Auflage München 2022 (zit.: Geiß/Greiner, Arzthaftpflichtrecht, Rn.).

196

Literaturverzeichnis

Gerhart, Markus: „Medical Device Coordination Group (MDCG)“ vom 8. 9. 2022, https:// www.johner-institut.de/blog/regulatory-affairs/medical-device-coordination-group-mdcg/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Gerhart, „Medical Device Coordination Group (MDCG)“ vom 8. 9. 2022). Gerhart, Markus: „MDR Regel 11: Der Klassifizierungs-Albtraum?“ vom 11. 10. 2021, https:// www.johner-institut.de/blog/regulatory-affairs/mdr-regel-11/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Gerhart, „MDR Regel 11: Der Klassifizierungs-Albtraum?“ vom 11. 10. 2021). Gless, Sabine/Janal, Ruth: Hochautomatisiertes und autonomes Autofahren – Risiko und rechtliche Verantwortung, JR 2016, S. 561–575 (zit.: Gless/Janal, JZ 2016, 561). Gomille, Christian: Herstellerhaftung für automatisierte Fahrzeuge, JZ 2016, S. 76–82 (zit.: Gomille, JZ 2016, 76). Grapentin, Justin: Die Erosion der Vertragsgestaltungsmacht durch das Internet und den Einsatz Künstlicher Intelligenz, NJW 2019, S. 181–185 (zit.: Grapentin, NJW 2019, 181). Grapentin, Justin: Konstruktionsanforderungen des Herstellers und Mitverschulden des Anwenders beim Einsatz von Künstlicher Intelligenz, JR 2019, S. 175–180 (zit.: Grapentin, JZ 2019, 175). Grapentin, Justin: Vertragsschluss und vertragliches Verschulden beim Einsatz von Künstlicher Intelligenz und Softwareagenten, zugl. Diss. Univ. Hamburg 2018, Baden-Baden 2018 (zit.: Grapentin, Vertragsschluss und vertragliches Verschulden beim Einsatz von KI, S.). Greger, Reinhard: Haftungsfragen beim automatisierten Fahren – Zum Arbeitskreis II des Verkehrsgerichtstags 2018, NZV 2018, S. 1–5 (zit.: Greger, NZV 2018, 1). Grünvogel, Thomas/Dörrenbächer, Felix: Smarte Anforderungen an smarte Hausgeräte? – Der Maßstab für die Produktbeobachtungspflicht bei vernetzten Hausgeräten im Wandel, ZVertriebsR 2019, S. 87–92 (zit.: Grünvogel/Dörrenbächer, ZVertriebsR 2019, 87). Grützmacher, Malte: Die zivilrechtliche Haftung für KI nach dem Entwurf der geplanten KIVO – Potenzielle zivilrechtliche Auswirkungen des geplanten KI-Sicherheitsrechts: ein neues Schutzgesetz i. S. v. § 823 Abs. 2 BGB am Horizont, CR 2021, S. 433–444 (zit.: Grützmacher, CR 2021, 433). Grützmacher, Malte: Die deliktische Haftung für autonome Systeme – Industrie 4.0 als Herausforderung für das bestehende Recht?, CR 2016, S. 695–698 (zit.: Grützmacher, CR 2016, 695). Gsell, Beate/Krüger, Wolfgang/Lorenz, Stephan/Reymann, Christoph (GesamtHrsg.)/Arzt, Markus/Ball, Wolfgang/Benecke, Martina (Hrsg.) u. a.: beck-online.GROSSKOMMENTAR BGB, § 278 BGB Stand 1. 9. 2022, § 630e BGB Stand 1. 12. 2021, § 630h BGB Stand 1. 12. 2021, § 823 BGB Stand 1. 11. 2022 (zit.: BeckOGK-BGB/Bearbeiter, § Rn.). Gsell, Beate/Krüger, Wolfgang/Lorenz, Stephan/Reymann, Christoph (GesamtHrsg.)/Spickhoff, Andreas (Hrsg.): beck-online.GROSSKOMMENTAR ProdHaftG, § 1 ProdHaftG Stand 1. 10. 2022, § 2 ProdHaftG Stand 1. 9. 2022, § 3 ProdHaftG Stand 1. 10. 2022 (zit.: BeckOGK-ProdHaftG/Bearbeiter, § Rn.). Günther, Jens/Böglmüller, Matthias: Künstliche Intelligenz und Roboter in der Arbeitswelt, BB 2017, S. 53–58 (zit.: Günther/Böglmüller, BB 2017, 53).

Literaturverzeichnis

197

Haagen, Christian: Verantwortung für Künstliche Intelligenz – Ethische Aspekte und zivilrechtliche Anforderungen bei der Herstellung von KI-Systemen, zugl. Diss. Univ. Würzburg 2021, Baden-Baden 2021 (zit.: Haagen, Verantwortung für KI, S.). Hacker, Philipp: Verhaltens- und Wissenszurechnung beim Einsatz von Künstlicher Intelligenz, RW 2018, S. 243–288 (zit.: Hacker, RW 2018, 243). Handorn, Boris: Die Medizinprodukte-Verordnung (EU) 2017/745 – Ein Leitfaden für Wirtschaftsakteure zur MDR, Berlin 2021 (zit.: Handorn, Medizinprodukte-Verordnung, S.). Handorn, Boris/Juknat, Ulrich: KI und Haftung bei Medizinprodukten, MPR 2022, S. 77–89 (zit.: Handorn/Juknat, MPR 2022, 77). Hart, Dieter: Ärztliche Leitlinien – Definitionen, Funktionen, rechtliche Bewertungen, MedR 1998, S. 8–16 (zit.: Hart, MedR 1998, 8). Hau, Wolfgang/Poseck, Roman (Hrsg.): Beck’scher Online-Kommentar BGB, 63. Edition Stand 1. 8. 2022 (zit.: BeckOK/Bearbeiter, § Rn.). Heil, Maria: Ketten oder Flügel – Auswirkungen der neuen KI-Verordnung (E) auf die Pharmaindustrie, PharmR 2022, S. 473–479 (zit.: Heil, PharmR 2022, 473). Heil, Maria: Die neue KI-Verordnung (E) – Regulatorische Herausforderungen für KI-basierte Medizinprodukte-Software, MPR 2022, S. 1–12 (zit.: Heil, MPR 2022, 1). Helle, Katrin: Intelligente Medizinprodukte: Ist der geltende Rechtsrahmen noch aktuell?, MedR 2020, S. 993–1000 (zit.: Helle, MedR 2020, 993). Herberger, Maximilian: „Künstliche Intelligenz“ und Recht – Ein Orientierungsversuch, NJW 2018, S. 2825–2829 (zit.: Herberger, NJW 2018, 2825). Heuer-James, Jens-Uwe/Chibanguza, Kuuya J./Stücker, Benedikt: Industrie 4.0 – vertrags- und haftungsrechtliche Fragestellungen, BB 2018, S. 2818–2832 (zit.: Heuer-James/Chibanguza u. a., BB 2018, 2818). Hey, Tim: Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge bei Unfällen im Straßenverkehr, zugl. Diss. Univ. Münster (Westfalen) 2018, Wiesbaden 2019 (zit.: Hey, Die außervertragliche Haftung des Herstellers für autonome Fahrzeuge, S.). Heymann, Thomas: Haftung des Softwareimporteurs, CR 1990, S. 176–179 (zit.: Heymann, CR 1990, 176). Hilgendorf, Eric: Können Roboter schuldhaft handeln?, in: Beck, Susanne (Hrsg.), Jenseits von Mensch und Maschine – Ethische und rechtliche Fragen zum Umgang mit Robotern, Künstlicher Intelligenz und Cyborgs, Baden-Baden 2012, S. 119–132 (zit.: Hilgendorf, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 119). Hilgendorf, Eric/Kudlich, Hans/Valerius, Brian (Hrsg.): Handbuch des Strafrechts, Band 6 Teildisziplinen des Strafrechts, Heidelberg 2021 (zit.: Hilgendorf/Kudlich u. a./Bearbeiter, Handbuch Strafrecht, § Rn.). Hinze, Jonathan: Haftungsrisiken des automatisierten und autonomen Fahrens, zugl. Diss. Univ. Kiel 2021, Frankfurt a. M. 2021 (zit.: Hinze, Haftungsrisiken des automatisierten und autonomen Fahrens, S.).

198

Literaturverzeichnis

Hofmann, Franz: Der Einfluss von Digitalisierung und künstlicher Intelligenz auf das Haftungsrecht – Der Umgang mit technischen Risiken, CR 2020, S. 282–288 (zit.: Hofmann, CR 2020, 282). Horner, Susanne/Kaulartz, Markus: Haftung 4.0 – Verschiebung des Sorgfaltsmaßstabs bei Herstellung und Nutzung autonomer Systeme, CR 2016, S. 7–14 (zit.: Horner/Kaulartz, CR 2016, 7). Huss, Ralf: Künstliche Intelligenz, Robotik und Big Data in der Medizin, Heidelberg 2019 (zit.: Huss, KI, S.). Igl, Gerhard/Welti, Felix (Hrsg.): Gesundheitsrecht – Eine systematische Einführung, 4. Auflage München 2022 (zit.: Igl/Welti/Bearbeiter, GesR, § Rn.). Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland (IG-NB): Questionnaire „Artificial Intelligence (AI) in medical devices“, Version 4, Stand 9. 6. 2022, https://www.ig-nb.de/?tx_epxelo_file[id]=884878&cHash=53e7128f5a6d5760e2e6fe8e3d4 bb02a (zuletzt abgerufen am 25. 11. 2022) (zit.: Interessengemeinschaft der Benannten Stellen in Deutschland (IG-NB), „Artificial Intelligence (AI) in medical devices“, Version 4, Stand 9. 6. 2022, S.). ITU/WHO: Whitepaper for the ITU/WHO Focus Group on Artificial Intelligence for Health, https://www.itu.int/en/ITU-T/focusgroups/ai4 h/Documents/FG-AI4H_Whitepaper.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: ITU/WHO, „Whitepaper for the ITU/WHO Focus Group on Artificial Intelligence for Health“). Jakobs, Isabel/Huber, Fabian: Software als Medizinprodukt – Haftungs- und versicherungsrechtliche Aspekte, MPR 2019, S. 1–6 (zit.: Jakobs/Huber, MPR 2019, 1). Jenke, Nina: Haftung für fehlerhafte Arzneimittel und Medizinprodukte, zugl. Diss. Univ. Hamburg 2003, Berlin 2004 (zit.: Jenke, Haftung für fehlerhafte Arzneimittel und Medizinprodukte, S.). John, Robert: Haftung für künstliche Intelligenz – Rechtliche Beurteilung des Einsatzes intelligenter Softwareagenten im E-Commerce, zugl. Diss. Univ. Münster (Westfalen) 2007, Hamburg 2007 (zit.: John, Haftung für KI, S.). Johner Institut: Leitfaden zur KI bei Medizinprodukten, https://github.com/johner-institut/ai-gu ideline/blob/master/Guideline-AI-Medical-Devices_DE.md (zuletzt abgerufen am 25. 11. 2022) (zit.: Johner Institut, „Leitfaden zur KI bei Medizinprodukten“). Jorzig, Alexandra/Sarangi, Frank: Digitalisierung im Gesundheitswesen – Ein kompakter Streifzug durch Recht, Technik und Ethik, Berlin 2020 (zit.: Jorzig/Sarangi, Digitalisierung im Gesundheitswesen, Kap. S.). Käde, Lisa/von Maltzan, Stephanie: Die Erklärbarkeit von Künstlicher Intelligenz (KI) – Entmystifizierung der Black Box und Chancen für das Recht, CR 2020, S. 66–72 (zit.: Käde/ v. Maltzan, CR 2020, 66). Katzenmeier, Christian: KI in der Medizin – Haftungsfragen, MedR 2021, S. 859–867 (zit.: Katzenmeier, MedR 2021, 859). Katzenmeier, Christian: Haftungsrechtliche Grenzen ärztlicher Fernbehandlung, NJW 2019, S. 1769–1774 (zit.: Katzenmeier, NJW 2019, 1769).

Literaturverzeichnis

199

Keßler, Oliver: Intelligente Roboter – neue Technologien im Einsatz – Voraussetzungen und Rechtsfolgen des Handelns informationstechnischer Systeme, MMR 2017, S. 589–594 (zit.: Keßler, MMR 2017, 589). Kielmansegg, Sebastian Graf von: Kollaborative Automatisierung und Robotik in der klinischen Forschung, MedR 2019, S. 933–937 (zit.: v. Kielmansegg, MedR 2019, 933). Kirn, Stefan/Müller-Hengstenberg, Claus D.: Intelligente (Software-) Agenten: Von der Automatisierung zur Autonomie? – Verselbständigung technischer Systeme, MMR 2014, S. 225–232 (zit.: Kirn/Müller-Hengstenberg, MMR 2014, 225). Klessascheck, Mario: „Maschinenrichtlinie: Was bei Medizinprodukten gilt“ vom 28. 9. 2021, https://www.johner-institut.de/blog/systems-engineering/maschinenrichtlinie-medizin produkte/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Klessascheck, „Maschinenrichtlinie: Was bei Medizinprodukten gilt“ vom 28. 9. 2021). Klindt, Thomas (Hrsg.): Produktsicherheitsgesetz ProdSG Kommentar, 3. Auflage München 2021 (zit.: Klindt/Bearbeiter, § Rn.). Klingbeil, Stefan: Schuldnerhaftung für Roboterversagen – Zum Problem der Substitution von Erfüllungsgehilfen durch Maschinen, JZ 2019, S. 718–725 (zit.: Klingbeil, JZ 2019, 718). Kluge, Vanessa/Müller, Anne-Kathrin: Autonome Systeme, InTeR 2017, S. 24–31 (zit.: Kluge/ A. Müller, InTeR 2017, 24). Koch, Bernhard A.: Product Liability 2.0 – Mere Update or New Version?, in: Lohsse, Sebastian/Schulze, Reiner/Staudenmayer, Dirk (Hrsg.), Liability for Artificial Intelligence and the Internet of Things, Baden-Baden 2019, S. 99–116 (zit.: Koch, in: Lohsse/Schulze u. a. (Hrsg.), Liability for AI, 99). Kollmann, Andreas: Technische Normen und Prüfzeichen im Wettbewerbsrecht, GRUR 2004, S. 6–11 (zit.: Kollmann, GRUR 2004, 6). Koyuncu, Adem/Müller, Daniela C.: Medizinproduktehaftung – Auskunftsansprüche, Beweisfragen und Hinweise zur Anwenderkommunikation, MPR 2012, S. 158–165 (zit.: Koyuncu/D. Müller, MPR 2012, 158). Kreipp, Anna-Sophie: „Medizintechnik – Künstliche Intelligenz in der Medizin von A bis Z: Teil 1“ vom 30. 6. 2021, https://safe-intelligence.fraunhofer.de/artikel/ki-in-der-medizin-vona-bis-z-teil-1?utm_source=website (zuletzt abgerufen am 25. 11. 2022) (zit.: Kreipp, „Medizintechnik – Künstliche Intelligenz in der Medizin von A bis Z: Teil 1“ vom 30. 6. 2021). Laufs, Adolf (Begr.)/Katzenmeier, Christian/Lipp, Volker: Arztrecht, 8. Auflage München 2021 (zit.: Laufs/Katzenmeier u. a./Bearbeiter, Arztrecht, Kap. Rn.). Laufs, Adolf/Uhlenbruck, Wilhelm (Begr.)/Kern, Bernd-Rüdiger/Rehborn, Martin (Hrsg.): Handbuch des Arztrechts, 5. Auflage München 2019 (zit.: Laufs/Kern u. a./Bearbeiter, Arztrechtshandbuch, § Rn.). Leupold, Andreas/Wiebe, Andreas/Glossner, Silke (Hrsg.): IT-Recht – Recht, Wirtschaft und Technik der digitalen Transformation, 4. Auflage München 2021 (zit.: Leupold/Wiebe u. a./ Bearbeiter, IT-Recht, Teil Rn.). Linardatos, Dimitrios: Auf dem Weg zu einer europäischen KI-Verordnung – ein (kritischer) Blick auf den aktuellen Kommissionsentwurf, GPR 2022, S. 58–70 (zit.: Linardatos, GPR 2022, 58).

200

Literaturverzeichnis

Linardatos, Dimitrios: Intelligente Medizinprodukte und Datenschutz, CR 2022, S. 367–373 (zit.: Linardatos, CR 2022, 367). Lohmann, Anna/Schömig, Annika: „Digitale Transformation“ im Krankenhaus. Gesellschaftliche und rechtliche Herausforderungen durch das Nebeneinander von Ärzten und Künstlicher Intelligenz, in: Beck, Susanne/Kusche, Carsten/Valerius, Brian (Hrsg.), Digitalisierung, Automatisierung, KI und Recht – Festgabe zum 10-jährigen Bestehen der Forschungsstelle RobotRecht, Baden-Baden 2020, S. 345–364 (zit.: A. Lohmann/Schömig, in: Beck/Kusche u. a. (Hrsg.), KI, 345). Lohmann, Melinda: Roboter als Wundertüten – Eine zivilrechtliche Haftungsanalyse, AJP/PJA 2/2017, S. 152–162 (zit.: M. Lohmann, AJP/PJA 2/2017, 152). Luber, Stefan/Litzel, Nico: „Was ist Deep Learning?“ vom 26. 4. 2017, https://www.bigdata-insi der.de/was-ist-deep-learning-a-603129/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Luber/Litzel, „Was ist Deep Learning?“ vom 26. 4. 2017). Luber, Stefan/Litzel, Nico: „Was ist Machine Learning?“ vom 1. 9. 2016, https://www.bigdatainsider.de/was-ist-machine-learning-a-592092/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Luber/Litzel, „Was ist Machine Learning?“ vom 1. 9. 2016). Lüftenegger, Klaus: Die deliktische Pflicht zum Rückruf von Fahrzeugen, NJW 2018, S. 2087–2092 (zit.: Lüftenegger, NJW 2018, 2087). Lutz, Lennart S.: Autonome Fahrzeuge als rechtliche Herausforderung, NJW 2015, S. 119–124 (zit.: Lutz, NJW 2015, 119). Mainzer, Klaus: Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2. Auflage Berlin 2019 (zit.: Mainzer, KI, S.). Martini, Mario: Blackbox-Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz, Berlin 2019 (zit.: Martini, Blackbox-Algorithmus, S.). Martini, Mario: Algorithmen als Herausforderung für die Rechtsprechung, JZ 2017, S. 1017–1025 (zit.: Martini, JZ 2017, 1017). Marx, Katja/Gladkov, Natalie: Gut gedacht und auch gut gemacht? – Der politische Blick auf den Entwurf einer Verordnung zur Regulierung Künstlicher Intelligenz der EU-Kommission aus Sicht der Medizinprodukteindustrie, MPR 2022, S. 37–41 (zit.: Marx/Gladkov, MPR 2022, 37). Matthias, Andreas: Automaten als Träger von Rechten, zugl. Diss. Univ. Berlin 2007, Berlin 2008 (zit.: Matthias, Automaten als Träger von Rechten, S.). Mayr, Stefan/Thiermann, Arne/Schrack, Michael/Kiesselbach, Christoph: Das neue Medizinprodukterecht – Praxishandbuch zur MP-VO, Baden-Baden 2021 (zit.: Mayr/Thiermann u. a., Medizinprodukterecht, § Rn.). Medical Device Coordination Group (MDCG): Guidance on classification of medical devices (MDCG 2021 – 24), 2021, https://ec.europa.eu/health/sites/default/files/md_sector/docs/ mdcg_2021 – 24_en.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Medical Device Coordination Group (MDCG), MDCG 2021 – 24, S.). Medical Device Coordination Group (MDCG): Guidance on significant changes regarding the transitional provision under Article 120 of the MDR with regard to devices covered by certificates according to MDD or AIMDD (MDCG 2020 – 3), https://health.ec.europa.eu/

Literaturverzeichnis

201

system/files/2020 – 09/md_mdcg_guidance_significant_changes_annexes_en_0.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Medical Device Coordination Group (MDCG), MDCG 2020 – 3, S.). Medical Device Coordination Group (MDCG): Guidance on Qualification and Classification of Software in Regulation (EU) 2017/745 – MDR and Regulation (EU) 2017/746 – IVDR (MDCG 2019 – 11), 2019, https://health.ec.europa.eu/system/files/2020-09/md_mdcg_201 9_11_guidance_qualification_classification_software_en_0.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Medical Device Coordination Group (MDCG), MDCG 2019 – 11, S.). Meier, Klaus/Wehlau, Andreas: Produzentenhaftung des Softwareherstellers – § 823 Abs. 1 BGB und das Produkthaftungsgesetz, CR 1990, S. 95–100 (zit.: Meier/Wehlau, CR 1990, 95). Ministerium der Justiz des Landes Nordrhein-Westfalen: Arbeitsgruppe „Digitaler Neustart“ der Konferenz der Justizministerinnen und Justizminister der Länder, Berichte vom 1. Oktober 2018 und 15. April 2019, https://www.justiz.nrw/JM/schwerpunkte/digitaler_neustart/ zt_fortsetzung_arbeitsgruppe_teil_2/2019 - 04 - 15-Berichte_Apr_19_Okt_18_Druckfassung. pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Ministerium der Justiz des Landes NordrheinWestfalen, Arbeitsgruppe „Digitaler Neustart“, S.). Möslein, Florian: Digitalisierung im Gesellschaftsrecht: Unternehmensleitung durch Algorithmen und künstliche Intelligenz?, ZIP 2018, S. 204–212 (zit.: Möslein, ZIP 2018, 204). Mühlböck, Luisa/Taupitz, Jochen: Haftung für Schäden durch KI in der Medizin, AcP 221 (2021), S. 179–218 (zit.: Mühlböck/Taupitz, AcP 221 (2021), 179). Müller-Hengstenberg, Claus D./Kirn, Stefan: Kausalität und Verantwortung für Schäden, die durch autonome smarte Systeme verursacht werden – Eine Untersuchung der deliktischen Haftung für den Einsatz autonomer Softwareagenten, CR 2018, S. 682–692 (zit.: MüllerHengstenberg/Kirn, CR 2018, 692). Müller-Hengstenberg, Claus D./Kirn, Stefan: Intelligente (Software-) Agenten: Eine neue Herausforderung unseres Rechtssystems – Rechtliche Konsequenzen der „Verselbstständigung“ technischer Systeme, MMR 2014, S. 307–313 (zit.: Müller-Hengstenberg/Kirn, MMR 2014, 307). Müller-Quade, Jörn/Damm, Werner/Holz, Thorsten u. a. (Hrsg.): Sichere KI-Systeme für die Medizin – Whitepaper aus der Plattform Lernende Systeme, München 2020, https://www. plattform-lernende-systeme.de/files/Downloads/Publikationen/AG3_6_Whitepaper_ 07042020.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Müller-Quade/Damm u. a., Whitepaper, S.). Münch, Florian: Autonome Systeme im Krankenhaus – Datenschutzrechtlicher Rahmen und strafrechtliche Grenzen, zugel. Diss. Univ. Würzburg 2016, Baden-Baden 2017 (zit.: Münch, Autonome Systeme im Krankenhaus, S.). Neelmeier, Tim: Die einrichtungsbezogene Patientenaufklärung, NJW 2013, S. 2230–2233 (zit.: Neelmeier, NJW 2013, 2230). Notified Body Operations Group (NBOG): NBOG’s Best Practice Guide 2014 – 3: Guidance for manufacturers and Notified Bodies on reporting of Design Changes and Changes of the Quality System, 2014, http://www.doks.nbog.eu/Doks/NBOG_BPG_2014_3.pdf (zuletzt

202

Literaturverzeichnis

abgerufen am 25. 11. 2022) (zit.: Notified Body Operations Group (NBOG), NBOG’s Best Practice Guide 2014 – 3). Oechsler, Jürgen: Die Haftungsverantwortung für selbstlernende KI-Systeme, NJW 2022, S. 2713–2716 (zit.: Oechsler, NJW 2022, 2713). Oen, Raphael: Software als Medizinprodukt, MPR 2009, S. 55–58 (zit.: Oen, MPR 2009, 55). Orthwein, Matthias/Obst, Jean-Stephan: Embedded Systems – Updatepflichten für Hersteller hardwarenaher Software, CR 2009, S. 1–4 (zit.: Orthwein/Obst, CR 2009, 1). Ortner, Roderic/Daubenbüchel, Felix: Medizinprodukte 4.0 – Haftung, Datenschutz, IT-Sicherheit, NJW 2016, S. 2918–2924 (zit.: Ortner/Daubenbüchel, NJW 2016, 2918). Petereit, Dieter: „Was ist eigentlich der Unterschied zwischen AI, Machine Learning, Deep Learning und Natural Language Processing?“ vom 17. 12. 2016, https://t3n.de/news/ai-machi ne-learning-nlp-deep-learning-776907/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Petereit, „Was ist eigentlich der Unterschied zwischen AI, Machine Learning, Deep Learning und Natural Language Processing?“ vom 17. 12. 2016). Pieper, Fritz-Ulli: Die Vernetzung autonomer Systeme im Kontext von Vertrag und Haftung, InTeR 2016, S. 188–194 (zit.: Pieper, InTeR 2016, 188). Pieper, Fritz-Ulli/Schmalenberger, Alexander: „AI Liability Directive – Welche Haftungsregeln erwarten uns zukünftig für KI“ vom 4. 10. 2022, https://www.taylorwessing.com/de/in sights-and-events/insights/2022/10/ai-liability-directive-haftungsregeln (zuletzt abgerufen am 25. 11. 2022) (zit.: Pieper/Schmalenberger, „AI Liability Directive – Welche Haftungsregeln erwarten uns zukünftig für KI“ vom 4. 10. 2022). Pieper, Fritz-Ulli/Solak, Imdat: „Machine Learning als wesentliches Element von KI“ vom 14. 1. 2019, https://www.telemedicus.info/machine-learning-als-wesentliches-element-vonki/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Pieper/Solak, „Machine Learning als wesentliches Element von KI“ vom 14. 1. 2019). Prütting, Jens/Wolk, Tom: Software unter dem Regime der europäischen Medizinprodukteverordnung (2017/745/EU), MedR 2020, S. 359–365 (zit.: Prütting/Wolk, MedR 2020, 359). Quaas, Michael/Zuck, Rüdiger/Clemens, Thomas/Gokel, Julia M. (Hrsg.): Medizinrecht, 4. Auflage München 2018 (zit.: Quaas/Zuck u. a./Bearbeiter, MedR, § Rn.). Rad, Abtin: Künstliche Intelligenz in der Medizintechnik – Risiken und Chancen neuer Technologien in der Anwendung, MPJ 2021, S. 11–18 (zit.: Rad, MPJ 2021, 11). Rahn, Christian: Ärztliche Aufklärung durch Künstliche Intelligenzen, zugel. Diss. Univ. Augsburg 2021, Hamburg 2022 (zit.: Rahn, Ärztliche Aufklärung durch KI, S.). Rammos, Thanos/Lange, Karolina/Clausen, Johanna C.: Medizin, in: Ebers, Martin/Heinze, Christian/Krügel, Tina/Steinrötter, Björn (Hrsg.), Rechtshandbuch Künstliche Intelligenz und Robotik, München 2020, § 28 (S. 871–901) (zit.: Rammos/Lange u. a., in: Ebers/Heinze u. a. (Hrsg.), Rechtshandbuch KI und Robotik, § 28 Rn.). Rashid, Tariq: Neuronale Netze selbst programmieren – Ein verständlicher Einstieg mit Python, Heidelberg 2017 (zit.: Rashid, Neuronale Netze selbst programmieren, S.). Raue, Benjamin: Haftung für unsichere Software, NJW 2017, S. 1841–1846 (zit.: Raue, NJW 2017, 1814).

Literaturverzeichnis

203

Rauscher, Thomas/Krüger, Wolfgang (Hrsg.): Münchener Kommentar zur Zivilprozessordnung mit Gerichtsverfassungsgesetz und Nebengesetzen, Band 1 (§§ 1–354), 6. Auflage München 2020 (zit.: MüKo-ZPO/Bearbeiter, § Rn.). Regenfus, Thomas: Deaktivierte Geräte – Rechte des Nutzers bei Einschränkung der Funktionsfähigkeit „smarter“ Produkte durch den Hersteller, JZ 2018, S. 79–87 (zit.: Regenfus, JZ 2018, 79). Rehmann, Wolfgang/Wagner, Susanne: Medizinproduktegesetz – Verordnung (EU) 2017/745 über Medizinprodukte – Kommentar, 3. Auflage München 2018 (zit.: Rehmann/Wagner/ Bearbeiter, MPG, § Rn.). Reichwald, Julian/Pfisterer, Dennis: Autonomie und Intelligenz im Internet der Dinge – Möglichkeiten und Grenzen autonomer Handlungen, CR 2016, S. 208–212 (zit.: Reichwald/ Pfisterer, CR 2016, 208). Reinsch, Daniel: „Software als Medizinprodukt – Software as Medical Device“ vom 16. 9. 2022, https://www.johner-institut.de/blog/regulatory-affairs/software-als-medizinprodukt-de finition/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Reinsch, „Software als Medizinprodukt“ vom 16. 9. 2022). Reinsch, Daniel: „Regulatorische Anforderungen an Medizinprodukte mit Machine Learning“ vom 17. 11. 2022, https://www.johner-institut.de/blog/regulatory-affairs/regulatorische-anfor derungen-an-medizinprodukte-mit-machine-learning/ (zuletzt abgerufen am 25. 11. 2022) (zit.: Reinsch, „Regulatorische Anforderungen an Medizinprodukte mit Machine Learning“ vom 17. 11. 2022). Rempe, Christoph: Smart Products in Haftung und Regress, InTeR 2016, S. 17–21 (zit.: Rempe, InTeR 2016, 17). Reusch, Philipp: Kap. 4.1 Produkthaftung, in: Kaulartz, Markus/Braegelmann, Tom (Hrsg.), Rechtshandbuch Artificial Intelligence und Machine Learning, München 2020, S. 77–153 (zit.: Reusch, in: Kaulartz/Braegelmann (Hrsg.), Rechtshandbuch AI, 77). Riehm, Thomas/Meier, Stanislaus: Rechtliche Durchsetzung von Anforderungen an die ITSicherheit – Behörden, Private und Verbände in der Gesamtverantwortung, MMR 2020, S. 571–576 (zit.: Riehm/Meier, MMR 2020, 571). Ringlage, Philipp: Haftungskonzepte für autonomes Fahren – „ePerson“ und „RmbH“?, zugl. Diss. Univ. Freiburg im Breisgau 2020, Baden-Baden 2021 (zit.: Ringlage, Haftungskonzepte für autonomes Fahren, S.). Rockstroh, Sebastian/Kunkel, Hanno: IT-Sicherheit in Produktionsumgebungen – Verantwortlichkeit von Herstellern für Schwachstellen in ihren Industriekomponenten, MMR 2017, S. 77–82 (zit.: Rockstroh/Kunkel, MMR 2017, 77). Roos, Philipp: Das IT-Sicherheitsgesetz – Wegbereiter oder Tropfen auf den heißen Stein?, MMR 2015, S. 636–645 (zit.: Roos, MMR 2015, 636). Roos, Philipp/Weitz, Caspar A.: Hochrisiko-KI-Systeme im Kommissionsentwurf für eine KIVerordnung – IT- und produktsicherheitsrechtliche Pflichten von Anbietern, Einführern, Händlern und Nutzern, MMR 2021, S. 844–851 (zit.: Roos/Weitz, MMR 2021, 844). Säcker, Franz J./Rixecker, Roland/Oetker, Hartmut/Limperg, Bettina (Hrsg.): Münchener Kommentar zum Bürgerlichen Gesetzbuch, Band 2 (§§ 241–310) 9. Auflage München 2022,

204

Literaturverzeichnis

Band 5 (§§ 535–630h) 8. Auflage München 2020, Band 7 (§§ 705–853, PartGG, ProdHaftG) 8. Auflage München 2020 (zit.: MüKo-BGB/Bearbeiter, § Rn.). Saliba, Jean L.: Arzneimittel und Medizinprodukte, in: Chibanguza, Kuuya J./Kuß, Christian/ Steege Hans (Hrsg.), Künstliche Intelligenz – Recht und Praxis automatisierter und autonomer Systeme, Baden-Baden 2022, § 4 Kap. F (S. 627–642) (zit.: Saliba, in: Chibanguza/ Kuß u. a. (Hrsg.), KI, § 4 Kap. F Rn.). Schaub, Renate: Interaktion von Mensch und Maschine – Haftungs- und immaterialgüterrechtliche Fragen bei eigenständigen Weiterentwicklungen autonomer Systeme, JZ 2017, S. 342–349 (zit.: Schaub, JZ 2017, 342). Schirmer, Jan-Erik: Von Mäusen, Menschen und Maschinen – Autonome Systeme in der Architektur der Rechtsfähigkeit, JZ 2019, S. 711–718 (zit.: Schirmer, JZ 2019, 711). Schirmer, Jan-Erik: Rechtsfähige Roboter?, JZ 2016, S. 660–666 (zit.: Schirmer, JZ 2016, 711). Schrader, Paul T.: Haftungsfragen für Schäden beim Einsatz automatisierter Fahrzeuge im Straßenverkehr, DAR 2016, S. 242–246 (zit.: Schrader, DAR 2016, 242). Schrader, Paul T./Engstler, Jonathan: Anspruch auf Bereitstellung von Software-Updates? – Unklare Begründung eines eingeschränkt notwendigen Anspruchs, MMR 2018, S. 356–361 (zit.: Schrader/Engstler, MMR 2018, 356). Sedlmaier, Felix/Krzic Bogataj, Andreja: Die Haftung beim (teil-) autonomen Fahren, NJW 2022, S. 2953–2957 (zit.: Sedlmaier/Krzic Bogotaj, NJW 2022, 2953). Seehafer, Astrid/Kohler, Joel: Künstliche Intelligenz: Updates für das Produkthaftungsrecht? – Mögliche Anpassungen der europäischen Produkthaftungsrichtlinie für neue Technologien, EuZW 2020, S. 213–218 (zit.: Seehafer/Kohler, EuZW 2020, 213). Siebert, Lars/Gaden, Justus: Automatisiertes Parken – Teil 2: Haftungsrechtliche Aspekte, InTeR 2016, S. 194–201 (zit.: Siebert/Gaden, InTeR 2016, 194). Sommer, Martin: Haftung für autonome Systeme – Verteilung der Risiken selbstlernender und vernetzter Algorithmen im Vertrags- und Deliktsrecht, zugl. Diss. Univ. Bayreuth 2020, Baden-Baden 2020 (zit.: Sommer, Haftung für autonome Systeme, S.). Sorge, Christoph: Maschinelle Verantwortlichkeit: Technische Grundlagen und rechtliche Schlussfolgerungen, in: Hornung, Gerrit (Hrsg.), Rechtsfragen der Industrie 4.0 – Datenhoheit – Verantwortlichkeit – rechtliche Grenzen der Vernetzung, Baden-Baden 2018, S. 139–150 (zit.: Sorge, in: Hornung (Hrsg.), Rechtsfragen der Industrie 4.0, 139). Sosnitza, Olaf: Das Internet der Dinge – Herausforderung oder gewohntes Terrain für das Zivilrecht?, CR 2016, S. 764–772 (zit.: Sosnitza, CR 2016, 764). Spickhoff, Andreas: Medizinrecht, 4. Auflage, München 2022 (zit.: Spickhoff/Bearbeiter, MedR, § Rn.). Spickhoff, Andreas: Die Entwicklung des Arztrechts 2007/2009, NJW 2008, S. 1636–1643 (zit.: Spickhoff, NJW 2008, 1636). Spindler, Gerald: Neue Haftungsregelungen für autonome Systeme?, JZ 2022, S. 793–803 (zit.: Spindler, JZ 2022, 793).

Literaturverzeichnis

205

Spindler, Gerald: Der Vorschlag der EU-Kommission für eine Verordnung zur Regulierung der Künstlichen Intelligenz (KI-VO-E) – Ansatz, Instrumente, Qualität und Kontext, CR 2021, S. 361–374 (zit.: Spindler, CR 2021, 361). Spindler, Gerald: Medizin und IT, insbesondere Arzthaftungs- und IT-Sicherheitsrecht, in: Festschrift für Dieter Hart zum 80. Geburtstag, Berlin 2020, S. 581–602 (zit.: Spindler, in: FS Hart, 581). Spindler, Gerald: Haftung für autonome Systeme – ein Update, in: Beck, Susanne/Kusche, Carsten/Valerius, Brian (Hrsg.), Digitalisierung, Automatisierung, KI und Recht – Festgabe zum 10-jährigen Bestehen der Forschungsstelle RobotRecht, Baden-Baden 2020, S. 255–284 (zit.: Spindler, in: Beck/Kusche u. a. (Hrsg.), KI, 255). Spindler, Gerald: Digitale Wirtschaft – analoges Recht: Braucht das BGB ein Update?, JZ 2016, S. 805–816 (zit.: Spindler, JZ 2016, 805). Spindler, Gerald: Roboter, Automation, künstliche Intelligenz, selbst-steuernde Kfz – Braucht das Recht neue Haftungskategorien? – Eine kritische Analyse möglicher Haftungsgrundlagen für autonome Steuerungen, CR 2015, S. 766–776 (zit.: Spindler, CR 2015, 766). Spindler, Gerald: IT-Sicherheit und Produkthaftung – Sicherheitslücken, Pflichten der Hersteller und der Softwarenutzer, NJW 2004, S. 3145–3150 (zit.: Spindler, NJW 2004, 3145). von Staudinger, Julius (Begr.): Kommentar zum Bürgerlichen Gesetzbuch, Buch 2: Behandlungsvertrag (§§ 630a–630h) Neubearbeitung Berlin 2021; Unerlaubte Handlungen 1 (§ 823 A–D) Neubearbeitung Berlin 2017; Verkehrspflichten, deliktische Produkthaftung, Verletzung eines Schutzgesetzes, Arzthaftung (§§ 823 E–I, 824, 825) Neubearbeitung Berlin 2021; Vorsätzliche sittenwidrige Schädigung, Unzurechnungsfähigkeit und Produkthaftung (§§ 826–829; ProdHaftG) Neubearbeitung Berlin 2021 (zit.: Staudinger/Bearbeiter, § Rn.). Steege, Hans: Definition von Künstlicher Intelligenz in Art. 3 Nr. 1 KI-VO-E – Ein Meilenstein auf dem Weg zu einem harmonisierten Rechtsrahmen?, MMR 2022, S. 926–930 (zit.: Steege, MMR 2022, 926). Steege, Hans: Auswirkungen von künstlicher Intelligenz auf die Produzentenhaftung in Verkehr und Mobilität – Zum Thema des Plenarvortrags auf dem 59. Deutschen Verkehrsgerichtstag, NZV 2021, S. 6–13 (zit.: Steege, NZV 2021, 6). Steege, Hans/Chibanguza, Kuuya: Der Anwendungsbereich (Art. 2) des EU-Verordnungsentwurfs zur Regulierung von KI, SVR 2022, S. 401–409 (zit.: Steege/Chibanguza, SVR 2022, 401). Stellpflug, Martin H.: Arzthaftung bei der Verwendung telemedizinischer Anwendungen, GesR 2019, S. 76–81 (zit.: Stellpflug, GesR 2019, 76). Stiemerling, Oliver: „Künstliche Intelligenz“ – Automatisierung geistiger Arbeit, Big Data und das Internet der Dinge, CR 2015, S. 762–765 (zit.: Stiemerling, CR 2015, 762). Ströbel, Lukas/Grau, Robert: KI-gestützte Medizin-Apps – Rechtliche Herausforderungen eines interdisziplinären Produkts, ZD 2022, S. 599–605 (zit.: Ströbel/Grau, ZD 2022, 599). Taeger, Jürgen: Haftung für Verdachtsfehler aus § 1 Abs. 1 ProdHaftG, ZfPC 2022, S. 62–66 (zit.: Taeger, ZfPC 2022, 62).

206

Literaturverzeichnis

Taeger, Jürgen: Außervertragliche Haftung für fehlerhafte Computerprogramme, zugl. Habil. Univ. Hannover 1995, Tübingen 1995 (zit.: Taeger, Außervertragliche Haftung für fehlerhafte Computerprogramme, S.). Taeger, Jürgen/Pohle, Jan/Kilian, Wolfgang/Heussen, Benno (Hrsg.): Computerrechts-Handbuch, 37. Ergänzungslieferung München 2022 (zit.: Taeger/Pohle/Bearbeiter, Computerrechts-Handbuch, Teil Rn.). Taupitz, Jochen: Medizinische Informationstechnologie, leitliniengerechte Medizin und Haftung des Arztes, AcP 211 (2011), S. 352–394 (zit.: Taupitz, AcP 211 (2011), 352). Teubner, Gunther: Digitale Rechtssubjekte? – Zum privatrechtlichen Status autonomer Softwareagenten, AcP 218 (2018), S. 155–205 (zit.: Teubner, AcP 218 (2018), 155). Than, Martin P./Pickering, John W./Sandoval, Yader/Shah, Anoop S. V. u. a.: „Machine Learning to Predict the Likelihood of Acute Myocardial Infarction“, Circulation 2019, Vol. 140, no. 11, S. 899–909, https://www.ahajournals.org/doi/10.1161/CIRCULATIO NAHA.119.041980 (zuletzt abgerufen am 25. 11. 2022) (zit.: Than/Pickering u. a., Circulation 2019, Vol. 140, no. 11, 899). The Global Harmonization Task Force (GHTF): Quality Management Systems – Process Validation Guidance, GHTF/SG3/N99 – 10:2004, Edition 2, 2004, https://www.imdrf.org/ sites/default/files/docs/ghtf/final/sg3/technical-docs/ghtf-sg3-n99 – 10 – 2004-qms-processguidance-04010.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: The Global Harmonization Task Force (GHTF), GHTF/SG3/N99 – 10:2004, Ziffer S.). Thiermann, Arne/Böck, Nicole: Künstliche Intelligenz in Medizinprodukten – Regulatorisches Regelwerk und Haftungsvorgaben, RDi 2022, S. 333–339 (zit.: Thiermann/Böck, RDi 2022, 333). Thissen, Christina: KI auf dem Weg zum Facharztstandard – nicht ohne Haftungsprophylaxe, RWF 12/21, S. 7–8 (zit.: Thissen, RWF 12/21, 7). Thöne, Meik: Autonome Systeme und deliktische Haftung – Verschulden als Instrument adäquater Haftungsallokation?, Tübingen 2020 (zit.: Thöne, Autonome Systeme und deliktische Haftung, S.). U.S. Food and Drug Administration (FDA): Artificial Intelligence/Machine Learning (AI/ML)Based Software as a Medical Device (SaMD) Action Plan, 2021, https://www.fda.gov/me dia/145022/download (zuletzt abgerufen am 25. 11. 2022) (zit.: U.S. Food and Drug Administration (FDA), Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan, S.). U.S. Food and Drug Administration (FDA): Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) – Discussion Paper and Request for Feedback, 2019, https://www.fda.gov/media/122 535/download (zuletzt abgerufen am 25. 11. 2022) (zit.: U.S. Food and Drug Administration (FDA), Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), S.). U.S. Food and Drug Administration (FDA): „FDA permits marketing of artificial intelligencebased device to detect certain diabetes-related eye problems“ vom 11. 4. 2018, https://www. fda.gov/news-events/press-announcements/fda-permits-marketing-artificial-intelligencebased-device-detect-certain-diabetes-related-eye (zuletzt abgerufen am 25. 11. 2022) (zit.:

Literaturverzeichnis

207

U.S. Food and Drug Administration (FDA), „FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problems“ vom 11. 4. 2018). U.S. Food and Drug Administration (FDA): „FDA permits marketing of clinical decision support software for alerting providers of a potential stroke in patients“ vom 13. 2. 2018, https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-clinical-deci sion-support-software-alerting-providers-potential-stroke (zuletzt abgerufen am 25. 11. 2022) (zit.: U.S. Food and Drug Administration (FDA), „FDA permits marketing of clinical decision support software for alerting providers of a potential stroke in patients“ vom 13. 2. 2018). Veith, Charlotte: Künstliche Intelligenz, Haftung und Kartellrecht – Zivilrechtliche Verantwortlichkeit beim Einsatz von Künstlicher Intelligenz und Implikationen für das Kartellrecht, zugl. Diss. Univ. Freiburg 2021, Baden-Baden 2021 (zit.: Veith, KI, Haftung und Kartellrecht, S.). Voosen, Paul: „How AI detectives are cracking open the black box of deep learning“ vom 6. 7. 2017, https://www.science.org/content/article/how-ai-detectives-are-cracking-open-blackbox-deep-learning (zuletzt abgerufen am 25. 11. 2022) (zit.: Voosen, „How AI detectives are cracking open the black box of deep learning“ vom 6. 7. 2017). Wagner, Gerhard: Haftung für Künstliche Intelligenz – Eine Gesetzesinitiative des Europäischen Parlaments, ZEuP 2021, S. 545–572 (zit.: Wagner, ZEuP 2021, 545). Wagner, Gerhard: Verantwortlichkeit im Zeichen digitaler Techniken, VersR 2020, S. 717–741 (zit.: Wagner, VersR 2020, 717). Wagner, Gerhard: Produkthaftung für autonome Systeme, AcP 217 (2017), S. 707–765 (zit.: Wagner, AcP 217 (2017), 707). Wahlster, Wolfgang/Winterhalter, Christoph (Hrsg.): Deutsche Normungsroadmap Künstliche Intelligenz, 2020, https://www.din.de/resource/blob/772438/6b5ac6680543eff9fe372603514 be3e6/normungsroadmap-ki-data.pdf (zuletzt abgerufen am 25. 11. 2022) (zit.: Wahlster/ Winterhalter, Deutsche Normungsroadmap KI, S.). Westermann, Peter H./Grunewald, Barbara/Maier-Reimer, Georg (Hrsg): Erman Bürgerliches Gesetzbuch – Handkommentar, Band 1, 16. Auflage Köln 2020 (zit.: Erman/Bearbeiter, § Rn.). Westphalen, Friedrich Graf von: Produkthaftungsrechtliche Erwägungen beim Versagen Künstlicher Intelligenz (KI) unter Beachtung der Mitteilung der Kommission COM(2020) 64 final, VuR 2020, S. 248–254 (zit.: v. Westphalen, VuR 2020, 248). Westphalen, Friedrich Graf von: Haftungsfragen beim Einsatz Künstlicher Intelligenz in Ergänzung der Produkthaftungs-RL 85/374/EWG, ZIP 2019, S. 889–895 (zit.: v. Westphalen, ZIP 2019, 889). Wiebe, Gerhard: Produktsicherheitsrechtliche Betrachtung des Vorschlags für eine KI-Verordnung, BB 2022, S. 899–906 (zit.: Wiebe, BB 2022, 899). Wiebe, Gerhard: Produktsicherheitsrechtliche Pflicht zur Bereitstellung sicherheitsrelevanter Software-Updates, NJW 2019, S. 625–630 (zit.: Wiebe, NJW 2019, 625). Wiesemann, Hans P./Mattheis, Clemens/Wende, Susanne: Software-Updates bei vernetzten Geräten – Besteht ein Update-Recht der Hersteller an der Steuerungssoftware ihrer Produkte?, MMR 2020, S. 139–144 (zit.: Wiesemann/Mattheis u. a., MMR 2020, 139).

208

Literaturverzeichnis

Wittbrodt, Saskia: Industrie 4.0 und die Haftung für Maschinensoftware, InTeR 2020, S. 74–81 (zit.: Wittbrodt, InTeR 2020, 74). Wittpahl, Volker: Künstliche Intelligenz-Technologie, Anwendung, Gesellschaft, Heidelberg 2019 (zit.: Wittpahl, KI, S.). Wrage-Molkenthin, Heidi: Zur Bedeutung der CE-Kennzeichnung, MPR 2009, S. 43–46 (zit.: Wrage-Molkenthin, MPR 2009, 43). Xavier University: Perspectives and Good Practices for AI and Continuously Learning Systems in Healthcare, 2018, https://www.exhibit.xavier.edu/cgi/viewcontent.cgi?article=1024&con text=health_services_administration_faculty (zuletzt abgerufen am 25. 11. 2022) (zit.: Xavier University, „Perspectives and Good Practices for AI and Continuously Learning Systems in Healthcare“ von 2018). Zech, Herbert: Empfehlen sich Regelungen zu Verantwortung und Haftung beim Einsatz Künstlicher Intelligenz?, NJW-Beil 2022, S. 33–38 (zit.: Zech, NJW-Beil 2022, 33). Zech, Herbert: Entscheidungen digitaler autonomer Systeme: Empfehlen sich Regelungen zur Verantwortung und Haftung?, Ergänzungen zum Gutachten A zum 73. Deutschen Juristentag Bonn 2022, München 2022, S. 113–132 (zit.: Zech, DJT 2022 Ergänzungen Gutachten A, S.). Zech, Herbert: Entscheidungen digitaler autonomer Systeme: Empfehlen sich Regelungen zur Verantwortung und Haftung?, Gutachten A zum 73. Deutschen Juristentag Hamburg 2020/ Bonn 2022, München 2020, S. 1–112 (zit.: Zech, DJT 2020 Gutachten A, S.). Zech, Herbert: Künstliche Intelligenz und Haftungsfragen, ZfPW 2019, S. 198–219 (zit.: Zech, ZfPW 2019, 198). Zech, Herbert: Zivilrechtliche Haftung für den Einsatz von Robotern – Zuweisung von Automatisierungs- und Autonomierisiken, in: Gless, Sabine/Seelmann, Kurt (Hrsg.), Intelligente Agenten und das Recht, Baden-Baden 2016, S. 163–204 (zit.: Zech, in: Gless/Seelmann (Hrsg.), Intelligente Agenten, 163). Zentrale Ethikkommission (ZEKO) bei der Bundesärztekammer: Entscheidungsunterstützung ärztlicher Tätigkeit durch Künstliche Intelligenz, Deutsches Ärzteblatt 2021, Jg. 118 (2021), Heft 33–34, S. 1–13 (zit.: Zentrale Ethikkommission (ZEKO), Deutsches Ärzteblatt 2021, Jg. 118 (2021), Heft 33–34, S.). von Zezschwitz, Friederike: Neue regulatorische Herausforderungen für Anbieter von Gesundheits-Apps, MedR 2020, S. 196–201 (zit.: v. Zezschwitz, MedR 2020, 196). Zipfel, Valentin: Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, zugl. Diss. Univ. Heidelberg 2020, Baden-Baden 2021 (zit.: Zipfel, Arzt- und Krankenhausträgerhaftung bei der Implantation von Medizinprodukten, S.).

Für die verwendeten Abkürzungen wird auf Kirchner, Hildebert: Abkürzungsverzeichnis der Rechtssprache, 10. Auflage Berlin 2021 verwiesen.

Sachverzeichnis Anscheinsbeweis 107, 108 Anthropozentrischer Vergleichsmaßstab 42, 43 Arbeitsteilung – horizontale 141, 142, 144, 145 – vertikale 143, 144, 146, 147, 148 Ärztliche Leitlinien 126, 127, 138 Aufklärungspflicht 129, 152, 153, 154, 155, 156, 157, 158 Auswahlpflicht 140, 146, 149 Autonomierisiko 20, 77, 79, 118, 120, 153, 154, 158, 162, 183, 184 Behandlungsfehler 120, 121, 123, 124, 126, 127, 128, 129, 142, 160 Behandlungsvertrag 29, 121 Benannte Stelle 47, 49, 62, 63, 64, 176, 177 Berechtigte Sicherheitserwartungen 38, 39, 43, 57 Beweislast 39, 103, 104, 110, 160 Beweislastumkehr 105, 106 Blackbox 15, 22, 103, 105, 173 CE-Kennzeichen 43, 44, 45, 47, 50, 115, 169, 176 Dokumentationspflicht 108, 163 E-Person 166, 167 Einwilligung 122, 153, 158, 159 Entwicklungsrisiko 77, 78, 79, 80 Erfüllungsgehilfe 150, 151 EU-Konformitätserklärung 47, 169 Fabrikationspflicht 51, 82, 83, 106 Fehlerverdacht 88, 89, 90, 115 Fehlverhalten – des KI-Systems 150, 151 Food and Drug Administration (FDA) 66, 67, 68

Gefährdungshaftung 183 Hackerangriffe 83, 98, 99 Hersteller – Begriffsbestimmung 25, 26, 36, 37, 170, 171, 181, 182 Hochrisiko-KI-Systeme – Anforderungen an 172, 173, 174, 175 – Begriffsbestimmung 171, 172 Instruktionspflicht 83, 84, 85, 86, 87, 88 Inverkehrbringen – Begriffsbestimmung 26, 52 Kausalität 97, 98, 99, 100, 101, 102, 111, 112, 113, 114 Klassifizierung 44, 45, 46, 171, 172 Klassifizierungsregeln 45 Konformitätsbewertung 62, 63, 64, 69, 70, 172, 176, 178 Konformitätsbewertungsverfahren 45, 47, 82, 169, 176, 177, 178 Konsiliararzt 141, 142, 145 Konstruktionspflicht 59, 60, 61, 62, 63, 64, 65 Kosten-Nutzung-Abwägung 55, 76 Künstliche Intelligenz – Begriffsbestimmung 13, 14, 15, 16, 17 Medical Device Coordination Group (MDCG) 46, 63, 64 Medizinischer Standard 124, 125, 126 Medizinprodukt – Begriffsbestimmung 25 – Produkteigenschaft 32, 33, 34, 35, 36 Neulandmethode 125, 126, 128, 134, 147, 155, 156, 159 NOT-HALT-Funktion 74 Nutzen-Risiko-Abwägung 48, 125, 128

210

Sachverzeichnis

Offenlegungspflicht 109, 110, 112 Öffentliches Sicherheitsrecht 56, 57, 58, 59 Organisationspflicht 129, 132, 149 Prinzip der Eigenverantwortung 140 Produktbeobachtungspflicht 90, 91, 92, 106, 174 Produkthaftung 31, 32 Produzentenhaftung 30, 31 Qualitätsmanagementsystem 44, 48, 49, 62, 63, 82, 110, 172, 173 Risikoklasse 44, 47 Risikomanagementsystem 48, 172 Schutzgesetz 114, 115, 122, 132, 134, 179 Software – als Medizinprodukt 26, 27, 28, 169, 171, 172, 176, 177, 178, 179 Software-Update-Pflicht 92, 93, 94, 95, 96 Stand der Technik 60, 61, 179

Standardmethode 128, 134, 152 Systembezogener Vergleichsmaßstab 42 Technische Normen 56, 57, 58, 59 Therapiefreiheit 127, 128 Überwachungspflicht 136, 140, 141, 144, 146, 149, 175 Validierung 61, 62, 173, 177 Verifizierung 61, 62, 177 Verrichtungsgehilfe 167, 168 Verschuldenshaftung 30, 151, 184 Vertrauensgrundsatz 100, 140, 141, 142, 144, 145, 146 Vollbeherrschbares Risiko 160, 163 Zertifizierung – von selbstlernenden Medizinprodukten 62, 63, 64, 65, 66, 177, 178 Zweckbestimmung 25, 27, 37, 44, 60, 63, 65, 175