Dilemmata und der Schleier des Nichtwissens: Lösungsansätze für den autonomen Straßenverkehr [1 ed.] 9783428582228, 9783428182220

Citation preview

Wissenschaftliche Abhandlungen und Reden zur Philosophie, Politik und Geistesgeschichte Band 102

DIMITRIOS LINARDATOS

Dilemmata und der Schleier des Nichtwissens Lösungskonzepte für den autonomen Straßenverkehr

Duncker & Humblot · Berlin

DIMITRIOS LINARDATOS

Dilemmata und der Schleier des Nichtwissens

Wissenschaftliche Abhandlungen und Reden zur Philosophie, Politik und Geistesgeschichte Band 102

Dilemmata und der Schleier des Nichtwissens Lösungskonzepte für den autonomen Straßenverkehr

Von

Dimitrios Linardatos

Duncker & Humblot · Berlin

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Alle Rechte vorbehalten © 2021 Duncker & Humblot GmbH, Berlin Satz: 3w+p GmbH, Rimpar Druck: CPI buchbücher.de gmbh, Birkach Printed in Germany ISSN 0935-5200 ISBN 978-3-428-18222-0 (Print) ISBN 978-3-428-58222-8 (E-Book) Gedruckt auf alterungsbeständigem (säurefreiem) Papier entsprechend ISO 9706 Internet: http://www.duncker-humblot.de

Vorwort Bei Gerechtigkeit und Ungerechtigkeit haben wir zu prüfen, im Bereiche welcher Handlungen sie sich entfalten, ferner, welche Art von Mitte die Gerechtigkeit ist und zu welchen Extremen das Gerechte ein Mittleres ist. Aristoteles, Nikomachische Ethik, Buch V (1129a 3 – 19)

Recht und Philosophie stehen erneut vor den Rätseln menschengemachter Erfindungen. Die technische Entwicklung bewegt sich mit Siebenmeilenstiefeln fort, während das Ethische in einem gewohnt bedächtigen Gang nachfolgt. Die vorliegende Schrift versucht, einen Schritt in die richtige Richtung beizutragen in der Diskussion darüber, welche Entscheidungsfolgen eines autonomen Fahrzeugs mit einer überindividuellen Gerechtigkeitsidee vereinbar sind. Entstanden ist der Text neben meiner Habilitationsschrift über die Frage, wie und wem das Verhalten autonomer Aktanten zivilrechtlich zuzurechnen ist und mit welchen Strukturmerkmalen eine elektronische Person in unserem Rechtssystem anerkannt werden könnte. Ein herzlicher Dank gebührt zuerst Dr. Christine Straub. Sie hat eine ganz frühe Fassung des Textes kritisch gelesen, mit vielen Hinweisen entscheidend bereichert und mich darin bestärkt, das Projekt weiterzuverfolgen. Ganz besonders danken möchte ich auch Dr. Philip Schwarz – nicht nur für unsere Freundschaft seit den Studientagen in Marburg, sondern auch für seine Durchsicht des fortgeschrittenen Manuskripts sowie für viele wichtige Anregungen. Nicht genug danken kann ich meinem akademischen Lehrer Prof. Dr. Georg Bitter – für sein kritisches Fordern und Fördern, für die Freiheiten, die er mir einräumte, um dieses Projekt zu verwirklichen, und für seine stete Unterstützung.

6

Vorwort

Auch Marisa Doppler kann ich nicht ausreichend danken. Unermüdlich liest sie in freundschaftlicher Verbundenheit und mit höchster Gründlichkeit meine Texte – nicht nur diesen – Korrektur. Gewidmet ist das Werk meinen Familienangehörigen und Freunden, die seine Veröffentlichung nicht mehr miterleben können. Ihr lebt in meiner Erinnerung weiter. Mannheim, im Dezember 2020

Dimitrios Linardatos

Inhaltsverzeichnis A. Prolegomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 B. Das Dilemma-Enigma – seine Relevanz und unser Ausgangspunkt . . . . . 16 I. Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 II. Problemaufriss: Was sind Dilemma-Situationen? . . . . . . . . . . . . . . . . 19 III. Weshalb sind Dilemma-Situationen zu entscheiden? . . . . . . . . . . . . . 23 IV. Stand der Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1. Rechtsethischer Meinungsstand . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 a) Prinzip der Schadensminimierung . . . . . . . . . . . . . . . . . . . . . . 29 b) Anthropoparallele Bewertungsparameter . . . . . . . . . . . . . . . . . 37 2. Empirische Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3. Moralphilosophischer Diskussionsstand . . . . . . . . . . . . . . . . . . . . 44 a) Moralimplementation in der Maschinenethik . . . . . . . . . . . . . 44 b) Kant’sche Regel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 c) Utilitaristische Regel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 C. Über die Anknüpfung an die Personenmerkmale und Ursachenforschung 58 I. Kritik an einer Anknüpfung an Personenmerkmale . . . . . . . . . . . . . . 58 II. Die Idee von der „Supermoralmaschine“ . . . . . . . . . . . . . . . . . . . . . . 61 III. Kritik an der Idee von der Supermoralmaschine . . . . . . . . . . . . . . . . 62 1. Algorithmische Vorausschau und Kontextverständnis fehlen . . . . . 64 2. Komplexität der Umweltzustände wird missachtet . . . . . . . . . . . . 71 3. Unvereinbarkeit mit den Prinzipien der Datensouveränität und der Datenminimierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 IV. Schlussbewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

8

Inhaltsverzeichnis

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept . . . . . . . . . . 83 I. Vorbemerkungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 II. Der Schleier des Nichtwissens nach Rawls . . . . . . . . . . . . . . . . . . . . . 88 III. Praktische Unterschiede zur Utilitarismusregel . . . . . . . . . . . . . . . . . 94 IV. Die gegenständlichen Entscheidungsregeln . . . . . . . . . . . . . . . . . . . . 96 V. Technische Umsetzbarkeit der Entscheidungsregeln . . . . . . . . . . . . . . 100 E. Die Grenzen der algorithmischen Entscheidungsgewalt . . . . . . . . . . . . . . 102 I. Notwendige Grenzen und Schranken . . . . . . . . . . . . . . . . . . . . . . . . 102 II. Abgrenzung: zulässige Sicherheits- und Notfallvorkehrungen . . . . . . 105 F. Zusammenfassung in Thesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 Personen- und Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

Abkürzungsverzeichnis a.A. a.a.O. AcP a.E. AI AJP APuZ BGBl. BMI BMVI BVerfG BVerfGE

anderer Ansicht am angegebenen Ort Archiv für civilistische Praxis am Ende Artificial Intelligence Aktuelle Juristische Praxis Aus Politik und Zeitgeschichte Bundesgesetzblatt Bundesministerium des Innern, für Bau und Heimat Bundesministerium für Verkehr und digitale Infrastruktur Bundesverfassungsgericht Entscheidungen des Bundesverfassungsgerichts (amtliche Sammlung) Calif. L. Rev. California Law Review CNN Cellular neural network DAR Deutsches Autorecht Ed. Editor(s) EL Ergänzungslieferung f. und die folgende ff. und die folgenden Fn. Fußnote(n) GA Goltdammer’s Archiv für Strafrecht GG Grundgesetz GRUR Gewerblicher Rechtsschutz und Urheberrecht Hrsg. Herausgeber(in) i.E. im Ergebnis i.V.m. in Verbindung mit JA Juristische Arbeitsblätter J. Exp. Psychol. Gen. Journal of Experimental Psychology: General JZ JuristenZeitung Kap. Kapitel KI Künstliche Intelligenz LIDAR light detection and ranging MedR Medizinrecht medstra Zeitschrift für Medizinstrafrecht

10 MIT ML MMR NJW m.w.N. NZV NZZFolio Rn. RW Rz. S. sog. StVG sub TIM Review Tz. u. a. VerfBlog vgl. ZEuP Ziff. ZStW zusf. zust.

Abkürzungsverzeichnis Massachusetts Institute of Technology Machine Learning Zeitschrift für IT-Recht und Recht der Digitalisierung Neue Juristische Wochenschrift mit weiteren Nachweisen Neue Zeitschrift für Verkehrsrecht Monatsbeilage der Neuen Zürcher Zeitung Randummer(n) Zeitschrift für rechtswissenschaftliche Forschung Randziffer(n) Seite(n) sogenannte Straßenverkehrsgesetz unter (lateinisch) Technology Innovation Management Review Teilziffer unter anderem Verfassungsblog vergleiche Zeitschrift für Europäisches Privatrecht Ziffer(n) Zeitschrift für die gesamte Strafrechtswissenschaft zusammenfassend zustimmend

A. Prolegomena Der Straßenverkehr steht vor grundlegenden Umwälzungen. Fahrzeugpassagiere werden in Zukunft zunehmend zu passiven Verkehrsteilnehmern, während das Auto ausgestattet mit algorithmischen Steuerungssystemen – Künstliche Intelligenz (KI) und Maschinellem Lernen – durch den Verkehr führen wird. Die Hoffnungen dahinter sind: nahezu absolute Sicherheit im Straßenverkehr1 durch einen überlegenen Entscheidungsträger – die Technik –, mehr Mobilität und Reisekomfort für die Passagiere sowie weniger Emissionen. Vor allem der Sicherheitsaspekt scheint ausgemacht zu sein, weil im heutigen Straßenverkehr der weit überwiegende Teil der Verkehrsunfälle auf menschliches (Fehl-)Verhalten zurückzuführen ist; technisches Versagen soll nur für weniger als ein Prozent der Unfälle ursächlich sein.2 Deswegen wird sogar erwogen, es könne mittelfristig vor dem Hintergrund staatlicher Schutzpflichten ein „verfassungsrechtliches Gebot zur Förderung der Verbreitung autonomer Systeme“ und somit auch sich selbst steuernder Fahrzeuge geben.3 Obgleich die vorgenannten Vorteile des autonomen Straßenverkehrs wichtige Treiber der Technikentwicklung im Individualverkehr4 sind, darf eine darüber hinausgehende entscheidende Antriebsfeder nicht vergessen 1 Eidenmüller, ZEuP 2017, 765, 770; Thöne, Autonome Systeme und deliktische Haftung, 2020, S. 13; Beck, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117, 123, 129 f.; ablehnend M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 61. Skeptisch Bertolini, Artificial Intelligence and Civil Liability, S. 78: es fehle am aussagekräftigen Datenmaterial. 2 Statistisches Bundesamt, Unfallentwicklung auf deutschen Straßen, 2017, S. 11. Freilich ist zu berücksichtigen, dass die heute im Einsatz befindliche Technik, obgleich ihr ein hoher Komplexitätsgrad nicht abzusprechen ist, weit weniger komplex ist als eine Infrastruktur, in der autonomes Fahren möglich ist. 3 Thöne, Autonome Systeme und deliktische Haftung, 2020, S. 168, etwa mit Verweis auf Gasser, DAR 2015, 6, 11. Zurückhaltender der Bericht des BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, S. 11: Einführung „kann gesellschaftlich und ethisch geboten sein“. 4 Dazu zählt auch der Personenbeförderungsverkehr, welcher mit Hilfe von fahrerlosen Bussen und Taxen autonomisiert werden soll.

12

A. Prolegomena

werden5: Das enorme unternehmerische Interesse – vor allem von Speditions- und Versandhandelshäusern –, den Lieferverkehr „die letzte Meile“ vollständig personenlos und technisch-autonom abzuwickeln, um Kosten zu sparen und um die Losgrößen zu optimieren. Noch steht der autonome Straßenverkehr im weiten Feld. Wie er im Detail aussehen wird, ist eine weiterhin offene Gestaltungsfrage. Feststeht bisher nur, dass Komfort, Sicherheit, Umweltschutz und ökonomische Effizienz starke Transmissionsriemen sind, die seine Entstehung zur Gewissheit werden lassen. Die Tür zu einem solchen Straßenverkehr endgültig aufgestoßen hat dabei die bereits erwähnte KI. Funktionsspezifisch betrachtet ermöglicht diese Technologie eine Umweltveränderung innerhalb einer typisch menschlichen Domäne, die nach anthropomorphem Verständnis gewisse Intelligenz voraussetzt.6 Dadurch soll der Mensch bei einer Aufgabenerfüllung aus der Verantwortungsschleife genommen werden. Um dieses Ziel zu erreichen, wird versucht, menschliches Handeln technisch nachzubilden oder jedenfalls zu simulieren. Die eingesetzten Systeme zeichnen sich dabei dadurch aus, dass sie in einem maschinellen Sinne lernen und sich daher entwickeln und verändern. Sie 5 Siehe etwa die jüngsten Akquisitionen von Amazon. Das Unternehmen drängt mit Milliardeninvestments in den Sektor des autonomen Fahrens vor (vgl. Demling/ Tyborski, Handelsblatt-Online vom 20. 7. 2020). Darüber hinaus bekommt der Drohnen-Sektor immer mehr Aufwind, nicht zuletzt wegen der Covid-19-Krise (vgl. für weitere Details suasnews.com ! Delivery Drones). 6 Eingehender zu den (möglichen) KI-Definitionen Bertolini, Artificial Intelligence and Civil Liability, S. 15 ff. Auf europäischer Ebene hat die Expertengruppe der Europäischen Kommission (High-Level Expert Group, A Definition of AI, 18 December 2018, S. 6) versucht, eine gemeinsame Definitionsbasis zu entwickeln: „Artificial intelligence (AI) systems are software (and possibly also hardware) systems designed by humans that, given a complex goal, act in the physical or digital dimension by perceiving their environment through data acquisition, interpreting the collected structured or unstructured data, reasoning on the knowledge, or processing the information, derived from this data and deciding the best action(s) to take to achieve the given goal. AI systems can either use symbolic rules or learn a numeric model, and they can also adapt their behaviour by analysing how the environment is affected by their previous actions. As a scientific discipline, AI includes several approaches and techniques, such as machine learning (of which deep learning and reinforcement learning are specific examples), machine reasoning (which includes planning, scheduling, knowledge representation and reasoning, search, and optimization), and robotics (which includes control, perception, sensors and actuators, as well as the integration of all other techniques into cyber-physical systems).“

A. Prolegomena

13

werden nicht statisch-deterministisch programmiert, sondern trainiert, indem große Datenmengen (Big Data) wiederholt mit dem Ziel prozessiert werden, relevante Muster in den bestehenden Altdaten zu erkennen. Aus diesen Mustern sollen die Algorithmen für ihr Aufgabenfeld nach stochastischen Methoden relevante Regeln und Modelle ableiten, auf deren Grundlage sie sodann künftige Probleme (Neudaten) eigenständig lösen (Maschinelles Lernen). Abstrakt gesprochen ist Maschinelles Lernen die Generierung von technischem „(Entscheidungs-)Wissen“ durch Training und eigene „Erfahrung“ des Systems, denn es erfasst anhand von Beispieldaten die Korrelationen und Muster einer Problemstellung, um darauf basierend optimierte Vorhersagen zu treffen. Das System lernt, indem es die internen Modelle an den Resultaten einer ausgeführten Aktion permanent neu anpasst – vor allem, wenn der Ist-Zustand der Verhaltensfolgen nicht dem Soll-Zustand entspricht.7 Solche Systeme im (autonomen) Straßenverkehr eingesetzt bedeutet: Die selbstfahrenden Autos werden aus den bereits verfügbaren und den in jeder neuen Verkehrssituation gesammelten Daten Schlussfolgerungen ziehen können, um unbekannte und neue Situationen „fahrerisch“ zu lösen. Sie werden die Umweltzustände eigenständig bewerten und in kritischen Sachverhalten selbst entscheiden, mithin nicht einer vorgegebenen Direktive folgen.8 Die Fahrzeugsysteme werden sich perspektivisch – bestenfalls – auf eine Weise entwickeln, die im Vergleich zum herkömmlichen Straßenverkehr mit menschlichen Fahrern ein optimiertes Verkehrsverhalten erlaubt. Der Mensch als noch immer größte Fehlerquelle in Verkehrssituationen wird dadurch ausgeschaltet. Damit soll indes nicht gesagt sein, es entstünde Perfektion. Unfälle werden sich – trotz des Fortschritts – weiterhin ereignen: sei es, weil der Algorithmus falsch lernt, sei es, weil ein technisches System im falschen Augenblick ausfällt oder weil eine Verkehrslage entsteht, in der unerwünschte Schadensfolgen schlicht unvermeidbar sind. Die kleine Schrift hier beschäftigt sich mit den letztgenannten Sachverhalten, die als Dilemma-Situationen oder als Dilemmata bezeichnet werden.9 Sie versucht auszuloten, nach welchen Parametern ein Algo7 Maschinelles Lernen ist eine Methodik, um KI zu erschaffen; zu den Einzelheiten siehe nur Fraunhofer-Gesellschaft, Maschinelles Lernen, 2018, Kapitel 1. 8 So treffend Thöne, Autonome Systeme und deliktische Haftung, 2020, S. 9. 9 Näher zum Begriff sogleich unter B. II.

14

A. Prolegomena

rithmus in solchen Situationen eine Entscheidung treffen sollte, und sie versucht zudem eine kleine Philosophie über den Umgang mit und über den Blick auf Algorithmen zu entwickeln – insbesondere über solche, die nicht einfach nur integraler Bestandteil des gesellschaftlichen Zusammenlebens sein werden, sondern auch über Menschenleben befinden sollen. Betrachtet werden dabei nur sog. two-options cases, also Dilemmata, in denen das Fahrzeug (oder der Aktant) zwischen zwei Handlungsalternativen wählen kann und eine dritte Variante nicht existiert.10 Nachfolgend werden die Orientierungsmarken gezielt für den autonomen Straßenverkehr gesetzt; sie lassen sich allerdings – hinsichtlich der verfolgten Grundlinie – prinzipiell auch für andere Bereiche mit Dilemmata-Situationen adaptieren (etwa autonome Flugdrohnen, Rettungsroboter etc.). Da jedoch alle Anwendungsszenarien der autonomen Aktanten ihre Besonderheiten aufweisen, werden die genannten Bereiche nachfolgend ausgeklammert, um den Fokus des Textes zu erhöhen. Zudem unberücksichtigt bleiben sollen autonome Waffensysteme, die in humanistischer und völkerrechtlicher Hinsicht von einer ganz eigenen Komplexität geprägt sind.11 Auch ausgeklammert bleibt der Komplex der Triage12, da er im Vergleich zu den hier relevanten Dilemmata des Straßenverkehrs mehrdimensional ist und insoweit die Vergleichbarkeit fehlt. – Eine strafrechtliche Bewertung der Dilemma-Situationen erfolgt nicht. Es soll insbesondere nicht um die Frage gehen, ob autonome Maschinen (eines Tages) als strafwürdig anzusehen sind.13 Vielmehr geht es darum, ein rechts-ethisches, praxisbezogenes Konzept über maschinelles Verhalten bei 10 Die three-options cases oder „Trilemmata“ sind dadurch gekennzeichnet, dass ein Akteur wählen kann, ob seine Entscheidung (etwa Umstellen einer Schienenweiche) eine von zwei Opfergruppen treffen (viele Arbeiter auf dem linken, wenige auf dem rechten Gleis) oder eine Selbstaufopferung zur Folge haben soll; siehe dazu vor allem Thomson, Philosophy and Public Affairs, 2008, S. 359, 364 ff.; vgl. auch Di Nucci, Philosophical Psychology 2013, S. 662 ff.; Huang, Harvard Law Review 2016, 659, 666 m.w.N. Eine Selbstaufopferung der Maschine in einem moralisch relevanten Sinne ist indes nicht denkbar und braucht hier nicht problematisiert zu werden. 11 Zu diesem Themenbereich siehe etwa Scharre, Army of None: Autonomous Weapons and the Future of War, 2018. 12 Zu dieser Thematik siehe etwa Merkel/Augsberg, JZ 2020, 704; Hoven, JZ 2020, 449; Gaede et al., medstra 2020, 129; Taupitz, MedR 2020, 440; zur näheren Erläuterung des Triage-Begriffs siehe auch noch unten Fn. 239. 13 Dazu etwa Gless/Weigend, ZStW 2014, 561; Gaede, Künstliche Intelligenz – Rechte und Strafen für Roboter?, 2019.

A. Prolegomena

15

Dilemmata im autonomen Straßenverkehr zu entwicklen. Wie der Titel dieser Arbeit bereits ankündigt, wird dabei Rawls Theorie der Gerechtigkeit die Basis des hier befürworteten Lösungskonzepts bilden.

B. Das Dilemma-Enigma – seine Relevanz und unser Ausgangspunkt I. Einleitung Menschenleben werden gegen Menschenleben und gegen den wirtschaftlichen Ertrag einer Tätigkeit abgewogen.14 Diese Abwägung geschieht permanent und in vielen Lebensbereichen. Dagegen mag man sich als Humanist noch so sehr wehren, das Gesellschafts- und Wirtschaftssystem der heutigen Zeit beruht – jedenfalls auf der Makroebene – in weiten Teilen darauf, dass Menschen – gleich einer Ware – einen Wert beigemessen bekommen, der als Rechnungsposten in eine Kalkulation eingestellt wird. Im Grundgesetz genießt das Recht auf Leben zwar den Rank eines „Höchstwertes“ (Art. 2 Abs. 2 S. 1 GG), weil es die vitale Basis der Menschenwürde und die Voraussetzung aller anderen Grundrechte ist15, jedoch keine absolute Stellung.16 Verschiedene Vor- und Nachteile des menschlichen Zusammenlebens werden daher logisch abgewogen: Straßen- und Flugverkehr, Arzneimittel, Transplatationsmedizin, Biotechnologien oder Umweltschutzstandards verdanken ihre Existenz und ihre konkrete Ausgestaltung17 eben jener Abwägung mit dem Recht auf Leben. Die (kalt-mathematische) Variable Mensch bleibt in der Mikroebene nur 14 Siehe beispielhaft zum Straßenverkehr Köndgen, Haftpflichtfunktionen und Immaterialschaden am Beispiel von Schmerzensgeld bei Gefährdungshaftung, 1976, S. 26. 15 BVerfG, Urteil vom 25. 2. 1975 – 1 BvF 1/74 bis 6/74, BVerfGE 39, 1, 42 = NJW 1975, 573, 575 (Schwangerschaftsabbruch); ebenso Starck, in: von Mangoldt/Klein/Starck, Grundgesetz, 7. Auflage 2018, Art. 1 Rn. 92. 16 Maunz/Dürig/Di Fabio, Grundgesetz-Kommentar, Werkstand: 91. EL April 2020, Art. 2 GG Rn. 15 f., 33. 17 Gemeint ist damit, dass eben nicht alle denkbaren Sicherheitsvorkehrungen, nicht alle theoretisch machbaren Arzneimittel etc. den Weg in die Gesellschaft finden. Sind die Kosten einer Vorsorgemaßnahme nämlich höher als der damit verbundene Nutzen – die Rettung von Menschenleben –, so bleiben diese Maßnahmen aus wirtschaftlichen Gründen aus.

I. Einleitung

17

deswegen verborgen, weil der Rechenprozess wiederum auf der Makroebene entpersonalisiert stattfindet. Die aktuelle Covid-19-Krise zeigt dies deutlich auf: Notfallmedizinische Kapazitäten in den Krankenhäusern bestehen nur in einer gewissen Größenordnung. Diese Kapazitäten werden in Normalsituationen nicht ausgelastet; die insoweit zu hohen Vorhaltekosten werden von der Gesellschaft gleichwohl in Kauf genommen, weil der Preis der theoretisch betroffenen Menschenleben höher bewertet wird. In der Regel reichen die Kapazitäten nicht aus, um bei jeder Krisensituation eine optimale Versorgung zu gewährleisten. Solche Versorgungslücken werden ebenfalls aus einer ökonomischen Abwägung heraus in Kauf genommen, jedenfalls solange sie abstrakt bleiben und sich nicht vorab ankündigen – was bei atypischen Schadensszenarien regelmäßig der Fall ist.18 Tritt aber eine Situation ein, in der sich die Gefahr ankündigt und zeichnet sich in einer ex-ante-Bewertung konkret ab, dass die Kapazitäten mit großer Wahrscheinlichkeit nicht ausreichen werden, entsteht die politische und gesellschaftliche Bereitschaft, hohe unmittelbare und mittelbare Investitionen zu tätigen (Gewinnverluste in der Industrie, Einnahmeneinbußen von Unternehmern und Arbeitnehmern, soziale Kosten durch den Verlust von menschlicher Interaktion etc.), um die Zahl der Opfer stärker zu begrenzen. Die Besonderheit in der Covid-19-Pandemie ist: Aus dem abstrakten und statistischen Faktor „Menschenleben“ wird unmittelbar ein konkreter, sobald sich die Notwendigkeit einer Behandlung abzeichnet; die betroffenen Menschen erhalten ein Gesicht und eine Geschichte. Deswegen steigt die Bereitschaft, ökonomisch und gesellschaftlich weitreichende Maßnahmen zu ergreifen. Es ist nämlich eine Sache, die Vorteile des Straßenverkehrs abstrakt gegen die Nachteile abzuwägen, welche mit dem Verlust eines Menschenlebens durch einen Verkehrsunfall einhergehen. Es ist aber eine ganz andere Sache, konkret in der Notaufnahme eines Krankenhauses einen lebensbedrohlich kranken Patienten zurückweisen zu müssen, weil die medizinischen Kapazitäten nicht ausreichen. Diese Erkenntnis führt uns zum ersten Aspekt, der aus den Wirtschaftswissenschaften bekannt ist und der für die hier behandelten Dilemma-Situationen eine Rolle spielt: Ökonomen unterscheiden zwischen dem statistischen und dem identifizierten Leben.19 Wenn beispielsweise in 18 Ein Beispiel ist das ICE-Unglück von Eschede (siehe dazu M. Schütz, sozialtheoristen, 3. 6. 2018). 19 Thaler, Misbehaving, 2018, S. 31.

18

B. Das Dilemma-Enigma

den Nachrichten vom massenhaften Kindersterben wegen des maroden Gesundheitssystems in einem beliebigen Entwicklungsland der Erde berichtet wird (statistisches Leben), hat ein Spendenaufruf am Ende des Berichts ungleich weniger Erfolg als der Spendenaufruf für ein kleines Mädchen, dessen Bild mit der Mitteilung gezeigt wird, der Zuschauer könne schon mit einer geringen Spende eine lebensrettende Operation ermöglichen (identifiziertes Leben).20 Der Unterschied ist: Das identifizierte Leben ist mit einer Geschichte, mit einem Narrativ verbunden. Und Menschen werden von Geschichten, nicht von Statistiken angesprochen.21 Menschen messen also dem Appell, zugunsten eines identifizierten Lebens zu handeln, eine stärkere Wirkkraft bei als einem Appell, an dessen Ende nur eine rein statistisch messbare Wohltat steht. Das Gehirn des Menschen verarbeitet Informationen über Individuen anders als Kategorien.22 Unfallopfer bekommen durch Berichte in den Medien oder im sozialen Umfeld ein Gesicht; sie werden identifiziert. Dieser psychologische Aspekt spielt auch eine Rolle, wenn in der hier interessierenden Debatte versucht wird, einen modus operandi für selbstfahrende Fahrzeuge in Dilemma-Situationen zu entwickeln. Da jeder Unfall – dank der medialen Vollabdeckung aller Schicksalsereignisse – ein retrospektiv identifizierbares Leben kosten kann, wird prospektiv in Sachverhalten mit identifizierten Opfern gedacht, die als Ausgangspunkt einer Bewertung fungieren. Plakativ formuliert: Weil ein Autounfall ein Kleinkind zum Opfer haben kann, von dem später in den Medien zu lesen wäre, wird von vornherein überlegt, wie das Fahrzeug reagieren sollte, wenn ein Kleinkind Opfer eines Unfalls zu werden droht. Bei autonomen Fahrzeugen wird einem solchen Ereignis aus drei Gründen eine erhöhte Aufmerksamkeit geschenkt: erstens wegen der Neuartigkeit der Technik; zweitens wegen der erforderlichen ex-ante-Programmierung.23 Zudem spielt drittens eine Rolle, dass Dilemmata äußerst ungewöhnliche und zugleich moralisch komplexe Ereignisse sind, weshalb sie in Theorie und Praxis viel Aufmerksamkeit auf sich ziehen, sobald sie sich abzeichnen. Aus diesen Gründen entsteht der Hang entscheiden zu wollen, wie sich das Fahrzeug 20 Grundlegend Schelling, The Life You Save May Be Your Own, in: S. B. Chase (ed.), Problems in Public Expenditure Analysis, 1968; zusammenfassend etwa Thaler, Misbehaving, 2018, S. 31. 21 Nassim N. Taleb, The Black Swan, Edition 2010, Kapitel 6, S. 79 ff. 22 Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 405. 23 Zum letzten Punkt siehe noch einmal unten B. III.

II. Problemaufriss: Was sind Dilemma-Situationen?

19

hinsichtlich der im einzelnen Fall konkret involvierten Verkehrsteilnehmer verhalten sollte. Die letztgenannte Feststellung führt uns zum nächsten Aspekt, der zu einem besonders emotionalen Umgang mit Verkehrsunfällen verleitet: es sind saliente „Jedermanns-Ereignisse“. Jeder Bürger kann davon betroffen sein – ob als Fahrer, Beifahrer, Fußgänger oder sonstiger Verkehrsteilnehmer. Menschen empfinden also die Entscheidung über das Schicksal eines konkreten Verkehrsteilnehmers als unmittelbare Entscheidung über das eigene Schicksal. Deswegen argumentiert jeder Mensch aus der eigenen Rolle und potentiellen Betroffenheit heraus, sobald er gefragt wird, wie ein autonomes Fahrzeug in einer Unfallsituation reagieren sollte. Diese Tendenz zu einem (unbewusst) egoistischen Argumentieren bei Situationen mit identifiziertem Leben führt – wie an anderer Stelle noch genauer zu erläutern sein wird24 – zu ungerechten Ergebnissen. Menschen fällt es schwer, über eine gerechte Behandlung zukünftiger Ereignisse unabhängig von der persönlichen und eigenen Stellung zu befinden.

II. Problemaufriss: Was sind Dilemma-Situationen? Ehe in dieser Arbeit ein eigenes ethisches Konzept für den autonomen Straßenverkehr entwickelt wird, muss zuerst der Problemkreis deutlicher umrissen werden. Was ist also unter einer Dilemma-Situation überhaupt zu verstehen? – Prinzipiell wird damit ein Szenario umschrieben, in dem jede Entscheidung oder Verhaltensalternative zu einem Schaden führt. Konkret auf autonome Fahrzeuge angewandt bedeutet das: Ganz gleich wie sich das Fahrzeug verhält, es wird ein Rechtsgut verletzen – sei es eine Person, ein Tier oder eine Sache. Dilemma-Situationen sind in der Philosophie und in der Rechtswissenschaft seit vielen Jahrzehnten bekannt. Sie wurden noch lange vor dem Luftsicherheitsgesetz25 und dem zugehörigen Urteil des Bundesverfas-

24

Dazu unten D. Vgl. BGBl. I, S. 78, ausgefertigt am 11. 1. 2005 und in Kraft getreten am 15. 1. 2005. Das Gesetz hatte das Ziel, Flugzeugentführungen, terroristische Anschläge auf und Sabotageakte gegen den Luftverkehr zu verhindern und dadurch die Luftsicherheit zu erhöhen. 25

20

B. Das Dilemma-Enigma

sungsgerichts vom 15. 2. 200626, das eine Abschussermächtigung durch die Luftwaffe bei entführten Flugzeugen vorsah27, oder dem populistischen Theaterstück „Terror“ von Ferdinand von Schirach diskutiert.28 So hat Engisch29 das Dilemma-Problem bereits 1930 in die Strafrechtswissenschaft und Rechtsphilosophie als „Weichenstellerfall“ oder „TrolleyFall“30 mit einem Sachverhalt wie folgt eingeführt: Sie beobachten, wie ein außer Kontrolle geratener Güterzug einen Hang hinabrast. Im Tal befinden sich fünf Arbeiter im Gleisbett, die den heranrasenden, 26 BVerfG, Urteil vom 15. 2. 2006 – 1 BvR 357/05, BVerfGE 115, 118 = NJW 2006, 751 – Luftsicherheitsgesetz. 27 § 14 Abs. 3 LuftSiG in der Fassung vom 15. 1. 2005 lautete: „Die unmittelbare Einwirkung mit Waffengewalt ist nur zulässig, wenn nach den Umständen davon auszugehen ist, dass das Luftfahrzeug gegen das Leben von Menschen eingesetzt werden soll, und sie das einzige Mittel zur Abwehr dieser gegenwärtigen Gefahr ist.“ Das BVerfG erklärte diese Abschussermächtigung für verfassungswidrig. Es führte u. a. aus (BVerfG, Urteil vom 15. 2. 2006 – 1 BvR 357/05, BVerfGE 115, 118, 154 = NJW 2006, 751, 758 [Rz. 124]): „Auch der Staat, der in einer solchen Situation zur Abwehrmaßnahme des § 14 Abs. 3 LuftSiG greift, behandelt sie als bloße Objekte seiner Rettungsaktion zum Schutze anderer. Die Ausweglosigkeit und Unentrinnbarkeit, welche die Lage der als Opfer betroffenen Flugzeugpassagiere kennzeichnen, bestehen auch gegenüber denen, die den Abschuss des Luftfahrzeugs anordnen und durchführen. Flugzeugbesatzung und -passagiere können diesem Handeln des Staates auf Grund der von ihnen in keiner Weise beherrschbaren Gegebenheiten nicht ausweichen, sondern sind ihm wehrund hilflos ausgeliefert mit der Folge, dass sie zusammen mit dem Luftfahrzeug gezielt abgeschossen und infolgedessen mit an Sicherheit grenzender Wahrscheinlichkeit getötet werden. Eine solche Behandlung missachtet die Betroffenen als Subjekte mit Würde und unveräußerlichen Rechten. Sie werden dadurch, dass ihre Tötung als Mittel zur Rettung anderer benutzt wird, verdinglicht und zugleich entrechtlicht; indem über ihr Leben von Staats wegen einseitig verfügt wird, wird den als Opfern selbst schutzbedürftigen Passagieren der Wert abgesprochen, der dem Menschen um seiner selbst willen zukommt.“ 28 Interessant sind die Abstimmungsergebnisse der Zuschauer in den verschiedenen Ländern der Welt, die unter https://terror.theater/ abgerufen werden können. 29 Siehe Engisch, Untersuchungen über Vorsatz und Fahrlässigkeit im Strafrecht, 1930, Neudruck 1964, S. 288. 30 Das Trolley-Gedankenexperiment wird im jüngeren Schrifttum daher zu Unrecht stets auf Philippa Foot zurückgeführt, die sich jedoch erst 1967 mit einer Variante des Problems erstmals auseinandersetzte (Foot, The Problem of Abortion and the Doctrine of the Double Effect, in: Moral Philosophy, 1978). Der Philosoph Frank Chapman Sharp beschäftigte sich sogar bereits 1896 mit Dilemma-Situationen und Trolley-Problematiken; vgl. R. Schneider, NZZFolio 2018.

II. Problemaufriss: Was sind Dilemma-Situationen?

21

sicheren Tod nicht bemerkt haben. Sie stehen an einer Weiche. Wenn Sie die Weiche umstellen, dann wird der Güterzug auf ein Nebengleis gelenkt; das würde die fünf Arbeiter retten. Am Nebengleis befindet sich jedoch ebenfalls ein Gleisarbeiter, der von der Gefahr nichts ahnt. Er würde mit Sicherheit sterben, wenn Sie die Weiche umstellen, um die fünf Arbeiter im Gleisbett zu retten. Wie sollten Sie sich verhalten?

In diesem Fall geht es nicht allein darum, „Viele gegen Wenige“ abzuwägen. Vielmehr streiten darüber hinaus zwei Verhaltensweisen miteinander, die viele Menschen spontan unterschiedlich bewerten: töten oder sterben lassen. Wenn Sie die Weiche nicht umstellen, dann lassen Sie die fünf Arbeiter sterben; wenn Sie die Weiche betätigen, dann töten Sie einen Arbeiter. Beschaut man diesen Satz, wird deutlich, wie unterschiedlich bereits unsere Sprache die beiden Situationen konnotiert. Aus rechtlicher Perspektive kommt beim obigen Beispiel eine weitere Dimension hinzu: Nichthandeln und die fünf Arbeiter sterben lassen ist eine von Beginn an rechtmäßige Verhaltensalternative.31 Sie sind kein Garant und daher nicht verpflichtet, zu handeln. Demgegenüber stellt die andere Alternative – töten – ein rechtswidriges Handeln dar. Eine Straflosigkeit des Täters kann in einer solchen Situation nur erreicht werden, indem man eine übergesetzliche Notstandssituation annimmt und den Handelnden entschuldigt. Eine Entschuldigung kommt deswegen in Betracht, weil es „verständlich“ erscheint, dass er nicht bei der rechtmäßigen Alternative – Nichtstun – geblieben ist. Das deutsche Strafrecht würde aber im Prinzip von Ihnen als potentiell handelnde Person verlangen, die Weiche nicht umzustellen, den Tod von fünf Menschen in Kauf zu nehmen und die Tötung des einen Arbeiters zu unterlassen – so die streng-juristische, teilweise aber auch die in der Moralphilosophie32 formulierte Ausgangsbasis der Dilemma-Situationen. Der Weichenstellerfall trat seit Einführung durch Engisch mittlerweile in vielen unterschiedlichen Situationen und Gewändern auf.33 Er wurde 31 Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 78. 32 Foot, The Problem of Abortion and the Doctrine of the Double Effect, in: Moral Philosophy, 1978, S. 27 ff.; ablehnend Thomson, The Yale Law Journal (94/ 6) 1985, S. 1395, 1398 f. 33 Siehe etwa Welzel, ZStW 63 (1951), 47, 51 ff.; Thomson, Killing, Letting Die, and other Trolley Problems, The Monist 59 (1976), 204 – 217; Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73 ff.

22

B. Das Dilemma-Enigma

wiederholt ausgeweitet, um die juristische (und moralische) Bewertung verschiedener Verhaltensweisen empirisch und rechtstheoretisch nachzuvollziehen34: In Szenario 1 rast ein Wagon auf fünf Arbeiter zu, während er nach Betätigung der Weiche auf einem Nebengleis nur einen Arbeiter töten würde. Dem gegenüber steht Szenario 2, bei dem ein schwerer Mensch von Ihnen eine Brücke hinabgestoßen werden könnte, um den Wagon zum Entgleisen zu bringen35; der Mann würde sterben, die fünf Arbeiter auf den Gleisen kämen mit dem Leben davon. Offensichtlicher Unterschied zwischen den beiden Szenarien ist: Im ersten Fall ist das eine Opfer die mittelbare Folge der Rettung der fünf Arbeiter, im zweiten ist die Tötung das direkte Mittel, um die fünf Personen zu retten; hier setzen Sie Gewalt unmittelbar gegen einen Menschen ein, während Sie dort nur eine Weiche betätigen. Zwischen diesen beiden Extremen steht das Szenario 3: Sie betätigen die Weiche und der Wagon nimmt einen Umweg über das Nebengleis. Zwar führt dieses Gleis wieder auf jenes Ausgangsgleis zurück, auf dem sich die fünf Arbeiter befinden. Der Körper des Opfers auf dem Nebengleis bremst den Wagon aber ausreichend ab, damit er rechtzeitig vor den fünf Personen zum Stehen kommt. Auch im Zusammenhang mit autonomen Fahrzeugen wurde der Weichenstellerfall mehrfach und mit verschiedenen Szenarien36 erwähnt, nämlich im Rahmen der Diskussion, welche Parameter in einen Algorithmus hineingeschrieben werden sollten, um eine ethisch, moralisch und rechtlich einwandfreie Reaktion des Fahrzeugs auf eine Dilemma-Situation zu gewährleisten. Die Vorstellung ist, das Fahrzeug sollte möglichst diejenige Handlungsvariante wählen, für die sich ein idealer Beobachter in der jeweiligen Situation entscheiden würde. Deswegen wird gefragt: Soll ein Fahrzeug, das auf eine Gefahrenstelle zurast, seine Geradeausfahrt fortsetzen und den Tod der fünf Passagiere beschließen, oder soll es ausweichen und einen unbeteiligten Passanten auf dem Bürgersteig in den sicheren Tod schicken? Und was passiert, wenn die selbstfahrenden Maschinen miteinander vernetzt sind und kommunizieren können? Dürfte der Algorithmus eines Motorrads einen Unfall und den Tod seines Sozius herbeiführen, um ein nachfolgendes Fahrzeug auszubremsen, damit fünf 34 Siehe zuletzt Awad et al., Universals and variations in moral decisions made in 42 countries by 70,000 participants, January 21, 2020. 35 Edmonds, Would you kill the fat man?, 2013. 36 Vgl. u. a. die Sachverhaltsbeispiele bei Hörnle/Wohlers, GA 2018, 12, 24 ff. und Weigend, ZIS 2017, 599, 600.

III. Weshalb sind Dilemma-Situationen zu entscheiden?

23

Passanten auf dem Zebrastreifen gerettet werden? Sollte ein Fahrzeug aktiv in ein Fahrzeuggeschehen eingreifen und einen Unbeteiligten töten können, um die Zahl der Opfer eines Unfalls insgesamt zu reduzieren? 37 In all diesen Situationen sind die Fragen dieselben wie bei Beteiligung eines menschlichen Entscheidungsträgers, obgleich eine Maschine agiert: Töten oder sterben lassen? Viele oder wenige Opfer? Zufall oder Entscheidung? Die Frage nach dem Umgang mit dilemmatischen Situationen abstrakt und abschließend beantworten zu wollen, ist durchaus vermessen und wird hier nicht angestrebt. Es haben schon zahlreiche Forscher ohne Erfolg versucht, eine allgemeingültige Antwort zu finden. Tatsächlich kann es eine solche Antwort nicht geben, weil die Szenarien zu vielgestaltig sind und weil sich moralische und ethische Wertvorstellungen nicht nur auf einer voranschreitenden Zeitachse entwickeln, sondern auch vom sozialen und kulturellen Raum abhängig sind, in dem sie gefunden werden: So sind etwa in Japan andere Antworten gültig als in Deutschland.38 Auch die Lösung in Indien würde sich von der Haltung in Amerika deutlich unterscheiden, etwa weil Kühe nicht in beiden Ländern heilige Geschöpfe sind, die es besonders zu achten gilt. Trotz dieser Unterschiede ist es aber möglich, einige Grundpfeiler zu errichten, die jedes Lösungsmodell zu stützen vermögen. Dies ist das Ziel der vor dem Leser liegenden Ausarbeitung.

III. Weshalb sind Dilemma-Situationen zu entscheiden? Bei einem ersten Zugriff auf die Thematik kann man skeptisch fragen, ob eine ethische Aufarbeitung der Dilemmata im autonomen Straßenverkehr überhaupt erforderlich ist. Es ist ex ante nämlich nicht einmal klar, inwiefern solchen Situationen im Straßenverkehr der Zukunft eine nennenswerte Bedeutung zukommen wird.39 Kann man sie nicht deswegen 37

Siehe für ein entsprechendes, realiter eher unwahrscheinliches Gedankenspiel de Sio, Ethical Theory and Moral Practice, 2017, Ziff. 3.1.1. 38 Zum empirischen Forschungsstand siehe noch unten B. IV. 2. 39 Zweifelnd etwa Schirmer, RW 2018, 453, 465; ähnlich Commission Expert Group, Ethics of Connected and Automated Vehicles, 2020, S. 17; kritisch auch M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 76, die meinen, die

24

B. Das Dilemma-Enigma

vernachlässigen? 40 Sind es nicht nur akademische Glasperlenspiele einer Handvoll (rechts-)philosophisch Interessierter, die ein Faible für unlösbare Rätsel habe? So einfach ist die Sache nicht. Man muss den Blick heben und die Gesamtfolgen betrachten, die entstehen, wenn technisch-künstliche Intelligenz vermehrt im gesellschaftlichen Alltag eingesetzt wird. Maschinen, die autonom – also nach selbstgesetzten Regeln – auf eigene Wahrnehmungen und auf die Umwelt reagieren, gehören zu den transformativen Technologien: Sie sind aufgrund ihrer faktisch-normativen Wirkung geeignet, Wertvorstellungen zu verändern. In welche Richtung dies geschieht, hängt maßgeblich von den Leitplanken ab, die von einer Gesellschaft aufgestellt werden. Moralfragen fordern jedes Mitglied der Gesellschaft auf, seine Haltung offenzulegen.41 Sie wollen von uns wissen, wer wir sind und lassen uns reflektieren, wie wir sein wollen. Das Unbewusste, das in jedem Individuum steckt, wird infolgedessen durch sprachliche Artikulation in das Bewusstsein gehoben. Grundlegende Wertungen unserer Rechtsordnung und unserer Gesellschaft werden greifbar expliziert und einer kritischen Bewertung unterzogen.42 Es ist daher der Diskurs über praktisch seltene, ethisch gleichwohl schwierige Fragen, der den festen Kern der kulturellen und gesellschaftlichen Identität formt. Die frühzeitige Teilhabe an diesem Diskurs ist wichtig, weil allen Mitgliedern der Gemeinschaft die Aufgabe zukommt, sozial-gesellschaftlich relevante Erscheinungen, wie es technische Neuerungen nun einmal sind, zu gestalten und dabei zu bestimmen, ob ihrer faktischtransformativen Natur eine normative Grenze entgegensetzt werden sollte, bevor die Dinge tatsächlich irreversibel werden. Es können und müssen also im frühen Diskurs normative Strukturen geschaffen werden, die dauerhaft eine aktive Gestaltung der Technik sicherstellen. Vor diesem Hintergrund lautet die Antwort auf die Frage, ob DilemmaSituationen überhaupt praktisch relevant sind, aus gesamtgesellschaftlicher Sicht definitiv ja! Es ist notwendig, sich bewusst zu machen, in welche Diskussion rund um Dilemma-Situationen würde ein verzerrtes Bild von der technischen Wirklichkeit und vom Zeithorizont des autonomen Fahrens zeichnen. 40 Verneinend Sander/Hollering, NStZ 2017, 193, 201: „Die Annahme aber, es könnte sich hierbei um gänzlich unrealistische Orchideenkonstellationen ohne praktische Relevanz handeln, liegt fern.“ 41 Bendel, APuZ 2018, 34, 37. 42 Ähnlich Hilgendorf, JA 2018, 801, 806.

III. Weshalb sind Dilemma-Situationen zu entscheiden?

25

Richtung wir die Technik geleitet wissen wollen. Dabei kommt es nicht darauf an, ob sich die hier aufgegriffenen Dilemma-Situationen exakt so in der Realität ereignen (werden). Welche konfligierenden Interessen autonome Transportmittel in einer dilemmatischen Situation in concreto gegeneinander abwägen müssen, kann heute ohnehin nicht abschließend vorhergesehen werden. Ein solcher Blick in die Zukunft ist indes auch nicht nötig. Die Situation, die das System in ein Dilemma versetzt, weil sie zwei Möglichkeiten der Entscheidung enthält, wobei beide zu einem unerwünschten Resultat führen, muss in praxi nicht genau so eintreten, wie sie in einem theoretischen Gedankenspiel (zufällig) beschrieben wird. Entscheidend ist vielmehr, die Grundmuster der Dilemmata ausfindig zu machen und bezogen darauf Konzepte zu entwickeln. Für einen langfristigen gesellschaftlichen Frieden wichtig ist dabei, Fragen der kulturellen Identität nicht allein mit dem Ziel aus dem Weg zu gehen, der Beschleunigung des technologischen Fortschritts freien Lauf zu lassen. Irreparable Folgen sind besser zu akzeptieren, wenn sie ein breiter gesellschaftlicher Diskurs trägt und legitimiert. Für diesen Diskurs ist letztendlich nicht entscheidend, ob sich en détail die eine oder die andere analysierte Situation verwirklichen wird. Entscheidend ist, dass die Debatte nicht auf eine unbestimmte Zukunft verschoben werden kann. Nicht zuletzt schon deswegen, weil sich die rechtstheoretische und (moral-) philosophische Diskussion ungleich langsamer entwickelt als die Technik. Wie hoch entwickelt autonome Fahrzeuge eines Tages sein werden, ist kaum vorherzusehen. Es gab in den letzten Jahrzehnten schon viele Fehleinschätzungen darüber, wie schnell sich Technologien fortentwickeln werden.43 Wir sollten die Debatte nicht voreilig auf unsicheren Vorhersagen basierend abschnüren.44 Praktisch besteht der Unterschied zwischen Dilemma-Situationen im „tradierten“ auf der einen und dem autonomen Straßenverkehr auf der anderen Seite darin, dass bei letzterem aufgrund des Technikeinsatzes eine

43 Ein griffiges Beispiel für „Technik weiter gekommen als gedacht“ ist die Gesichtserkennung, die heutzutage – entgegen der anfänglichen Erwartungen – selbstverständlich geworden ist. 44 Wer vor Augen geführt bekommen möchte, wie schlecht Menschen darin sind, Vorhersagen zu treffen, sollte Nassim N. Taleb, The Black Swan, Edition 2010 lesen.

26

B. Das Dilemma-Enigma

ex-ante-Entscheidung getroffen werden muss.45 Im gewöhnlichen Straßenverkehr kann der Autofahrer in der konkreten Fahrsituation intuitiv entscheiden. Hingegen muss im autonomen Straßenverkehr die Entscheidung vorab getroffen, oder besser: die Entscheidungsparameter müssen unabhängig von der konkreten Situation implementiert werden. Dieser Unterschied folgt naturgemäß aus dem Umstand, dass die Maschine nicht zu einer intuitiven Entscheidung befähigt ist. Das bedeutet: Solange ein menschlicher Fahrer das Fahrzeug steuert, können wir uns darauf verlassen, er werde aufgrund seiner natürlichen Instinkte in einer Dilemma-Situation intuitiv reagieren. Steuert hingegen ein Algorithmus das Fahrzeug, kann er eine Handlungsalternative nicht wählen, soweit ihm dafür keine Entscheidungsparameter einprogrammiert worden sind; das gilt auch für selbstlernende Algorithmen. Solche Systeme benötigen – genauso wie vollständig vordeterminierte Maschinen – in einem gewissen Mindestumfang einen vorgefertigten Handlungsrahmen. Kann ein System mangels Verarbeitungsdaten eine Verkehrssituation nicht einordnen, sind zwei Reaktionsszenarien denkbar: Erstens das System reagiert überhaupt nicht. Eine solche Folge kann eintreten, falls der Algorithmus die Verkehrssituation nicht „zu Ende“ berechnen kann, weil er nicht über die notwendigen Rechenparameter verfügt. Es entsteht in solchen Situationen ein sog. Laufzeitfehler, der das Programm in einen Zustand versetzt, in dem es keine Eingaben mehr akzeptiert oder verarbeitet (Einfrieren). Abhängig von der Programmierung würde das in diesem Zustand befindliche System entweder die begonnenen Verarbeitungsschritte fortsetzen oder einen Verarbeitungsabbruch einleiten. Für das autonome Fahrzeug würde das praktisch bedeuten: Es fährt entweder geradeaus weiter oder es leitet eine Vollbremsung ein – beides unabhängig von den Folgen, die drohen. Zweitens das System reagiert nach einer implementierten Notstandsheuristik. Entsprechende Handlungsmöglichkeiten könnten sein, dass das System weiterfährt, sein Verhalten nach dem Zufallsprinzip bestimmt oder etwa eine Vollbremsung einleitet. In der Regel greift eine solche Notstandsheuristik wiederum unabhängig von den Folgen ein, die drohen mögen.

45 Dazu auch Bonnefon et al., Science 2016, S. 1573; Beck, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117, 119.

III. Weshalb sind Dilemma-Situationen zu entscheiden?

27

Beide Reaktionen erinnern an das Schicksal, das in einer entsprechenden Situation einen menschlichen Fahrer ereilen könnte. Die damit einhergehenden Folgen können demnach bei erstem Hinsehen als gerecht und annehmbar erscheinen, weil sie vermeintlich menschliches Verhalten imitieren. Auch die Berechnungen des Menschen würden entweder „einfrieren“, weil er von der Situation überwältigt wäre, oder er würde gleichsam zufällig die nächstbeste Handlungsoption wählen. Ein Schuldvorwurf lässt sich gegen den handelnden (oder nicht-handelnden) Menschen in solchen Fällen nicht erheben, so dass man meinen könnte, gegen die „menschenähnlichen“ Unzulänglichkeiten von Algorithmen sei nichts einzuwenden. Indes ist die Situation bei algorithmisch gesteuerten Fahrzeugen, wie schon angedeutet, anders zu bewerten, da bei diesen Systemen gerade die Möglichkeit besteht, vorab Entscheidungskoordinaten einzugeben. Es käme regelrecht einer ethischen Bankrotterklärung gleich, könnte sich eine Gesellschaft nicht dazu durchringen, ex ante Entscheidungsdirektiven zu formulieren, und wenn allein deswegen die (Unfall-)Folgen der situativen Faktizität überlassen blieben. Die zum Menschen gezogene Parallele überzeugt zudem deswegen nicht, weil sie gänzlich ausblendet, dass KISysteme typischerweise andere Fehlerquellen aufweisen als Menschen.46 Die Nichtberechnung einer Situation durch den Algorithmus wegen fehlender Parameter ist nun einmal etwas anderes als die Nichtreaktion des Menschen wegen Überforderung oder aus Angst. Problematisch wäre zuletzt, dass ein (vermeintlich) anthropomorpher Algorithmus die gesellschaftliche Entscheidung den Marktregeln überlassen würde. Wie der Algorithmus programmiert sein sollte, würde mithin das Konsumverhalten bestimmen und dabei kämen zwangsläufig verzerrte Ergebnisse zustande: Denn obgleich (fast) jedem Bürger an einer in ihren Folgen moralisch einwandfreien Technik gelegen ist, wird er seine Kaufentscheidung gleichwohl davon abhängig machen, welches Resultat am Ende ihn treffen könnte. Studien belegen entsprechend bereits, dass Käufer nur ein Fahrzeug wählen würden, das „egoistisch“ agiert – also seine Passagiere schützt.47

46

Ähnlich Wagner, AcP 217 (2017), 707, 736. Dazu Bonnefon et al., Science 2016, S. 1574; siehe nochmals unten bei Fn. 138. 47

28

B. Das Dilemma-Enigma

Um solche Folgen zu verhindern, muss überlegt werden, wie ein algorithmisches System mit bestimmten Situationen umzugehen hat. Dabei herrscht die kühne Hoffnung vor, die Maschine könne aufgrund der verfügbaren Rechenleistung zu Ergebnissen beitragen, die ethisch und moralisch „höherwertiger“ sind als die Folgen, die eine intuitive menschliche Handlung hätte (Supermoralmaschine). Inwieweit diese Hoffnung begründet ist, wird sich auf den folgenden Seiten zeigen.48 Vorher soll jedoch überblicksweise auf den aktuellen interdisziplinären Diskussionsstand eingegangen werden.

IV. Stand der Diskussion Wie autonome Systeme mit Dilemma-Situationen umgehen sollten, ist Gegenstand einer lebhaften Diskussion. Diese Diskussion wird nicht nur in der Rechtsethik geführt (sub 1.). Auch die empirische Forschung (sub 2.) und die moralphilosophische Disziplin der Maschinenethik (sub 3.) befassen sich mit der Frage, wie Dilemmata von technischen Systemen aufzulösen sind. Die üppige Meinungsflora kann hier nicht im Detail beschrieben werden; es genügt – ist aber für das hiesige Forschungsvorhaben auch erforderlich –, dass die grundlegenden Denklinien aus diesen Bereichen nachskizziert werden.

1. Rechtsethischer Meinungsstand Die Bewertung von Dilemma-Situationen gehört zu den schwierigsten Rechtsfragen, da kein Lösungsansatz denkbar ist, dem nicht Schwächen vorgehalten werden können. Die rechtsethischen Meinungen zur Auflösung von Dilemma-Situationen lassen sich prinzipiell in zwei Lager aufteilen: Manche Stimmen sind per se dem Prinzip der Schadensminimierung zugeneigt (sub a) – auch wenn Leben gegen Leben in Frage steht –, während andere die technischen Dilemma-Situationen über eine anthropoparallele Bewertung aufgelöst wissen wollen (sub b). Das zweite Konzept besagt also, dass geschaut werden soll, wie das Verhalten eines

48

Dazu insbesondere Kapitel C.

IV. Stand der Diskussion

29

Menschen zu bewerten gewesen wäre, und abgeleitet davon sollen Entscheidungsdirektiven für das autonome Fahrzeug formuliert werden. a) Prinzip der Schadensminimierung Das Bundesministerium für Verkehr und digitale Infrastruktur hat frühzeitig angefangen, sich mit Dilemma-Situationen zu beschäftigen. Eine eigens zum automatisierten und vernetzten Fahren eingesetzte EthikKommission hat schon 2017 Stellung bezogen und definiert, welche Direktiven gelten sollen bei solchen Fahrzeugsystemen, die Fahraufgaben in spezifischen Anwendungsfällen übernehmen können (z. B. Autobahnfahrten) oder die ein vollständig „fahrerloses Fahren“ – also ohne einen menschlichen Fahrer – ermöglichen.49 Zur Veranschaulichung der Dilemma-Situation hat die Ethik-Kommission den folgenden, bereits aus dem Essay der Philosophin Foot50 bekannten Sachverhalt gebildet51: „Der Fahrer eines Wagens fährt eine Straße am Hang entlang. Der vollautomatisierte Wagen erkennt, dass auf der Straße mehrere Kinder spielen. Ein eigenverantwortlicher Fahrer hätte jetzt die Wahl, sich selber das Leben zu nehmen, indem er über die Klippe fährt oder den Tod der Kinder in Kauf zu nehmen, indem er auf die im Straßenraum spielenden Kinder zusteuert. Bei einem vollautomatisierten Auto müsste der Programmierer oder die selbstlernende Maschine entscheiden, wie diese Situation geregelt werden soll.“

Zur Einordnung dieser Situation führt die Kommission aus: „Die Problematik der Entscheidung des Programmierers liegt darin, dass er vielleicht auch die dem Grundkonsens entsprechende „richtige“ ethische Entscheidung für den Menschen treffen wird, es allerdings eine Fremdentscheidung bleibt, die zudem nicht intuitiv eine konkrete Situation erfasst (mit allen Vorteilen und Nachteilen intuitiv-situativer Verhaltenssteuerung), sondern eine Lage abstrakt-generell zu beurteilen hat. (…) Letztendlich würde also im Extremfall der Programmierer oder die Maschine die „richtigen“ ethischen Entscheidungen über das Ableben des einzelnen Menschen treffen können. Konsequent weitergedacht, wäre der Mensch in exis49

BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017. Siehe Foot, The Problem of Abortion and the Doctrine of the Double Effect, in: Moral Philosophy, 1978, S. 23 ff. 51 BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, S. 16. 50

30

B. Das Dilemma-Enigma tentiellen Lebenssituationen nicht mehr selbst-, sondern vielmehr fremdbestimmt. Diese Konsequenz ist in vielerlei Hinsicht problematisch. Einerseits besteht hier die Gefahr eines starken Paternalismus des Staates, bei dem eine „richtige“ ethische Handlungsweise vorgegeben wird (sofern dieser die Programmierung vorgibt), andererseits würde dies dem Wertebild des Humanismus, in dem das Individuum im Zentrum der Betrachtungsweise steht, widersprechen.“

Deutlich wird schon in diesen kurzen Ausführungen der EthikKommission, dass der situativen Entscheidung des Menschen über Leben und Tod – ergehe sie auch nur intuitiv – per se ein höherer ethischer Wert beigemessen wird als der technisch vordeterminierten, obwohl der Fahrer gerade nicht alle Personenmerkmale in dem kurzen Zeitfenster des Unfalls beurteilen kann. Die demgegenüber negative Bewertung des technischen Verhaltens ist dem Umstand geschuldet, dass – im Gegensatz zur Entscheidung des Menschen – jede algorithmische Folgenwahl aus Sicht der Betroffenen zu einer faktischen Fremdbestimmung führt.52 Sicherlich ist nicht von der Hand zu weisen, dass autonomes Fahren eine mittelbare „fremdbestimmte“ Entscheidung durch einen programmierten Algorithmus bedingt. Indes kann dieser Umstand für die Bewertung der Dilemma-Situationen durch Algorithmen rechtlich nicht relevant sein. Man sollte keine pauschale Verhinderungsrhetorik aufbauen. Einer technischen Fremdbestimmung kann ohnehin nicht entgangen werden, weil sich der Fortschritt nicht aufhalten lässt. Sie ließe sich nur abwenden, indem auf autonomes Fahren verzichtet wird – womit langfristig gesehen wegen der erwartbaren Vorteile des autonomen Straßenverkehrs53 nicht zu rechnen ist. Es ist daher zu akzeptieren, dass von Dritten54 im Dienste der Hersteller programmierte Algorithmen in Zukunft über Leben und Tod befinden werden. Zu klären bleibt von der gesamten Gesellschaft – nicht allein von der Politik, nicht allein von der Wirtschaft –, welche rechtlich haltbaren Entscheidungsnarrative – auch als

52 A.A. Hörnle/Wohlers, GA 2018, 12, 20 mit dem Hinweis, die Betroffenen hätten bei einem menschlichen Fahrzeugführer (Taxi- oder Busfahrer, Pilot etc.) kein Mehr an Selbstbestimmung. 53 Oben im Abschnitt A. 54 Mit der Zeit werden sich Algorithmen immer mehr „gegenseitig“ programmieren, so dass der menschliche Einfluss während der Programmkonzipierung zunehmend zurücktreten wird.

IV. Stand der Diskussion

31

Grenzen der Fremdbestimmtheit55 – gelten sollten für den Algorithmus. Die Ethik-Kommission führt dazu aus56: „Der Schutz des menschlichen Lebens stellt in unserer Werteordnung ein Höchstgut dar. Es genießt im Fall unvermeidbarer Schäden unbedingten Vorrang. Daraus erfolgt bei der Abwägung zwischen Sachschäden und Personenschäden im Kontext beurteilbarer Folgeschäden eine grundsätzliche Bevorzugung von Sachschäden vor Personenschäden. (…) Der moderne Verfassungsstaat optiert nur in Grenzfällen wie dem Folterverbot bezogen auf Personen in staatlichem Gewahrsam mit absoluten Geboten. Unabhängig von den Konsequenzen wird eine Handlung absolut geboten oder verboten, weil sie für sich genommen bereits unvereinbar mit konstitutiven Werten der Verfassungsordnung ist. Eine Abwägung, die an sich Kennzeichen jeder sittlich fundierten Rechtsordnung ist, findet hier ausnahmsweise nicht statt. Dieser ethischen Beurteilungslinie folgt auch das Urteil zum Luftsicherheitsgesetz des BVerfG57, mit dem Verdikt, dass die Opferung von unschuldigen Menschen zu Gunsten anderer potentieller Opfer unzulässig ist, weil die Unschuldigen zum bloßen Instrument degradiert und ihrer Subjektqualität beraubt würden. Diese Position ist nicht unumstritten, weder im Verfassungsrecht noch ethisch, aber sie sollte vom Gesetzgeber beachtet werden. In der Konstellation einer vorweg programmierbaren Schadensminderung innerhalb der Klasse von Personenschäden liegt der Fall anders als der des Luftsicherheitsgesetzes oder der Weichensteller-Fälle. Hier ist nämlich eine Wahrscheinlichkeitsprognose aus der Situation zu treffen, bei der die Identität der Verletzten oder Getöteten (im Gegensatz zu den Trolley-Fällen58) noch nicht feststeht. Eine Programmierung auf die Minimierung der Opfer (Sachschäden vor Personenschäden, Verletzung von Personen vor Tötung, geringstmögliche Zahl von Verletzten oder Getöteten) könnte insoweit jedenfalls ohne Verstoß gegen Art. 1 Abs. 1 GG gerechtfertigt werden, wenn die Programmierung das Risiko eines jeden einzelnen Verkehrsteilnehmers in gleichem Maße reduziert. Solange nämlich die vorherige Programmierung für alle die Risiken in gleicher Weise minimiert, war sie auch im Interesse der Geopferten, bevor sie situativ als solche identifizierbar waren.“

Die Ethik-Kommission spricht im zitierten Abschnitt einen ganz zentralen Punkt an, nämlich dass das Prinzip der Schadensminimierung 55

Dazu und zum Selbstbestimmungsprinzip ausführlicher unten E. I. BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, S. 17 ff. 57 Dazu schon oben B. II. 58 Entsprechen den oben bei B. II. vorgestellten Beispielen. 56

32

B. Das Dilemma-Enigma

nicht blindlings mit einer Abwägung von Leben gegen Leben gleichzusetzen ist. Es geht bei diesem Prinzip auch nicht darum, dem einzelnen Verkehrsteilnehmer pauschal eine „Pflicht“ aufzuerlegen, „seine Tötung zu dulden“.59 Eine solche Regel wäre verfassungsrechtlich ohnehin unhaltbar: Der durch Art. 1 Abs. 1 GG verbürgte absolute Schutz der Menschenwürde wird bekanntlich mit der sog. „Objektformel“ schemenhaft umrissen. Danach ist die Menschenwürde verletzt, „wenn der konkrete Mensch zum Objekt, zu einem bloßen Mittel, zur vertretbaren Größe herabgewürdigt wird“.60 Be- und Abwertungen menschlichen Lebens sind mithin unzulässig.61 – Eine solche Abqualifizierung eines Menschen zum Objekt findet beim – richtig gefassten – Schadensminimierungsgrundsatz gerade nicht statt62: Wenn in der gegenständlichen Verkehrssituation nicht das jeweilige identifizierte Leben konkret betroffener Menschen abgewogen, sondern vorab eine Regel bestimmt wird, die eine Risikominimierung zugunsten aller Menschen gleichermaßen bezweckt. Denn eine solche Regel respektiert in maximalem Umfang die Würde aller Menschen, die als Betroffene in Betracht kommen (Lebenswertindifferenz63). Dem Menschen wird gerade nicht eine Solidaritätspflicht anderen gegenüber bis zur eigenen Aufopferung auferlegt.64 Es findet keine Be- oder Abwertung statt, sondern es wird der Versuch unternommen, jedem Menschen dieselbe maximale Lebenschance zukommen zu lassen.

59

Zu Unrecht a.A. Feldle, Notstandsalgorithmen, 2018, S. 246. Zitiert nach Maunz/Dürig/Herdegen, Grundgesetz-Kommentar, Werkstand: 87. EL März 2019, Art. 1 GG Rn. 36. 61 Merkel/Augsberg, JZ 2020, 704, 706. 62 Zweifelnd etwa das Fraunhofer IAO (Hochautomatisiertes Fahren auf Autobahnen, S. 137 f.) mit der Überlegung, über gesetzliche Vorgaben werde der Verkehrsteilnehmer mittelbar zum Objekt des Staates. 63 Begriff entlehnt von Merkel/Augsberg, JZ 2020, 704, 705. 64 So aber wohl die Auffassung von Hilgendorf, JA 2018, 801, 805; Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 157, der argumentiert, ein Lenkimpuls des Fahrzeugs in der konkreten Situation würde eine Neuverteilung der Überlebenschancen bedeuten. Dagegen ist einzuwenden: Ob es einen Lenkimpuls geben und welche Fahrtrichtung eingeschlagen wird, ist ex ante wegen der Autonomie der algorithmischen Systeme nicht bekannt. Genau dies müsste aber der Fall sein, um annehmen zu können, die prospektive Programmierung bedeute eine Verobjektivierung der Verkehrsteilnehmer in der jeweiligen dilemmatischen Situation. 60

IV. Stand der Diskussion

33

Die Situation im Straßenverkehr ist – anders als teilweise gemeint wird – nicht vergleichbar mit jener, die das BVerfG bei § 14 Abs. 3 des LuftSiG zu entscheiden hatte, den das Gericht für verfassungswidrig erklärte.65 Das Gesetz sah „die unmittelbare Einwirkung mit Waffengewalt“ gegen ein Luftfahrzeug vor, wenn „nach den Umständen davon auszugehen“ war, „dass das Luftfahrzeug gegen das Leben von Menschen eingesetzt werden soll“, und die Waffengewalt – also der Abschuss – sich als das einzige Mittel zur Abwehr der gegenwärtigen Gefahr darstellte. Diese Entscheidung wird häufig als Bewertungsbasis für alle Leben-gegenLeben-Entscheidungen bemüht. Indes muss man sich vor Augen führen, welche Prämisse einer Norm wie § 14 Abs. 3 LuftSiG66 stets – wenn auch unausgesprochen – zugrunde liegt: Die Zahl der Menschen im Flugzeug ist geringer als die Zahl der Menschen, gegen die es zweckwidrig eingesetzt wird. Erst in einem solchen Fall würde ja der entscheidungsverantwortliche Minister den Abschuss des Flugzeugs befehlen und für diesen Befehl auf eine Ermächtigungsgrundlage zurückgreifen wollen. Ein Gesetz, das eine solche Entscheidung deckt, disqualifiziert per se den Lebenswert einer bestimmten Gruppe – nämlich den der Passagiere. Auf solche Situationen zugeschnittene Normen sind also davon geprägt, dass sie einen Sachverhalt regeln, bei dem eine Personengruppe stets schlechtere Lebenschancen hat als eine andere; gerade das soll aber nicht vom Schadensminimierungsprinzip ermöglicht werden. Am 11. September 2001 wurden in den USA die Flugzeuge von den Selbstmordattentätern entführt, eben weil sie eine größere Zahl an Menschen umbringen wollten. Die Frage nach einem Abschuss haben sich damals alle Entscheidungsträger nur vorgelegt, weil die Flugzeugpassagiere zahlenmäßig weniger waren als die potentiell am Boden oder in einem Gebäude betroffenen Opfer. Damit haben die Flugzeugpassagiere per se die schlechtere Ausgangslage gehabt; ihnen standen gerade nicht dieselben Überlebenschancen zu. Sie sind deswegen das objektivierte Mittel zur Erreichung eines Zwecks, erlaubt man ganz allgemein den Abschuss der Maschine. Hingegen ist bei einer Dilemma-Situation im Straßenverkehr unklar, welche Verkehrsteilnehmer in welcher Rolle (Fahrzeugpassagier? Fußgänger?) in der Überzahl oder Unterzahl sein werden. Deswegen haben bei einem ex ante bestimmten Schadensminimierungsprinzip alle 65 66

Dazu schon oben B. II., bei Fn. 27. Zum Inhalt oben Fn. 27.

34

B. Das Dilemma-Enigma

dieselbe Überlebenschance und kein Verkehrsteilnehmer ist von Beginn an in der potentiellen Aufopferungsrolle. Der Abschuss von Passagiermaschinen ist mithin eine Sonderkonstellation, bei der das Schadensminimierungsprinzip aufgrund der Sachverhaltsstrukturen an seine Grenzen stößt; pauschale Erkenntnisse aus jenem Sachverhalt für den hier interessierenden Straßenverkehr lassen sich nicht ableiten. Die Risikominimierungsregeln, welche zugunsten aller Menschen gleichermaßen gelten und aufgrund einer wertenden und ökonomischen Abwägung formuliert sind, dürfen demnach nicht als allgemeine Aufopferungspflichten missinterpretiert werden. Würde man dies anders sehen, dann wäre strenggenommen der Straßenverkehr als solcher zu untersagen. Dass Gesellschaften die Risiken des Straßenverkehrs gleichwohl eingehen, hängt mit einer zulässigen Abwägungsentscheidung zusammen: Gesundheitsbeeinträchtigungen und Menschenopfer werden aufgrund der volkswirtschaftlichen Gewinne, die mit dem Verkehrswesen einhergehen, in Kauf genommen67, weil alle Menschen gleichermaßen Profit schlagen können und Risiken ausgesetzt sind. Menschenleben werden mithin abstrakt gegen den zivilisatorischen Fortschritt abgewogen, da unterstellt wird, „die Segnungen“ des Fortschritts kommen jedem Individuum bei ähnlicher Risikenlage zugute.68 Es ist demnach nur ein konsequentes Fortdenken der Narrative, die hinter der gesellschaftlichen Akzeptanz technischer Risiken stehen, wenn zur Lösung der Dilemmata auf die abstrakte, theoretisch gleichverteilte Chancensteigerung der Gesellschaftsmitglieder abgestellt wird. Dem kann nicht entgegengehalten werden, „[ j]edes menschliche Leben [sei] gleich wertvoll“, „jedes Leben sei ,unendlich wertvoll‘“.69 Eben dies wird nicht in Abrede gestellt, sondern unterstrichen, sofern man Entscheidungsdirektiven definiert, die jedem Verkehrsteilnehmer in einer gefahrenasymmetrischen Situation dieselben Chancen einräumen zu überleben.70 Das algorithmisch definierte Statut würde sich – ebenso wie 67

Siehe schon oben B. I. Allgemein zu diesem Gedanken siehe etwa Kötz, AcP 170 (1970), 1, 5. 69 So aber Hilgendorf, JA 2018, 801, 805, der es freilich anders sieht bei Situationen mit „symmetrischer Gefahrengemeinschaft“ (S. 806): drei Menschenleben sind gleichermaßen bedroht, das eine Manöver würde ein Leben, das andere würde zwei Leben kosten. 70 Ähnlich Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 114. 68

IV. Stand der Diskussion

35

beim Entschluss, den Straßenverkehr zuzulassen – auf das nicht-identifizierte statistische Leben beziehen und wäre daher statthaft.71 Anders verhielte es sich indes, würde man eine Direktive implementieren, die stets anordnet, einen bestimmten Verkehrsteilnehmer – etwa den Passagier oder den Fußgänger – zu opfern. Schreibt man zum Beispiel in den Algorithmus pauschal eine höhere „Dignität“ des Fußgängers hinein, dann wäre dies mit dem Schutzauftrag des Staates unvereinbar, der gebietet, jedes menschliche Leben soweit wie möglich zu schützen. Eine gesetzliche Regelung, einen bestimmten Verkehrsteilnehmer stets und unbesehen der weiteren Umstände zu opfern, wäre verfassungsrechtlich besonders dann unhaltbar, wenn sie bedeuten würde, dass beispielsweise dem Fahrzeugpassagier eine pauschale Selbstaufopferung zugunsten anderer Verkehrsteilnehmer auch in Situationen auferlegt wäre, in denen das System die Gelegenheit hätte, eine Entscheidung zu treffen, die den Passagier schützt.72 Sie ließe ganz allgemein die Achtung des Wertes vermissen, „der jedem Menschen um seiner selbst willen, kraft seines Personseins, zukommt“.73 Fußgänger und Fahrzeugpassagiere müssen mithin in jeder denkbaren Situation dem Schutzdach von Art. 1 Abs. 1 GG unterstellt bleiben. Fehlt es – wie aktuell – an einer gesetzlichen Entscheidungsregel, so kann nicht angenommen werden, eine einseitig-protegierende Lösung wäre nach freiem Ermessen von den Marktteilnehmern zu wählen: Ein Automobilhersteller könnte beispielsweise nicht vorsehen, stets die Passagiere seien zu retten74, ohne die aus der Verfassung folgenden Schutzpflichten des Staates75 auf den Plan zu rufen. Menschliches Leben ist die vitale Basis76 71

B. I. 72

Zur Differenzierung zwischen identifiziertem und statistischem Leben oben

Ebenso im Ergebnis P. Weber, NZV 2016, 249, 253; Feldle, Notstandsalgorithmen, 2018, S. 246. Zum staatlichen Schutzauftrag BVerfG, Urteil vom 16. 10. 1977 – 1 BvQ 5/77, BVerfGE 46, 160 = NJW 1977, 2255. 73 Siehe mit weiteren Nachweisen BVerfG, Urteil vom 15. 2. 2006 – 1 BvR 357/ 05, BVerfGE 115, 118, 153 = NJW 2006, 751, 758 – Luftsicherheitsgesetz. 74 Dass aus Absatzgründen mit einer Bevorzugung der Passagiere durch den Hersteller zu rechnen ist, räumt Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 111 unumwunden ein und spricht diesem Aspekt auch eine gewisse Bedeutung zu – wohl um eine Marktgängigkeit der Fahrzeuge sicherzustellen. 75 Zu den Schutzpflichten des Staates vgl. etwa BVerfG, Urteil vom 25. 2. 1975 – 1 BvF 1/74 bis 6/74, BVerfGE 39, 1 = NJW 1975, 573; BVerfG, Urteil vom

36

B. Das Dilemma-Enigma

der aus Art. 1 Abs. 1 GG folgenden Menschenwürdegarantie. Der Staat ist deswegen verpflichtet, das menschliche Leben auch gegen die Angriffe von Dritten zu schützen.77 Er muss eine Pauschalregelung der Autohersteller, die einzelne Verkehrsteilnehmer unausweichlich zur Selbstaufopferung zwingt, stets verhindern. In Summe lässt sich festhalten: Die Ethik-Kommission sieht zu Recht den Weg über das Prinzip der Schadensminderung als grundsätzlich gangbar an.78 Allerdings bleibt die Äußerung der Kommission sehr zurückhaltend und die Kommissionsmitglieder konnten untereinander keinen endgültigen Konsens finden, weshalb sie weitergehende Diskussionen forderten.79 „Die Ethik-Kommission lehnt es jedoch ab, daraus zu folgern, das Leben von Menschen sei in Notstandssituationen mit dem anderer Menschen „verrechenbar“, so dass es zulässig sein könnte, eine Person zu opfern, um mehrere andere zu retten. Sie qualifiziert die Tötung bzw. schwere Verletzung von Personen durch autonome Fahrzeugsysteme ausnahmslos als Unrecht. Auch im Notstand dürfen Menschenleben daher nicht gegeneinander „aufgerechnet“ werden. Nach dieser Position ist das Individuum als „sakrosankt“ anzusehen; dem Einzelnen dürfen keine Solidarpflichten auferlegt werden, sich für andere aufzuopfern, auch dann nicht, wenn nur so andere Menschen gerettet werden können.

28. 5. 1993 – 2 BvF 2/90, 2 BvF 4/92, 2 BvF 5/92, BVerfGE 88, 203, 251 = NJW 1993, 1751, 1753; im Einzelnen Starck, in: von Mangoldt/Klein/Starck, Grundgesetz, 7. Auflage 2018, Art. 1 Rn. 92 ff. 76 Siehe die Nachweise in Fn. 15. 77 BVerfG, Urteil vom 21. 6.1977 – 1 BvL 14/76, BVerfGE 45, 187, 254 f. = NJW 1977, 1525, 1531. 78 Ebenfalls für das Schadensminimierungsprinzip Wagner, AcP 217 (2017), 707, 743; Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 146, 155 (der jedoch eine gewisse Ambivalenz zu dieser Position zeigt, da er von einer„Stufung im Unrecht“ spricht – er also schadensminimierende Entscheidungen aus strafrechtlicher Warte durchaus als rechtswidrig, obgleich entschuldigt ansieht); im Ergebnis auch Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 114 (aber mit Zurückhaltung). 79 BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, S. 18; siehe auch die skeptischen Äußerungen des Kommissionsmitglieds Nehm in JZ 2018, 398, 399; weitere Diskussionen fordern auch Hörnle/Wohlers, GA 2018, 12, 13.

IV. Stand der Diskussion

37

Anders könnte dann zu entscheiden sein, wenn mehrere Leben bereits unmittelbar bedroht sind und es nur darum geht, so viele Unschuldige wie möglich zu retten. In derartigen Situationen erscheint es vertretbar zu fordern, es solle die Handlungsvariante gewählt werden, die möglichst wenig Menschenleben kostet. Hier hat die Kommission ihre Diskussion noch nicht befriedigend und auch nicht in jeder Hinsicht konsensual zu Ende führen können. Sie regt insoweit vertiefende Untersuchungen an.“

Abschließend ist herauszustreichen, dass die Kommission eine Zurückhaltung an den Tag legte, individuelle Personenmerkmale in die Abwägung einzustellen. Das Schadensminimierungsprinzip wird also nach diesem Konzept relativ eng und im Sinne einer statistischen Bewertung ausgelegt. Aus der Rechtswissenschaft hat Wagner der Ethik-Kommission prominent beigepflichtet.80 Bei der Wahl der für die Programmierung maßgeblichen Parameter sei eine konsequentialistische Sicht geboten, welche die Folgen für die Betroffenen insgesamt in den Blick nehme.81 Die Programmierung habe nämlich für ein Kollektiv und nicht für einen einzelnen Fahrer oder für eine singuläre Unfallsituation zu erfolgen. Es sei deswegen möglichst der Verlust von Menschenleben zu minimieren.82 Der Vorrang des Schadensminimierungsgrundsatzes entspräche nicht nur einem elementaren common sense, sondern ergebe sich auch mit Hilfe der Heuristik vom Schleier des Nichtwissens.83 b) Anthropoparallele Bewertungsparameter Aus einer anthropoparallelen Bewertung heraus gelangen andere Stimmen in der Rechtswissenschaft84 zur Ansicht, in einer Dilemma-Si80

Wagner, AcP 217 (2017), 707, 743. Wagner, AcP 217 (2017), 707, 743 mit Bezug auf Hörnle/Wohlers, GA 2018, 12, 29. 82 Wagner, AcP 217 (2017), 707, 743; siehe auch Weigend, ZIS 2017, 599, 601, 605; Geistfeld, 105 Calif. L. Rev. (2017), 1611, 1649 f. 83 Wagner, AcP 217 (2017), 707, 743; zur hiesigen Anwendung der besagten Heuristik unten D., insbesondere ab II. 84 Siehe etwa Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 82 ff.; skeptisch Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 104; ablehnend Hörnle/Wohlers, GA 2018, 12, 23. 81

38

B. Das Dilemma-Enigma

tuation sei stets die beim menschlichen Verhalten rechtmäßige Entscheidungsalternative85 zu wählen. Aus strafrechtlicher Warte lautet diese Alternative: nicht handeln. Stellt ein Mensch aktiv eine Weiche um, damit fünf Menschen auf Kosten einer Person gerettet werden, dann werde diese rechtswidrige (!) Tat nur deswegen straffrei gestellt, weil sich der Handelnde in einer psychologischen Zwangslage befunden habe und weil seine Entscheidung „verständlich“ erscheine. Eine Maschine könne eine solche psychische Drucksituation nicht erfahren und müsse nicht von einer entsprechenden Lösung „profitieren“.86 Deshalb könne – jedenfalls bei Gleichwertigkeit der in Rede stehenden Güter – verlangt werden, das System so zu programmieren, dass stets die rechtmäßige Alternative gewählt wird: nicht töten, sondern höchstens sterben lassen.87 Eine bestehende Rechtsposition sei besser geschützt als eine „bloße Exspektanz auf eine bessere Rechtsposition“.88 Diese Grundregel müsse der Algorithmus des Fahrzeugs widerspiegeln. Immanent ist diesem Ansatz, eine – von der Kognitionspsychologie gestützte89 – Hierarchie zwischen Handlungs- und Unterlassungspflichten anzunehmen.90 Das aktive Eingreifen im Vergleich zum bloßen Untätig85

Allgemein zur Frage, ob anhand der „Erlaubtheit“ eines Schadens differenziert werden sollte, Hurka, in: Rakowski (ed.), The Trolley Problem Mysteries, 2019, S. 135 ff. Im Ergebnis ähnlich de Sio, Ethical Theory and Moral Practice, 2017: Das Verhalten des autonomen Fahrzeugs sei danach zu richten, was gemäß der „doctrine of necessity“ des anglo-amerikanischen Case Laws einen Rechtfertigungseinwand zugunsten eines menschlichen Täters begründen würde. 86 Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 86 f. 87 Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 82 i.V.m. S. 94. 88 Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 94; Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 106, 107. 89 Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 428 f. 90 Explizit dafür Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 106, 107 f.; kritisch Hoven, JZ 2020, 449, 453 u. a. mit Bezug auf Jescheck/Weigend, Strafrecht AT, 5. Auflage 1996, S. 367 und Hörnle, Dilemmata bei der Zuteilung von Beatmungsgeräten, VerfBlog 2020/4/4; ablehnend Beck, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117, 132 f.; Thomson, The Yale Law Journal (94/6) 1985, S. 1395, 1398 f., 1401; Hörnle/Wohlers, GA 2018, 12, 23 (mit Verweis auf die Rolle des Programmierers).

IV. Stand der Diskussion

39

bleiben wird als von vornherein verwerflicher angesehen.91 Worin diese Verwerflichkeit begründet sein soll, erschließt sich angesichts der Gleichrangigkeit der betroffenen Rechtsgüter nicht.92 Deswegen wird hinter der naturalistischen Unterscheidung zwischen Tun und Unterlassen der unbewusste Einfluss metaphysischer (Fehl-)Vorstellungen – der Mensch spiele „Schicksal“ – vermutet.93 Kritiker wenden ein, es werde zu Unrecht angenommen, der Mensch habe sich durch das aktive Handeln eine Entscheidung über Leben und Tod angemaßt. Bei Lichte besehen habe sich der Handelnde schlichtweg ungewollt in einer Situation befunden, in der er nach eigenen moralischen Maßstäben habe entscheiden müssen.94 Problematisch an der parallelen Linienzeichnung zu menschlichem Verhalten ist, dass sie bedingt, völlig unterschiedliche Sachverhalte miteinander zu vergleichen: denn im technischen Raum besteht die Notwendigkeit einer Vorabprogrammierung und die Fehlerquellen eines algorithmischen Aktanten sind völlig anders gelegen als die Fehlerursachen bei menschlichen Entscheidungen.95 Deswegen ist die anthropoparallele Bewertung an dieser Stelle nicht als harte Entscheidungsgrundlage anzusehen. Sie ist vielmehr als Mittel zu verstehen, eine technisch-spezifische Direktive zu plausibilisieren und auf Wertungskonsistenz zu überprüfen. Noch weiter Schlagseite bekommt die anthropoparallele Bewertung, soweit argumentiert wird, bei der Lösungsfindung seien Rechtsbeziehungen mit etwaigen Garantenpflichten – mögen diese vertraglicher, quasi-vertraglicher oder gesetzlicher Natur sein – mitzuberücksichtigen.96 91 Indes ist zu sehen, dass manchmal behauptet wird, wegen der vorausgehenden Programmierung läge stets eine Handlung vor (so etwa Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 108). Dadurch wird der Handlungsbegriff bis zur Unkenntlichkeit verzerrt. Schließlich ist die Sachlage doch so, dass ein autonomes Fahrzeug selbst reagieren soll. Die Programmierung als relevante Handlung anzusehen, ist also mit der technischen Faktizität kaum vereinbar. 92 Hoven, JZ 2020, 449, 453. 93 Hörnle, Dilemmata bei der Zuteilung von Beatmungsgeräten, VerfBlog 2020/4/4: Vorstellung von einem die menschlichen Geschicke lenkenden Gott. 94 Völlig richtig Hoven, JZ 2020, 449, 454. 95 Eine Anknüpfung an menschliches Verhalten deswegen ablehnend etwa Beck, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117, 124. 96 So z. B. de Sio, Ethical Theory and Moral Practice, 2017, Ziff. 4 ( jedoch durchaus mit Bedenken).

40

B. Das Dilemma-Enigma

Solche Rechtsbeziehungen sind zwischen einem Fahrzeug und einem dritten Verkehrsteilnehmer (noch) nicht denkbar. Es könnte nur auf die Hersteller, auf die Programmierer oder auf etwaige Dienstleister abgestellt werden. Zudem könnte man sich vorstellen, dass das autonome Fahrzeug – entweder mittelbar über eine Betreibergesellschaft oder unmittelbar als „ePerson“97 – in einem Rechtsverhältnis zum Fahrzeugpassagier steht. Eine solche tatsächliche Rechtsbeziehung wäre etwa bei autonomen Taxen, Bussen, Passagierdrohnen etc. anzunehmen. Würde man jedoch per se die Passagiere besser stellen als die sonstigen Verkehrsteilnehmer und diese wegen einer reinen Zufälligkeit opfern, so wären diese Opfer vorab und pauschal schlechter gestellt und zum reinen Objekt einer Rettungsaktion degradiert – und genau dies ist, wie oben gesehen98, mit der verfassungsrechtlichen Ordnung unvereinbar. Klammert man die verschiedenen Bedenken gegen das anthropoparallele Bewertungskonzept an dieser Stelle vorerst aus, so ist für das vorliegende Forschungsvorhaben jedenfalls in Summe festzuhalten: Die Vertreter der anthropoparallelen Bewertung widersprechen dem Schadensminimierungsgrundsatz.

2. Empirische Forschung Dass die Ethik-Kommission zu keinem endgültigen Konsens zugunsten des Schadensminimierungsprinzips gelangen konnte99, verwundert nach dem soeben Gesagten nicht. Darüber hinaus existieren Untersuchungen, die andeuten, dass es – nicht zuletzt aus kulturellen Gründen – Widerstand in der Gesellschaft gegen einen strengen Grundsatz der Schadensminimierung geben könnte: Forscher des MIT Media Lab haben in Boston das „Moral Machine Experiment“100 konzipiert, dessen Ziel darin besteht, einen Konsens über die „richtige“ Entscheidung bei ethischen Zwangslagen zu finden und eine 97 Dazu etwa Allgrove, Legal Personality for Artificial Intellects, 2006; Solaiman, Legal personality of robots, 2017; Teubner, AcP 218 (2018), 155; Linardatos, Autonome und vernetzte Aktanten im Zivilrecht, 2021 (in Vorbereitung). 98 Siehe oben B. IV. 1. a) und B. II. mit Fn. 27. 99 Oben B. IV. 1. a). 100 Awad et al., nature 2018, 59 ff.

IV. Stand der Diskussion

41

„ethische Programmierung“ sicherzustellen. Das „Vereinheitlichungsproblem“ könne bewältigt werden, so die Hoffnung, wenn man die Bürger schlichtweg fragt, welche Lösung einer dilemmatischen Situation sie als gerecht empfinden.101 Dafür hat das MIT eine Homepage („Moral Machine“) entwickelt102, auf der sich Interessierte durch statische Piktogramme klicken können, die jeweils unterschiedliche Dilemma-Situationen darstellen. Die Teilnehmer können sich durch die dargestellten Szenarien arbeiten und mit einem Klick abstimmen, wie das autonome Fahrzeug entscheiden sollte. Manche Szenarien sind dabei durchaus realistisch (Soll die Fahrzeugpassagierin oder eine Joggerin auf dem Zebrastreifen geopfert werden?), andere sind fast schon lächerlich und grotesk: Beispielsweise können Sie auch darüber abstimmen, ob ein Fahrzeug, das fünf Hunde, aber keinen Menschen befördert, eher die Hunde opfern sollte oder fünf Personen auf der Straße mit unterschiedlichem Geschlecht und unterschiedlichem Alter. Als der zur Umfrage gehörende Fachartikel erschien, hatten die Autoren nach eigenen Angaben knapp 40 Millionen Entscheidungen in zehn Sprachen von Menschen aus 233 Ländern und Regionen gesammelt und ausgewertet.103 Die höchste Schutzwürdigkeit wurde durchgehend Säuglingen im Kinderwagen zugesprochen. Zudem sollten weibliche Kleinkinder eher gerettet werden als männliche. Die Ergebnisse fielen davon abgesehen teilweise verstörend aus104: - Katzen rangierten auf der „Rettungswürdigkeitsskala“ auf dem letzten Platz, hinter Kriminellen, denen jedoch weniger Recht auf Leben zugesprochen wurde als Hunden! - Obdachlose sollten eher gerettet werden als alte Menschen, Übergewichtige wurden Obdachlosen aber vorgezogen, die wiederum schlechter abschnitten als „sportliche“ Menschen. - Regelkonformes Verhalten sollte belohnt, regelwidriges Verhalten – überspitzt formuliert – mit dem Tod bestraft werden.105 Zum regel101 Erste Studien laufen mittlerweile auch zu den sog. three-options cases (oben Fn. 10) an; siehe Di Nucci, Philosophical Psychology 2013, 662 ff. 102 Vgl. http://moralmachine.mit.edu. 103 Awad et al., nature 2018, 59. 104 Für eine graphische Darstellung siehe Awad et al., nature 2018, 59, 61. 105 Überraschenderweise entdeckt man solche Anklänge auch bei den Richtern Sander/Hollering, NStZ 2017, 193, 204: „Wie stets bei einer (…) Gesamtwürdi-

42

B. Das Dilemma-Enigma

widrigen Verhalten wurde dabei von manchen Teilnehmern allein schon die Missachtung einer roten Ampel gezählt. Vor allem diese letzte, in der Sache völlig fehlgeleitete Bewertung war freilich das Resultat der stark reduzierten situativen Beschreibung anhand von Piktogrammen. Es darf nicht angenommen werden, die Teilnehmer der Umfrage wären tatsächlich dafür gewesen, einen Fußgänger nur deswegen in den Tod zu schicken, weil er die rote Ampel übersehen hatte. Die Eigenartigkeiten der Ergebnisse sind darauf zurückzuführen, dass die Piktogramme auf der Homepage des MIT auf eine Weise ausgestaltet waren, die zwangsläufig komische Ergebnisse nach sich ziehen musste. Die Befragten konnten sich nämlich nur für das eine oder andere Ergebnis entscheiden und eine verweigerte Antwort floss nicht in die Statistik ein. Die Umfrageergebnisse zeigen eindrücklich, dass einfach gestrickte Piktogramme und Standbilder nicht geeignet sind, um Entscheidungsprozesse, die in komplexen Zwangslagen ablaufen, adäquat abzubilden.106 Darauf soll es jedoch vorerst nicht ankommen107, weil an dieser Stelle das übergeordnete Bild, das sich den Autoren bot, wichtiger ist als die Eigentümlichkeiten im Detail. Und dieses Bild zeichnete sich durch erhebliche kulturelle Unterschiede aus: So verdeutlichten die Antworten der Teilnehmer, dass nur in bestimmten Kulturkreisen die Handlung (töten) schwerer wiegt als das Nichthandeln (sterben lassen).108 Auch wurde deutlich, dass junge Menschen nicht in allen Ländern als schützenswerter

gung sind die Verhaltensweisen aller Beteiligten und deren Rechtmäßigkeit (sic!) in den Blick zu nehmen.“; Hervorhebung nur hier; i.E. auch Hörnle/Wohlers, GA 2018, 12, 24 f. 106 Solche Vereinfachungsinstrumente werden interessanterweise, wie Nassim N. Taleb verdeutlicht (Skin In The Game, 2018, S. 9), regelmäßig in Situationen verwendet, in denen eine Asymmetrie zwischen Entscheidung und Folgenverantwortung besteht, mithin der Entscheider kein „Skin In The Game“ hat. Typisch seien dabei drei Fehler auf Entscheiderseite: „1) they think in statics not dynamics, 2) they think in low, not high, dimensions, 3) they think in terms of actions, never interactions.“ Genau dieselben drei Fehler begegnen uns, wenn komplexe Dilemma-Situationen des autonomen Straßenverkehrs mithilfe der beschriebenen Standbilder analysiert und Lösungsvorschlägen zugeführt werden. 107 Dazu näher unten C. III. 2. 108 Vgl. auch die Abstimmung der Zuschauer des Theaterstücks „Terror“ (Fn. 28). Vor allem in Japan könnte man die Ergebnisse dahin deuten, die Handlung wiege schwerer als das Nichteingreifen.

IV. Stand der Diskussion

43

angesehen werden, weil es in vielen Kulturen einen traditionell tief verwurzelten Respekt vor der älteren Generation gibt. Was bedeuten die empirischen Ergebnisse nun für die Hersteller automobiler Fahrzeuge? Müssen sie für die verschiedenen Regionen unterschiedliche Algorithmen schreiben? Haben in Japan andere automatisierte Entscheidungsnarrative zu gelten als in Deutschland oder Amerika? Dürfen Fahrzeuge aus Italien in Dänemark zugelassen oder muss zunächst geprüft werden, ob der Entscheidungsalgorithmus für Dilemma-Situationen mit den kulturellen Färbungen des jeweiligen Landes, in dem das Fahrzeug eingesetzt werden soll, (einigermaßen) vereinbar ist? – Solche und ähnliche Fragen machen deutlich, dass es mit der Umsetzung empirischer Ergebnisse nicht ganz einfach ist – allen voran in Fällen, in denen die in der Studie abgefragten Sachverhalte sehr stark vereinfacht daherkommen. Weiterhin haben die empirischen Studien gezeigt, dass demographische Unterschiede bei der Grundhaltung zur Technik autonomer Fahrzeuge bestehen109: Junge Männer befürworten die neuartige Technik im Allgemeinen stärker als ältere Personen oder Frauen. Abhängig davon, ob an einer Umfrage mehr Männer oder mehr Frauen teilnehmen, kann das Umfrageergebnis mithin ganz unterschiedlich ausfallen. Ist es dann noch akzeptabel, auf die Empirie abzustellen? Wessen Stimme sollte ausschlaggebend sein? Kann es richtig sein, eine grundlegende ethische Haltung empirisch entwickeln zu wollen, ohne dabei die demographischen Besonderheiten zu berücksichtigen? Die Fragen deuten einige wesentliche Probleme empirischer Studien zu Dilemmata an: Die Ergebnisse setzen bisweilen keine Orientierungsmarken, sondern im Gegenteil, sie verzerren das Bild, über das diskutiert wird. Es gibt aber weitere Schwächen: Berücksichtigt man die Erkenntnisse aus der Kognitionsforschung110, so hat man zusätzliche Hinweise dafür, dass die Empirie ein unpassender Ansatzpunkt sein könnte. Menschen tun sich nämlich nachweislich schwer, die für Trolley-Probleme getroffenen Entscheidungen sprachlich zu rechtfertigen, wodurch ein Unterschied zwischen operativen und artikulierten Prinzipien festzustellen 109

Bonnefon et al., Science 2016, S. 1573. Mikhail, Trends in Cognitive Sciences 2007, S. 143, 144 f. Siehe zu den Unterschieden zwischen ex-post-Rationalisierung und Intuition Haidt, The Emotional Dog and Its Rational Tail, Psychological Review 2001, S. 814 ff. 110

44

B. Das Dilemma-Enigma

ist. Nach Ansicht der Kognitionsforscher sei es deswegen schwierig, Entscheidungsmodelle anhand der Informationen zu entwickeln, die (ex post) von Menschen bereitgestellt werden.111 Diese Informationen lassen nämlich nicht verlässlich auf die intuitiv getroffene Entscheidung schließen. Das bedeutet: Umfrageergebnisse spiegeln in der Regel nicht das Verhalten wider, das Menschen in der konkreten Situation instinktiv an den Tag legen würden, sondern ein ex-post-rationalisiertes, das vernünftig erscheint. Dadurch relativiert sich der Aussagegehalt empirischer Studien erheblich, weil man nicht ausschließen kann, die befragte Person werde (operativ) in einer Dilemma-Situation gerade anders reagieren als artikuliert. Welche Reaktion entspricht dann dem „wahren“ humanistischen Bild, welches sollte für die Maschine maßgeblich sein? Eine klare Antwort darauf hat die Empirie bisher nicht. Zusammenfassend ist für das hiesige Vorhaben festzuhalten: Empirische Studien zeigen deutlich in eine andere Richtung als der rechtsethische Meinungsstand, da das befürwortete Ergebnis von den Personenmerkmalen der potentiellen Opfer abhängig gemacht wird. Die Studienergebnisse kommen allerdings verzerrt daher und sie lassen eine sichere Fahrrinne nicht erkennen.

3. Moralphilosophischer Diskussionsstand Dilemmata gehören zu den zentralen Gedankenexperimenten der Moralphilosophie. Bevor nachfolgend die verschiedenen Theorien nachgezeichnet werden (sub b und c), ist zunächst erforderlich, einen Schritt zurückzugehen und ein paar Aspekte der Maschinenethik kritisch anzuleuchten (sub a), weil die verschiedenen Lösungskonzepte dadurch verständlicher werden. a) Moralimplementation in der Maschinenethik Der moralphilosophische Diskurs zu Dilemma-Situationen und zu Maschinen ganz allgemein wird leider zu oft112 an Grenzlinien geführt, 111

Zu diesem Bereich Mikhail, Trends in Cognitive Sciences 2007, S. 143, 144. Ein positives Beispiel ist das Projekt „KI-Zertifizierung“ des FraunhoferInstituts für Intelligente Analyse- und Informationssysteme (IAIS), das konkrete 112

IV. Stand der Diskussion

45

ohne immer auf die praktikable Lösung des Problems hinzuwirken.113 Es ist eben das Vorrecht der Philosophie, sich mit metaphysischen Fragen zu beschäftigen und abstrakte Gedankengebäude zu entwickeln, ohne dabei stets gezwungen zu sein, ein konkret vor ihr liegendes Problem für die Praxis lösen zu müssen. Da sie durchzogen ist von anthropozentrischen Ontologien und Glaubenssätzen, wohnt ihr das Abgrenzen vom Menschlichen zum Nicht-Menschlichen disziplinbedingt inne114 – ja man könnte vielleicht sogar von einem „selbstverliebten Speziesismus“115 sprechen. Diese Tendenz hat zwei Konsequenzen: Zum einen zeigen Moral-Philosophen immer wieder eine Vermeidungshaltung auf 116: Weil die Maschine nicht mit demselben Urteilsvermögen ausgestattet werden könne wie der Mensch, sei einem elektronischen Aktanten keine Verantwortung für moralisch relevante Handlungen zuzugestehen. Zum anderen betreffen die Analysen recht häufig rein theoretische Modefragen der Technisierung, die sich manchmal im Kreis drehen oder in Aporien verharren117: Sind Maschinen zur sittlichen Autonomie „fähig“?

Leitlinien für eine vertrauenswürdige KI entwickeln soll mithilfe eines interdisziplinären Forschungsteams bestehend aus Vertreterinnen und Vertretern aus Philosophie, Recht, Wirtschaft und Politik; siehe https://www.iais.fraunhofer.de/de/ kompetenzplattform-ki-nrw/ki-zertifizierung.html. 113 An dieser Stelle reicht es, Luhmann (Paradigm lost: Über die ethische Reflexion der Moral, 1990, S. 36) sprechen zu lassen: „Konzentriert auf Fragen der moralträchtigen Begründung moralischer Urteile hat die Ethik den Bezug zur gesellschaftlichen Realität verloren.“ 114 Siehe etwa Loh, Roboterethik, 2019, S. 10, welche die Roboterethik als „Bereichsethik“ mit der Begründung definiert, die Ethik betreffe prinzipiell eine für Menschen spezifische Kategorie des Handelns. Ein besonders deutliches Beispiel für Abgrenzungsrhetorik liefern Precht, Künstliche Intelligenz und der Sinn des Lebens, 2020, passim und Nida-Rümelin/Weidenfeld, Digitaler Humanismus, 2018, S. 26 ff. und passim. 115 Ähnlich Gaede, Künstliche Intelligenz – Rechte und Strafen für Roboter?, 2019, S. 36, dort zur Diskussion über Menschenrechte und welche Rechte im Vergleich dazu Tieren zuzusprechen sind. 116 Siehe etwa Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 184 ff. zum autonomen Fahren. 117 Rammert/Schulz-Schaeffer (Hrsg.), Können Maschinen handeln? Soziologische Beiträge zum Verhältnis von Mensch und Technik, 2002; Bung, Können Artefakte denken?, in: Gruber (Hrsg.), Autonome Automaten, künstliche Körper

46

B. Das Dilemma-Enigma

Können Maschinen „handeln“? 118 Sind sie in der Lage, zu „denken“? Haben Maschinen eine moralische Entscheidungsfreiheit (moral agency)? 119 Kann man ihnen „Vernunft“120 oder gar „Verantwortung“121 zuschreiben? Können Handlungen – oder etwaige Umweltmanipulationen, die Handlungen funktional gleichzusetzen sind – „moralisch“ sein, ohne dass der technische Aktant zu Emotionen befähigt ist? 122 Weist eine Maschine „funktional hinreichend große Ähnlichkeit zu moralischem Handeln“ auf, um sie „als expliziten moralischen Akteur zu begreifen?“123 Inwieweit sollte das menschliche Urteilsvermögen berechenbar gemacht werden? 124 Kann eine Maschine ein Bewusstsein und einen Willen entwickeln, um überhaupt von Moral sprechen zu können? 125 Kommt es nur darauf an, ob ein bestimmtes Verhalten funktional-äquivalent moralisch ist, oder reicht es aus, wenn es dahingehend interpretierbar bleibt? Und wenn wir fordern, Maschinen müssten jedenfalls in funktionaler Hinsicht menschlich-moralisch handeln können, wer stellt dann sicher, dass sie sich nicht gegen eine moralische Handlungsweise stellen? Sind eigenständige und artifizielle Agenten in der technisierten Gesellschaft, 2. Auflage 2015; Matthias, Automaten als Träger von Rechten, 2007, passim. 118 Dazu grundlegend Floridi/Sanders, On the Morality of Artificial Agents, 2004; siehe auch Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 75 ff. Mit derselben Frage wird sich auch in der Soziologie beschäftigt; vgl. beispielhaft Rammert/Schulz-Schaeffer (Hrsg.), Können Maschinen handeln? Soziologische Beiträge zum Verhältnis von Mensch und Technik, 2002, passim. 119 Zum Meinungsstand Loh, Roboterethik, 2019, S. 138 ff. 120 Gaede, Künstliche Intelligenz – Rechte und Strafen für Roboter?, 2019, S. 50 ff. 121 Im Detail dazu Loh, Roboterethik, 2019, S. 126 ff. mit zahlreichen Nachweisen zum Meinungsstand. Verantwortung wird dabei als „ein Kürzel für die normativen Konsequenzen, die Moral und Recht an die Willensfreiheit knüpfen“ verstanden; siehe Klement, Verantwortung, 2006, S. 31 (typografische Hervorhebung nur hier). 122 Ablehnend etwa Neuhäuser, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 2012, S. 23, 39 f. 123 Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 89; siehe auch Misselhorn, APuZ 2018, 29, 30. 124 Zu diesem Fragenkreis etwa Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978. 125 Siehe etwa Kirchschläger, AJP 2017, 240, 246, der meint, ein Verantwortungssubjekt könne nur angenommen werden, wenn (anthropologische) Freiheit und Rationalität besteht.

IV. Stand der Diskussion

47

Moralmaschinen wünschenswert? Würden sie nicht eine Moralvereinheitlichung voraussetzen, der unsere Gesellschaft abschwören sollte – nicht allein um der heute fast schon sakrosankten Liberalismusidee zu entsprechen, sondern weil auch in Moralangelegenheiten ein Fortschritt nur zu erwarten ist, wenn Reibungspunkte bestehen? 126 Beschaut man diese Auswahl der Fragen, mit denen sich die Maschinenethik beschäftigt, so fällt ein Punkt besonders auf: Der Diskurs dort steht im Kontrast zur Haltung der Techniker. Diese sehen nämlich künstliche Akteure vor sich, die ihre Umwelt – auf ihre Weise – wahrnehmen und die aufgrund dieser Wahrnehmung realiter sozialrelevante Akte ausführen.127 Sie konzentrieren sich also auf die tatsächlichen Folgen und Bedeutungen der Technik und versuchen diese in geordnete Bahnen laufen zu lassen. Diesen Weg gehen Ethiker nicht immer und vergeistigen den Problemkreis viel stärker; die Maschinenethik hat dadurch die eigenartigsten Auswüchse geschlagen. So wird gesagt, man dürfe „es den Maschinen [nicht] zu einfach [machen], rational Handelnde zu sein“.128 In der Folge wird eine abstrakte Sprache entwickelt, die „von inneren Zuständen“ der Maschinen berichten soll, damit sie „funktional äquivalent mit Überzeugungen und Pro-Einstellungen betrachtet werden können“.129 Doch ist nicht erkenntlich, worin der philosophische, psychologische oder gesellschaftliche Nutzen liegt, eine solche Abgrenzungsrhetorik zu verwenden, die sicherzustellen sucht, dass jede „Vermenschlichung“ der Maschinen vermieden wird. Ein potentiell von einem Verhaltensfehler des autonomem Fahrzeugs betroffener Bürger ist nicht deswegen beruhigt, weil die Ethik formuliert hat, die Maschine sei kein rational handelnder Akteur. Mit rhetorischen Tricks wie „Informationsverarbeitungsmechanismen“, die dazu eingesetzt werden können, „die Welt zu verändern, wenn sie nicht so ist, wie sie beschaffen sein sollte“130, ist kein tatsächlicher Fortschritt beim Versuch verbunden, eine Konzep126 Dazu an unterschiedlichen Stellen Precht, Jäger, Hirten, Kritiker, 2018, passim, der schon heute eine „immer globalere Einheitszivilisation“ (S. 35) beklagt. 127 Vgl. Russel/Norvig, Artificial Intelligence, 3. Auflage 2016, viii, S. 1 ff. 128 Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 87. Bemerkenswert dort sind Text und Ton einiger Abschnitte, da Misselhorn teilweise in jenen Sätzen die Maschinen sprachlich „personifiziert“, in denen sie sich inhaltlich gegen eine personengleiche Behandlung wendet. 129 Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 88. 130 Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 88.

48

B. Das Dilemma-Enigma

tion zu entwickeln, die einen unmoralischen Zustand verhindert. Keinem betroffenen Bürger ist allein daran gelegen zu hören, die Komplexität des maschinellen Agierens liege weit unter dem menschlichen Verhalten. Er erwartet vornehmlich, dass Handlungsfolgen verhindert werden, welche seine Existenz und seine Stellung in der Welt gefährden (könnten). Der unmittelbare praktische Entscheidungsnutzen der oben beispielhaft aufgeführten Fragen ist daher gering. Solche und ähnliche Fragestellungen haben ihren Wert zuvörderst darin, dass jeder einzelne Mensch, der sich mit ihnen auseinandersetzt, abmessen kann, wie seine innere Haltung zu Maschinen, zur Technisierung, zur Digitalisierung ist. Schlecht oder falsch ist dieses Anliegen nicht – im Gegenteil! 131 Allerdings müssen aus diesem Auskundschaften auch praktisch taugliche Konsequenzen folgen; der Diskurs darf nicht dem Faszinosum des Metaphysischen verhaftet bleiben. – Wie ist also eine Situation konkret aufzulösen, selbst wenn die Maschine nicht „handeln“ kann, und sie nicht „moralisch“ agiert? Muss der Technik eine Absage erteilt werden? Es liegt auf der Hand, dass niemand meinen kann, ein solches absolutes Verbot aussprechen und faktisch durchsetzen zu können. Deswegen sollte eine Rhetorik nicht gewählt werden, die nicht darüber hinaus geht, Maschinen von Menschen zu scheiden. Der philosophische Diskurs muss nicht immer darin bestehen, sich abzugrenzen. Es ist sogar völlig verkehrt, Technik, Roboter, Maschinen, Software, Daten oder Algorithmen als etwas Fremdes und Außenstehendes, etwas vom Menschen Entkoppeltes anzusehen. Schließlich werden sie von Menschen für Menschen zur besseren Verwirklichung von materiellen und immateriellen Interessen entwickelt. Der Soziologe Latour hat dem engstirnig-anthropozentrischen, abgrenzenden Weltbild zu Recht entgegengehalten132: „Das Menschliche läßt sich ja (…) nicht erfassen und retten, wenn man ihm nicht jene andere Hälfte seiner selbst zurückgibt: den Anteil der Dinge. Solange der Humanismus sich im Kontrast zu einem Objekt bildet, welches der Epistemologie überlassen bleibt, verstehen wir weder das Menschliche noch das Nicht-Menschliche.“

Damit will Latour verdeutlichen, dass der Mensch die Maschinen mit Eigensinn und für den Eigennutzen ersonnen hat, sie mithin nichts Ge131 132

Siehe schon die Ausführungen oben bei B. III. Latour, Wir sind nie modern gewesen, 2008, S. 181.

IV. Stand der Diskussion

49

trenntes von ihm sind, sondern zu einem integralen Bestandteil der humanistischen Welt bewusst gemacht wurden und nur in dieser Bedeutung existieren. Maschinen können wir also nicht von uns schieben, da sie produziert worden sind, um Teil des eigenen Corpus, nicht um ein davon getrenntes Ding zu sein. Dann hängt es aber allein von uns erschaffenden Menschen ab, den Maschinen jene Eigenschaften mit- und einzugeben, die ein humanistisches Weltbild aufrechterhalten. Die Rhetorik der Unvermeidbarkeit und Distanz suggeriert eine individuelle, kulturelle und sogar gesamtgesellschaftliche Hilflosigkeit und Passivität, die nicht zutrifft.133 Keine aktuell anwendbare Technik hat ein unangefochtenes, unabhängiges Eigenleben. Verantwortung tragen die Menschen, tragen wir, die im Moment des Unwissens darüber befinden, die Maschine für diese oder jene Aufgabe einzusetzen. Noch sind wir Menschen die maßgeblichen und verantwortlichen Akteure. Die Technik wählt (noch) nicht selbst die Richtung, in die sie fortschreiten will.134 Maschinell erzeugte Handlungsfolgen sind – auch bei autonomen Systemen – das Produkt einer Kombination aus sozialen und technischen Konstrukten.135 Die in der Philosophie abgehobene Diskussion darüber, ob Maschinen im Sinne einer psychologischen Selbsterkenntnis (introspektiv) jedenfalls funktional moralisch oder ethisch handeln und so etwas wie einen Willen bilden, sowie ob sie fremdbeobachtet (extrospektiv) und funktional gesehen Moral und Ethik aufzuweisen oder zu entwickeln vermögen, lenkt nur von der eigenen gesellschaftlichen Verantwortung ab. Entscheidend ist deswegen nicht, wie die Reaktion der Maschine in einer Konfliktsituation ethisch einzuordnen ist136, sondern wie wir das Inverkehrbringen des Systems mit diesen oder jenen Eigenschaften und Fertigkeiten bewerten. Ist es ethisch und moralisch vertretbar, einem Fahrzeughersteller die Inverkehrgabe eines Algorithmus zu gestatten, der auf 133 In anderem Zusammenhang so richtig Zuboff, Surveillance Capitalism – Überwachungskapitalismus, APuZ 2019, 4, 9. 134 Whitepaper Fraunhofer IAIS, Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, 2019, S. 13. 135 Hoffmann-Riem, Die digitale Transformation als Herausforderung für die Legitimation rechtlicher Entscheidungen, 26. 6. 2018, sub E. 136 Ohnehin muss man feststellen, dass es naiv ist zu glauben, den ethisch mehrdimensionalen Fragen könnte abschließend mit einfachen, binären Antworten begegnet werden. Vielmehr ist bereits viel gewonnen, wenn es gelingt Leitlinien zu formulieren, die jedenfalls in der überwiegenden Zahl der Fälle zu annehmbaren Handlungsfolgen führen.

50

B. Das Dilemma-Enigma

Dilemma-Situationen mit einem Zufallsgenerator reagiert? 137 Ist es überzeugend, die Antwort138 der „unsichtbaren Hand des Marktes“139 zu überlassen? 140 Sollten wir die pauschale „Opferung“ älterer Menschen durch ein Konsumprodukt zulassen? Diese und ähnliche Fragen harren einer abschließenden Antwort, doch die Richtung des moralphilosophischen Diskurses ist klar: Es entspricht einem notwendigen Akt sozialer Gestaltung, dem Softwareprogramm bestimmte Wertungen in Reaktion auf zuvor eruierte und bewertete Entscheidungsfolgen einzugeben. So erklärt sich der Begriff Moralimplementation141, der im Zentrum der Maschinenethik steht. Diesen gestaltenden Akt vollzieht zwar in der konkreten Konfliktsituation faktisch die Maschine, veranlasst wird er jedoch von Menschen – nicht nur von jenen, die das Programm schreiben, sondern auch von jenen, welche die Folgen des Gestaltungsakts akzeptieren und das technische System in den Kreis der ökonomisch und gesellschaftlich relevanten Akteure mit den einprogrammierten Reaktionsparametern aufnehmen. Wie diese Moralimplementation nach aktuellem Meinungsstand aussehen könnte, sei nachfolgend dargestellt. Nachgezeichnet werden nur die übergeordneten Argumentationslinien142, denen in dieser Ausarbeitung – 137

Zum eigenen Ansatz dazu unten D. IV. Wie schon an anderer Stelle erörtert, haben empirische Erhebungen bereits gezeigt, dass zwar viele Menschen geneigt sind, einer Regel zuzustimmen, die stets zur Rettung des Fußgängers und nie eines Passagiers führt – kaufen würden sie gleichwohl das Fahrzeug, das die Passagiere schützt (oben Fn. 47). Deswegen sind die empirischen Erhebungen durch das Sammeln von Antworten wenig wert. Natürlich ist der Befragte geneigt, die moralisch „saubere“ Antwort zu geben, wenn er weiß, dass es sich nur um ein Gedankenexperiment handelt – wohlwissend, dass er bei der praktischen Umsetzung anders agieren würde, weil er ein Fahrzeug, das stets den Passagier opfert, nicht zu kaufen braucht, solange die Entscheidung darüber ihm anheimgestellt ist. 139 Metaphorischer Ausdruck des Ökonomen und Moralphilosophen Adam Smith im Jahr 1759, welche die unbewusste Förderung des Gemeinwohls durch Marktakteure beschreiben soll. 140 Klar ablehnend zu politischen und sozialen Fragen Schirrmacher, Ego, 5. Auflage 2013, S. 201. 141 Siehe Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 90 ff. 142 Für eine Darstellung der zahlreichen Strömungen mit unterschiedlichsten Schwerpunktsetzungen in der allgemeinen Roboterethik – also nicht nur auf Dilemmata bezogen – siehe nur Loh, Roboterethik, 2019. 138

IV. Stand der Diskussion

51

soweit sei hier schon vorgegriffen – nicht gefolgt wird. Auf der einen Seite stehen die streng philosophischen Versuche, den Imperativ von Kant fruchtbar zu machen (sub a); auf der anderen die etwas stärker praktisch veranschlagten Konzepte, die mit Hilfe des Utilitarismus den gesamtgesellschaftlichen Nutzen von autonomen Fahrzeugen zu maximieren suchen (sub b). b) Kant’sche Regel Im Zusammenhang mit autonomen Systemen im Speziellen und mit der Digitalisierung im Allgemeinen haben die Lehren von Kant eine bemerkenswerte Renaissance erfahren. Wiederholt wird seine offensichtlich überzeitliche Donnerstimme beansprucht143, um eine Theorie zum ethisch korrekten Umgang mit Technik zu entwickeln, aber auch, um eine Haltung zur Frage zu finden, welche technischen Handlungsfolgen akzeptabel erscheinen. Für Kant hätten die oben vorgestellten Ergebnisse der empirischen Forschung keine Rolle gespielt.144 Denn für Kant war die bloße Tatsache, dass eine Mehrheit – gleich wie groß diese gewesen sein mag – ein bestimmtes Ergebnis oder ein bestimmtes Gesetz bevorzugt, nicht mit einem gerechten Resultat gleichzusetzen.145 Moralische Prinzipien seien nicht auf (mehrheitliche) Vorlieben und Begierden zu errichten, da diese nicht lehren könnten, was falsch und was richtig sei.146 In der Technikethik viel bemüht wird der als Grundform des kategorischen Imperativs bekannte Ausspruch von Kant, welcher schon in der tradierten Diskussion147 über Dilemmata herangezogen wurde: 143 Auf den kategorischen Imperativ Kants im Zusammenhang mit autonomen Systemen beruft sich zum Beispiel Feldle, Notstandsalgorithmen, 2018, S. 137 und passim; die „kantianische Ethik“ findet auch bei der Ethik-Kommission ihre Erwähnung (BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, S. 16); siehe auch Gabriel, Moralischer Fortschritt, 3. Auflage 2020, S. 144 ff.; skeptisch dagegen im Zusammenhang mit autonomen Systemen Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 101 ff.; Misselhorn, Society 2018, 161, 165. 144 Kant, Grundlegung zur Metaphysik der Sitten, 1785, S. 76: „Empirische Prinzipien taugen überall nicht dazu, um moralische Gesetze darauf zu gründen.“ 145 Siehe dazu etwa Sandel, Gerechtigkeit, 6. Auflage 2019, S. 149; dazu auch sogleich D. I. 146 Kant, Grundlegung zur Metaphysik der Sitten, 1785, S. 76 f. 147 Siehe etwa Foot, The Problem of Abortion and the Doctrine of the Double Effect, in: Moral Philosophy, 1978, passim.

52

B. Das Dilemma-Enigma „handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, daß sie ein allgemeines Gesetz werde.“148

Zu beachten ist dabei, dass Kant für eine deontologische Ethik steht, auch Pflichtenethik genannt.149 Gemeint ist damit, dass nach dieser Philosophie (auch) der intrinsische Charakter einer Handlung – kurz: die Absicht – für die moralische Bewertung einer Situation relevant ist150, weshalb nicht allein auf die Konsequenzen geschaut werden kann. Jede Maxime ist auf ihre moralische Zulässigkeit nach den Kategorien „geboten“ oder „verboten“ zu überprüfen. Da der Anwendungssinn der autonomen Fahrzeuge darin besteht, diese in concreto während der Verkehrssituation entscheiden zu lassen151, müssten die Fahrzeuge auch zu entsprechenden Schlussfolgerungen befähigt sein, um eine deontologische Ethik tatsächlich selbst „ausüben“ zu können. Als ob dies nicht schon schwer bis gar unwahrscheinlich genug ist, müsste die (vom System) entwickelte Handlungsregel nach Kants kategorischem Imperativ darüber hinaus „universalisierbar“ sein.152 Darunter ist zu verstehen, dass eine Maxime (oder Handlung) danach beurteilt werden muss, ob gewollt werden kann, dass alle Adressaten die entsprechende Maxime vollziehen.153 Dies sei wiederum nicht der Fall, soweit die Maxime einen Widerspruch im Denken154 oder im Wollen155 aufweise. Wie kompliziert dies ist, zeigt eines der von Kant selbst aufgeführten Beispiele156: 148

Kant, Grundlegung zur Metaphysik der Sitten, 1785, AA IV, S. 421. Aus dem Alt-Griechischen d]om, was so viel heißt wie „das Erforderliche“, „das Gesollte“, „das Angemessene“ oder „die Pflicht“. 150 Siehe etwa Kant, Grundlegung zur Metaphysik der Sitten, 1785, S. 13: „Denn bei dem, was moralisch gut sein soll, ist es nicht genug, daß es dem sittlichen Gesetze gemäß sei, sondern es muß auch um desselben willen geschehen; widrigenfalls ist jene Gemäßheit nur sehr zufällig und mißlich, weil der unsittliche Grund zwar dann und wann gesetzmäßige, mehrmalen aber gesetzwidrige Handlungen hervorbringen wird.“ 151 Dazu oben A. 152 Dazu Hübner, Einführung in die philosophische Ethik, 2. Auflage 2018, S. 152 ff.; Misselhorn, Grundfragen der Maschinenethik, 3. Auflage 2019, S. 102 f. 153 Hübner, Einführung in die philosophische Ethik, 2. Auflage 2018, S. 153. 154 Die Maxime als Gesetz in der Welt führt zu einem logischen Widerspruch in sich selbst. 155 Die Maxime als Gesetz in der Welt führt dazu, dass der Wille dieser Maxime sich selbst verhindert. 156 Kant, Grundlegung zur Metaphysik der Sitten, AA IV, S. 422. 149

IV. Stand der Diskussion

53

„Ein anderer sieht sich durch Noth gedrungen Geld zu borgen. Er weiß wohl, daß er nicht wird bezahlen können, sieht aber auch, daß ihm nun nichts geliehen werden wird, wenn er nicht festiglich verspricht, es zu einer bestimmten Zeit zu bezahlen. Er hat Lust, ein solches Versprechen zu thun; noch aber hat er so viel Gewissen, sich zu fragen: ist es nicht unerlaubt, und pflichtwidrig, sich auf solche Art aus Noth zu helfen? Gesetzt, er beschlösse es doch, so würde seine Maxime der Handlung so lauten: wenn ich in Geldnoth zu sein glaube, so will ich Geld borgen und versprechen, es zu bezahlen, ob ich gleich weiß, es werde niemals geschehen.“

Nach Kant liegt hier ein Widerspruch im Denken vor. Denn eine Welt, die es zum allgemeinen Gesetz hätte, vorgetäuschte Versprechen – Lügen – könnten eine Handlungsmaxime sein, würde das Konzept des Versprechens als solches aufheben: Etwas wie ein Versprechen, das man brechen kann, würde es gar nicht mehr geben, und folglich könnte man auch niemanden mehr belügen. Damit widerspricht sich, so Kant, die Maxime selbst.157 „Denn die Allgemeinheit eines Gesetzes, daß jeder, nachdem er in Noth zu sein glaubt, versprechen könne, was ihm einfällt, mit dem Vorsatz, es nicht zu halten, würde das Versprechen und den Zweck, den man damit haben mag, selbst unmöglich machen, indem niemand glauben würde, daß ihm was versprochen sei, sondern über alle solche Äußerung als eitles Vorgeben lachen würde.“

Darüber hinaus muss beachtet werden: Kant sagt nicht, was per se moralisch richtig ist; er versucht nicht einen Katalog konkreter Handlungsmaximen zu entwickeln. Vielmehr beschreibt er nur das Verfahren, mit dem der Inhalt einer Maxime festgestellt werden soll.158 Ein solches Verfahren kann ein technischer Aktant jedoch nicht selbst entfalten. Die Verhaltensdirektiven müssten vielmehr vorab determiniert und dem autonomen Fahrzeug vollständig eingegeben werden (top-down-Ansatz). Eine solche Konzipierung widerspräche indes der Idee, die Fahrzeuge als alleinige Entscheidungsträger während der konkreten Verkehrssituation zu etablieren. Es ist überdies rein tatsächlich und technisch159 kaum möglich, konkrete Verhaltensdirektiven für prospektiv unbekannte Verkehrssituationen vorzugeben. Autonome Fahrzeuge nach „Kant’sche Regeln“ entscheiden zu lassen, ist daher wenig praxisnah und bleibt eine Theorie. Auf den altehrwürdigen Vordenker rekurrieren zu wollen ist im technischen 157 158 159

Kant, Grundlegung zur Metaphysik der Sitten, AA IV, S. 422. Treffend schon J. Coleman, Macht und Gesellschaftsstruktur, 1979, S. 79. Zu den Grenzen der Technik siehe noch unten C. III.

54

B. Das Dilemma-Enigma

Umfeld lediglich ein untauglicher Versuch, den Argumenten a priori eine intellektuelle Überlegenheit einzuhauchen. c) Utilitaristische Regel Im Gegensatz zu den deontologischen Konzepten praktikabler ist die utilitaristische Regel. Das Utilitätsprinzip160 ist auf den Juristen und Philosophen Bentham zurückführen, das auf zwei Ausgangshypothesen beruht: Der Mensch ist erstens ein Wesen, das nach Maximierung von Sinneslust und -genuss strebt (anthropologischer Hedonismus) 161, und sein Verhalten ist zweitens von einem Selbstinteresse geprägt (psychologischer Egoismus).162 Vor diesem Hintergrund ist die Idee von Bentham zu sehen, für individuelle Handlungen, für Politik und Recht sei jeweils als Bewertungskriterium maßgeblich, das größtmögliche Glück für die größte Zahl von Menschen herbeizuführen.163 Erhöht werden soll also der aggregierte Gesamtnutzen.164 Auf den Gesamtnutzen kommt es an, weil man sonst einem individuell-egoistischen Hedonismus das Wort reden würde. Dem Utilitarismus geht es also nicht darum, die Rechte des Einzelnen zu achten, sondern die Gesamtbilanz zu verbessern.165 Eine ethisch erstrebenswerte gesamtgesellschaftliche „Verbesserung“ sei gegeben, wenn ein Individuum seinen Nutzen (Glück, Lust) maximiert, während kein anderes Gesellschaftsmitglied eine Einbuße (Leid, Unlust) erleidet. Für den 160

Aus dem lateinischen utilitas, also der „Nutzen“ oder „Vorteil“. Der Hedonismus (aus dem altgriechischen Bdom^ abgeleitet) wird häufig auf den griechischen Philosophen Epikur (ca. 341 v. Chr. bis ca. 270 v. Chr.) zurückgeführt, ist tatsächlich jedoch von Aristippos von Kyrene (ca. 435 v. Chr. bis ca. 355 v. Chr.) erstmals entwickelt worden. Vom anthropologischen Hedonismus zu trennen ist der ethische Hedonismus, der sich wertend mit der Frage auseinandersetzt, ob der Mensch die Maximierung von Sinneslust auch anstreben sollte. 162 Altwicker, in: Gröschner et al., Person und Rechtsperson, 2015, S. 230; Eidenmüller, Effizienz als Rechtsprinzip, 4. Auflage 2015, S. 24. 163 Bentham war also daran gelegen, nicht nur individuelle, sondern auch kollektive Entscheidungsregeln zu definieren; dazu Eidenmüller, Effizienz als Rechtsprinzip, 4. Auflage 2015, S. 27 f. 164 Nutzen meint in dem Fall alle Dinge, die Lust oder Glück hervorrufen, sowie alle, die Unlust oder Leid verhindern; Sandel, Gerechtigkeit, 6. Auflage 2019, S. 51. 165 Das ist einer der zentralen Einwände gegen den Utilitarismus in der Moralphilosophie; siehe dazu mit Beispielen Sandel, Gerechtigkeit, 6. Auflage 2019, S. 55 ff. (insbes. S. 63: „kaltschnäuzige Missachtung des menschlichen Lebens“). 161

IV. Stand der Diskussion

55

Utilitarismus ist ein solches Nützlichkeitsprinzip nicht nur individuelle Verhaltensmaxime, sondern ethischer Maßstab.166 Unrecht ist daher ein Verhalten, das mehr Schaden stiftet als es nutzt.167 Ein Utilitätsprinzip auf Dilemma-Situationen angewandt bedeutet zwangsläufig, dass mindestens eine quantitative Abwägung stattzufinden hat: Die Zahl der Todesopfer reduzieren ist nämlich gleichzusetzen mit dem größtmöglichen Glück für die größte Zahl von Menschen. Allerdings muss man bei einer zahlenmäßigen Abwägung nicht stehenbleiben. Da der Utilitarismus uns auffordert, das größtmögliche Glück zu erreichen, also gesamtgesellschaftlich den Nutzen einer Handlung bis zum Optimum zu maximieren, wäre es geboten, (qualitativ) 168 auch individuelle Personenmerkmale in ihrer gesamtgesellschaftlichen Bedeutung gegeneinander abzuwägen. Einfach gesagt hieße das: Eine vierzigjährige Ärztin wäre im Zweifel eher zu retten als ein achtzigjähriger Rentner, da die Ärztin aller Wahrscheinlichkeit nach für eine größere Zahl von Menschen glücksteigernd tätig werden könnte als der Rentner. Vereinzelt wird aber angezweifelt, dass die eben angesprochene Abwägung überhaupt durchgeführt werden kann. Ins Feld geführt wird dabei der Einwand der Inkommensurabilität169: Wegen der Unvergleichbarkeit

166

Dazu zusammenfassend Eidenmüller, Effizienz als Rechtsprinzip, 4. Auflage 2015, S. 22 ff. 167 So beispielsweise John Stuart Mill, Der Utilitarismus, 1871, S. 103. 168 Der qualitative Utilitarismus ist eine Modifizierung von Benthams’ quantitativ geprägten Utilitarismusregeln und geht vor allem auf John Stuart Mill zurück (Der Utilitarismus, 1871, S. 21). Der Utilitarismus von Bentham kennt keine straffen Wertigkeitsunterschiede zwischen den verschiedenen Arten von Lust und Glück. Mill hingegen versuchte, dem Utilitarismus eine Unterscheidung zwischen höheren und niederen Arten von Lust und Glück beizugeben (Sandel, Gerechtigkeit, 6. Auflage 2019, S. 75 ff.). Verständlich wird diese von Mill favorisierte Rangordnung, wenn man seine Ausgangsprämisse betrachtet ( John Stuart Mill, Die Freiheit, 1869): Das Streben nach Freiheit sei der erste und stärkste Wunsch der menschlichen Natur, weshalb staatliches und gesellschaftliches Handeln bestrebt sein müsse, die freie Entwicklung des Individuums zu ermöglichen (Freiheitsprinzip). Der qualitative Utilitarismus beinhaltet demnach das notwendige Korrektiv des weitreichenden Freiheitsprinzips, damit Handlungen vermieden werden, welche „das Wohl Anderer berühren“ (siehe etwa John Stuart Mill, a.a.O., S. 10; ders., Der Utilitarismus, 1871, passim). 169 de Sio, Ethical Theory and Moral Practice, 2017, Ziff. 3.2: „given that all lives are different, their value is not measurable based on objective standards, and

56

B. Das Dilemma-Enigma

der Rechtsgüter angesichts fehlender zum Vergleich geeigneter Eigenschaften sei es gar nicht möglich, utilitaristische Entscheidungsformeln zu programmieren. Es seien zudem die Langzeitfolgen einer Entscheidungsvariante kaum bestimmbar und eine solche Folgenbetrachtung könne auch eine „superintelligente“ Maschine nicht anstellen.170 Indes muss berücksichtigt werden: Eine Gemeinschaft kann frei entscheiden, wie granular eine gesamtgesellschaftlich relevante Abwägung stattzufinden hat. Sie kann insbesondere mit Annahmen operieren und Langzeitfolgen „abschätzen“, obgleich sie nicht wissen kann, ob ihr alle dafür erforderlichen Informationen zur Verfügung stehen. Wäre dies anders, so könnte man selbst politische Wahlen mit dem Einwand der Inkommensurabilität ad absurdum führen, könnte doch ein Wähler realiter niemals umfassend abschätzen, welche Entscheidung den persönlich höchsten Nutzen verspricht. Eine Abwägung im Sinne der utilitaristischen Regel ist demnach richtigerweise stets möglich – vor allem, wenn sich diese Abwägung in erster Linie auf quantitative Kriterien stützt. Teilweise ist eingewandt worden, der Utilitarismus schließe eine quantitative Abwägung von Menschenleben aus.171 Hilgendorf hat zur Begründung vorgebracht, nach der Lehre des Utilitarismus seien sämtliche Konsequenzen einer Entscheidung zu berücksichtigen, weshalb nicht nur die unmittelbaren Folgen eines Manövers (Tötung von zwei statt von einem Menschen) zu bewerten seien, sondern auch die weitergehenden gesellschaftlichen Auswirkungen der konkret programmierten Entscheidungsdirektive. Innerhalb der utilitaristischen Theorie sei es deswegen ohne weiteres möglich, eine „Aufopferungspflicht“ der Wenigen gegenüber den Vielen zu verneinen.172 – Diese Aussage isoliert betrachtet mag zutreffend sein, eine solche Argumentation führt jedoch gleichwohl ins Leere, weil sie auch umgekehrt werden kann: Der Utilitarist, der eine algorithmische Entscheidung einer Bewertung unterzieht, kann es mit Blick auf die (von ihm erfassbaren) gesamtgesellschaftlichen Folgen gerade als untragbar ansehen, dass ein Mensch zu viel gestorben ist. Ein im Sinne von Hilgendorf weit verstandener Utilitarismus hilft mithin nicht ein Stück weiter, denn jede algorithmische Direktive weist eine gesamtgetheir loss usually affect other persons, it is impossible to establish a priori that, for instance, (any) five lives are more valuable than (any) one life“. 170 de Sio, Ethical Theory and Moral Practice, 2017, Ziff. 3.2.1. 171 Hilgendorf, JA 2018, 801, 805 f. 172 Hilgendorf, JA 2018, 801, 805 f.

IV. Stand der Diskussion

57

sellschaftliche Bilanz auf und es ist gerade fraglich, welche von allen negativ ist – sonst gäbe es ja die hier diskutierte Problematik nicht. Es bleibt deswegen grundsätzlich dabei: Der Utilitarismus fordert in Dilemma-Situationen zur Abwägung anhand von Personenmerkmalen auf.

C. Über die Anknüpfung an die Personenmerkmale und Ursachenforschung Wie oben gezeigt, gelangen die rechtsethische Analyse auf der einen und die empirische sowie moralphilosophische Forschung auf der anderen Seite zu unterschiedlichen Ansätzen und Schlussfolgerungen. Von rechtlicher Warte aus gesehen wird jedenfalls auf rechtspolitischer Ebene das Schadensminimierungsprinzip befürwortet. Die Empirie scheint für eine Anknüpfung an die Personenmerkmale der Situationsbetroffenen zu streiten. In der Philosophie besteht zum Teil die Tendenz, „Moralmaschinen“ verhindern zu wollen; soweit keine Vermeidungshaltung an den Tag gelegt wird, genießt die utilitaristische Regel – namentlich wegen ihrer auf den ersten Blick (!) 173 bestehenden technisch-praktischen Realisierbarkeit – den Vorzug. Eine utilitaristische Auflösung von Dilemmata bedeutet dabei, dass eine Abwägung der Folgen anhand von Personenmerkmalen stattzufinden hat. Welcher Ansicht sollte man folgen? Welche Disziplin gibt die richtige Richtung vor? Bevor Antworten auf diese Fragen gefunden werden, müssen sich zuerst zwei Arbeitshypothesen an Prüfsteinen bewähren: Die Anknüpfung an individuelle Personenmerkmale muss normativ überzeugend (sub I.) und die Verarbeitung solcher Informationen durch autonome Aktanten muss tatsächlich in geeigneter Weise möglich sein (sub II., III.). Beide Hypothesen werden der Verprobung, soweit sei hier schon vorgegriffen, nicht standhalten.

I. Kritik an einer Anknüpfung an Personenmerkmale Nachfolgend muss man sich zunächst mit der Frage näher auseinandersetzen, ob ein Lösungsansatz, der nicht empirisch legitimiert wäre 173 Zur Kritik an der Anknüpfung an Personenmerkmale aus technischer Sicht sogleich unter C. III.

I. Kritik an einer Anknüpfung an Personenmerkmale

59

– hier: allgemeingültiges Schadensminimierungsprinzip –, sich überhaupt stützen ließe. Die empirischen Ergebnisse sind – wie gezeigt – erheblichen Bedenken ausgesetzt174, aber sie lassen sich nicht einfach zugunsten des Schadensminimierungsgrundsatzes eskamotieren – zumal sie von der Utilitarismusregel gestützt werden. Der gesetzte (suggestive) Rahmen der Datenerhebung175 durch das MIT impliziert die Prämisse, die Differenzierung anhand von Personenmerkmalen sei moralisch überlegen, ohne dies bewiesen zu haben, wodurch die Überzeugungskraft der Umfragen zwar fragwürdig ist; die Idee, an Personenmerkmale anzuknüpfen, kann sich jedoch auf namenhafte Stimmen in der Rechtswissenschaft stützen: So wurde zum Beispiel schon früh von Engisch formuliert176, in einer Dilemma-Situation seien Für und Wider in toto gegeneinander abzuwägen. Nach seinem Dafürhalten genüge es nicht, gleichwertige Faktoren miteinander zu vergleichen (z. B. der Wert des verfolgten Zwecks mit dem Wert des bedrohten Rechtsguts), sondern es müsse „ein Fazit aus dem Ganzen gezogen werden“. Rein arithmetische Veranschaulichungen seien irreführend und nicht zielführend. Sprich: Allein die Opfer zu zählen, sei nicht ausreichend177; es seien weitere Faktoren einzubeziehen. Wie die Mehrheit der vom MIT befragten Menschen strebte also auch Engisch eine ganzheitliche Situationsbewertung an. Die Kritik von Engisch an eine rein arithmetische Beurteilung ist auf abstrakter Ebene intuitiv überzeugend. Auch der Utilitarismus würde ja nicht bei einer Zählung der Opfer stehenbleiben.178 Es verwundert deswegen nicht, dass die Unterscheidung anhand von äußerlichen und innerlichen Personenmerkmalen in verschiedenen Disziplinen und Debatten in den Vordergrund der Diskussion gerückt ist. Legitim erscheint es 174

Oben B. IV. 2. Auffällig ist etwa, dass den Abstimmenden nicht die Möglichkeit eingeräumt wird, zu sagen, die im Piktogramm nachgezeichnete Dilemma-Situation sei nicht anhand von Personenmerkmalen aufzulösen. 176 Zu Folgendem siehe Engisch, Untersuchungen über Vorsatz und Fahrlässigkeit im Strafrecht, 1930, Neudruck 1964, S. 289; siehe später auch Welzel, ZStW 63 (1951), 47, 51 ff. 177 Damit ist aber nicht gesagt, dass es unzulässig wäre, nach einer Gesamtabwägung der Umstände zu dem Ergebnis zu gelangen, es sei diejenige Handlungsalternative zu wählen, welche die geringsten Opfer oder den geringsten Schaden verspricht. Es soll nur sichergestellt sein, dass sich für andere relevante Wertungen nicht blind gestellt wird nach Verweis auf die Arithmetik. 178 Oben B. IV. 3. c). 175

60

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

deswegen zu fragen: Ist ein Weichenstellerfall nicht anders zu beurteilen, wenn auf beiden Gleisen jeweils nur ein Mensch seine Arbeit verrichtet, der eine jung und gesund, der andere kurz vor der Rente steht? Und sollte sich die Lösung nicht wieder umkehren, wenn der junge Arbeiter krank, der ältere aber kerngesund ist und noch ein langes Leben vor sich hat? Indes braucht man nicht lange überlegen, um sich einen Sachverhalt vorzustellen, bei dem die Unterscheidung nach Personenmerkmalen nicht nur an Grenzen stößt, sondern mit dem Gleichbehandlungsgrundsatz und dem Diskriminierungsverbot kaum vereinbar ist: Wie verhält es sich nämlich, wenn sich auf dem einen Gleis ausschließlich Arbeiter, auf dem anderen jedoch auch Arbeiterinnen befinden? Wofür steht die konkrete Abwägung „in toto“ in diesem Fall ein? Die Überlegung, anhand von abstrakten Personenmerkmalen zu unterscheiden, ist trotz naheliegender Schwächen nicht neu und wird in allgemein-gesellschaftlichen Debatten gerne bemüht. Aus dem Theaterstück „Terror“ von Schirach ist beispielsweise die Streitfrage bekannt, ob ein arithmetisches Gleichgewicht der Opferzahlen deswegen eine Schlagseite bekommt, weil sich innerhalb der einen Gruppe die Täter befinden. Sind die unschuldigen Passagiere eines entführten Flugzeugs als mittelbare „Schadens- oder Gefahrenverursacher“ oder als sachnähere „Risikoträger“ anzusehen, obgleich nichts anderes als der Zufall sie in diese Situation geführt hat? Die meisten Menschen dürften eine Risikoträgerschaft der Flugzeugpassagiere verneinen. Bei autonomen Fahrzeugen ist die intuitive Einschätzung eine andere. Dort werden die Passagiere des Fahrzeugs als Teil der Gefahrenquelle (straßenverkehrsrechtlich: Betriebsgefahr) angesehen, denn sie seien bewusst in das Fahrzeug eingestiegen. Wenn demnach das Fahrzeug entscheiden solle zwischen dem Tod des Passanten auf dem Zebrastreifen und dem des Passagiers im Fahrzeug, dann müsse im Zweifel der Fahrzeuginsasse „geopfert“ werden. Grund dafür sei, dass der Fußgänger per se – er hat ja keinen Blechkasten um sich herum, der den Aufprall absorbieren könnte – physisch weniger geschützt ist. Doch ist der Fußgänger nicht ebenso Teil der Gefahrenquelle wie das Fahrzeug? 179 Schließlich müsste das Fahrzeug eine Abwägung nicht durchführen, wenn der Fußgänger nicht 179 Teilweise wird von einer Gefahrengemeinschaft zwischen den betroffenen Verkehrsteilnehmern gesprochen; so Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 155.

II. Die Idee von der „Supermoralmaschine“

61

zufällig genau in diesem Moment die Fahrbahn betreten hätte. Betrachtet man zudem den konkret geschilderten Sachverhalt – es stirbt entweder der Passant oder der Passagier –, dann erscheint es doch zweifelhaft, ob die Argumentation zutreffend ist, allein der Fußgänger sei schwächer und weniger geschützt. Dem Fahrzeug liegt nämlich ein Sachverhalt vor, in dem beide Beteiligte abhängig von der Entscheidung schwach und ungeschützt sind. Ersichtlich völlig ungeeignet ist die Abgrenzung zwischen „schwachen“ und „starken“ Beteiligten, wenn nicht nur die drohenden Folgen, sondern auch die Rahmenbedingungen für jedes potentielle Opfer gleich sind: Angenommen, alle Beteiligten befinden sich jeweils in einem Fahrzeug, die Passagiere beider Fahrzeuge sind womöglich im selben Alter und haben ein vergleichbar „vielversprechendes“ Leben vor sich. Wie wägt man in einem solchen Szenario ab? Kommt es hier auf den Zufall an, weil die Personenmerkmale nicht weiterhelfen? Soll der Algorithmus einen digitalen Würfel rollen lassen und abhängig vom zufälligen Ergebnis reagieren? 180 Oder ist zwischen „töten“ und „sterben lassen“ zu unterscheiden? Und die Perspektive von welchem Fahrzeug soll dann maßgeblich sein?

II. Die Idee von der „Supermoralmaschine“ Der Weg über allgemeine Personenmerkmale als Abwägungskriterium erweist sich somit ziemlich schnell – trotz der anderslautenden Empirie und des Utilitarismus – als vermintes Terrain. Eine allgemeingültige Lösung lässt sich anhand von Personenmerkmalen schwer finden, weil zu viele Parameter zu berücksichtigen sind. Genau an dieser Stelle soll jedoch die Technik ins Spiel kommen: Es existiert die Vorstellung, Algorithmen und vor allem KI-Systeme seien aufgrund ihrer Rechenkapazität in der Lage181, alle Parameter einer Dilemma-Situation abzuwägen und einer 180 So etwa Keßler, MMR 2017, 589, 593. Nach hier vertretener Ansicht ist eine Zufallsheuristik als Rückfallkriterium anzuerkennen; dazu unten D. IV. 181 Dabei wird aber vergessen, dass nicht allein die Rechenkapazität entscheidend ist. Eine Maschine kann ohne Daten nichts berechnen. Erst recht ist es nicht möglich, ein autonomes Fahrzeug im Straßenverkehr einzusetzen, wenn das Fahrzeug nicht hinreichende Daten erlangt – dies entspricht der Wahrnehmung – und diese auch zutreffend zu interpretieren vermag, womit die Umsetzung angesprochen ist (siehe Thöne, Autonome Systeme und deliktische Haftung, 2020, S. 6).

62

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

akzeptablen Lösung zuzuführen. Teilweise herrscht sogar die Annahme, womöglich gar die Erwartung vor, die technische Intelligenz müsse moralisch und ethisch noch bessere Ergebnisse erzielen als der Mensch (Supermoralmaschine). Sie solle nicht nur abstrakte Merkmale berücksichtigen, sondern auch konkrete wie etwa Geschlecht und Alter. Während allenthalben also die Angst geschürt wird, die Technik könnte den Menschen kognitiv eines Tages übertrumpfen und ihre Fähigkeiten dazu einsetzen, die Menschheit von der Erde zu tilgen182, wird zugleich gefordert, dass Entscheidungen, die in den Händen von Maschinen liegen, übermenschlich ausfallen müssen. Eine kontradiktorische Forderung, die bezeichnend für die widersprüchliche und psychologisch indizierte Haltung183 des Menschen zur Technik ist. Trotz der besagten Bedenken besteht immer wieder die Tendenz in allen Forschungsdisziplinen, granulare Konzepte zu entwickeln, welche möglichst viele Parameter berücksichtigen. Woran liegt das? Zu vermuten steht, dass dies mit einem bestimmten (verzerrten) Verständnis von der technischen Machbarkeit gewisser Ansätze zu tun hat. Nachfolgend sei diesem Gedanken näher nachgegangen – und die Vorstellungen über die Fähigkeiten der Technik geradegerückt.

III. Kritik an der Idee von der Supermoralmaschine Um den oben skizzierten Stand der Diskussion richtig einordnen und bewerten zu können ist es erforderlich, sich mit den „Fertigkeiten“ von Ob autonome Fahrzeuge die für eine vollständige Berechnung der Dilemma-Situationen notwendigen Daten erlangen können und sollten, ist aber fraglich und wird nicht ausreichend diskutiert; dazu noch ausführlicher unten C. III. 3. 182 Siehe etwa die Einlassungen von Elon Musk (FAZ vom 4. 9. 2017, www.faz.net/-ijt-91f8n) oder von Stephen Hawking (The development of full artificial intelligence could spell the end oft he human race, BBC News vom 2. 12. 2014, https://www.bbc.com/news/technology-30290540). 183 Psychologische Studien zeigen etwa, dass Menschen – obgleich sie sich auf Algorithmen im Alltag in einem weiten Umfang blind verlassen –, bei Fehlern eine stärkere Aversion gegen Maschinen als gegen Menschen entwickeln; Dietvorst/ Simmons/Massey 144 (2015) J. Exp. Psychol. Gen. 114; Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 282. Stirbt ein Kind wegen eines Fehlers, den ein Algorithmus gemacht hat, so wird dies als größere Tragödie angesehen denn der Tod durch einen menschlichen Fehler (Kahneman, a.a.O., S. 283).

III. Kritik an der Idee von der Supermoralmaschine

63

autonomen Systemen vertraut zu machen. Technische Transparenz und Verständlichkeit ist nicht nur wichtig, um eine zutreffende Beurteilung der Situationen zu gewährleisten, sondern auch eine Grundvoraussetzung, damit autonome Fahrzeuge allgemeingesellschaftlich akzeptiert werden.184 Bewertet ein Mensch die Dilemma-Situation nicht auf eine Weise, die auf einen breiten Konsens stößt, dann sind wir geneigt, Nachsicht zu üben185, solange die Entscheidungsfolgen nicht als schlechthin untragbar erscheinen.186 In einem strafrechtlichen Verfahren bliebe daher derjenige straflos, der in einer Dilemma-Situation auf diese (töten) oder jene Weise (sterben lassen) reagiert hat. Es macht also auf juristischer Folgenebene keinen Unterschied, ob der Fahrer seinen eingeschlagenen Fahrtweg fortsetzt und fünf Passagiere im entgegenkommenden Fahrzeug dadurch tödlich verunglücken, oder ob er ausweicht und einen Radfahrer in den Tod schickt, um die fünf Fahrzeugpassagiere zu retten. Diese Nachsicht hat einen einfachen Grund: Wir erkennen an, dass der Betroffene in einer Extremsituation gehandelt hat und wir selbst es im Zweifel nicht besser hätten machen können. In einem Bruchteil einer Sekunde prasseln in solchen dynamischen Situationen zahlreiche Informationen und Handlungsalternativen auf den Menschen ein. Die Fülle der anfallenden Daten ist so überwältigend, dass wir gar nicht erst davon ausgehen, der Fahrer habe alle Vor- und Nachteile einer Entscheidung in concreto abwägen können oder gar abgewogen. Mit welcher Folge ein Mensch in einer plötzlich auftauchenden Unfall- und Dilemma-Situation reagiert, ist oftmals nicht mehr als ein Zufallsprodukt; das gilt jedenfalls für Panikreaktionen und für instinktive Manöver. Anderes soll dagegen, wie gesagt, bei Reaktionen von Maschinen gelten. Für Maschinen laufe die Zeit – so die allgemeine Vorstellung – 184

So richtig M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 60. Der Fahrer wäre in der Regel entschuldigt und somit straffrei (dazu schon B. II.); siehe auch Weber, NZV 2019, 249, 251; Sander/Hollering, NStZ 2017, 193, 201; allgemein zur strafrechtlichen Bewertung von Dilemmata Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 75 ff.; Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 153; Weigend, ZIS 2017, 599, 600 ff.; Hörnle/Wohlers, GA 2018, 12, 13 ff.; mit zusammenfassenden Überblick Peters, in: Rechtshandbuch AI und ML, Kap. 12 Rn. 50 ff. 186 Mit Nachsicht hätte ein Fahrer etwa nicht zu rechnen, wenn er zehn Schulkinder „opfert“, um einen fliehenden Bankräuber zu retten. 185

64

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

aufgrund der Verarbeitungsgeschwindigkeit der Sensoren und Rechenchips langsamer ab. Sie könnten Situationen genauer auswerten, also bei der Suche nach einer guten, moralisch überzeugenden Entscheidung mehr Informationen und Parameter berücksichtigen als ein Fahrer je könnte. Während der Mensch naturgemäß unkontrolliert reagiere, könne die Maschine mathematisch korrekt und überlegt agieren. Deswegen solle, wenn eine Maschine „handelt“, eine bewusste Wahl der Maschine an die Stelle der instinktiven Reaktion des Menschen treten. Es besteht mithin die Vorstellung, Maschinen könnten allein aufgrund ihrer Rechenkapazität in Situationen moralisch handeln, in denen Menschen diese Möglichkeit wegen der fehlenden kognitiven Fähigkeiten nicht hätten. Problematisch an diesen idealistischen Vorstellungen von der „Supermoralmaschine“ ist, dass sie den Grenzen der Physik (Bremsweg, Sensorreichweite etc.) und vor allem der Rechenkapazitäten von Maschinen in nur sehr geringem Maße gerecht werden.187 Damit lassen sich auch sprachliche Missbildungen wie das „philosophische Auto“ erklären.188 Idealistische Gedankengebäude sind begrüßenswert, dürfen indes nicht die Sicht auf die technologische Realität verstellen.189 Macht man sich von moralischen Idealen frei und schaut man allein auf die Technik, dann relativiert sich die Idee von der besagten Supermoralmaschine.

1. Algorithmische Vorausschau und Kontextverständnis fehlen Dilemma-Situationen könnten durch einen Algorithmus nur vollständig aufgelöst werden, wenn das technische System in der Lage wäre, vollumfänglich vorauszuschauen – also die Entwicklung eines Umweltzustandes inklusive individueller (Personen-)Merkmale zu antizipieren. Dabei muss an dieser Stelle klargestellt werden: Der Zweck von Algorithmen, die in einem autonomen Fahrzeug zum Einsatz kommen und auf maschinellem Lernen basieren, sollen natürlich anhand ihrer Muster-

187 Auf ein verzerrtes Technikverständnis weisen z. B. M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59 ff. dezidiert hin. 188 Harari, 21 Lektionen für das 21. Jahrhundert, 2018, S. 91. 189 Besio, Soziale Systeme 19 (2013/2014), S. 315.

III. Kritik an der Idee von der Supermoralmaschine

65

erkennung Vorhersagen treffen, also probabilistisch agieren.190 Diese Vorhersagen beziehen sich auf explizite Informationen, also auf solche, die in Form strukturierter oder unstrukturierter Daten vergleichsweise offen zu Tage liegen. Problematisch wird es dagegen bei impliziten Informationen, also solchen, die insbesondere mit inneren Lebensvorgängen von Straßenverkehrsteilnehmern zusammenhängen (Intentions- oder Intuitionserkennung). Gerade diese sind es aber, die für eine umfassend vorausschauende Aktion berücksichtigt werden müssten. Beispiel: Ein autonomes Fahrzeug rollt auf eine Kreuzung zu und die Ampelanlage schaltet auf Gelb. Die Recheneinheit des Fahrzeugs muss anhand der bis zur Ampel verbleibenden Wegstrecke, der aktuellen Geschwindigkeit, der durchschnittlichen Gelbphase etc. eine Vorhersage darüber treffen, ob die Straßenkreuzung rechtzeitig erreicht wird, bevor die Ampel auf Rot springt. Dabei hat das Fahrzeug explizite Informationen zu verarbeiten. – Anders ist es, wenn ein Ball auf die Straße rollt und die Sensoren ein spielendes Kind erfassen, das diesem hinterherzulaufen scheint. Um vorausschauend zu bewerten, wie sich das Kind verhalten wird (Intention), muss das Fahrzeug auch implizite Informationen (Körperhaltung, Mimik etc.) verarbeiten können.

Die Intentionserkennung ist eine wesentliche Vorbedingung, damit Dilemmata tatsächlich eine umfassende moralische Bewertung erfahren können. Das Problem an den empirischen Beispielssituationen, an denen die Entscheidungsfindung in Dilemma-Situationen durchexerziert wird191, besteht deswegen darin, dass sie sehr statisch sind, es mithin auf eine Intentionserkennung nicht ankommt: Auf einem Gleis stehen fünf Arbeiter, auf dem anderen Gleis steht einer – und alle bleiben dort, wo sie sind. Für akademische Diskussionen mag dieser Gleisarbeiterfall als Gedankenexperiment geeignet sein; eine praktisch umsetzbare Lösung lässt sich damit im Detail nicht finden. Tatsächlich laufen die Lebenssituationen nämlich anders und viel dynamischer ab. Menschen und Tiere agieren und reagieren permanent; Objekte verändern ihren Zustand und ihre Umweltpositionen. Solche Aspekte und Informationen verarbeitet der Mensch in einer schwierigen Situation, in der er über seine nächsten Schritte entscheiden muss, weitestgehend instinktiv. Einen an einem Zebrastreifen stehenden Menschen nimmt ein Autofahrer nicht als statisches Ding wahr, sondern als ein Lebewesen, das jederzeit seine Position 190

Siehe schon oben A. Das gilt für die Trolley-Situationen (oben B. II.), aber auch für die Forschung des MIT (oben B. IV. 2.). 191

66

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

im Raum verändern kann. Der menschliche Fahrer verarbeitet Informationen wie Körperhaltung und Mimik automatisch, um zu beurteilen, ob er vom Fußgänger bemerkt wurde oder ob damit zu rechnen ist, dass die Person unachtsam auf die Straße tritt. Auch der Fußgänger, obgleich er am Zebrastreifen Vorrang hat, versucht die Augen und die Mimik des Fahrers einzufangen, um festzustellen, ob dieser ihn gesehen hat. Menschen sind unter anderem aufgrund ihrer Sozialisation befähigt, implizite Informationen wahrzunehmen192, die ihnen ein vorausschauendes Agieren ermöglichen. Subjektstellung und Intentionalität anderer Menschen können mehr oder weniger intuitiv erfasst und eingeordnet werden – und dies anhand von recht rudimentären Informationspunkten. Obgleich sich die Verkehrsteilnehmer nie sicher sein können, eine Situation richtig eingeschätzt zu haben, ist die Fähigkeit des Vorausschauens der zentrale Grund, weshalb im täglichen Straßenverkehr millionenfach Unfallsituationen vermieden bleiben. Bei Algorithmen ist die Situation anders. Als Grund möchte ich an dieser Stelle nicht die vielbemühten anthropoperspektivischen Einwände – Maschinen könnten nicht denken, fühlen, leiden etc. – bemühen. Ganz ohne Zweifel, die Verarbeitung eines Sachverhalts durch eine Maschine ist ein ausschließlich technischer Vorgang.193 Den Algorithmen wird wohl noch geraume Zeit „die Fähigkeit zur Nutzung des für menschliches Handeln wichtigen impliziten Wissens, ebenso die Fähigkeit zur Empathie, zur Entwicklung von Kreativität oder zum Einsatz von Intuition“ fehlen.194 Funktionelle Parallelen zwischen Menschen und Maschinen lassen sich zwar schon heute ziehen – man denke an den „komponierenden“ Algorithmus –, aber diese Fertigkeiten spielen im hiesigen Kontext keine Rolle. Ob Maschinen eines Tages ontologisch, begrifflich oder philosophisch betrachtet dieselben Fertigkeiten aufweisen werden, sollte von den konkreten Handlungsfolgen her betrachtet ohnehin irrelevant sein: Sofern die Folge unerwünscht, moralisch oder rechtlich verwerflich ist, sollte sie verhindert werden – ganz gleich, ob die Maschinen dem Menschen in ihrem Wesen „näher gerückt“ sind oder 192

Ähnlich bereits Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978, S. 276 f., S. 279 ff. 193 Hoffmann-Riem, Die digitale Transformation als Herausforderung für die Legitimation rechtlicher Entscheidungen, 26. 6. 2018, sub E. 194 Hoffmann-Riem, Die digitale Transformation als Herausforderung für die Legitimation rechtlicher Entscheidungen, 26. 6. 2018, sub E.

III. Kritik an der Idee von der Supermoralmaschine

67

nicht. Maßgeblich ist das beeinträchtigte Gut, nicht die Ontologie des Aktanten. Daher kommt es nicht darauf an, inwieweit Maschinen in Zukunft (oder bereits heute) fühlen und verstehen können. Es ist eine tatsächlich machbare Lösung von Dilemma-Situationen zum Schutze der Menschen, anderer Lebewesen und der Natur vor moralisch fragwürdigen Folgen notwendig. Wie das Verhalten der Maschine auf dem Wege dahin in einem transzendenten Sinne zu bezeichnen sein mag, ist unerheblich. Es kommt allein darauf an, ob die Maschine wirklich Zugriff auf die notwendigen Daten hat, um Dilemma-Situationen, die Menschen nur im Wege einer normativen ex-post-Bewertung als solche erkennen, vollumfänglich beurteilen zu können. Dabei muss man sich vor Augen halten: Maschinelles Lernen195 funktioniert momentan noch immer in „stabilen Umweltzuständen“ am zuverlässigsten196, während veränderliche Zustände gerade wegen der technischen Schwierigkeiten, mit impliziten Informationen umzugehen und darauf aufbauend Situationen vorherzusehen, zu Fehleranfälligkeiten führen. Zwar können algorithmische Systeme relativ präzise die Bewegung anderer Fahrzeuge vorausberechnen; schwieriger wird es aber, das Verhalten der übrigen Verkehrsteilnehmer wie Fußgänger oder auch Radfahrer algorithmisch zu bestimmen.197 Die für eine Intentionserkennung wichtigen Informationen wie Mimik und Körperhaltung sind unstrukturierte Parameter der Umwelt. Maschinen können solche Daten nur selten und sehr schwer verarbeiten. Deswegen verursachen in echten Verkehrssituationen, in denen eine Intentionserkennung von Relevanz ist, unbeaufsichtigte Maschinen mehr Fehler, als für einen dauerhaften Einsatz tolerierbar wäre.198 Nun ist es freilich so, dass die Technik sehr weit darin fortgeschritten ist, in den unstrukturierten Daten solche Datenpunkte zu identifizieren, die es ermöglichen, daraus einen strukturierten Datensatz zu bilden, den die Maschine wiederum berechnen kann. Ein aus dem Alltag bekanntes Beispiel ist die Gesichtserkennung des Smartphones. Die Software erkennt im Gesicht des Nutzers charakteristische Punkte und Linien, die es zu einer strukturierten, aus Datenpunkten bestehenden Gesichtsmaske verbindet. Diese Datenpunkte kann das System lesen und mit den gespeicherten 195

Zum Begriff oben bei Fn. 7. Marcus, Deep Learning: A Critical Appraisal, 2017, Ziff. 3.8. 197 Dazu M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 65 f. m.w.N. 198 M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 66 m.w.N. 196

68

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

Informationen abgleichen. Auf diese Weise „erkennt“ es den berechtigten Nutzer und es können sogar Emotionen identifiziert werden.199 Die von der Software verarbeiteten Daten sind indes auch in diesen Fällen keine impliziten, sondern explizite Informationen. Welche Position und welchen Raum ein Mensch in einer Umgebung einnimmt, ist gleichfalls eine explizite Information; sie kann anhand von Datenpunkten und Linien dargestellt werden. Anders verhält es sich mit impliziten Informationen, die einer Geste, einer Körperhaltung oder einer Bewegung innewohnen oder (un-)bewusst unterlegt sein können. Diese impliziten Daten in explizite, strukturierte Daten umzuwandeln, ist die größte Herausforderung, der das maschinelle Lernen gegenübersteht. Eine Verarbeitung der impliziten Daten ist nicht nur notwendig, um ein vorausschauendes Agieren im Straßenverkehr zu ermöglichen, sondern sie ist auch für ein Kontextverständnis erforderlich. Algorithmische Systeme verstehen den Kontext einer Situation nicht200, weil ihnen die dafür erforderlichen strukturierten Daten fehlen. Es wird deswegen angenommen, dass die maschinelle Umweltwahrnehmung in einer der drei nachfolgenden Kategorien langfristig stets fehleranfällig bleiben wird: Erkennung (Ist ein Gegenstand vorhanden?), Klassifizierung (Was ist der Gegenstand?) und Vorausschau (Was geschieht als Nächstes?).201 Angesichts dieser Maschinenschwächen kann kaum die Rede von einer „Supermoralmaschine“ sein. Wann der technischen Forschung ein Durchbruch in der Verarbeitung impliziter Daten gelingen könnte, ist nicht absehbar. Allerdings ist ein solcher Durchbruch zwingend erforderlich, soll vorausschauendes und kontextbewusstes Maschinenagieren tatsächlich ermöglicht werden. Man muss sogar so weit gehen und sagen, eine solche algorithmische Fertigkeit sei eine notwendige Vorbedingung, damit ein technisches System eine Dilemma-Situation einwandfrei beurteilen kann. Von einem „philosophischen Auto“ kann also nicht die Rede sein, wenn die Maschine unter strukturellen Fehlbedingungen agiert. Erst in dem Zeitpunkt, in dem ein Algorithmus über extrem granulare Daten über seine Umwelt verfügt,

199 Dazu etwa t3n, Emotionen-AI (abrufbar unter: https://t3n.de/news/emo tion-ai-maschinen-lernen-1149606/). 200 Scharre, Army of None: Autonomous Weapons and the Future of War, 2018, S. 231; M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 67. 201 Goodall, American Journal of Public Health, 109(8), 2018, S. 1112 f.

III. Kritik an der Idee von der Supermoralmaschine

69

kann er tatsächlich als (alleiniger) Entscheidungsträger in Dilemma-Situationen in Betracht kommen.202 Übersehen werden diese Unterschiede nicht zuletzt deshalb, weil zahlreiche der bisher erschienenen populärwissenschaftlichen Beiträge zu diesen Themen den Sachverhalt übermäßig vereinfachen. So wird vom Historiker Harari behauptet, die vielgepriesene menschliche Intuition sei nicht mehr als eine „Mustererkennung“ durch biologische Algorithmen.203 Ob ein Kind im Begriff sei, auf die Straße zu laufen oder noch rechtzeitig stehen bleibe, würde von menschlichen Algorithmen anhand bekannter „biochemischer“ Muster beurteilt, und diese Muster finde der biologische Algorithmus in einer Körperhaltung oder in einer Geste wieder. Auch Psychologen nehmen immer wieder an, Menschen und Computer seien „lediglich zwei verschiedene Arten einer abstrakteren Gattung“, die „informationsverarbeitende Systeme“ genannt werden.204 Weshalb solle also eine Maschine, die Muster deutlich besser als ein Mensch erkennen könne, nicht dieselben Entscheidungen und Vorhersagen treffen? Die Frage ist sicherlich nicht gänzlich unberechtigt, da sie die Menschheit davor bewahrt, in einer naiven Arroganz aufkeimende Risiken zu übersehen. Und tatsächlich ist aus der Verhaltenspsychologie bekannt, dass das „System 1“205 des menschlichen Gehirns darauf getrimmt ist, anhand von Erfahrungsmustern zu entscheiden, indem es auf das eine oder andere Resultat heuristisch „wettet“.206 Beim ersten Hinsehen lassen sich also tatsächlich Parallelen zwischen biologischen und technischen Algorithmen zeichnen. Allerdings fehlt es – wie gesagt – realiter noch immer an einer geeigneten Datenbasis, die es vermag, technischen Algorithmen 202

M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 62. Harari, 21 Lektionen für das 21. Jahrhundert, 2018, S. 44 ff. 204 Siehe dazu die Nachweise beim Computerwissenschaftler Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978, S. 212, der dieser Einschätzung freilich kritisch gegenübersteht (S. 214 und S. 269 ff. a.a.O.). 205 System 1 bezeichnet das kognitive System, das weitgehend automatisch und schnell ohne willentliche Steuerung arbeitet. Das System 2 entwickelt bewusste Entscheidungen, indem es die Aufmerksamkeit auf eine bestimmte Aufgabe lenkt und komplexe Berechnungen anstellt. Subjektiv wird das System 2 mit Handlungsmacht, Entscheidungsfreiheit und Konzentration verbunden; Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 33; siehe auch Nassim N. Taleb, The Black Swan, Edition 2010, Kapitel 6, S. 81 f. 206 Kahneman, Schnelles Denken, Langsames Denken, 2011, S. 106. 203

70

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

beizubringen, implizite Informationen in Handlungs-, Bewegungs- und Ausdrucksmustern zu erkennen. Wenn beispielsweise ein Algorithmus den Kurs einer Aktie voraussagt, liegt dies daran, dass ein umfassender strukturierter Datensatz über den historischen Verlauf der Aktie ausgewertet wird und es werden Einflussfaktoren berücksichtigt (z. B. Ausbruch von Konflikten, politische Krisen, ungewöhnliche Unwetterereignisse etc.), die sich mit einer gewissen Wahrscheinlichkeit wiederholen. Auf Erfahrungsdaten über zum Beispiel spielende Kinder am Straßenrand haben Maschinen dagegen ( jedenfalls noch) keinen Zugriff. Sollte vorausschauendes Maschinenagieren eines Tages möglich sein, steht die Menschheit – vielleicht – nicht mehr vor der Aufgabe, Moral zu implementieren, sondern davor, die Entscheidungsgewalt einer andersartigen Entität akzeptieren zu lernen. Dabei muss man sich bewusst machen, was dies aus humanistischer Sicht bedeuten würde: Algorithmen würden über eine unglaubliche Informationsbasis verfügen, die jedes Individuum bis in den letzten Winkel ausleuchten könnte. Sensoren am und im Körper sowie aus der Distanz würden unzählige „Biodaten“ sammeln, die sie mit anderen Geräten unmittelbar austauschen könnten. Sollte sich die Technik dahin entwickeln, würden solche Daten nicht nur für den Straßenverkehr nutzbar gemacht werden, sondern es würden sie vermutlich auch Unternehmen und Staaten einsetzen (wollen), um jeden Lebenswinkel der Menschen zu untersuchen. Ob es mit Blick auf dieses Potential wünschenswert erscheint, solche Informationen verfügbar und abrufbar zu machen, darf durchaus bezweifelt werden. Dagegen lassen sich nicht zuletzt Datenschutzbedenken und das Recht auf Privatheit anführen.207 Fahrzeughersteller würden überbordende Datenmengen über Fahrzeughalter, -nutzer, Verkehrsteilnehmer und über die Umwelt haben, die sie nicht nur (in den datenschutzrechtlichen Grenzen) „versilbern“ könnten, sondern die auch potentiellen Drittangriffen ausgesetzt wären. Von diesen verfassungsrechtlich geprägten Fragen ganz unabhängig ist jedenfalls Stand heute Fakt, dass die für eine Vorausschau erforderlichen Datensätze zu impliziten Informationen den Entwicklern und damit der Technik oder den agierenden Maschinen nicht zur Verfügung stehen. Deswegen sind technische „Supermoralmaschinen“ – allgemein und im Straßenverkehr – noch nicht denkbar. 207 Dazu M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 71; Nehm, JZ 2018, 398, 402.

III. Kritik an der Idee von der Supermoralmaschine

71

2. Komplexität der Umweltzustände wird missachtet Bei der Bewertung von Dilemma-Situationen wird – wie schon erwähnt – häufig mit Standbildern gearbeitet. Wir stellen uns eine „eingefrorene“ Szene vor, etwa einen Wagon inmitten eines Abhangs und Arbeiter unbeweglich im Gleisbett hockend; oder ein Kind, das mit einem Bein schon auf dem Zebrastreifen steht, das Fahrzeug nur wenige Meter davon entfernt. Unsere Vorstellung bezieht sich immer auf den letzten Augenblick, in dem eine Entscheidung getroffen werden kann. Solche Standbilder entspringen dem natürlichen menschlichen Bedürfnis, Dimensionalitäten zu reduzieren.208 Sie stellen nicht-lineare Sachverhalte linear dar. Diese Reduktion ist notwendig, um es dem menschlichen Gehirn zu ermöglichen, trotz seiner beschränkten Kapazitäten eine Lösung zu entwickeln.209 Die Standbilder sind aber zugleich problematisch, weil sie zwangsläufig die Realität verzerren und verändern; sie sind nur theoretischer Natur, sie kommen im tatsächlichen Leben in dieser Form nicht vor. Man denke in dem Zusammenhang nur an die Führerscheinprüfung auf der einen und an die Erfahrungen im Straßenverkehr auf der anderen Seite: Während in der Führerscheinprüfung nur ein Standbild präsentiert wird und der Prüfling ausreichend Zeit hat, alle verfügbaren Informationen abzuwägen, ist die Verkehrssituation dermaßen dynamisch, dass der Fahrer nur heuristisch210 reagieren kann. Für Dilemmata gilt dieser Befund in besonderem Maße. Es sind Situationen mit hochbeweglichen, sich extrem schnell verändernden Szenarien und mit zahlreichen Um208

Vgl. dazu etwa Nassim N. Taleb, The Black Swan, Edition 2010, Kapitel 6 (u. a. S. 64, 68 f.); siehe auch Füllsack, Gleichzeitige Ungleichzeitigkeiten. Eine Einführung in die Komplexitätsforschung, 2011, S. 73 und passim. 209 Treffend allgemein zu den Trolley-Szenarien Müller, The Stanford Encyclopedia of Philosophy, Fall 2020 Edition, Ziff. 2.7.1: „,Trolley problems‘ are not supposed to describe actual ethical problems or to be solved with a ,right‘ choice. Rather, they are thought-experiments where choice is artificially constrained to a small finite number of distinct one-off options and where the agent has perfect knowledge. These problems are used as a theoretical tool to investigate ethical intuitions and theories – especially the difference between actively doing vs. allowing something to happen, intended vs. tolerated consequences, and consequentialist vs. other normative approaches.“ 210 Von einer heuristischen Entscheidungsfindung wird gesprochen, wenn mit begrenztem Wissen über eine Situation mit Hilfe mutmaßender Schlussfolgerungen eine Aussage über die sich verändernden Zustände getroffen wird, die für die Wahl der Entscheidungsalternativen relevant ist.

72

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

weltinformationen. Diese Gegebenheiten wirken sich nicht nur auf die situative Entscheidungsfindung des Menschen aus. Auch für die Algorithmen gilt, sie müssen extrem hohen Anforderungen genügen und auf Heuristiken zurückgreifen, um solche Situationen beherrschen zu können. Um die Beanspruchung der Systeme klar verstehen zu können, muss der Blick darauf gerichtet werden, wie Techniker die verschiedenen Arbeitsumgebungen klassifizieren und in welche Umgebung eine Dilemma-Situation im Straßenverkehr zu rubrizieren ist: In der Technik wird im Ausgangspunkt unterschieden zwischen episodischen Aufgabenumgebungen und sequentiellen. In einer episodischen Umgebung empfängt das System eine Wahrnehmung und führt in Reaktion darauf eine Aktion aus. Irrelevant sind dabei die Zustände der vorausgehenden Episode. Ein Beispiel sind Sortierroboter, die Kartoffeln von einem Laufband nach ihrer Größe in Kisten verteilen. Die Bewertung einer Kartoffel ist unabhängig von der Größe der vor- oder nachgehenden Kartoffel; es wird stets nur die eine Knolle betrachtet. In sequentiellen Umgebungen ist die Arbeit eines Algorithmus grundlegend anders. Dort wirkt sich eine aktuelle Entscheidung stets auf zukünftige Entscheidungen aus. Dabei können auch kurzfristige Aktionen zu Langzeitfolgen führen. – Selbstfahrende Fahrzeuge agieren in einer sequentiellen Aufgabenumgebung. Jede Entscheidung des Systems hat unmittelbare Auswirkungen auf zukünftige Entscheidungen, weil von der jetzt vorgenommenen Positionsveränderung im Raum die Positionsveränderung im nächsten Umgebungssegment abhängt. Biegt das Fahrzeug nach rechts ab, kann es nicht mehr nach links ausweichen etc. Differenziert wird des Weiteren zwischen statischen und dynamischen Umgebungen. In einer dynamischen Umgebung verändert sich ein Umweltzustand noch während das algorithmische System eine Entscheidung trifft. Das ist gerade im Straßenverkehr der Fall, weil sich der Zustand der anderen Verkehrsteilnehmer im Raum ändert in dem Moment, in dem das algorithmische System agiert. Ein Beispiel für eine statische Aufgabe ist die Texterkennung: Ein Buchtext verändert sich weder während der Textanalyse noch während der Entscheidung des Algorithmus. Hinsichtlich der Umweltzustände ist zudem zu unterscheiden zwischen stetig und diskret. Maßgeblich dafür, welcher Zustand gerade vorliegt, sind unterschiedliche Faktoren, etwa Zeit, Menge der Wahrnehmungen und Aktionen des Systems. Dabei kommt es darauf an, ob sich diese Faktoren

III. Kritik an der Idee von der Supermoralmaschine

73

verändern. Das Steuern eines Fahrzeugs ist ein Beispiel für eine Aufgabe mit stetigem Zustand und stetiger Zeit, weil sich während der Fahrt alle Werte (Zeit, Geschwindigkeit, Position etc.) und mit ihnen die Aufgaben für das System (beschleunigen, bremsen, lenken etc.) fortgesetzt verändern. Eine Schachpartie wird hingegen in einer Umgebung mit diskreten Werten gespielt, weil die Zustände endlich sind, auch wenn es sich dabei zahlenmäßig um sehr viele handelt. So können im Schach beispielsweise nach zwei Zügen „nur“ 72.084 Stellungen entstehen, die Variationsbreite ist also endlich. Was folgt nun aus dieser technischen Klassifikation der Arbeitsumgebungen für Dilemma-Situationen? Zunächst: Sie entstehen in sequentiellen, dynamischen und stetigen Umgebungen. In solchen Umgebungen beeinflusst eine Entscheidung die nächste; zudem gilt, dass sich die Umgebungszustände und ihre Parameter noch während der Entscheidung verändern. Gerade der letzte Aspekt zeigt: Solche Umweltbedingungen verursachen eine völlig andere Situation als das abstrakte Standbild, das zur Bewertung einer dilemmatischen Situation vorgelegt wird. Die technische Autonomie der Fahrzeuge wird ja gerade benötigt, weil die Umweltanforderungen so vielschichtig und komplex sind, dass die Programmierung schlichtweg nicht per se mit allen erwünschten Verhaltensweisen versehen werden kann (deterministische Programmierung). Könnte das Dilemma in einem Piktogramm tatsächlich vollständig eingefangen werden, so wären autonome und lernende Algorithmen gar nicht nötig, weil ja dann die Entscheidungsdirektiven deterministisch einprogrammiert werden könnten. Genau um solche Situationen geht es hier aber nicht. Es stehen Sachverhalte mit Umweltzuständen im Raum, die nicht von ungefähr bewegliche und evolvierende Algorithmuseinheiten unverzichtbar machen. In einem Spannungsverhältnis dazu stehen die statischen Bilder, die vor allem bei empirischen Studien verwendet werden211, um aus den dortigen Ergebnissen irgendwelche Parameter für die Steurungseinheit des Fahrzeugs abzuleiten. Macht man sich die Komplexität der dilemmatischen Situationen nicht nur aus rechts- und moralphilosophischer Warte, sondern auch in technischer Hinsicht bewusst, so drängt sich regelrecht auf, dass man die Komplexitäten nicht nochmals erhöhen sollte, indem man meint, der Algorithmus müsse individuelle Personenmerkmale abwägen können. 211

Oben B. IV. 2.

74

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

Aus technischer Warte ist abgesehen vom Gesagten noch ein weiterer Punkt wichtig: Algorithmische Systeme können Informationen, wie der Mensch auch, nur sequentiell prozessieren. Berechnungen folgen einem logischen Aufbau; Befehlsroutinen werden prinzipiell Schritt für Schritt abgearbeitet.212 Die Sensoren, die Daten aufnehmen und an den rechnenden Algorithmus weiterleiten, kommen dabei einem Trichter gleich, durch den nur eine beschränkte Menge an Informationen geleitet werden kann. Diese Informationen werden nicht auf einen Schlag analysiert, kategorisiert und verarbeitet, sondern in einer logischen Reihenfolge. Die Maschine versucht also, die nicht-lineare Umweltumgebung in eine unterkomplexe lineare Datenfolge zu verwandeln. Damit sind zwangsläufig Verzögerungen in der Verarbeitung, mithin Auswirkungen auf die Arbeitsgeschwindigkeit der Maschine verbunden. Computer sind nur deswegen leistungsfähiger als Menschen, weil sie skaliert arbeiten und die einzelnen Rechenknoten so angeordnet werden können, dass die logisch aufgebauten (Teil-)Aufgaben parallel prozessiert, verarbeitet und berechnet werden. Während einzelne Rechenknoten für sich genommen sequentiell arbeiten, rechnet das System in seiner Gesamtheit betrachtet parallel – freilich nur, soweit nicht ein Rechenknoten auf das Rechenergebnis eines anderen Knotens warten muss. Dieses Zusammenspiel aus sequentiell und parallel arbeitenden Recheneinheiten muss stets vor Augen stehen, wenn ethische Verhaltensparameter für das technische System entwickelt werden sollen, weil jede Rechensequenz für den Computer – ganz gleich, wie schnell dieser sein mag213– zwangsläufig Zeit kostet. In einzelnen Fällen kann dies dazu führen, dass die vollständige Berechnung der konkreten Aufgabenstellung mehr Zeit in Anspruch nimmt, als tatsächlich für eine Entscheidung zur Verfügung steht.214 Auch ein Algo212 James Lovelock, Novozän, 2020, S. 114 f. Siehe zur grundlegenden Arbeitsweise von Computern auch die noch immer instruktiven Ausführungen bei Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978, S. 107 ff. 213 Im Januar 2021 hat der Automobilhersteller Nio den Prototypen eines autonomen Fahrzeugs mit einer Rechenleistung von 1,16 TOPS (eine Billion Berechnungen pro Sekunde) vorgestellt (dazu https://heise.de/-5021380). Diese Leistung ist enorm und es sind mittelfristig noch größere Rechenkapazitäten zu erwarten. Gleichwohl muss dabei beachtet werden: Eine Maschine, die in kürzester Zeit enorm viele Daten prozessiert, ist nicht kurzerhand mit einer solchen gleichzusetzen, die jede beliebige Information effizient verarbeiten kann. 214 Deswegen kann nicht pauschal für jede Verekhrssituation angenommen werden, autonome Fahrzeuge würden umfassend eine Verletzungswahrscheinlich-

III. Kritik an der Idee von der Supermoralmaschine

75

rithmus kann also „überfordert“ sein – etwa aufgrund der Datenmenge und der zur Verarbeitung dieser Daten verfügbaren Zeit oder weil die Daten zunächst widersprüchlich erscheinen und vom System geordnet werden müssen. Eine technische Überforderung kann speziell in dynamischen, sequentiellen und stetigen Arbeitsumgebungen auftreten, die sich permanent verändern und in denen das System in jeder Millisekunde mit neuen „Anfragen“ der Umwelt konfrontiert ist. Praktisch betrachtet haben solche komplexen Umweltzustände zur Folge, dass die Suche nach der richtigen Direktive für ein algorithmisches System von einem klaren Axiom aus starten muss: Der Algorithmus kann in einem realen Dilemma nicht alle Entscheidungsvarianten zu Ende rechnen. Eine unvollständige Situationsberechnung ist vor allem dort anzunehmen, wo unstrukturierte Daten der Umwelt zunächst in strukturierte umgewandelt werden müssen, bevor der eigentliche Rechenvorgang starten kann. Dem System geht während eines solchen Prozesses wertvolle Zeit verloren. Ab einem bestimmten Zeitpunkt wird es eine Entscheidung fällen müssen, obgleich es noch nicht alle Reaktionsmöglichkeiten berücksichtigt und prozessiert hat. Damit dies geschieht, müssen Algorithmen den „Punkt ohne Wiederkehr“ erkennen, also den Moment, bis zu dem eine Entscheidung gefallen sein muss, weil andernfalls überhaupt keine Reaktion mehr möglich wäre. Gewährleistet wird dies durch „Notstandsheuristiken“ (oder auch „Überschreibregeln“): Mit solchen Heuristiken215 wird die Entscheidungsfindung abgekürzt und dem System wird eine Handlung vorgegeben, obgleich die Situationsberechnung noch nicht beendet wurde. Stellen Sie sich eine Schachpartie vor, um die Funktion von Heuristiken genau zu verstehen: Angenommen, ein Schachcomputer hat für seine Züge nur noch wenige Sekunden Spielzeit auf der Uhr. Mit der verbliebenen Zeit muss er das Spiel zu Ende führen. In einer komplizierten Stellung hat der Algorithmus bisher 8.000216 Zugkombinationen durchkeit oder einen -score berechnen können; anders wohl Peters, in: Rechtshandbuch AI und ML, Kap. 12 Rn. 56; anders auch Schuster, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99, 100 f. 215 Allgemein zu Heuristiken bei der Informationsverarbeitung Kirn/MüllerHengstenberg, Rechtliche Risiken autonomer und vernetzter Systeme, 2016, S. 79 ff. 216 Die Zahlen in diesem Abschnitt sind von mir willkürlich gewählt und dienen nur der Veranschaulichung.

76

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

gerechnet, mit dem Ziel festzustellen, mit welchem nächsten Zug das Spiel sicher zu gewinnen ist. Für gewöhnlich berechnet das System – sofern dies die Figuren auf dem Brett hergeben – bis zu 20.000 Kombinationen, bevor es einen Zug auswählt. Dafür hat es aber in der konkreten Spielsituation nicht genügend Zugzeit übrig. Es muss einen Zug aus den bereits berechneten 8.000 Kombinationen auswählen, um das Spiel nicht vorzeitig – und sicher – wegen Zeitablaufs zu verlieren. Ein Zeitparameter reagiert auf die verfügbare Spielzeit und die Direktive „rechne zu Ende und wähle den besten Zug“ wird überschrieben durch die Regel „wähle den bis dahin besten Zug“. Die Überschreibregel kann jedoch auch „wähle zufällig“ oder „wähle den erstbesten Zug“ oder „wähle den aktivsten“ lauten. Sicherzustellen ist also, dass dem Algorithmus vorgegeben wird, die Gelegenheit zur Entscheidung nicht verstreichen zu lassen, sich mithin nicht passiv der normativen Kraft des Faktischen hinzugeben. Der Entscheidungsprozess wird folglich abgekürzt, damit tatsächlich eine Entscheidung gefällt wird. Aus Gesagtem soll deutlich werden: Die Komplexität der Umweltzustände im Straßenverkehr während eines engen Zeitfensters verhindert aus rein physikalischen Gründen eine abschließende Situationsberechnung durch den Algorithmus. Diese Realfaktoren sind bei der Entwicklung von Lösungen für Dilemmata zu berücksichtigen. Es kann nicht mit dem bloßen Hinweis, Computer seien befähigt mehr Informationen zu verarbeiten als Menschen, unterstellt werden, eine „Supermoralmaschine“ sei konzipierbar. Gerade das Gegenteil ist (bisher) der Fall.

3. Unvereinbarkeit mit den Prinzipien der Datensouveränität und der Datenminimierung Die bisherige Bewertung ist an den aktuellen Gegebenheiten ausgerichtet gewesen. Einzuräumen ist aber, dass technische Anpassungen möglich sind, die eine fast vollständige algorithmische Auswertung von Personenmerkmalen erleichtern könnten. So ist zum Beispiel die Einrichtung von Datenbanken mit Personendaten denkbar, die von allen Fahrzeugen permanent abgerufen werden können – nicht nur, um Daten auszulesen, sondern auch, um neue einzutragen. Teil des entsprechenden Datenbestandes könnten individuelle Personeninformationen sein. Diese Lösung setzt allerdings eine Preisgabe der datenschutzrechtlichen Prinzipien der Datensouveränität und der Datenminimierung (Artt. 5 Abs. 1

III. Kritik an der Idee von der Supermoralmaschine

77

lit. c, 7 DSGVO) voraus; sie sollte daher nicht angestrebt werden. Autonomes und vernetztes Fahren erfordert schon ohne den Anspruch auf eine „Supermoralmaschine“ unheimlich viele Daten.217 Dieser Datenbedarf wird noch einmal um ein Vielfaches übertroffen, wenn wir erwarten, ein Fahrzeug solle nicht nur vorausschauend agieren, sondern darüber hinaus konkrete Personenmerkmale gegeneinander abwägen können. Die Forschung in diesem Bereich schreitet – trotz datenschutzrechtlicher Bedenken – stetig voran.218 Autonome Fahrzeuge, die mit ihren „Ohren“ und „Augen“ permanent Daten über die menschliche Umwelt mit dem Ziel sammeln, relativ seltene Dilemma-Situationen auflösen zu können, würden dadurch deutlich mehr Daten erheben als nötig wären, um einen hinreichend sicheren Straßenverkehr zu gewährleisten. Freilich sind Fahrzeugsensoren, die permanent Informationen aus der Umwelt saugen, nicht zwingend notwendig. Die für eine „Supermoralmaschine“ erforderlichen Daten über die Personenmerkmale der Verkehrsteilnehmer könnten nämlich einfacher als durch Sensoraufnahmen beschafft werden: durch Einführung eines weitumfassenden social-scoringSystems219; ein Vorbild dafür existiert bekanntlich schon.220 Ein Fahrzeug, das auf eine offizielle social-scoring-Datenbank mit den strukturierten individuellen Informationen der Verkehrsteilnehmer zugreifen könnte, wäre befähigt, in Bruchteilen einer Sekunde alle relevanten Personenmerkmale abzuwägen. Das Fahrzeug müsste nicht mehr die über Sensoren eingefangenen unstrukturierten Daten in strukturierte Daten umwandeln, sondern es könnte sofort auf maschinenlesbare Informationen zugreifen und die Entscheidungsabwägung darauf gestützt durchführen. Je nach vorgegebener „Moral“ könnte auf diese Weise relativ einfach der vorbe-

217

Dazu auch Nehm, JZ 2018, 398, 402. Siehe etwa M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 69 m.w.N., die davon berichten, es könne mithilfe der Gesichtserkennungstechnologie nicht nur das Alter potentieller Opfer ermittelt, sondern anhand des Körperbaus (body shape recognition) auch der Fitnessgrad geschlussfolgert werden. 219 Ggf. kombiniert mit einer Datenbank, die aus Referenzbildern besteht und die es z. B. ermöglichen soll, den sozialen Status einer Person anhand der getragenen Klamotten zu bestimmen; vgl. M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 69 f. 220 Siehe dazu etwa heise-online, 34C3: China – Die maschinenlesbare Bevölkerung (https://www.heise.de/newsticker/meldung/34C3-China-Die-maschinenlesbare-Bevoelkerung-3928422.html). 218

78

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

strafte Fußgänger geopfert werden, während die junge aufstrebende Ärztin vom Auto verschont bliebe (utilitaristische Regel). Kann allerdings ernsthaft der Wille bestehen, wieder Kategorien des „lebenswerten“ und „nicht lebenswerten“ Lebens einzuführen? Ein zur Abwägung von Personenmerkmalen befähigtes System würde von allen Gesellschaftsmitgliedern abverlangen zu entscheiden, welche Mitmenschen im Verhältnis zu anderen als weniger lebenswert anzusehen sind. Es würde ein Kastensystem entstehen, in dem sich auf der untersten Stufe zahlreiche Menschen wiederfänden, die wüssten221, in einer brenzligen Situation würden sie zu den ersten Opfern gehören. Welche allgemeingesellschaftlichen Folgen hätte ein solches Straßenverkehrsrecht? Könnte überhaupt noch von Recht die Rede sein? Sicherlich ist es wichtig, Dilemmata möglichst gerecht und adäquat zu lösen, aber das Ziel heiligt nicht jedes Mittel. Die Vorstellung einer Supermoralmaschine mit dem notwendigen weitumfassenden Zugriff auf Biodaten oder auf eine Sozialkreditdatenbank steht den (verfassungsrechtlichen) Desideraten der Datensouveränität und der Datenminimierung unversöhnlich gegenüber. Entsprechend dürfen auch die Fahrzeugsensoren die Informationen der Umwelt nicht grenzelos auslesen können. Einen tiefen gesellschaftlichen und dauernden Einschnitt, wie er mit einem Sozialkreditsystem einherginge, kann man nicht mit exzeptionellen dilemmatischen Situationen rechtfertigen. Einem allgemeinen social-scoringSystem sollte nicht einen Spaltbreit die Tür offen stehen (Vorsorgeprinzip). Sie würde sich nämlich kaum wieder schließen lassen und der Straßenverkehr wäre ein schlechtes Vorbild für andere Lebensbereiche. Insgesamt gilt also, dass das Datenminimierungsprinzip einer technischen Supermoralmaschine entgegensteht. Es sollte nicht aufgeweicht werden, namentlich um ein Sozialkreditsystem zu verhindern, das vom Straßenverkehr ausgehend in anderen Technikbereichen adaptiert werden könnte (Verhinderung eines Spill-over-Effekts). 221 Ein „heimliches“ Kastensystem dürfte kaum denkbar sein. Es ist nicht anzunehmen, dass sich die Bevölkerung auf eine Abstimmung mit so weitreichenden Folgen einlassen würde, ohne das Wahlergebnis zu kennen. Dem Staat wäre schon mit Blick auf die Menschenwürdegarantie untersagt, eine (heimliche) Pauschalabstufung von „lebenswertem“ und „weniger lebenswertem“ Leben vorzunehmen. Entsprechende Maßnahmen durch Private müsste er wegen seines Schutzauftrages verhindern (zur staatlichen Schutzpflicht siehe schon oben B. IV. 1. a) bei Fn. 73).

IV. Schlussbewertung

79

IV. Schlussbewertung Führt man die bisher gesponnenen Erkenntnisfäden zusammen, lässt sich festhalten: Von einer „optimalen“ oder „supermoralischen“ Entscheidungsfähigkeit eines Algorithmus kann nicht die Rede sein – jedenfalls nach dem heutigen Entwicklungsstand der Technik und bei Beachtung datenschutzrechtlicher Grundprinzipien. Es sollte deswegen nicht nach solchen Maschinen gestrebt werden, sondern es ist nach einer praktikablen Entscheidungsdirektive zu suchen, die weniger sozial-gesellschaftliche Implikationen nach sich zieht. Diese Schlussfolgerung ist wie gesehen erstens der Tatsache geschuldet, dass algorithmische Systeme weitestgehend unfähig sind, eine vorausschauende Entscheidung aus impliziten Informationen abzuleiten. Zweitens gelten auch für Algorithmen physikalische und raum-zeitliche Umstände, die eine vollständige Berechnung einer konkreten (dilemmatischen) Situation in der Regel unmöglich machen.222 Das autonome System muss auf die Umweltereignisse, von denen es betroffen ist, immer in dem Zeitpunkt reagieren, in dem sie sich tatsächlich zeigen. Aus diesem Grund hat das System kaum die Chance, alle Reaktionsalternativen durchzuspielen. Die Berechnung der Entscheidung kostet Zeit. Deswegen können auch Computersysteme die Umweltinformationen oftmals nur vereinfacht und verkürzt erfassen und verarbeiten.223 Jede algorithmische Analyse ist mithin von Natur aus unvollständig. Obwohl sich die Umwelt für einen Algorithmus langsamer verändert als für einen Menschen, ist der Spielraum für Strategien und die Fähigkeit zur Voraussicht durch diese Gegebenheiten für Maschinen gleichfalls stark beschränkt. 222

Quantencomputer und andere Erfindungen (zum Forschungsstand Kaku, Physik der Zukunft, 2016, S. 294 ff.) könnten eines Tages in Systemen münden, die Rechengeschwindigkeiten erreichen, welche das hiesige Argument vom Flaschenhals beim Prozessieren von Daten hinfällig machen würden. Sollte die Technik tatsächlich einen Stand erreichen, der es Maschinen erlaubt, eine Verkehrssituation inklusive aller Personenmerkmale im Bruchteil einer Sekunde vollständig zu erfassen und vorausschauend zu bewerten, dann wird die Menschheit ohnehin andere Sorgen haben als die Frage, ob Algorithmen ein Dilemma im Straßenverkehr oder in ähnlich gelagerten Situationen moralisch korrekt bewerten können. 223 Nassim N. Taleb, The Black Swan, Edition 2010, Kapitel 6, S. 64 spricht sogar davon, Maschinen seien „anfällig“ für eine falsche Reduktion von Informationsdimensionen.

80

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

Drittens wäre mit einem System, das Personenmerkmale abwägt, einer gesellschaftlichen Entwicklung Tür und Tor geöffnet, die Menschen in einem bisher ungeahnten Umfang in Kasten unterteilwen würde. Eine vollständig „verdatlichte“ Realwelt hätte nicht nur datenschutzrechtliche Implikationen224 zur Folge, sondern sie würde auch jegliche Privatheit gänzlich aufheben (siehe das Sozialkredit-Problem). Jede Maschine, die in eine Dilemma-Situation geraten könnte, müsste über Sensoren verfügen, die stetig aktiven „Augen“ und „Ohren“ gleichkommen (sog. vehicle-toeverything- oder V2X-Architektur225). Die (noch) vorherrschende Vorstellung von der individuellen Datensouveränität wäre damit gänzlich zum Trugbild abqualifiziert, da eine „Supermoralmaschine“ in einem bisher ungesehenen Maße permanent Daten sammeln und verarbeiten würde. Sie könnte ein Zusammenleben in Angst schüren, denn jeder Bürger wüsste, dass sein Leben dauerhaft mit einem (veränderlichen) Preislabel versehen ist. Er könnte nie sicher sein, wann und zu welchem absoluten Preis er zur Kasse gebeten wird. Außerdem würde ihn die Frage umtreiben, welchen relativen Preis sein Label ausweist – ist der Preis höher oder niedriger als bei dem Ehemann, der Nachbarin oder bei dem Durchschnitt der Gesellschaft. Auf diese Weise erhielte das Leben einen unmittelbaren Warencharakter, der eine „kapitalismusgetriebene“ Unruhe inmitten der Gesellschaft zur Folge haben müsste. Dabei wäre es blauäugig zu glauben, dass den Fahrzeugen verfügbare Scoring-Informationen auf Dauer nur zur Bewertung von Verkehrssituationen verwendet und nicht in anderen Lebensbereichen einen mittelbaren oder unmittelbaren Eingang finden würden (Spill-over-Effekt). Ungesehen dieser Umstände kommt aktuell noch ganz praktisch hinzu, dass der Gesellschaft, der Politik und den Technikern über autonome Systeme in Dilemma-Situationen das Erfahrungswissen, mithin die Daten fehlen, um eine Supermoralmaschine zu konzipieren. Die Stärke der gegenwärtig in den selbstfahrenden Fahrzeugen verwendeten Algorithmen besteht darin, aus vergangenen Aufgabenstellungen und Lösungsanwendungen zu lernen. Unsicherheiten in der Entscheidungsfindung werden reduziert, indem Schlussfolgerungen aus dem Analyseergebnis früherer Entscheidungen für neue Situationen gezogen werden. Dieser Vorgang 224

Siehe zu den Bedenken schon oben bei Fn. 207. Zur Erläuterung dieser Begriffe vgl. www.itwissen.info/V2X-vehicle-toeverything-Vehicle-to-Everything.html. 225

IV. Schlussbewertung

81

wird – wie eingangs gesagt226 – als Maschinelles Lernen bezeichnet. Da Maschinen jedoch noch keine realen Dilemma-Situationen zu bewältigen hatten, fehlen geeignete Informationen für den Lernvorgang: Die beteiligten Akteure wissen sozusagen noch nicht, wie Dilemma-Situationen konkret technisch zu erkennen und optimal zu lösen sind. Das betrifft nicht nur das System selbst, sondern auch die Programmierer, da diese nicht über konkrete Erkenntnisse aus vergangenen Situationen verfügen, die dem Algorithmus für die Lösungssuche bei sich neu stellenden Herausforderungen implementiert werden könnten. Der Maschine können nur abstrakt-generelle Kriterien einprogrammiert werden, anhand derer sie zu beurteilen hat, ob der einprogrammierte Sachverhalt mit der konkreten, sich im Straßenverkehr darstellenden Situation so sehr gleicht, dass von einer Dilemma-Situation auszugehen ist. Wie diese Situation sodann aber im Detail zu lösen ist, bleibt ex ante weitestgehend unbekannt. Man könnte deswegen sagen, die Maschine wird einem Menon-Paradoxon227 unterliegen: Ob die Maschine das findet, was sie sucht, kann sie nicht erkennen, da sie nicht weiß, was sie sucht. Der Programmierer weiß dies ebenso wenig, so dass er gezwungen ist, nur abstrakte Entscheidungsnarrative vorzugeben. Um solche Narrative eingeben zu können, muss er aber wissen, welches Ergebnis die Gesellschaft tatsächlich am ehesten akzeptieren würde. Genau damit erklärt sich, weshalb gerade das MIT, welches in erster Linie der Erforschung von technischen Lösungen verschrieben ist, mithilfe von Umfragen („Moral Machine“) versucht, die gesellschaftlich vorherrschende Meinung festzustellen und daraus Entscheidungsparameter zu entwickeln, die jedenfalls eine arithmetische Annäherung an das gesuchte Ergebnis erlauben. Der Gedanke dahinter ist nämlich, die demokratisch ermittelten Entscheidungsparameter könnten nicht völlig verkehrt sein.228 Können solche Parameter eingegeben werden, so würde aus sozialtheoretischer Warte nicht mehr eine Entscheidung der Maschine vorliegen, 226

Oben bei Fn. 7. Platon lässt Menon, einen thessalischen Truppenkommandeur, im Dialog mit Sokrates sagen (Platon, Menon, 426): „Und auf welche Art, Sokrates, wirst du nun das untersuchen, wovon du so ganz und gar nicht weißt, was es ist? Denn als wie beschaffen wirst du bei deiner Untersuchung etwas, von dem du nichts weißt, dir vorstellen? Oder wie wirst du, wenn du es auch noch so gut träfest, dann wissen, daß dieses es sei, was du ja nicht kennst?“ 228 Zur Kritik dazu sogleich D. I. 227

82

C. Anknüpfung an die Personenmerkmale und Ursachenforschung

sondern vielmehr eine bloße Rechenoperation.229 Für das Forschungsanliegen hier würde das bedeuten, es müsste nicht mehr nach einer ethisch haltbaren Entscheidungsdirektive für den Zeitpunkt des Dilemmas gesucht werden, sondern nach der moralisch überzeugenden ex-ante-Lösung. Ein solches prädeterminiertes, reines Berechnen der Situation wäre allerdings nur möglich, wenn alle für die Ergebnisfindung notwendigen Informationen ungekürzt, gleichsam offen zugänglich wären und die Maschine allein anhand eines Abgleichs des konkreten Sachverhalts mit den eingegebenen Daten die Dilemma-Situation auflösen könnte. Indes fehlt es an diesen beiden Voraussetzungen: Keine Situation ähnelt der anderen so sehr, dass ein dafür gefundenes Konzept schlicht auf eine andere Situation übertragen werden könnte. Und von einem Offenliegen aller Informationen kann in dem Augenblick, in dem die Maschine entscheidet, nicht die Rede sein. Selbiges gilt für die Umfrageteilnehmer des MIT-Experiments. Den Abstimmenden lag nur ein Standbild mit stark reduzierten Informationen über eine abstrakte Situation vor. Mit einem solchen Bild lässt sich, wie schon gesehen, die Realsituation nicht angemessen abbilden.230 Die Realsituation ist zufällig mit zahlreichen Dimensionen, das Teilbild ist hingegen zielgerichtet angeordnet mit wenigen Dimensionen.231 Deswegen können die Umfragen ein reell gesammeltes Erfahrungswissen nicht ersetzen. Eine im besten moralischen Sinne handelnde Maschine, die im Stande ist, jede einzelne Konfliktsituation umfassend zu analysieren und aufzulösen, gibt es demnach gegenwärtig nicht und wird es in absehbarer Zeit auch nicht geben können. Die Vorstellung von einer solchen Maschine ist – bei rein technischer Bewertung – nicht mehr als ein Ideengebilde und sollte – nicht zuletzt aus datenschutzrechtlichen Gründen – auch nicht weiterverfolgt werden.

229 Siehe etwa Luhmann, Organisation und Entscheidung, 2000, S. 188: „Die Last der fehlenden Information ist die Voraussetzung für die Lust am Entscheiden. Bei vollständiger Information könnte keine Entscheidung sich als Entscheidung kenntlich machen.“ 230 Dazu schon oben C. III. 2. 231 Zum Hang des Menschen, auf diese Weise mit Informationen umzugehen, Nassim N. Taleb, The Black Swan, Edition 2010, Kapitel 6, S. 68 f.

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept Das Ziel des nachfolgenden Abschnitts besteht darin, ein Erkenntniskondensat aus den bisherigen technischen, philosophischen, rechtstheoretischen und empirischen Überlegungen zu sein. Im Zentrum des Kapitels steht – wie schon der Titel dieser Schrift ankündigt – Rawls Theorie über die Gerechtigkeit (sub II.), welche – vorausgesetzt richtig angewandt – auch für die Auflösung von Dilemmata im Straßenverkehr ein Leitfeuer bilden kann. Diesem Konzept seien einige lenkende Gedanken vorweggeschickt (sub I.), bevor die praktischen Unterschiede zwischen der Theorie von Rawls und dem Utilitarismus dargelegt werden (sub III.). Der sich anschließende Unterabschnitt beschäftigt sich mit der konkreten Anwendung des hiesigen Ansatzes (sub IV.), und schließlich wird auf die technische Umsetzbarkeit eingegangen (sub V.).

I. Vorbemerkungen Gehen wir zunächst noch einmal einen Schritt zurück, um einen besseren Überblick zu gewinnen. Wie schon oben dargestellt232, wird Kant immer wieder bemüht, um eine Theorie zum ethisch korrekten Umgang mit Technik zu konzipieren, aber auch, um eine Haltung zur Frage zu entwickeln, welche Handlungsfolgen akzeptabel erscheinen. Kant sagt – wie schon erläutert – allerdings nicht, was moralisch richtig ist. Er beschreibt nur das Verfahren, mit dem der Inhalt einer Maxime festgestellt werden soll. Vor diesem Hintergrund ist sein Imperativ wenig geeignet, im Technologieumfeld eine Leitlinie zu sein, da er keine inhaltliche Orientierung zu geben vermag. Der erste Punkt, den es also festzuhalten gilt: benötigt wird eine klare inhaltliche Vorgabe.

232

Oben B. IV. 3. a).

84

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

Selbst wenn man versuchen wollte, dem kategorischen Imperativ („handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, daß sie ein allgemeines Gesetz werde“) einen inhaltlichen Gehalt zu entnehmen oder beizulegen: Was soll er im Straßenverkehr, vor allem in Bezug auf Dilemma-Situationen heißen? Fußgänger vor Fahrzeugpassagieren retten? Kinder zuerst, dann alte Menschen, zuletzt die kranken? Arbeitende vor Arbeitslosen? Reiche vor Armen? Und überhaupt: Wer ist mit „du“ angesprochen, wer legt die Maxime allgemeingültig fest? Wer bestimmt das Verfahren? Ist der Hersteller des Fahrzeugs oder der Programmierer der Software gemeint? Der Käufer? Vielleicht der Gesetzgeber oder die gesamte Gesellschaft? Gelten für jedes Fahrzeug, für jedes Land, für jeden Halter andere Inhalte, weil der Bezugspunkt des Verfahrens ein jeweils anderer Entscheidungsträger ist mit jeweils verschiedenen Neigungen und Moralvorstellungen? Oder ist am Ende nur auf den Algorithmus selbst abzustellen? – Die kritische Bewertung des aktuellen Diskussionsstandes im letzten Abschnitt233 hat verdeutlicht, dass solche und ähnliche Fragen die Gedanken in eine falsche Richtung leiten. Kants Maxime knüpft an das Individuum an, welches jedoch als Gesprächspartner ungeeignet ist: es ist egoistisch. Das Individuum würde stets – bewusst oder unbewusst – granulare Kriterien entwickeln, um die eigene Rettung sicherzustellen. Es würde an die besagten Fragen anknüpfen, die aber stets in die Irre führen müssen: Das individualistische Denken kann nur solche Formeln entwickeln, die das Problem der (fehlenden) Universalisierbarkeit234 aufweisen. Während das Individuum bei der Maxime „halte den Schaden so gering wie möglich“ damit rechnen müsste, auf Seiten der Opfer zu stehen, könnte es bei einer Regel, die den eigenen Merkmalen entspricht („rette eher junge Frauen statt junge Männer“, „eher Ärzte statt Banker“ etc.), die Wahrscheinlichkeit des eigenen Überlebens signifikant erhöhen. Es wird also trotz der Aufforderung, nach universalisierbaren Direktiven zu suchen, stets versucht sein, den individuell-interessensgerechten Ansätzen das Wort zu reden – jedenfalls soweit ihm diese Option offensteht. Genau solche Egoismen wollte Kant mit seinem Universalisierbarkeitskriterium verhindern, doch der Ausgangspunkt des Imperativs bleibt ein Problem: die Anknüpfung an das individualistische Wollen. 233 234

Oben C. Oben B. IV. 3. a).

I. Vorbemerkungen

85

Aus ähnlichen Gründen haben demokratisch ermittelte Lösungsformeln nicht zwingend etwas mit Moral oder Gerechtigkeit gemein, denn sie repräsentieren in der Regel lediglich die in der Gesellschaft überwiegenden Merkmale (von einer alten, vornehmlich männlichen Gesellschaft sind etwa andere Ergebnisse zu erwarten als von einer jungen, vornehmlich weiblichen).235 Demokratisch gefundene Ergebnisse sind dadurch in ihrer Wirkung nicht unbedingt egalitär, solidarisch oder pluralistisch236; sie sind nicht vorrechtlich, vorgesellschaftlich oder eigenmoralisch legitim. Sie verfestigen oftmals nur die „relative Homogenität“ der jeweils wahlberechtigten Gruppe.237 Deshalb muss stets die Moral einer Demokratie der Mehrheit vorgehen und nicht umgekehrt.238 Erst durch den Wertekanon der Ethik und Tugend erhält das Demokratieprinzip eine übergeordnete Würde. – Für die hier interessierende Forschungsfrage ist daher als zweiter Punkt festzuhalten: egoistischem Verhalten ist kein Vorschub zu leisten, vor allem nicht durch eine individualistische Argumentation oder durch einen pauschalen Verweis auf ein vermeintlich legitimierendes, aber werteleeres Demokratieprinzip. Demokratisch legitimierte Entscheidungskonzepte können auch deswegen nicht per se moralisch überlegen sein, weil sie ohne gleichzeitige Verantwortungszuweisung entwickelt werden: Der Abstimmende trägt keine Konsequenzen für seine Wahl, ja selbst die Wahrscheinlichkeit, vom Abstimmungsergebnis betroffen zu sein, ist äußerst gering. Demnach wird das Entscheidungsverhalten nicht durch drohende Sanktionen diszipliniert, sondern im Gegenteil, es ist ganz folgenlos und geht nicht mit einer persönlich-responsiven Verantwortung einher. In einer konkreten Handlungssituation hingegen ist die Rechtsposition einer Seite zugleich die 235 So hieß es im Werk von Bentham (Introduction to the Principles of Morals and Legislation, 1789, Chapter 1, sub IV.) zum hier als Entscheidungsgrundlage abgelehnten Utilitarismus: „The interest of the community then is, what is it? – the sum of the interests of the several members who compose it.“ 236 Siehe etwa für einen groben Abriss die Debatte von Ley/Franzius/Stein unter dem bemerkenswerten Titel „Das Volk – ein Problem der Demokratie“ (VerfBlog 2020/2/24). 237 So hat das Bundesverfassungsgericht die verfassungsdogmatische Bedeutung des Demokratieprinzips wiederholt in einem Zusammenhang mit der „relativen Homogenität“ des Staatsvolks in Verbindung gebracht; siehe etwa BVerfG, Beschluss vom 05. 10. 1993 – 1 BvL 35/81, BVerfGE 89, 155, 186 = NJW 1993, 3047, 3052; dazu auch Kersten, Schwarmdemokratie, 2017, S. 148 f. 238 Gabriel, Moralischer Fortschritt, 3. Auflage 2020, S. 55.

86

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

Verantwortung einer anderen. Jede Entscheidung ist mit individuellen Folgen verbunden – seien es nachteilige Folgen für das eigene Wohlbefinden oder subjektiv-moralische Konsequenzen und individuelle Vorwürfe. Wenn dagegen demokratisch Rechtspositionen verteilt werden, fehlt eine konkrete Verantwortungszuständigkeit, und das ist ein negativer Entscheidungsrahmen. Der männliche Autokäufer, der dafür abgestimmt hat, es seien stets ältere Fußgängerinnen zu opfern, sieht sich keiner unmittelbaren Verantwortung für die Folgen ausgesetzt, weshalb er bereitwillig(er) egoistisch abstimmen wird. Die in einem demokratischen Prozess entstehenden Wahlergebnisse sind zudem aufgrund von Informationsasymmetrien der Wähler unvollkommen. Kaum ein Wähler kann bei Fragestellungen, die sich mit solch komplexen Themen wie DilemmaSituationen beschäftigen, ex ante alle für die Entscheidungsfindung relevanten Informationen überblicken. Der Entschluss wird mithin in einem Zustand der Un- oder gar Desinformiertheit getroffen. Damit gehen zwei Folgen einher: Erstens drohen Situationen, die von einer nicht wahrgenommenen Ignoranz geprägt sind. Der Entscheider wählt eine Option, ohne alle Folgen seines Entschlusses berücksichtigt zu haben, und er ist dadurch für die Interessen anderer Personen – in der Regel unbewusst – ignorant. Wählt er in einer Abstimmung beispielsweise eine Direktive, die zum Inhalt hat, im Zweifel den Fußgänger zu retten, sind einzelne Angehörige einer Minderheit dadurch automatisch benachteiligt239: Autonome 239 Dieses Problem ist aus dem Triage-System in der Medizin bekannt. Darunter zu verstehen ist ein methodisch spezifiziertes Verfahren, welches medizinische Hilfeleistung priorisieren soll, insbesondere bei einem unerwartet hohen Aufkommen von Patienten und gleichzeitig objektiv unzureichenden Ressourcen (zu den Fallsituationen Taupitz, MedR 2020, 440, 444 f.). Bei der Triage wird versucht, die Patientenbehandlung nach den klinischen Erfolgsaussichten zu reihen (kritisch dazu Merkel/Augsberg, JZ 2020, 704, 708 f.); soziale Kriterien und die allgemeine Lebenserwartung des Patienten zu berücksichtigen, ist grundsätzlich unzulässig (Hoven, JZ 2020, 449). Kleine Kinder dürfen demnach alten Menschen nicht per se vorgezogen werden (kritisch Hoven a.a.O., 451 ff.). – Indes können verschiedene Prädispositionen, Vorerkrankungen, bestehende Behinderungen etc. in einzelnen Fällen gleichwohl zu einer von vornherein nachteiligen Kategorisierung einzelner Opfer führen, da sie denknotwendig die Behandlungsprognose beeinflussen (ähnlich Fateh-Moghadam/Gutmann, VerfBlog 2020/4/30). Eine vollständige Basisgleichheit kann nicht existieren, etwa weil ein kleines Kind gewisse Alterserkrankungen nicht aufweisen kann, wodurch in die Prognose diskriminierende Kriterien mittelbar einfließen. Diese Nachteile der Triage sind grundsätzlich be-

I. Vorbemerkungen

87

Fahrzeuge sollen Menschen mit einer körperlichen Behinderung mehr Mobilität verschaffen, gerade diese Menschen wären bei einer solchen Direktive aber häufiger a priori auf der Seite der geopferten Verkehrsteilnehmer.240 Zweitens könnten sich einzelne Interessenträger die Wissenslücken zu Nutze machen, um eine Abstimmung im eigenen Sinne zu beeinflussen.241 Diejenigen mit einer Übermacht über die relevanten Informationen können in der Folge demokratische Entscheidungsprozesse lenken und auf diese Weise Bedingungen herbeiführen, die eigenen Interessen eher entsprechen und jene anderer Personen vernachlässigen oder beschneiden.242 Es wäre deswegen eine unzutreffende Ideologisierung des Demokratieprinzips, es als Grundlage einer absolut integren und gerechten Lösung eines Dilemmas anzusehen; erst recht kann es nicht Grundlage eines in jeder Hinsicht moralisch stichhaltigen Konzepts sein. – Für unsere Zwecke gilt daher: Das Lösungskonzept muss auf eine Weise beschaffen sein, die das Ausnutzen von Informationsasymmetrien verhindert. In Summe halten wir also fest: Es sind inhaltlich klare Verhaltensdirektiven vorzugeben (top-down-Ansatz). Diese Direktiven müssen so gestaltet sein, dass sie stets und unbesehen der konkreten Verkehrssituation alle Interessen gleich gewichten, mithin die Rechts- und Interessengüter keiner Person a priori vernachlässigen oder beschneiden, und die nicht in einem Zustand gefunden werden, der von Informationsasymmetrien zwischen den Betroffenengruppen geprägt ist.

kannt. Bisweilen ist aber für denjenigen Akteur, der die Kriterien der Triage, mangels gesetzlicher Vorgaben, spontan und konkret – also in der Krisensituation – aufstellt, ex ante nicht ersichtlich, dass er ein System konzipiert, welches bestimmte Parameter übersieht und dadurch einzelne Opfer benachteiligt oder sogar diskriminiert. 240 Deutlich soll an dieser Stelle vor allem werden, dass sehr große Vorsicht bei der Formulierung der Optionen, die wählbar sind, geboten ist. 241 Gabriel, Moralischer Fortschritt, 3. Auflage 2020, S. 157. 242 Ähnlich in anderem Zusammenhang J. Coleman, Macht und Gesellschaftsstruktur, 1979, S. 52.

88

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

II. Der Schleier des Nichtwissens nach Rawls Auf der Suche nach der gerechtesten und damit auch moralisch überzeugendsten Entscheidungsheuristik wird man in der von John Rawls entwickelten Theorie über die Gerechtigkeit fündig.243 Zu den Fundamenten seiner Theorie gehört die Überzeugung, dass Menschenleben nicht mathematisch gegeneinander aufgewogen oder „gemittelt“ werden können. Damit sprach Rawls jedoch nicht nur Entscheidungen zwischen Leben und Tod an, sondern das einzelne Leben des Menschen in seiner Gesamtheit: sozialer und wirtschaftlicher Status, kulturelle Existenz, gesellschaftliche Chancen, Zugang zu Bildung etc. Im jetzigen 21. Jahrhundert versuchen vor allem westliche Zivilisationen, ihren privilegierten Status mit dem Hinweis zu rechtfertigen – oder besser: zu schützen –, weltweit habe die Menschheit in der Gesamtsumme einen höheren Lebensstandard als noch vor einigen Jahrzehnten oder gar Jahrhunderten erreicht. Prinzipiell ist das nicht von der Hand zu weisen. Sicherlich ist der Lebensstandard in der Summe weltweit gestiegen, etwa weil die Kindersterblichkeitsrate in den meisten Ländern im Vergleich zu den 1960er Jahren gefallen ist.244 Die Summe hat sich dabei nicht nur verbessert, weil der Standard in den westlichen Ländern stark gestiegen ist; auch in Entwicklungsländern hat sich auf einer Zeitachse gesehen der Zustand positiv entwickelt. Für Rawls wäre dieser Umstand indes kein relevantes Argument und er würde den historischen Rechtfertigungsansatz verwerfen245, weil er darüber hinwegtäuscht, dass die althergebrachten Ungleichheiten nicht überwunden, sondern nur auf eine neue Ebene gehoben wurden. Mit seiner Vorstellung von einer sozialpolitischen Grundordnung, die auf dem Wert der Gleichheit beruht, wäre es unvereinbar, einen Menschen darauf zu verweisen, er könne froh sein, ein durchschnittlich besseres Leben als seine Vorfahren zu führen – während die gesellschaftliche Grundordnung weiterhin und zielgerichtet die Unterschiede zwischen verschiedenen Gruppen aufrecht erhält. „Es ist mit der Gerechtigkeit unvereinbar, daß der Freiheitsverlust einiger durch ein größeres Wohl anderer gutgemacht werden könnte. Das Aufrechnen der

243 244 245

Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019. Dazu etwa Rosling, Factfulness, 2019, S. 31 ff. Siehe u. a. Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 211.

II. Der Schleier des Nichtwissens nach Rawls

89

Vorteile und Nachteile verschiedener Menschen, so als ob es sich um einen einzigen handelte, ist ausgeschlossen.“246

Rawls wendete sich damit gegen eine zweckorientierte Ethik, also gegen den Utilitarismus247, der im Kern die Nutzenmaximierung zur Grundlage des sittlichen Verhaltens erhebt und eine Handlung genau dann als moralisch richtig ansieht, wenn sie den aggregierten Gesamtnutzen – die Summe des Wohlergehens aller individuell Betroffenen – erhöht.248 Wie gesehen stellt die utilitaristische Nutzenbewertung lediglich vordergründig eine pluralistische Sichtweise dar. Denn der aggregierte Gesamtnutzen ist bereits erhöht, wenn ein Individuum seinen Nutzen maximiert, während kein anderes Gesellschaftsmitglied eine Einbuße erleidet. Diese Funktionsweise des Utilitarismus – jedenfalls in seiner Grundformel – hat zur Folge, dass die bereits privilegierten Mitglieder einer Gesellschaft ihren Nutzen egoistisch weiter steigern können, während kein ethischer Zwang besteht, den bisher weniger Privilegierten ebenfalls etwas zukommen zu lassen249; schließlich reicht es nach dem utilitaristischen Denkkonzept aus, ihnen nichts wegzunehmen. Nach der utilitaristischen Theorie folgt jede Person mit Recht ihrem Eigeninteresse. Ihre Grenzen finde diese Lebensweise dort, wo der Handelnde auf die unüberwindbaren Eigeninteressen der anderen Personen stößt.250 Gesamtgesellschaftliche Gleichheit und Gerechtigkeit ist nach diesen Maßstäben kaum zu erreichen; sie ist vielmehr nur gruppenbezogen. Nach Rawls hingegen soll zur Beurteilung der sozialen Verhältnisse das egoistische Wollen des Einzelnen unbeachtet

246

Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 46. Grundlegend 1789 von Jeremy Bentham in seinem „Introduction to the Principles of Morals and Legislation“ entwickelt. 248 Oben B. IV. 3. c). 249 Dass der Utilitarismus darwinistische Auswüchse aufweisen kann, zeigt in Teilen die Philosophie von David Hume. So meint Hume, bei einem Wesen unter Menschen, das zwar Verstand haben möge, aber in allen geistigen und körperlichen Fähigkeiten dermaßen unterlegen wäre, dass es nicht Widerstand leisten könnte, wäre es keine Frage der Gerechtigkeit, sondern der Güte, diesem Wesen unter den Menschen Recht oder Eigentum zuzusprechen (Eine Untersuchung über die Prinzipien der Moral, Dritter Abschnitt, Tz. 18.). Er lässt sich sogar dazu verleiten, in dem Zusammenhang den „zivilisierten Europäern“ die „barbarischen Indianer“ gegenüberzustellen (a.a.O., Tz. 19). 250 J. Coleman, Macht und Gesellschaftsstruktur, 1979, S. 79. 247

90

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

bleiben.251 Die gesellschaftliche Grundordnung sei unabhängig von der individuellen Biographie oder den subjektiven Haltungen und Eigenschaften zu finden; erst auf diese Weise sei gesamtgesellschaftliche Gerechtigkeit denkbar. Dabei klingen bei Rawls Gedanken an, die auch in der Nikomachischen Ethik von Aristoteles zu finden sind252: „Als ungerecht gilt, (…) wer die gleichmäßige Verteilung der Güter, die bürgerliche Gleichheit, mißachtet, (…) und somit gilt offenbar als gerecht, wer (…) bürgerliche Gleichheit achtet.“

Doch wie sollte dieses Ziel erreicht werden? Rawls ersann dafür das berühmte Gedankenexperiment vom veil of ignorance (Schleier des Nichtwissens253), welches veranschaulicht, wie eine Entscheidungssituation idealiter beschaffen sein müsste, um über eine gleiche und gerechte Gesellschaftsordnung entscheiden zu können. Er spricht von einem Urzustand, zu dessen wesentlichen Eigenschaften es gehöre „daß niemand seine Stellung in der Gesellschaft kennt, seine Klasse oder seinen Status, ebensowenig sein Los bei der Verteilung natürlicher Gaben wie Intelligenz und Körperkraft.“254

Rawls ging sogar so weit zu meinen, die Beteiligten sollten nicht einmal ihre Vorstellung vom Guten und von ihren besonderen psychologischen Neigungen kennen. Aus dem Urzustand heraus würden soziale und wirtschaftliche Institutionen nicht nach der Maßgabe verteilt, dass die „Unbilden einiger“ gerechtfertigt wären durch einen größeren Gesamtnutzen. Vielmehr müsse sich aus der Verteilung ein Vorteil für Jedermann ergeben. Demnach sind nach Rawls zahlreiche (heteronome) Attribute, Eigenschaften oder Merkmale wie etwa Alter, Geschlecht, Herkunft, Bildung, Wirtschaftskraft, religiöse Zugehörigkeit, persönliche Biographie usw. für eine Sozialordnung, die das Wohlergehen und die Gleichheit von Jedermann im Blick hat, auszublenden. Sie vermögen nämlich nicht, Gerechtigkeit – die Kardinaltugend des menschlichen Zusammenle-

251 Zur Tendenz egoistischer Argumentationen bei identifizierten Lebenssituationen siehe oben B. I. 252 Aristoteles, Nikomachische Ethik, Buch V, 1129a19–b4 (sog. spezifische Gerechtigkeit). 253 Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 29. 254 Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 29.

II. Der Schleier des Nichtwissens nach Rawls

91

bens255 – aufzubauen. Jede Entscheidung, die auf die besagten Kriterien zurückzuführen ist, weise eine unerwünschte Verzerrung (bias) auf 256: „Wird die Kenntnis von Einzelumständen zugelassen, so ist das Ergebnis durch Zufälligkeiten verzerrt.“

Die entscheidende Folge eines Urzustandes sei hingegen, dass die Parteien gar nicht erst einen Anlass zu egoistischen Verhandlungen hätten. Rawls führt treffend dazu aus257: „Keiner kennt seine Stellung in der Gesellschaft und seine natürlichen Gaben, daher kann niemand Grundsätze auf sein Vorteil zuschneiden.“

In diesem Zustand ist eine objektive Würdigung des zur Entscheidung anstehenden Problems möglich, weil sie abstrahiert von der konkreten Situation und Person, also in einer konzeptionellen Unparteilichkeit durchgeführt wird. Konkrete Partikularinteressen bleiben ausgeblendet und es können allgemeine Maximen entstehen, „die alle involvierten Rechtsgüter in einen gerechten Ausgleich“ bringen.258 Dabei sei klarstellend betont: Dem Entscheider können verschiedene Faktoren über die Welt und über die Menschen darin theoretisch bekannt sein259; ihm bleibt 255 Comte-Sponville, Ermutigung zum unzeitgemäßen Leben, 4. Auflage 2014, S. 81. Siehe auch Kant, AA VI, Die Metaphysik der Sitten, 1797, S. 332: „denn wenn die Gerechtigkeit untergeht, so hat es keinen Werth mehr, daß Menschen auf Erden leben.“ 256 Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 165. 257 Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 163. 258 Hoven, JZ 2020, 449, 453. Bemerkenswert ist, dass Hoven sodann aber für Triage-Situationen die Theorie von Rawls zur Anwendung bringt, indem sie Personenmerkmale berücksichtigt und einem utilitaristischen Prinzip das Wort redet (insoweit zutreffend kritisch Merkel/Augsberg, JZ 2020, 704, 710); siehe auch die nachfolgende Fn. 259. 259 Vor diesem Hintergrund scheint Hoven ( JZ 2020, 449, 453) zur Triage den Sachverhalt mit einem Patienten A und einer Lebenserwartung von 5 Jahren und einem Patienten B mit einer Lebenserwartung von 90 Jahren zu bilden, um sodann zu argumentieren, im Urzustand von Rawls würde sich Patient A dafür aussprechen, einen Patienten wie B zu retten. So ist aber die Heuristik vom Schleier des Nichtwissens nicht zu verstehen. Der Entscheider hat hinter dem Schleier keinen Grund, eine Personengruppe per se schlechter zu stellen, da er ja nicht ausschließen kann, selbst Teil dieser Gruppe zu sein. Wie Rawls selbst sagt, fehlen den Menschen im Urzustand wegen des Schleiers des Nichtwissens die Kenntnisse, die es ihnen erlauben, heteronome Grundsätze zu bilden (Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 284). Das Ergebnis von Hoven ließe sich nur mit der

92

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

aber hinter dem Schleier des Nichtwissens stets die eigene Position verborgen.260 Deswegen kann der Entscheider keine Auswahl nach heteronomen Umständen treffen, sondern nur grundlegende Gerechtigkeitsgrundsätze formulieren.261 Eben deswegen kann er keine Argumentation wählen, welche die eigene Stellung oder die eines ihm sonst nahestehenden Menschen begünstigt. Gerade bei Entscheidungen „unter Unsicherheit“ würde die entscheidende Person für den denkbar schlechtesten Sachverhalt – ein solcher liegt bei einem Dilemma vor – dasjenige Ergebnis wählen, welches in Relation gesehen den maximal guten Zustand für alle Betroffenen bedeutet. Denn durch eine solche Direktive stellt er sicher, dass auch seine Interessen maximal zur Geltung kommen. Bestechend ist die Entscheidungsheuristik von Rawls somit vor allem deswegen, weil sie bedeutet, dass „rational egoistische“ Entscheidungen plötzlich programmgemäß nicht bloß individuell nutzenmaximierend sind, sondern sie diese Wirkung hinsichtlich der Zukunftschancen von allen Betroffenen haben. Dementsprechend würde man hinter dem Schleier des Nichtwissens eine schadensminimierende Regel wählen, weil diese Direktive perspektivisch gesehen nicht nur dem einzelnen Individuum, sondern der gesamten Betroffenengruppe zugutekommt.262 Das Konzept der Maximenfindung im Urzustand sollte deswegen auch für Dilemma-Situationen fruchtbar gemacht werden, um eine gerechte und damit moralisch einwandfreie, gleichzeitig dem autonomen Fahrzeug beigelegte Entscheidungsfindung zu gewährleisten.263 Wenn Menschen ex ante nicht wissen, in welcher Rolle sie sich in einer Verkehrssituation wiederfinden werden, bleibt ihnen nichts anderes übrig, als jenes Konzept zu wählen, mit dem sie in jedem denkbaren Szenario ihren Nutzen

„abwägenden Vernunft“ rechtfertigen, die auch Rawls immer wieder bemüht (Rawls, a.a.O., S. 454 ff.). Indes würde man auf diese Weise die Utilitarismusregel wieder die Bühne betreten lassen, während Rawls eben diese radikal ablehnte (so schon Merkel/Augsberg Fn. 258). 260 Schäfer/Ott, Lehrbuch der ökonomischen Analyse des Zivilrechts, 5. Auflage 2012, S. 35. 261 Rawls, Eine Theorie der Gerechtigkeit, 21. Auflage 2019, S. 284. 262 Dahingehend Hoven, JZ 2020, 449, 453; a.A. Merkel/Augsberg, JZ 2020, 704, 710. 263 So schon Wagner, AcP 217 (2017), 707 (742 ff.); kritisch hinsichtlich Triage-Dilemmata Merkel/Augsberg, JZ 2020, 704, 710.

II. Der Schleier des Nichtwissens nach Rawls

93

– insbesondere die Chance zu überleben – maximieren würden.264 Angenommen Sie wissen im Augenblick, in dem Sie mit anderen Menschen einen Konsens erzielen müssen, überhaupt nicht, ob Sie alt oder jung, krank oder gesund, reich oder arm, männlich oder weiblich sind oder ob Sie einen Partner oder Kinder haben (werden). Sie wissen ebenso wenig, ob Sie sich in der Rolle des Passagiers oder eines Fußgängers wiederfinden werden und wie viele andere Menschen neben Ihnen gefährdet sein könnten. Es fehlen Ihnen alle Informationen von einem identifizierbaren Leben. Sie wissen auch nicht, ob die Folgen der Maschinenentscheidung auf einem Tun oder auf schlichter Untätigkeit basieren werden. In einem solchen Szenario übrig bleibt einzig das Wissen, dass Ihnen ein Leben geschenkt sein wird, das jederzeit und in jeder denkbaren Konstellation im Straßenverkehr enden kann. In diesem Fall würden Sie für eine Entscheidungsheuristik stimmen, die das Verletzungs- und Sterberisiko eines jeden einzelnen Verkehrsteilnehmers in gleichem Maße reduziert. Eine solche Heuristik ist schließlich für Sie die beste Chance, eine DilemmaSituation zu überleben.265 Der französische Philosoph André Comte-Sponville schrieb, „(d)ie Einfachheit ist das Gegenteil der Doppeldeutigkeit, der Kompliziertheit, der Überheblichkeit“.266 Rawls Urzustand ist deswegen so schön, weil er keinen Raum lässt für die Überheblichkeit des Einzelnen, die nicht selten in Egoismen enden und andere Menschen – vor allem in Situationen geprägt von Informationsasymmetrien – benachteiligen kann. Er erlaubt eine einfache, klare Entscheidung, dank der jeder Mensch in einem Gefühl 264

Nach dem Gedankenmodell von Rawls ist die Rolle, in der man sich wiederfinden könnte, wegen der Vielgestaltigkeit der Lebenswege dermaßen unsicher, dass nicht mit der ernsthaften Möglichkeit zu rechnen ist, der Handelnde würde risikoaffin agieren und eine einzelne Gruppe privilegieren, in der vagen Hoffnung, Teil dieser Gruppe zu werden. 265 Allerdings gibt es dazu widersprüchliche statistische Erhebungen. So wurde eine staatlich vorgegebene Pflicht, Schadensfolgen zu minimieren, in weiten Teilen bei ersten statistischen Erhebungen abgelehnt (siehe Bonnefon et al., Science 2016, S. 1575). Jedoch ist diese Ablehnung auf den Sachverhalt zurückzuführen, der den Betroffenen präsentiert wurde. Den Umfrageteilnehmern wurde nämlich eine Situation beschrieben, in der es um identifizierte Opfer ging: Entweder sollte allein die befragte Person betroffen sein oder neben der befragten Person auch Familienmitglieder. Dies bestätigt einmal mehr, wie richtig Rawls mit seiner Idee vom veil of ignorance lag, um wahrnehmungsverzerrte Entscheidungen zu verhindern. 266 Comte-Sponville, Ermutigung zum unzeitgemäßen Leben, 4. Auflage 2014, S. 188.

94

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

zu leben vermag, nicht übervorteilt werden zu können. Diese Einfachheit sollte auch im autonomen Straßenverkehr die Leitplanken der Entscheidungsfindung bilden. Die Vereinfachung hilft am besten, die allgemeinen Risiken zu minimieren – gerade wegen der Komplexität der Problemlage und der autonomen Fahrzeuge. Taleb schrieb zurecht, „Kompliziertheit hat vielfältige, nicht vorhersehbare Wirkungsketten zur Folge“.267 Es genügt, wegen der Autonomie und der Vernetzung der Fahrzeuge mit solchen unvorhersehbaren Wirkungsketten konfrontiert zu sein. Weitere Unwägbarkeiten hinzuzufügen, indem granulare, auf Personenmerkmale schielende Entscheidungsnarrative entwickelt werden, ist zu vermeiden.

III. Praktische Unterschiede zur Utilitarismusregel Nun könnte man geneigt sein anzunehmen, das hier favorisierte Ergebnis ließe sich auch mit einer utilitaristischen Regel268 erreichen269: Wenn Schadensfolgen minimiert werden, dann erhöhe dies den aggregierten Gesamtnutzen, also die Summe des Wohlergehens aller individuell Betroffenen. Der aggregierte Gesamtnutzen ist, wie erwähnt, schon dann erhöht, wenn ein Individuum seinen Nutzen maximiert, während kein anderes Gesellschaftsmitglied eine Einbuße erleidet. In einer DilemmaSituation ist jedoch stets die Hinnahme irgendeiner Einbuße erforderlich, so dass es sich um eine utilitaristische Regel nur dann handelte, hielte die Regel die Schadensfolgen absolut minimal. Wiegt man nur Leben gegen Leben, ist dieses Ergebnis nicht möglich. Zwangsläufig müsste man stattdessen die Situation granularer bewerten, was bedeutet, eine vollständige, konsequent zu Ende gedachte Regel des Utilitarismus hieße, gesellschaftlich relevante Personenmerkmale einzubeziehen.270 Für den Utilitarismus ist das Nützlichkeitsprinzip, wie schon erläutert271, nicht nur individuelle Verhaltensmaxime, sondern auch gesamtgesellschaftlich relevanter ethischer Maßstab. Dadurch lenkt er die hiesige Diskussion 267

Nassim N. Taleb, Antifragilität, 6. Auflage 2014, S. 32. Dazu oben B. IV. 3. c). 269 Bonnefon et al., Science 2016, S. 1573. 270 Dazu schon oben B. IV. 3. c) am Ende; siehe auch Hoven, JZ 2020, 449, 452 zur Wirkung der utilitaristischen Regeln im parallel liegenden Problem der Triage. 271 Siehe wiederum oben B. IV. 3. c). 268

III. Praktische Unterschiede zur Utilitarismusregel

95

zwangsläufig in eine unerwünschte Richtung. Die junge Unfallchirurgin zu retten, die am Anfang ihrer Karriere steht, steigert den gesellschaftlichen Gesamtnutzen stärker als die Rettung eines kranken Achtzigjährigen, der sich gerade auf dem Weg in die Schweiz befindet, um die Dienste einer Freitodbegleitung in Anspruch zu nehmen.272 In einem solchen Sachverhalt eine nutzenmaximierende Entscheidung zu wählen wäre aus Sicht utilitaristischer Prinzipien nicht nur individuell gerechtfertigt, sondern allgemein ethisch haltbar, weil sie größtmögliches Glück für die größte Zahl von Menschen bedeuten würde. Eine utilitaristische Entscheidungsregel öffnet daher zwangsläufig die Grenzschranken zu einer Abwägung von Personenmerkmalen und sollte verworfen werden, um Ergebnisse zu vermeiden, die nicht nur rechtspolitisch, sondern auch gesellschaftlich nicht wünschenswert sind.273 Ein weiterer problematischer Punkt wird offenbar, denkt man an dieser Stelle an die eingangs beschriebenen psychologisch unterschiedlichen Auswirkungen von Sachverhalten mit statistischem und identifiziertem Leben274: Die Utilitarismusregel verleitet dazu, in Sachverhalten mit jeweils identifizierten Lebenssituationen zu denken. Zwar möchte der Utilitarismus den Gesamtnutzen möglichst mathematisch steigern; tatsächlich muss aber der utilitaristisch denkende Ethiker mit konkreten Sachverhalten arbeiten, um sich der Formel anzunähern, die zu einem verbesserten Gesamtnutzen führt. Denn eine ethisch erstrebenswerte gesamtgesellschaftliche Verbesserung im Sinne des Utilitarismus sei (bereits) anzunehmen275, wenn mindestens ein Individuum seinen Nutzen (Glück, Lust) maximiert, während kein anderes Gesellschaftsindividuum eine Einbuße (Leid, Unlust) erleidet. Da nun bei einem Dilemma im Straßenverkehr stets mindestens ein Individuum einen Nachteil erleidet, muss der Utilitarist in konkreten Gruppen – hier sind es die betroffenen Verkehrsteilnehmer – denken. Es entstehen mithin Sachverhalte mit identifiziertem Leben, die zu den eingangs beschriebenen Wahrnehmungsverzerrungen führen.276 Anders hingegen ist es nach dem Denkmodell von Rawls: Da der Entscheidungsträger hinter einem Schleier des Nichtwissens 272 273 274 275 276

Siehe zu dieser Diskussion wiederum oben B. IV. 3. c). Das übersehen etwa Bonnefon et al., Science 2016, S. 1574. Siehe oben B. I. Siehe erneut oben B. IV. 3. c). Dazu auch schon oben B. I.

96

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

agiert, kann er keinen identifizierten Sachverhalt sehen und bewerten. Der Ausgangspunkt des Denkens ist also bei der Gerechtigkeitstheorie von Rawls viel statistischer gehalten als bei der Utilitarismusregel und somit weniger anfällig für Wahrnehmungsverzerrungen.277

IV. Die gegenständlichen Entscheidungsregeln Wendet man das Gedankenmodell von Rawls konkret auf DilemmaSituationen im Straßenverkehr an und blendet man dementsprechend die individuellen Personenmerkmale aus, so gilt: Dem algorithmischen System des autonomen Fahrzeugs muss als zentrale, allgemeingültige Ausgangsregel aufgegeben werden, die Verletzung oder den Verlust von Menschenleben soweit wie möglich zu minimieren (Schadensminimierungsprinzip). Mit einem solchen Prinzip geht eine quantitative Abwägung einher; im Zweifel sind mithin viele statt wenige Menschen zu retten. Selbstredend haben Personen- und Persönlichkeitsgüter (Artt. 1 Abs. 1, 2 Abs. 2 GG) beim Schadensminimierungsprinzip einen grundsätzlichen Vorrang vor Eigentümerinteressen.278 Einfach gesprochen ist ein Blechschaden stets in Kauf zu nehmen, wenn sich ein Menschenleben dadurch retten lässt.279 Der Schutz von Tieren steht mit Blick auf den Schutzauftrag des Art. 20a GG280 im Rang über den Eigentumspositio277

Zur verfassungsrechtlichen Gebotenheit eines solchen Ansatzes oben B. I. Wagner, AcP 217 (2017), 707, 745. 279 Dabei sei nicht verschwiegen: In der Praxis wird es ein Algorithmus schwierig haben zu bestimmen, wie die Überlebenschancen eines Menschen in einer bestimmten Verkehrssituation sind. Man stelle sich etwa vor, ein autonomes Fahrzeug mit einem Passagier hätte nur zwei Optionen, um zwei Fußgängern das Leben zu retten: entweder nach rechts ausweichen und mit einem stehenden Fahrzeug kollidieren oder nach links ausweichen und im Schaufenster eines Geschäfts landen. Welche der beiden Optionen sicherer für den Fahrzeugpassagier ist, mithin bei welchem Manöver die Wahrscheinlichkeit steigt, auch diesen retten zu können, wird ein Algorithmus – u. a. wegen der beschriebenen technischen Gegebenheiten (oben C. II.) – in den seltensten Fällen zweifelsfrei bestimmen können. Die Auswahl zwischen den beiden Handlungsoptionen (rechts oder links) wird in solchen Szenarien in der Regel einer Zufallsheuristik zu überlassen sein (unten D. IV.). 280 Der Artikel lautet: „Der Staat schützt auch in Verantwortung für die künftigen Generationen die natürlichen Lebensgrundlagen und die Tiere im 278

IV. Die gegenständlichen Entscheidungsregeln

97

nen, jedoch unter den Personen- und Persönlichkeitsgütern.281 Eine Relativierung des Schadensminimierungsprinzips durch Binnendifferenzierungen, soweit Menschenleben und Persönlichkeitsgüter betroffen sind, bleibt ausgeschlossen, da das algorithmische System für die individuellen Personenmerkmale blind sein muss. Heteronome Faktoren wie Alter, gesellschaftlicher und beruflicher Stand, Geschlecht etc. sind mithin bei der Abwägung nicht zu berücksichtigen. Da die Dilemmata nach hiesigem Konzept rein konsequentialistisch und nicht deontologisch282 aufzulösen sind, scheidet auch eine Unterscheidung des Fahrzeugs zwischen „Handlung“ und „Unterlassen“ aus; eine Hierarchie zwischen aktivem Tun und passivem Nichtagieren ist mithin nicht in den Steuerungsalgorithmus zu implementieren.283 Irrelevant ist also, ob das Fahrzeug die Zahl der Opfer durch ein Ausweichmanöver, durch Bremsen oder durch schlichtes Weiterfahren reduzieren würde. Zu wählen ist stets diejenige Alternative mit den geringsten Schadensfolgen. Es ist kein Raum zu gewähren für eine Differenzierung anhand der Frage, ob bei anthropoparalleler Betrachtung das Verhalten eines Fahrers in der konkreten Situation rechtmäßig gewesen wäre oder nicht.284 Eine rechtlich vordeterminierte Bewertung einer Situation existiert in einem Urzustand – hinter dem Schleier des Nichtwissens – nicht. Die Bürger würden in einem solchen Zustand nicht überlegen, welcher Zustand rechtlich einwandfrei (nicht handeln) und welcher abzulehnen (töten) wäre. Eine solche Unterscheidung würde implizieren, dass im Einzelfall gegen das Schadensminimierungsgebot gehandelt werden könnte, und es würden dadurch individuelle Personenmerkmale – in diesem Fall die rein situativen – wieder Eingang in die Bewertung finden Rahmen der verfassungsmäßigen Ordnung durch die Gesetzgebung und nach Maßgabe von Gesetz und Recht durch die vollziehende Gewalt und die Rechtsprechung.“ 281 Zur Stellung des Tieres im geltenden Recht umfassend Raspé, Die tierliche Person, 2013. 282 Nach der deontologischen Ethik wäre der moralische Status einer Handlung gerade nicht allein anhand ihrer Konsequenzen zu bewerten, sondern es wäre auch ein „intrinsischer Wert“ zu bestimmen. Nicht ganz zufällig wurde der Begriff der Deontologie vom Utilitaristen Jeremy Bentham (Deontology or, The science of morality, 1834) geprägt. 283 Zur Kritik schon oben bei Fn. 90. 284 Anders der Ansatz im Strafrecht; siehe oben B. IV. 1. b).

98

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

können. Genau dies ist jedoch für einen Entscheid im Urzustand, wie Rawls ausführte, gerade nicht typisch. Situative Merkmale bei der Bewertung einer Handlung (töten vs. sterben lassen) zu berücksichtigen, ist bei einem technischen System, das die Entscheidungsparameter vorab, weit vor der Konfliktsituation einprogrammiert bekommen muss, auch deswegen unpassend, weil dann zwei völlig unterschiedliche Entscheidungsträger gleich behandelt werden müssten: Beim Menschen wird zwischen sterben lassen (rechtmäßiger Zustand) und töten (rechtswidriger Zustand) unterschieden, weil man eine Verhaltensanforderung formulieren möchte, die möglichst klar und damit einfach zu befolgen ist. Zudem soll sie dem Umstand gerecht werden, dass sich der Mensch während einer Dilemma-Situation in einer psychischen Drucksituation befindet.285 Er muss und will eine Entscheidung treffen, weil er als fühlendes und denkendes Wesen mit den Konsequenzen zu leben hätte. Aufgrund der Überforderungssituation gerade nicht die aktive, sondern die passive Alternative zu wählen, ist zutiefst menschlich und verständlich. In einer psychischen Ausnahmesituation befindet sich das technische Fahrzeug hingegen offensichtlich nicht. Deswegen können auf der Zeitachse der Konfliktsituation klare Grenzsteine aufgestellt werden, an denen eine Entscheidung zwingend zu treffen ist. Notfallalgorithmen können sicherstellen, dass gerade kein „Einfrieren“ des Systems stattfindet, und sie können eine Entscheidung im letztmöglichen Zeitpunkt zwangsweise herbeiführen. Ob das Fahrzeug dann die Fahrt fortsetzt oder ausweicht, ist ganz gleich. Für eine Maschine, die nicht von Handlungserwartungen des Strafrechts oder der Moralethik angesprochen wird, existiert kein rechtmäßiger und rechtswidriger Ausgangszustand. Kann das System im einzelnen Fall die entscheidungsbedingten Schadensfolgen nicht klar und zweifelsfrei vorausberechnen – sei es, weil Informationen fehlen, die Personenzahl nicht feststellbar ist, die betroffenen Rechtsgüter unklar erscheinen oder die Berechnungszeit nicht ausreicht –, ist die Alternative mit dem geringsten Schadenspotential286 zu wählen287, falls die Verkehrssituation eine solche Feststellung erlaubt. In 285

Dazu schon oben B. IV. 1. b). Beispiel: eine Vollbremsung statt eines Ausweichmanövers. 287 Ähnlich Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 160 f.: Verletzungswahrscheinlichkeit berücksichtigen. 286

IV. Die gegenständlichen Entscheidungsregeln

99

den Anfangsjahren des autonomen Straßenverkehrs werden statistische Informationen über die (drohenden) Schadensfolgen sicherlich fehlen, weshalb eine entsprechende Direktive praktisch kaum zur Anwendung kommen wird. Mit einigem Erfahrungswissen wird aber genug Datenmaterial verfügbar sein, welches es erlaubt, das Schadenspotential einzelner Verkehrssituationen statistisch zu bewerten.288 Der Steuerungsalgorithmus des Autos wird sich dann an die statistischen Erkenntnisse zu halten haben. Kann das System aufgrund der Situationsumstände keine Entscheidung im Sinne einer tatsächlichen oder probabilistischen Schadensminimierung treffen, so sollte als Rückfalldirektive eine Zufallsheuristik eingreifen.289 Nur ein solches Entscheidungssubstrat ist geeignet, in jedem Fall zu gewährleisten, dass individuelle Personenmerkmale bei der Auflösung einer Dilemma-Situation unberücksichtigt bleiben. Eingreifen sollte eine solche Regel zudem stets, wenn andernfalls eine Entscheidung aus zeitlich-physikalischen Gründen vertan werden könnte und statistisch gesehen dadurch ein größerer Schaden zu befürchten stünde als durch die zufallsbedingte Reaktion.290 Moralisch haltbar ist eine solche Basis der Entscheidungsfindung, weil sie dem menschlichen Entschluss, der von Gefühlen und Instinkten geprägt ist, funktional gleicht: Die Reaktion ist 288

Weitergehend Bertolini, Artificial Intelligence and Civil Liability, S. 78: um bewerten zu können, ob und inwieweit autonome Fahrzeuge überhaupt sicherer sein werden. 289 Prinzipiell gegen Zufallsregeln Beck, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117, 134; Hilgendorf, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143, 146, 156. 290 Das erkennt wohl auch Joerden, in: Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73, 88 f. an, der sich ansonsten gegen einen Zufallsgenerator ausspricht. Als Beispiel führt er zwei Kranke an, die nur durch eine Herztransplantation gerettet werden könnten und zu entscheiden ist, wer das rettende Spenderherz bekommen soll. Würde eine Entscheidung ausbleiben, „wäre ein Menschenleben verloren und das transplantierbare Herz vergeudetet“ ( Joerden a.a.O., S. 89). Freilich ist einzuräumen, dass wir an dieser Stelle an einen Grenzbereich stoßen: Ob das Ausbleiben einer Entscheidung zu einem größeren Schaden führen wird als die Zufallsheuristik, ist wiederum nur anhand einer Berechnung möglich, und ob diese Berechnung seitens der Maschine im erforderlichen Maße in den einzelnen Situationen erfolgen kann, ist sicherlich zweifelhaft. Dieser Grenzbereich bestätigt im Ergebnis den schon eingangs geäußerten Gedanken (oben B. II. a.E.): Es können nur Grundpfeiler errichtet werden. Diese Grundpfeiler gewährleisten in vielen typischen Sachverhalten eine moralisch haltbare Lösung, nicht zwingend in allen.

100

D. Der Schleier des Nichtwissens – das eigene Lösungskonzept

nicht das Ergebnis einer konsequentialistischen Direktive – dann läge hier eine Utilitarismusregel vor –, sondern das Resultat eines erratischen Vorgangs, welcher im optimalen Fall ein richtiges Ergebnis trotz unzureichender Informationsbasis hervorbringt. Oder vereinfacht gesprochen: So wie ein Ergebnis des menschlichen Verhaltens wegen Überforderung nachvollziehbar und akzeptabel erscheint, so ist in krassen Ausnahmesituationen auch das zufallsgeleitete Verhalten des Fahrzeugs zu akzeptieren.

V. Technische Umsetzbarkeit der Entscheidungsregeln Allein der Abschnitt zu den technischen Gegebenheiten291 hat das hiesige Bedürfnis deutlich gemacht, ein Konzept zu entwickeln, das einer zentralen Anforderung standhält: Die gewählte Lösung für Dilemma-Situationen im autonomen Straßenverkehr muss nicht nur moralisch adäquat sein, sie muss sich auch technisch umsetzen lassen. Und dies ist hier der Fall292: Technisch lässt sich ein Schadensminimierungsprinzip mit den dargestellten Abstufungen verwirklichen, weil die Sensoren, die radarähnlichen Systeme293 und die Bilderkennungsprogramme bereits heute schon ausreichend entwickelt sind, um Menschen von Gegenständen und Tieren allein nach äußerlichen Merkmalen (Datenpunkte) zu unterscheiden. Es sind dabei genau diejenigen Sensoren und Algorithmen im Einsatz, die das autonome Fahren im öffentlichen Straßenverkehr überhaupt erst ermöglichen und welche es dem Fahrzeug erlauben, Verkehrssituationen schematisch zu erkennen. Sie nehmen die Umwelt wahr (Autobahn, städtische Straße, Kreuzung, Radweg, Fahrbahnbeschaffen291

Oben C. II. und III. Dazu Pendleton et al., machines 2017, 5, 6, passim; Melotti et al., CNNLIDAR pedestrian classification, Conference Paper, Conference: 2018 IEEE International Conference on Vehicular Electronics and Safety; M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 64 ff.; Sanakoyeu et al., Deep Unsupervised Learning of Visual Similarities, Pattern Recognition 78 (2018), S. 331 ff. 293 Eine zentrale Rolle spielen die Lidar-Systeme (light detection and ranging systems). Sie erlauben die optische Abstands- und Geschwindigkeitsmessung sowie die Objekterkennung mittels Laserstrahlen. Die optischen Lidar-Verfahren ermöglichen eine sehr hohe Orts- und Tiefenauflösung, welche schneller und weniger rechenintensiv als bei der herkömmlichen Kameratechnik erreicht wird (siehe dazu jenoptik.de/produkte/lidar-sensoren-technologien; letzter Abruf 20. 9. 2020). 292

V. Technische Umsetzbarkeit der Entscheidungsregeln

101

heit, Verkehrszeichen, Straßenmarkierungen etc.), identifizieren Hindernisse sowie andere Verkehrsteilnehmer anhand der physischen Konturen (Menschen, Tiere, Gegenstände, Fahrzeuge, Fahrräder usw.) und berücksichtigen weitere Einflussfaktoren wie etwa die Witterungsbedingungen (Sonnenschein, Regen, Schnee etc.). Eine entscheidende Rolle bei der technischen Umsetzbarkeit des Rawls-Konzepts spielt dabei der Umstand, dass das Fahrzeug keine individuellen Personenmerkmale erfassen, rubrizieren und verarbeiten muss. Dadurch fallen weniger Datenpunkte an und die Fehleranfälligkeit wird reduziert. Für ein schadensminimierendes Verhalten genügt es, das Fahrzeug zu „befähigen“, die Objekte identifizieren und durchzählen zu können. Nichtsdestotrotz werden problematisch bleiben das fehlende Kontextverständnis und die fehlende Fähigkeit zur technischen Vorausschau, da implizite Informationen für den Algorithmus regelmäßig opak bleiben werden.294 Darüber hinaus bereiten den Sensoren vor allem die Witterungsbedingungen immer wieder Schwierigkeiten beim Versuch, eine saubere Klassifizierung durchzuführen.295 Deswegen wird das Schadensminimierungsprinzip nur bei relativ statischen und vergleichsweise unterkomplexen Verkehrssituationen verwirklicht werden können. Ist die Situation hingegen extrem dynamisch und im Fluss (z. B. mehrere Personen auf dem Zebrastreifen und mehrere Radfahrer auf dem Seitenstreifen sind bedroht), wird das Fahrzeug im Zweifel zurück in die Zufallsheuristik fallen müssen – entweder, (i) weil dem System die notwendigen Informationen fehlen, um eine Abwägung vorzunehmen, oder (ii) weil der Algorithmus aus zeitlichen Gründen nicht alle Parameter gewichten kann und dementsprechend ein Schadensscore nicht errechenbar ist, um daran anknüpfend die Handlung mit den geringsten Schadensfolgen auszuwählen. Daraus folgt zwangsläufig die (ernüchternde) Konklusion: mit partiell unperfekten Lösungen ist im autonomen Straßenverkehr zu leben – auch beim Einsatz einer vermeintlichen „Supermoralmaschine“.

294 295

Oben C. III. 1. M. Cuneen et al., Cybernatics and Systems, 51(1) 2020, S. 59, 65 m.w.N.

E. Die Grenzen der algorithmischen Entscheidungsgewalt Vorstehend wurden die wesentlichen Entscheidungsdirektiven autonomer Fahrzeuge bei Dilemmata im Straßenverkehr definiert. Nun sind noch einige Schranken (sub I.) und Leitplanken (sub II.) aufzustellen:

I. Notwendige Grenzen und Schranken Moralisch aufgeladene Situationen dürfen nicht unwiderruflich der Entscheidungsgewalt eines algorithmischen Systems überantwortet werden. Der Mensch sollte die Möglichkeit haben, jeden technischen Aktanten, auch ein autonomes Fahrzeug, zu übersteuern. Er darf sich nicht aus der Verantwortung stehlen (können), sondern im Gegenteil: Er muss stets in der Lage sein, sie bei Bedarf zu übernehmen (so zu Recht § 1a Abs. 2 S. 1 Nr. 3 StVG). Damit sei nicht gesagt, das Handeln des Menschen hätte schon für sich genommen einen ethischen Mehrwert, den es zu erhalten gelte. Das Verhalten einer Maschine ist unmittelbar ethisch neutral, und ebenso ethisch indifferent ist das rein instinktive, nicht analytische Handeln eines Menschen. Erst die Folgen des vom Menschen bewusst zugelassenen296 Verhaltens und der ermöglichten Handlung der Technik haben eine ethische Dimension – und um diese geht es hier. Aus rein konsequentialistischer Warte könnte man meinen, es sei im Ergebnis gleichgültig, ob die Zustandsveränderung in der physischen oder sozialen Welt während eines Dilemmas von einem technischen oder menschlichen Aktanten herbeigeführt wurde. So einfach ist die Sache jedoch nicht. Es gilt auch hier: Man darf eine Tür, die man nie wieder 296 In eine ähnliche Richtung Loh, Roboterethik, 2019, S. 207 ff., die auch richtig daran erinnert, technische Entwicklungen seien nicht naturgegeben; sie unterliegen menschlichen Bedingungen (S. 209); siehe auch Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978, S. 274 und passim.

I. Notwendige Grenzen und Schranken

103

schließen könnte, nicht voreilig öffnen. Die größten Gefahren für die menschliche Selbstbestimmtheit sind mit technischen Systemen verbunden, die Handlungskontexte mit eigenen moralischen Abwägungen vollständig ausfüllen, ohne einer Person einen eigenen Raum für Wertentscheidungen zu belassen. Dabei verheißen manche der prinzipiell gutgemeinten Überlegungen der Techniker nichts Gutes297: Beispielsweise ist schon die Meinung geäußert worden, eine menschliche Prothese – z.B. eine Armprothese – könne auf eine Weise programmiert werden, die eine vom Menschen intendierte Handlung bewerte und ggf. unterbinde. Würde sich ein Mensch etwa anschicken, mutwillig eine Glasscheibe an einer Bushaltestelle zu zerstören, so könne die Prothese die Glasscheibe als ein aus gesellschaftlicher Sicht schützenswertes Gut und die Aktion der Person als nicht rechtfertigungswürdig beurteilen. In der Folge verweigere die Prothese die Ausführung der Handlung. Es sei darin ein analoger Anwendungsfall zu den technischen Sicherheitsabstandssystemen im Straßenverkehr zu sehen.298 Nun wird weiter überlegt, es könne aber sein, dass die Glasscheibe einen Fluchtweg versperrt, wodurch das Zerstören der Glasscheibe unter Berücksichtigung dieses Kontextes „moralisch akzeptabel“ sein könne. Die Prothese würde in diesem Fall die Situation nicht korrekt einschätzen, wenn sie die Zerstörung der Scheibe verweigert. Für den Menschen als Träger der Prothese stelle sich in solchen Situationen die Frage, ob er eine Prothese, die ihn im Zweifelsfalle überstimmen könnte, akzeptieren möchte.299 Den Leser müssen solche Passagen mit Staunen zurücklassen. Anstatt den Einsatz einer solchen technischen Entwicklung als absolut inakzeptabel prononciert zu verwerfen300, wird einer ergebnisoffenen Diskussion Vorschub geleistet. Ein Mensch mit zwei gesunden Armen soll die Scheibe 297 Decker, Adaptive Robotik und Verantwortung, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, 2016, S. 23, 32 f. 298 Dass der Vergleich an dieser Stelle hinkt, ist evident. Mit Abstandssystemen geht ein viel geringerer (Grundrechts-)Eingriff einher als mit einer Prothese, die unmittelbar den menschlichen Körper steuert. 299 Decker, Adaptive Robotik und Verantwortung, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, 2016, S. 23, 33. 300 Die ethische Forschung zu Prothesen oder zu Exoskeletten steckt noch in den Kinderschuhen; für erste Überlegungen siehe Greenbaum, Computer & Society 2015, S. 234 ff.

104

E. Die Grenzen der algorithmischen Entscheidungsgewalt

mutwillig und unkontrolliert zerstören können – ganz gleich, was ihn antreibt –, während der Träger von Prothesen oder Implantaten durch einen Chip in Ketten gelegt und seines Selbstbestimmungsrechts entledigt werden soll. Erscheint eine solche Fremdbestimmung wirklich überlegenswert, nur weil sie technisch möglich ist? Wie soll eine solche Restriktion mit der individuellen Handlungsfreiheit vereinbar sein? Werden in Zukunft auch Diskussionen darüber zu führen sein, ob allen Neugeborenen ein Steuerungschip einzupflanzen wäre, der mit einem Computer verbunden jede Handlungsabsicht durch eine algorithmische Kontrollinstanz leiten würde (sog. Brain-Computer-Interface301)? Es liegt auf der Hand, dass der Weg zu solchen Szenarien frühzeitig zu versperren ist. Wie soll der Mensch eigene Wertvorstellungen entwickeln, wenn es am Ende auf das algorithmische Urteil ankommt? Wie soll ein Mitglied der Gesellschaft eine Haltung zu Moralfragen haben, wenn es gar nicht mehr Adressat der jeweiligen Fragen ist? Das Unbewusste302, das in jedem Individuum steckt und durch sprachliche Artikulation in das Bewusstsein gehoben werden kann, würde gänzlich zum Erliegen kommen. Ein fester Kern kultureller und gesellschaftlicher Identität würde nicht mehr aus dem Inneren eines Menschenverbundes heraus entstehen, sondern ein kleiner Kreis derjenigen Akteure, die technisch dazu in der Lage sind, würde die (eigenen) Wertvorstellungen den Übrigen aufoktroyieren. Dilemmata im Straßenverkehr sind von so tiefgreifenden Eingriffen in das verfassungsrechtlich geschützte Selbstbestimmungsrecht weit entfernt. Der Bogen ist hier aber bewusst weit gezogen. Schon das Gebot der Vorsicht zwingt nämlich dazu, die algorithmische Entscheidungsgewalt in größeren Kontexten zu sehen. Jeder Verkehrsteilnehmer sollte in einer Dilemma-Situation sein Selbstbestimmungsrecht ausüben und Fahrzeuge prinzipiell übersteuern können. Eine solche Handhabung wäre zugleich Vorbild für andere Bereiche. Beispielsweise ist es bei einem medizinischen Dilemma kaum haltbar, von einem Arzt zu verlangen, eine algorithmische Auswahlentscheidung zu akzeptieren, obwohl ihm nicht nur sein Berufsethos, sondern auch sein moralischer Kompass eine andere Richtung weist: Gibt ihm ein Algorithmus vor, er solle im OP-Saal A einen Mann 301 Wie konkret die in diese Richtung gehende Forschung geworden ist, zeigt das von Elon Musk 2016 gegründete Unternehmen Neuralink (www.neuralink.com/), welches die Entwicklung genau solcher Interfaces vorantreiben soll. 302 Dazu bereits oben B. III.

II. Abgrenzung: zulässige Sicherheits- und Notfallvorkehrungen

105

mittleren Alters retten, weil seine Überlebenschancen vier Prozent höher seien als jene des kleinen fünfjährigen Mädchens in Saal B, so muss er gleichwohl frei entscheiden können, das Mädchen zu retten. Wir sollten also gar nicht erst darüber nachdenken, im Straßenverkehr etwaige Ausnahmen vom Vorbehalt der Selbstentscheidung zuzulassen, denn solche Ausnahmen könnten allzu schnell in anderen Bereichen adaptiert werden (Spill-over-Effekt). Deswegen ist es gänzlich irrelevant, inwieweit ein Fahrzeugpassagier in einer Dilemma-Situation die faktische Möglichkeit haben wird, sein Selbstbestimmungsrecht realiter auszuüben. Natürlich sind Dilemmata nicht nur äußerst seltene Ereignisse, sondern sie laufen zudem unglaublich schnell und komplex ab.303 Dadurch sind extrem selten Verkehrssituationen zu erwarten, in denen ein Passagier des autonomen Fahrzeugs in kognitiver und zeitlicher Hinsicht die Gelegenheit hat, die Entscheidung an sich zu ziehen. Indes kommt es auf diese Faktizität gar nicht an. Es geht darum, eine klare Wertungs- und Gesellschaftsgrenze zu artikulieren und dadurch in die Welt zu heben. Es darf nicht alles dem technischen System überantwortet bleiben, gleichviel wie effektiv dies wäre. Diese Forderung deckt sich im Kern mit der Einschätzung, die von der Datenethikkommission in ihrem Gutachten an die Bundesregierung 2019 geäußert wurde304: „Effektivität ist aber nicht der höchste Wert. Sie darf die Entfaltung des Menschen in seinem eigenen Handeln nicht substanziell einschränken, und sie muss hinter der grundlegenden ethischen Dimension des sinnvollen und gelingenden Lebens als Einzelner und in der Gemeinschaft zurückstehen.“

II. Abgrenzung: zulässige Sicherheitsund Notfallvorkehrungen Von den oben beschriebenen Grenzen der algorithmischen Entscheidungsgewalt zu unterscheiden sind Sicherheitsvorkehrungen, welche im 303

Siehe schon oben C. III., insbes. 2. Bundesministerium des Innern, für Bau und Heimat (BMI), Gutachten der Datenethikkommission der Bundesregierung, Oktober 2019, S. 40. Ähnlich sind die Forderungen auf europäischer Ebene; siehe Europäische Kommission, Weißbuch zur Künstlichen Intelligenz, COM(2020) 65 final, S. 11. 304

106

E. Die Grenzen der algorithmischen Entscheidungsgewalt

allgemeinen Interesse die Integrität des Systems der willkürlichen oder versehentlichen Beeinflussung entziehen, indem einzelne Parameter unveränderlich in das Fahrzeug installiert werden. So liegt es beispielsweise auf der Hand, dass der Halter eines selbstfahrenden Autos den Steuerungsalgorithmus nicht nach Belieben ändern können sollte, soweit dadurch die Verkehrssicherheit des Systems aufgehoben wäre. Weiterhin von den obigen Schranken zu unterscheiden sind die technischen Notfallvorkehrungen, die zum einen der Schadensminimierung dienen und zum anderen die Resilienz des Fahrzeugsystems gewährleisten. Solche Anforderungen und Vorkehrungen sind bisher nur in Spezialgebieten reglementiert, so etwa in § 80 Abs. 2 S. 1 WpHG für den algorithmischen Wertpapierhandel. Dort ist bestimmt, welche Vorsorgemaßnahmen der Betreiber des Handelssystems für die funktionale Stabilität treffen muss. Das algorithmische System muss insbesondere resilient sein, also die Eigenschaften aufweisen, welche die Erfüllung der übernommenen Aufgaben auch bei externen Eingriffen oder drittverursachten Funktionsausfällen sicherstellen. Stößt die Systemresilienz an ihre Grenzen, muss das Handelssystem den Betrieb automatisch einstellen oder menschliche Unterstützung anfordern (können). – Ähnliche Überlegungen lassen sich auch für die Steuerungseinheit autonomer Fahrzeuge formulieren. Das Fahrzeugsystem sollte so beschaffen sein, dass der Einsatzzweck des Autos – Teilnahme am regulären Straßenverkehr – nicht durch einen Hacking-Angriff in eine die Allgemeinheit gefährdende Weise verändert werden kann. Beispielsweise darf ein autonomes Fahrzeug nicht als „Waffe“ pervertiert und gegen Passanten nach einer Umprogrammierung eingesetzt werden können. Notfallsysteme sollten erkennen, ob eine solche zweckwidrige Umprogrammierung droht, und sie sollten zu einer vollständigen Abschaltung des Systems („shut down“ oder „kill function“) führen. Eine solche Abschaltung wäre weiterhin erforderlich, wenn die verkehrssichere Steuerung des Fahrzeugs nicht mehr gewährleistet ist, weil Drittdienste – etwa das Datennetzwerk – ausgefallen sind. Zudem wären „Warnmeldungen“ an andere vernetzte Systeme und Aktanten305 sowie an Sicherheitsbehörden zu senden. Um all diesen und ähnlichen Anforderungen effektiv gerecht zu werden, sind auch externe Abschaltfunktionen einzubauen, die es bestimmten 305 Gemeint sind etwa interaktive Ampelanlagen und Straßenschilder, andere autonome Fahrzeuge etc.

II. Abgrenzung: zulässige Sicherheits- und Notfallvorkehrungen

107

Personen oder Behörden erlauben, das Fahrzeug stillzulegen.306 Darüber hinaus muss die Steuerungseinheit stets erklärbar sein, d. h. sie muss auf eine Weise konzipiert werden, die es erlaubt, die systemseitigen Funktionalitäten nachzuvollziehen, zu bewerten und ggf. zu modifizieren.307 Die Erklärbarkeit ist vor allem bei Zulassung des autonomen Fahrzeugs zum Straßenverkehr eine im öffentlichen Interesse stehende, entscheidende Komponente. Wie weit die beschriebenen Sicherheits-, Notfall- und Eingriffssysteme gehen sollen oder dürfen, werden interdisziplinäre Forschungen noch auszuleuchten haben308, die zu konkreten Vorschlägen an die Gesetzgebung führen müssen. Wichtig ist dabei, sich den Unterschied zwischen den Schranken der algorithmischen Entscheidungsgewalt auf der einen und den technischen Sicherheitsvorkehrungen auf der anderen Seite zu vergegenwärtigen: Erstere sollen Eingriffe in die verfassungsrechtlich geschützte Handlungs- und Entfaltungsfreiheit verhindern, letztere sollen einen Missbrauch dieser Freiheiten abwenden und vor allem schwerwiegende, kaskadenartige Schadensfolgen im Interesse der Allgemeinheit vermeiden. Die Zulässigkeit der „Kontrollsysteme“ und der technischen Entscheidungsgewalt hängt also von der jeweiligen Zwecksetzung ab.

306

Zum Beispiel Abschaltung des Fahrzeugs bei einem ad hoc nicht korrigierbaren Algorithmusmangel durch behördlichen Zugriff über die Daten-Cloud oder durch den Endhersteller. 307 Allgemein zum Erfordernis der Erklärbarkeit Fjeld et al., Principled Artificial Intelligence, 2020, S. 41 ff. m.w.N.; vgl. auch die OECD Recommendation of the Council on Artificial Intelligence, Ziff. IV 1.3 (abrufbar unter legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449). 308 In die richtige Richtung geht daher die interdisziplinäre Forschergruppe beim Fraunhofer IAIS, etwa zum Thema der KI-Zertifizierung (siehe das Whitepaper Fraunhofer IAIS, Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, 2019).

F. Zusammenfassung in Thesen I. Autonome Fahrzeuge gehören zu den schnell evolvierenden, transformativen Technologien: Sie sind aufgrund ihrer faktisch-normativen Wirkung geeignet, Wertvorstellungen zu verändern. Es besteht daher das sozial-gesellschaftliche Bedürfnis, bereits jetzt einen Diskurs darüber zu führen, in welche Richtung die Technik geleitet werden sollte. Dilemmata des autonomen Straßenverkehrs müssen einer rechtsphilosophischen und -theoretischen Lösung zugeführt werden, obgleich sie in praxi selten sein mögen.309 II. Praktisch besteht der Unterschied zwischen Dilemma-Situationen im „tradierten“ Straßenverkehr und solchen im autonomen darin, dass bei letzterem aufgrund des Technikeinsatzes eine ex-ante-Entscheidung über den Umgang mit diesen Situationen getroffen werden muss. Die Entscheidungsdirektiven des Systems müssen auf eine Weise formuliert werden, die einen Umgang mit Dilemmata unabhängig von der konkreten Verkehrssituation ermöglicht.310 III. Das Meinungsspektrum über die richtige Lösung für Dilemmata im autonomen Straßenverkehr ist von den jeweils dahinterstehenden Forschungsdisziplinen beeinflusst.311 1. In der Rechtsethik sind zwei Strömungen auszumachen: Auf der einen Seite wird einem Schadensminimierungsprinzip beigetreten. Nach diesem Ansatz müsste das autonome Fahrzeug die Handlungsalternative wählen, bei der – soweit feststellbar – die geringsten Rechtsgutsverletzungen entstünden. Dies würde auch eine quantitative Abwägung von Menschenleben erforderlich machen. Individuelle Personenmerkmale sollen indes keine Rolle spielen. – Auf der anderen Seite des Spektrums wird vertreten, es bestehe bei einer anthropoparallelen Situationsbewertung nur eine rechtmäßige Entscheidungsalternative, nämlich nicht zu 309 310 311

Zu diesen Punkten oben B. III. Oben B. III. Oben B. IV.

F. Zusammenfassung in Thesen

109

handeln. Nach diesem Ansatz würde das autonome Fahrzeug zum Beispiel die einmal eingeschlagene Fahrtrichtung beibehalten müssen, unbesehen der Folgen, die für etwaige Rechtsgüter zu erwarten sind. 2. Die empirische Forschung zeichnet ein granulares Konzept, welches soweit geht, Menschenleben nicht nur quantitativ, sondern auch qualitativ abwägen zu wollen, indem individuelle Personenmerkmale als Bewertungsparameter in die Gleichung eingestellt werden. Auch die rechtliche oder moralische Bewertung des Vorverhaltens soll relevant sein. 3. Disparate Bilder zeichnen die Moralphilosophen. Während manche Autoren die Auflösung von Dilemma-Situationen tendenziell gar nicht einer Maschine überantwortet wissen wollen, versuchen andere, eine „Supermoralmaschine“ zu entwickeln. Dafür werden top-down-Ansätze gewählt und komplexe deontologische Konzepte bemüht (etwa die Philosophie von Kant), die letztlich bedingen würden, dass das autonome Fahrzeug die jeweilige Dilemma-Situation moralisch selbst bewerten können müsste. Die überwiegenden Stimmen sind für eine utilitaristische Regel, welche voraussetzt, dass der aggregierte Gesamtnutzen der Gesellschaft maximiert wird. Konsequent zu Ende gedacht bedeutet der Utilitarismus, die Maschine hätte individuelle Personenmerkmale abzuwägen. IV. Wie gesehen deutet die Empirie an, dass von den meisten Menschen eine ganzheitliche Situationsbewertung bevorzugt wird.312 Es genügt danach nicht, eine rein arithmetische Bewertung vorzunehmen, sondern es seien auch individuelle Personenmerkmale als Kriterien der Abwägung zuzulassen. Jedoch erweist sich der Weg über Personenmerkmale bei näherem Hinsehen ziemlich schnell als vermintes Terrain. Eine allgemeingültige Lösung lässt sich anhand von Personenmerkmalen schwer finden, weil zu viele Parameter zu berücksichtigen sind und bisher keine Rechenmaschine existiert, die in einer Dilemma-Situation all die anfallenden Informationen zügig und klar genug erfassen, kategorisieren und gegeneinander abwägen könnte.313 V. Sichtbar werden diese Probleme bei einem genaueren Blick auf die technische Faktizität.

312 313

Im Einzelnen dazu oben C. I. Oben C. I.

110

F. Zusammenfassung in Thesen

1. Algorithmische Systeme sind nicht in der Lage, der Einsatzumwelt implizite Daten zu entnehmen und aufbauend darauf vorausschauend zu agieren; insbesondere können sie das Verhalten anderer Verkehrsteilnehmer nicht vorausblicken.314 Diese faktischen Informationssammlungsund Verarbeitungsgrenzen gelten auch bei Systemen, die mit künstlicher Intelligenz und maschinellem Lernen ausgestattet sind. 2. Vor allem empirische Studien missachten die Komplexität der Umweltzustände, in denen autonome Fahrzeuge zum Einsatz kommen.315 Dilemmata im Straßenverkehr entstehen in einer sequentiellen, dynamischen und stetigen Umgebung. Diese Umgebung hat für autonome Fahrzeuge zwei wesentliche Folgen: Erstens unterliegen die Fahrzeuge technischen und physikalischen Grenzen. Sie können in der Regel nicht alle Entscheidungsvarianten zu Ende rechnen, weil sie einer sequentiellen und logischen Arbeitsmethode folgen. Zweitens sind „Notstandsheuristiken“ oder auch algorithmische „Überschreibregeln“ notwendig, die sicherstellen, dass das Fahrzeug selbst dann eine Entscheidung trifft, wenn eine vollständige Berechnung der Umweltzustände nicht möglich ist. Vor dem Hintergrund dieser Punkte sind die in der Empirie, aber auch in der Moralphilosophie verwendeten Standbilder (Piktogramme), mit denen die Lösungskonzepte verprobt werden, von Grund auf falsch konzipiert und irreführend. 3. Die beschriebenen technischen Grenzen wären überwindbar, würde man Datenbanken mit maschinenlesbaren Informationen über alle Verkehrsteilnehmer schaffen. Der Steuerungsalgorithmus des autonomen Fahrzeugs könnte dadurch viel eher im Sinne einer „Supermoralmaschine“ alle Entscheidungsparameter in die Abwägung einstellen, insbesondere könnte er auch individuelle Personenmerkmale berücksichtigen. Indes ist ein solches Sozialkreditsystem nicht mit den datenschutzrechtlichen Prinzipien der Datensouveränität und der Datenminimierung vereinbar; darüber hinaus dürfte es auch verfassungsrechtlich kaum haltbar sein.316 4. Es sollte sich deswegen von dem Gedanken verabschiedet werden, eine Maschine sei konzipierbar, die stets im besten ethischen Sinne handeln und die Konfliktsituationen umfassend analysieren und (moralisch) auflösen könne. 314 315 316

Oben C. III. 1. Oben C. III. 2. Oben C. III. 3.

F. Zusammenfassung in Thesen

111

VI. Wertend überzeugend und technisch umsetzbar ist es hingegen, eine Verhaltensdirektive zu wählen, bei der unbesehen der konkreten Verkehrssituation alle Interessen gleich gewichtet, mithin die Rechts- und Interessengüter keines Verkehrsteilnehmers a priori vernachlässigt oder beschnitten werden.317 1. Eine solche Direktive ist – ganz im Sinne von Rawls – überzeugend nur hinter dem Schleier des Nichtwissens zu finden.318 Nach dieser Gerechtigkeitsheuristik sind alle individuellen, sozialen, wirtschaftlichen oder gesellschaftlichen Einzelattribute der am Entscheidungsproblem beteiligten Personen zu ignorieren. Eine solche „konzeptionelle Unparteilichkeit“ erlaubt es, taugliche Verhaltensmaximen unabhängig von der konkreten Situation und Person zu finden. 2. Dieser Ausgangspunkt der Bewertung ist mithilfe des Utilitarismus nicht zu erreichen, da dieser eine gesamtgesellschaftliche Nutzenmaximierung anstrebt und er entsprechend dazu verleitet, relevante Personenmerkmale als Parameter in die Entscheidungsformel einzustellen.319 3. Das Gerechtigkeitskonzept von Rawls auf Dilemma-Situationen im Straßenverkehr angewandt – unter Beachtung der technischen Machbarkeit320 – bedeutet im Einzelnen321: a) Ausgangsregel ist das Prinzip der Schadensminimierung. Stehen sich Leben gegen Leben gegenüber, so geht mit diesem Prinzip eine quantitative Abwägung einher. b) Der Schutz von Menschen ist im Verhältnis zu Sachen und zu Tieren vorrangig. Tiere stehen mit Blick auf den Schutzauftrag des Art. 20a GG im Rang über die sonstigen Eigentumspositionen. c) Eine Hierarchie zwischen Handlung und Unterlassen existiert nicht. Rhetorische Differenzierungen zwischen „töten“ und „sterben lassen“ sind mithin zu unterlassen. Solche Unterscheidungen sind geeignet, individuelle Personenmerkmale situativ durch die Hintertür wieder eintreten zu lassen; das ist zu verhindern. 317 318 319 320 321

Oben D. Oben D. II. Oben D. III. Oben D. V. Oben D. IV.

112

F. Zusammenfassung in Thesen

d) Ist die konkrete Schadensfolge wegen den Situationsumständen nicht klar berechenbar, so ist die Alternative mit dem geringsten Schadenspotential zu wählen. Dies wird anhand von statistischen Regeln erst mit einigem Erfahrungswissen feststellbar sein. e) Sollte im Einzelfall gar keine stochastische Feststellung darüber möglich sein, welches Verkehrsverhalten zur Schadensminimierung geeignet ist, so sollte als Rückfalloption eine Zufallsheuristik greifen. VII. Algorithmischen Systemen sollte nicht grenzenlos die Entscheidungsgewalt übertragen werden. Der Vorrang menschlichen Handelns muss bestehen bleiben, obgleich eine Situation im autonomen Straßenverkehr auf Dauer nur selten zur faktischen Disposition des Menschen stehen wird.322 Wichtig ist aber, zweifelhafte Vorbildregelungen zu verhindern, die zu einer (unbedachten) Adaption in anderen Technikbereichen führen könnten (Verhinderung eines Spill-over-Effekts). Algorithmen sollten mithin den verfassungsrechtlich verbürgten Selbstbestimmungsgrundsatz nicht aufheben können. VIII. Von den soeben beschriebenen Grenzen der algorithmischen Entscheidungsgewalt zu trennen sind Notfall- und Sicherheitssysteme. Es sind Sicherheitsvorkehrungen zu implementieren, die einen reibungslosen Straßenverkehr gewährleisten – nicht nur, indem sachgerechte Reaktionssysteme für Funktionsausfälle implementiert werden, sondern auch durch Schaffung einer technischen Resilienz gegen missbräuchliche (Dritt-)Eingriffe.

322

Oben E. I.

Literaturverzeichnis Allgrove, Ben: Legal Personality for Artificial Intellects: Pragmatic Solution or Science Fiction?, 2006 (abrufbar unter: http://dx.doi.org/10.2139/ ssrn.926015). Aristoteles: Nikomachische Ethik, griechische Textausgabe von 1831, in der reclamÜbersetzung von 1969, 2003. Awad, Edmond/Dsouza, Sohan/Shariff, Azim/Rahwan, Iyad/Bonnefon, Jean-François: Universals and variations in moral decisions made in 42 countries by 70,000 participants, January 21, 2020 (abrufbar unter: https://doi.org/10.1073/ pnas.1911517117). Beck, Susanne: Die Dilemma-Problematik und die Fahrlässigkeitsdogmatik, in: Eric Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 117 – 142. Bendel, Oliver: Künstliche Intelligenz, Aus Politik und Zeitgeschichte (APuZ) 2018, S. 34 – 38. Bentham, Jeremy: Deontology or, The science of morality, 1834. Bertolini, Andrea: Artificial Intelligence and Civil Liability – Study Requested by the JURI committee (European Parliament), July 2020. Besio, Christina: Uncertainty and attribution of personal responsibility on organizations, Soziale Systeme 19 (2013/2014), S. 307 – 326. Bonnefon, Jean-François/Shariff, Azim/Rahwan, Iyad: The social dilemma of autonomous vehicles, Science Vol. 352 Issue 6293, 2016, S. 1573 – 1576. Bundesministerium des Innern, für Bau und Heimat (BMI): Gutachten der Datenethikkommission der Bundesregierung, Oktober 2019. Bundesministerium für Verkehr und digitale Infrastruktur (BMVI): Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017 (zitiert: BMVI, Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017). Bung, Jochen: Können Artefakte denken?, in: Malte-Christian Gruber (Hrsg.), Autonome Automaten, künstliche Körper und artifizielle Agenten in der technisierten Gesellschaft, 2. Auflage 2015. Coleman, James S.: Macht und Gesellschaftsstruktur, 1979.

114

Literaturverzeichnis

Commission Expert Group: Ethics of Connected and Automated Vehicles: recommendations on road safety, privacy, fairness, explainability and responsibility, 2020. Comte-Sponville, André: Ermutigung zum unzeitgemäßen Leben, 4. Auflage 2014. Cuneen, Martin/Mullins, Martin/Murphy, Finbarr/Shannon, Darren/Furxhi, Irini/ Ryan, Cian: Autonomous Vehicles and Avoiding the Trolley (Dilemma): Vehicle Perception, Classification, and the Challenges of Framing Decision Ethics, Cybernetics and Systems, 51(1) 2020, S. 59 – 80. Decker, Michael: Adaptive Robotik und Verantwortung, in: Sabine Gless/Kurt Seelmann (Hrsg.), Intelligente Agenten und das Recht, 2016, S. 23 – 44. Demling, Alexander/Tyborski, Roman: Wie Amazon zum neuen Angstgegner der deutschen Autoindustrie werden könnte, Handelsblatt-Online vom 20. 7. 2020 (zitiert: Demling/Tyborski, Handelsblatt-Online vom 20. 7. 2020). de Sio, Filippo Santoni: Killing by Autonomous Vehicles and the Legal Doctrine of Necessity, in: Ethical Theory and Moral Practice, 2017 (DOI 10.1007/ s10677 – 017 – 9780 – 7; zitiert: de Sio, Ethical Theory and Moral Practice, 2017). Di Nucci, Ezio: Self-Sacrifice and the Trolley Problem, Philosophical Psychology 2013, S. 662 – 672. Edmonds, David: Would you kill the fat man?: The Trolley Problem and What Your Answer Tells Us about Right and Wrong, 2013. Eidenmüller, Horst: Effizienz als Rechtsprinzip, 4. Auflage 2015. Eidenmüller, Horst: The Rise of Robots and the Law of Humans, ZEuP 2017, S. 765 – 777. Engisch, Karl: Untersuchungen über Vorsatz und Fahrlässigkeit im Strafrecht, 1930, Neudruck 1964. Europäische Kommission: Weißbuch zur Künstlichen Intelligenz, 19. 2. 2020, COM(2020) 65 final (abrufbar unter: https://ec.europa.eu/info/sites/info/files/ commission-white-paper-artificial-intelligence-feb2020_de.pdf ). European Commission: The European Commission’s High-Level Expert Group on Artificial Intelligence, A Definition of AI: Main Capabilities and Scientific Disciplines, Brussels, 18 December 2018 (zitiert: High-Level Expert Group, A Definition of AI, 18 December 2018). Fateh-Moghadam, Bijan/Gutmann, Thomas: Gleichheit vor der Triage – Rechtliche Rahmenbedingungen der Priorisierung von COVID-19-Patienten in der Intensivmedizin, VerfBlog 2020/4/30 (abrufbar unter: https://verfassungsblog.de/ gleichheit-vor-der-triage/).

Literaturverzeichnis

115

Feldle, Jochen: Notstandsalgorithmen, 2018. Fjeld, Jessica/Achten, Nele/Hilligoss, Hannah/Nagy, Adam/Srikumar, Madhulika: Principled Artificial Intelligence: Mapping Consensus in Ethical and RightsBased Approaches to Principles for AI, 2020 (abrufbar unter: https://ssrn.com/ abstract=3518482). Floridi, Luciano/Sanders, J. W.: On the Morality of Artificial Agents, in: Minds and Machines volume 14, 2004, S. 349 – 379 (zitiert: Floridi/Sanders, On the Morality of Artificial Agents, 2004). Foot, Philippa: The Problem of Abortion and the Doctrine of the Double Effect, in: Virtues and Vices and Other Essays in Moral Philosophy Moral Philosophy, 1978. Fraunhofer-Gesellschaft: Maschinelles Lernen – Kompetenzen, Anwendungen und Forschungsbedarf, Förderkennzeichen 01IS17019, 29. 3. 2018. Fraunhofer IAIS: Vertrauenswürdiger Einsatz von Künstlicher Intelligenz, 2019. Fraunhofer IAO: Hochautomatisiertes Fahren auf Autobahnen – Industriepolitische Schlussfolgerungen, Studie im Auftrag des Bundesministeriums für Wirtschaft und Energie (BMWi), 2015. Füllsack, Manfred: Gleichzeitige Ungleichzeitigkeiten. Eine Einführung in die Komplexitätsforschung, 2011. Gabriel, Markus: Moralischer Fortschritt in dunklen Zeiten – Universale Werte für das 21. Jahrhundert, 3. Auflage 2020. Gaede, Karsten: Künstliche Intelligenz – Rechte und Strafen für Roboter?, 2019. Gaede, Karsten/Kubiciel, Michael/Saliger, Frank/Tsambikakis, Michael: Rechtmäßiges Handeln in der dilemmatischen Triage-Entscheidungssituation, medstra 2020, S. 129 – 137 (zitiert: Gaede et al., medstra 2020). Gasser, Tom M.: Die Veränderung der Fahraufgabe durch Fahrerassistenzsysteme und kontinuierlich wirkende Fahrzeugautomatisierung, DAR 2015, S. 6 – 12. Geistfeld, Mark A.: A Roadmap for Autonomous Vehicles: State Tort Liability, Automobile Insurance, and Federal Safety Regulation, 105 Calif. L. Rev. (2017), S. 1611 – 1694. Gless, Sabine/Weigend, Thomas: Intelligente Agenten und das Strafrecht, ZStW 2014, S. 561 – 591. Greenbaum, Dov: Ethical, Legal and Social Concerns Relating to Exoskeletons, ACM SIGCAS Computer & Society 45 (2015), S. 234 – 239 (zitiert: Greenbaum, Computer & Society 2015).

116

Literaturverzeichnis

Haidt, Jonathan: The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment, Psychological Review 2001, S. 814 – 834. Harari, Yuval Noah: 21. Lektionen für das 21. Jahrhundert, 2018. Hilgendorf, Eric: Autonomes Fahren im Dilemma. Überlegungen zur moralischen und rechtlichen Behandlung von selbsttätigen Kollisionsvermeidungssystemen, in: Eric Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 143 – 175. Hilgendorf, Eric: Automatisiertes Fahren und Recht – ein Überblick, JA 2018, S. 801 – 806. Hoffmann-Riem, Wolfgang: Die digitale Transformation als Herausforderung für die Legitimation rechtlicher Entscheidungen, 2018 (abrufbar unter: https:// www.law-school.de/fileadmin/content/law-school.de/de/units/unit_affil_riem/ pdf/428_Die_digitale_Transformation_als_Herausforderung___26.6.18.pdf). Hörnle, Tatjana: Dilemmata bei der Zuteilung von Beatmungsgeräten, Verfassungsblog vom 4. 4. 2020 (abrufbar unter: https://verfassungsblog.de/dilemmata-bei-der-zuteilung-von-beatmungsgeraeten/). Hörnle, Tatjana/Wohlers, Wolfgang: The Trolley Problem Reloaded – Wie sind autonome Fahrzeuge für Leben-gegen-Leben-Dilemmata zu programmieren?, GA 2018, S. 12 – 34. Hoven, Elisa: Die „Triage“-Situation als Herausforderung für die Strafrechtswissenschaft, JZ 2020, S. 449 – 454. Huang, Bert I.: Law and Moral Dilemmas (Book Review on ,The Trolley Problem Mysteries by F. M. Kamm, 2015), Harvard Law Review 2016, S. 659 – 699. Hübner, Dietmar: Einführung in die philosophische Ethik, 1979. Hume, David: Eine Untersuchung über die Prinzipien der Moral, 1751, ReclamAusgabe 2002. Jescheck, Hans-Heinrich/Weigend, Thomas: Strafrecht AT, 5. Auflage 1996. Joerden, Jan C.: Zum Einsatz von Algorithmen in Notstandslagen. Das Notstandsdilemma bei selbstfahrenden Kraftfahrzeugen als strafrechtliches Grundlagenproblem, in: Eric Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 73 – 97. Kahneman, Daniel: Schnelles Denken, Langsames Denken, 2011. Kaku, Michio: Die Physik der Zukunft – unser Leben in 100 Jahren, 7. Auflage 2016. Kant, Immanuel: Grundlegung zur Metaphysik der Sitten, AA IV, 1785.

Literaturverzeichnis

117

Kaulartz, Markus/Braegelmann, Tom: Rechtshandbuch Artificial Intelligence und Machine Learning, 2020 (zitiert: Rechtshandbuch AI und ML). Kersten, Jens: Schwarmdemokratie, 2017. Kirchschläger, Peter G.: Roboter und Ethik, AJP 2017, S. 240 – 248. Kirn, Stefan/Müller-Hengstenberg, Claus D.: Rechtliche Risiken autonomer und vernetzter Systeme, 2016. Klement, Jan Henrik: Verantwortung – Funktion und Legitimation eines Begriffs im Öffentlichen Recht, 2006. Köndgen, Johannes: Haftpflichtfunktionen und Immaterialschaden am Beispiel von Schmerzensgeld bei Gefährdungshaftung, 1976. Kötz, Hein: Haftung für besondere Gefahr – Generalklausel für die Gefährdungshaftung –, AcP 170 (1970), S. 1 – 41. Latour, Bruno: Wir sind nie modern gewesen, 2008. Ley, Isabelle/Franzius, Claudio/Stein, Tine: Das Volk – ein „Problem“ der Demokratie?, Verfassungsblog vom 24. 2. 2020 (abrufbar unter: https://verfassungsblog.de/das-volk-ein-problem-der-demokratie/). Linardatos, Dimitrios: Autonome und vernetzte Aktanten im Zivilrecht – Grundlinien zivilrechtlicher Zurechnung und Strukturmerkmale einer elektronischen Person, 2021 (Habilitationsschrift in Vorbereitung zur Veröffentlichung). Loh, Janina: Roboterethik: Eine Einführung, 2019. Luhmann, Niklas: Paradigm lost: Über die ethische Reflexion der Moral, 1990. Luhmann, Niklas: Organisation und Entscheidung, 2000. von Mangoldt (Begr.)/Klein, Friedrich/Starck, Christian (fortgeführt): Kommentar zum Grundgesetz: GG, 7. Auflage 2018. Marcus, Gary: Deep Learning: A Critical Appraisal, 2018 (abrufbar unter: https:// arxiv.org/abs/1801.00631). Matthias, Andreas: Automaten als Träger von Rechten, 2007. Maunz, Theodor/Dürig, Günter (Begr.): Grundgesetz-Kommentar, 87. Ergänzungslieferung 2019. Melotti, Gledson/Asvadi, Alireza/Premebida, Cristiano: CNN-LIDAR pedestrian classification, Conference Paper, Conference: 2018 IEEE International Conference on Vehicular Electronics and Safety, 2018. Merkel, Reinhard/Augsberg, Steffen: Die Tragik der Triage – straf- und verfassungsrechtliche Grundlagen und Grenzen, JZ 2020, S. 704 – 714.

118

Literaturverzeichnis

Mikhail, John: Universal moral grammar: theory, evidence and the future Trends in Cognitive Sciences 2007, S. 143 – 152. Mill, John Stuart: Der Utilitarismus, 1861, übersetzte Ausgabe 1871 (zitiert: John Stuart Mill, Der Utilitarismus, 1871). Mill, John Stuart: Die Freiheit, 1869, in: Gomperz, Theodor (Hrsg.), John Stuart Mill’s Gesammelte Werke, 1869 (zitiert: John Stuart Mill, Die Freiheit, 1869). Misselhorn, Catrin: Grundfragen der Maschinenethik, 3. Auflage 2019. Misselhorn, Catrin: Maschinenethik und „Artificial Morality“: Können und sollen Maschinen moralisch handeln?, Aus Politik und Zeitgeschichte (APuZ) 2018, S. 29 – 33. Misselhorn, Catrin: Artificial Morality. Concepts, Issues and Challenges, Society 2018, S. 161 – 169. Müller, Vincent C.: „Ethics of Artificial Intelligence and Robotics“, in: Edward N. Zalta [ed.], The Stanford Encyclopedia of Philosophy, Fall 2020 Edition (abrufbar unter: https://plato.stanford.edu/archives/fall2020/entries/ethics-ai/). Nehm, Kay: Autonomes Fahren – Bremsen Ethik und Recht den Fortschritt aus?, JZ 2018, S. 398 – 402. Neuhäuser, Christian: Künstliche Intelligenz und ihr moralischer Standpunkt, in: Susanne Beck (Hrsg.), Jenseits von Mensch und Maschine, 2012, S. 23 – 42. Nida-Rümelin, Julian/Weidenfeld, Nathalie: Digitaler Humanismus: Eine Ethik für das Zeitalter der Künstlichen Intelligenz, 2018. Pendleton, Scott Drew/Andersen, Hans/Du, Xinxin/Shen, Xiaotong/Meghjani, Mailika/Eng, You Hong/Rus, Danila/Ang, Marcelo H.: Perception, Planning, Control, and Coordination for Autonomous Vehicles, machines 2017, 5. Platon: Menon, entstanden zwischen 393 und 388 v. Chr., Text in der Übersetzung durch Ludwig von Georgii (1860), Michael Holzinger (Hrsg.), Berliner Ausgabe 2013. Precht, Richard David: Jäger, Hirten, Kritiker – Eine Utopie für die digitale Gesellschaft, 2018. Precht, Richard David: Künstliche Intelligenz und der Sinn des Lebens, 2020. Rakowski, Eric (ed.): The Trolley Problem Mysteries, 2019 (zitiert: Bearbeiter, in: Rakowski (ed.), The Trolley Problem Mysteries, 2019). Rammert, Werner/Schulz-Schaeffer, Ingo (Hrsg.): Können Maschinen handeln? Soziologische Beiträge zum Verhältnis von Mensch und Technik, 2002.

Literaturverzeichnis

119

Raspé, Carolin: Die tierliche Person: Vorschlag einer auf der Analyse der TierMensch-Beziehung in Gesellschaft, Ethik und Recht basierenden Neupositionierung des Tieres im deutschen Rechtssystem, 2013. Rawls, John B.: Eine Theorie der Gerechtigkeit, 21. Auflage 2019. Rosling, Hans: Factfulness, 2019. Sanakoyeu, Artsiom/Bautista, Miguel A./Ommer, Björn: Deep Unsupervised Learning of Visual Similarities, Pattern Recognition 78 (2018), S. 331 – 343. Sandel, Michael J.: Gerechtigkeit. Wie wir das Richtige tun, 6. Auflage 2019. Sander, Günther M./Hollering, Jörg: Strafrechtliche Verantwortlichkeit im Zusammenhang mit automatisiertem Fahren, NStZ 2017, S. 193 – 206. Schäfer, Hans-Bernd/Ott, Claus: Lehrbuch der ökonomischen Analyse des Zivilrechts, 5. Auflage 2012. Scharre, Paul: Army of None: Autonomous Weapons and the Future of War, 2018. Schelling, Thomas C.: The Life You Save May Be Your Own, in: S.B. Chase (ed.), Problems in Public Expenditure Analysis, 1968. Schirmer, Jan-Erik: Robotik und Verkehr – Was bleibt von der Halterhaftung?, RW 2018, S. 453 – 476. Schirrmacher, Frank: Ego – das Spiel des Lebens, 5. Auflage 2013. Schneider, Reto U.: Wen würden Sie opfern?, NZZFolio 2018 (abrufbar unter: https://folio.nzz.ch/2018/mai/wen-wuerden-sie-opfern). Schuster, Frank P.: Das Dilemma-Problem aus Sicht der Automobilhersteller, in: Eric Hilgendorf (Hrsg.), Autonome Systeme und neue Mobilität, 2017, S. 99 – 115. Schütz, Marcel: „Die Rettungsorganisation hat sich nach Eschede weiterentwickelt“ – Interview mit dem Unfallmediziner Ewald Hüls, sozialtheoristen, 3. 6. 2018 (abrufbar unter: https://sozialtheoristen.de/2018/06/03/die-rettungsorgani sation-hat-sich-nach-eschede-weiterentwickelt-interview-mit-dem-unfallmedizi ner-ewald-huels/). Solaiman, Sheikh M.: Legal personality of robots, corporations, idols and chimpanzees: a quest for legitimacy, 2017 (abrufbar unter: http://ro.uow.edu.au/cgi/ viewcontent.cgi?article=4088&context=lhapapers). Statistisches Bundesamt: Unfallentwicklung auf deutschen Straßen, 2017. Taleb, Nassim N.: The Black Swan, Edition 2010. Taleb, Nassim N.: Antifragilität – Anleitung für eine Welt, die wir nicht verstehen, 6. Auflage 2014.

120

Literaturverzeichnis

Taleb, Nassim N.: Skin In The Game – Hidden Asymmetries in Daily Life, 2018. Taupitz, Jochen: Verteilung medizinischer Ressourcen in der Corona-Krise: Wer darf überleben?, MedR 2020, S. 440 – 450. Teubner, Gunther: Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten, AcP 218 (2018), S. 155 – 205. Thaler, Richard: Misbehaving: Was uns die Verhaltensökonomik über unsere Entscheidungen verrät, 2018. Thomson, Judith Jarvis: Killing, Letting Die, and other Trolley Problems, The Monist 59 (1976), S. 204 – 217. Thomson, Judith Jarvis: The Trolley Problem, The Yale Law Journal (94/6) 1985, S. 1395 – 1415. Thomson, Judith Jarvis: Turning the Trolley, Philosophy and Public Affairs, 2008, S. 359 – 374. Thöne, Meik: Autonome Systeme und deliktische Haftung – Verschulden als Instrument adäquater Haftungsallokation?, 2020. Wagner, Gerhard: Produkthaftung für autonome Systeme, AcP 217 (2017), S. 707 – 765. Weber, Philipp: Dilemmasituationen beim autonomen Fahren, NZV 2016, S. 249 – 254. Weigend, Thomas: Notstandsrecht für selbstfahrende Autos?, ZIS 2017, S. 599 – 605. Weizenbaum, Joseph: Die Macht der Computer und die Ohnmacht der Vernunft, 1978. Welzel, Hans: Zum Notstandsproblem, ZStW 63 (1951), S. 47 – 56. Zuboff, Shoshana: Surveillance Capitalism – Überwachungskapitalismus, Aus Politik und Zeitgeschichte (APuZ) 2019, S. 4 – 9. Zweig, Katharina: Ein Algorithmus hat kein Gefühl, 2019.

Personen- und Sachverzeichnis Abgrenzungsrhetorik 47 Aristoteles 90 Attribute – heteronome 90 Aufgabenumgebung – dynamische 72 – episodische 72 – sequentielle 72 – statische 72 Auto – das philosophische 64 Autonomie – technische 24

Entscheidungsrahmen – negativer 86 ePerson 40 Ethik-Kommission 29 – 31, 36 Exspektanz 38

Bentham, Jeremy 54 Berufsethos 104 bias 91, 96 Big Data 13 Binnendifferenzierung – verbotene 97 Brain-Computer-Interface

Handlung/Unterlassung – Hierarchie 38, 97, 111 Harari, Yuval Noah 69 Hedonismus – anthropologischer 54 – psychologischer 54 Heuristiken 71, 75, 88, 92, 99, 101 Hilgendorf, Eric 56

Comte-Sponville, André

Foot, Philippa 29 Fremdbestimmung

Garantenpflichten 39 gefahrenasymmetrische Situation Gefahrenverursacher 60 Gleichheit 89 f.

104

93

Datenethikkommission 105 Demokratieprinzip 81, 85, 87 Deontologische Ethik siehe Pflichtenethik Drucksituation – psychische 38, 98 Eigentümerinteressen 96 Einfrieren – technisches 26, 98 Engisch, Karl 20 f., 59

30, 104 34

identifiziertes Leben 17, 95 Ignoranz – nicht wahrgenommene 86 Imperativ – kategorischer 51 f., 83 f. Informationen – explizite 65, 67 f. – implizite 65 ff., 79, 101 Informationsasymmetrie 86 f., 93 Inkommensurabilität 55 f. Intentionserkennung 65 ff.

122

Personen- und Sachverzeichnis

Jedermanns-Ereignisse

19

Kant, Immanuel 51 – 53, 83 f. Kastensystem 78, 80 Künstliche Intelligenz 11, 24, 27, 61 Latour, Bruno 48 Lebenswertindifferenz 32 Luftsicherheitsgesetz 19, 33 Marktregeln 27 Maschinelles Lernen 11, 13, 64, 67 f. Maschinenethik 44 ff. Menon-Paradoxon 81 Menschenwürdegarantie 16, 32, 36 MIT 41 f., 59 MIT Media Lab 40 moral agency 46 Moral Machine 41, 81 Moral Machine Experiment 40 Moralimplementation 44, 50 Moralmaschine 28, 47, 58 Notfallalgorithmen 98 Notfallsysteme 106 Notstandsheuristik 26, 75, 110 Nutzenmaximierung 54, 89 Nützlichkeitsprinzip 55, 89, 94 Objektformel

32

Personengüter 96 Personenmerkmale 30, 37, 44, 55, 57, 77, 95, 99 Persönlichkeitsgüter 96 Pflichtenethik 52 Piktogramme 41 f., 73, 110 Prinzip der Schadensminderung 31, 36 Prinzip der Schadensminimierung 28, 31, 40, 59, 96, 100 f., 106

Prinzipien – artikulierte 43 – operative 43 Programmierung – deterministische 53, 73 – ethische 41 Prozessieren – sequentielles 74 Rawls, John 15, 83, 88, 90, 95, 98 Recht auf Privatheit 70 Resilienz – technische 106, 112 Risikominimierung 32 Schadenspotential 98 f., 112 Schranken 102 Schutzpflichten – verfassungsrechtliche 11, 35 Selbstbestimmung 103 f., 112 shut down 106 Situationsberechnung – unvollständige 75 social-scoring-System 77, 80 Solidaritätspflichten – unzulässige 32 Sozialkredit 78, 80, 110 Spill-over-Effekt 78, 80, 105, 112 Standbilder – siehe auch Piktogramme 71 statistisches Leben 17 ff., 35, 95 Steuerungsalgorithmus 97, 99, 106 Superintelligenz 56 Supermoralmaschine 28, 61, 64, 70, 79 Taleb, Nassim Nicholas 94 Technikethik siehe Maschinenethik Theaterstück „Terror“ 20, 60 Tiere – Schutzauftrag 96 top-down-Ansatz 53, 87, 109

Personen- und Sachverzeichnis Triage 14, 86, 91 two-options cases 14 Umgebungszustand – diskret 72 – stetig 72 Umweltzustand 13, 64, 67, 71 ff., 75 f., 110 Umweltzustände – stabile 67 Unparteilichkeit – konzeptionelle 91, 111 Unterlassen 21, 97, 111 Unterlassung 97 Urzustand 90 – 93, 97 Utilitätsprinzip 54 ff.

123

vehicle-to-everything 80 von Schirach, Ferdinand 20, 60 Vorabprogrammierung 39 Vorausschau – algorithmische 64 ff. Wagner, Gerhard 37 Wahrnehmungsverzerrung siehe bias Warnmeldungen 106 Weichenstellerfall 20, 21 f., 31 Zufallsheuristik 99, 101, 112 Zufallsprinzip 26