Am 21. April 2020 habe ich mit Dentons und Frau Prof. Dr. Riechert, Vorstandsmitglied des Vereins AI Frankfurt Rhein-Main, im Rahmen des Webinars „Unvorhersehbare (Fehl-)Entscheidungen von KI-Systemen“ Grundfragen der Haftung von und für KI-Systeme beantwortet. Wie unsere Teilnehmerinnen und Teilnehmer sowie Website-Besucherinnen und Besucher erfahren konnten, ist ein Grundverständnis für die Technologie einerseits und das Recht andererseits unabdingbar, um die Bedingungen der eigenen Chancen und Risiken bestmöglich zu beherrschen sowie mit dem technischen Fortschritt und auch der Weiterentwicklung des Rechts Schritt halten zu können. Dieses Grundverständnis wollten wir im Rahmen des abgehaltenen Webinars vermitteln. Zudem wollten wir vorbereiten auf das, was von der Gesetzgeberseite im Hinblick auf diese Thematik zu erwarten war.
Den erwarteten Vorstoß hat mit Draft Report 2020/2017(INL) vom 27. April bzw. 4. Mai 2020[1] das Europäische Parlament gewagt: Es formuliert durch das Committee on Legal Affairs Empfehlungen an die Europäische Kommission im Hinblick auf die zivilrechtliche Haftung für sog. Künstliche Intelligenz.
Wie bereits in „Die größte Verwundbarkeit ist die Unwissenheit – Über eine gesetzliche Pflicht der Schaffung von Nachvollziehbarkeit künstlich intelligenter Entscheidungen“[2] hervorgehoben wurde, ist das bestehende Haftungsrecht (noch) ausreichend zur Beurteilung der zivil- und strafrechtlichen Haftung. Allerdings bedarf es zugunsten der Steigerung der Standortattraktivität mehr Freiraum bei Entwicklungen und Anwendungen im Bereich der Künstlichen Intelligenz. Gleichzeitig braucht es zwecks Interessenausgleich eine korrespondierende Erleichterung bei der Anspruchsverfolgung Geschädigter, um das Rechtssystem nicht aus dem Gleichgewicht zu bringen.
Diese Erwägungen hat das Europäische Parlament aufgegriffen und formuliert seine:
“B. (…) Erwägung, dass jeder zukunftsorientierte haftungsrechtliche Rahmen ein Gleichgewicht zwischen wirksamem Schutz von potenziellen Opfern eines Personen- oder Sachschadens und gleichzeitig ausreichendem Spielraum für die Entwicklung von neuen möglichen Technologien, Produkten oder Dienstleistungen bieten muss; in der Erwägung, dass das letztendliche Ziel eines jeden haftungsrechtlichen Rahmens darin liegen muss, allen Parteien, gleich ob Hersteller, Betreiber oder betroffene Person bzw. jedem Dritten Rechtssicherheit zu bieten“.
Das Europäische Parlament schlägt mit Art. 4 seines Verordnungsentwurfs eine in den Mitgliedstaaten unmittelbar geltende (vgl. Art. 15 (2.) des Verordnungsentwurfs) Gefährdungshaftung des Betreibers eines sog. KI-Systems mit hohem Risiko, nachfolgend „high-risk KI-System“, vor. Diese leite sich von der Kontrolle über die Gefahrenquelle KI-System, ähnlich der Halterhaftung für die Gefahrenquellen Kraftfahrzeuge und (Haus-)Tiere, ab.[3]
Betreiber ist gemäß Art. 3 (d) des Verordnungsentwurfs diejenige natürliche oder juristische Person, welche über den Einsatz eines KI-Systems entscheidet, die Kontrolle über das damit verbundene Risiko ausübt und Nutzen aus dem Einsatz zieht.
Personen- oder Sachschaden bezeichnet gemäß Art. 3 (f) des Verordnungsentwurfs eine nachteilige Auswirkung auf das Leben, die Gesundheit, die körperliche Unversehrtheit oder das Eigentum einer natürlichen oder juristischen Person. Immaterielle Schäden werden aus dem Geltungsbereich des Verordnungsentwurfs ausgeschlossen.
Die Einsatz- und Wirkmöglichkeiten von KI-Systemen sind geradezu unendlich vielfältig. Mit steigender Komplexität könnten sie zudem schwerer übersehen werden. Insbesondere für sog. dual use AI[4], also solche KI, die ob ihrer Möglichkeiten per se das Risiko birgt, auch zielgerichtet zu Schadenszwecken eingesetzt zu werden, muss eine angemessene Lösung gefunden werden. Gemäß Draft Report soll den Betreiber, welcher die Vorteile eines solchen Gefahr-immanenten KI-Systems für sich nutzen möchte, auch eine entsprechende Haftung treffen. Er soll sich ausweislich Art. 4 (3.) des Verordnungsentwurfs nicht exkulpieren können durch Argumente angewandter gebührender Sorgfalt („due diligence“) oder den Hinweis auf autonome Aktivitäten, Geräte oder Prozesse. Nur im Falle höherer Gewalt soll die Gefährdungshaftung ausgeschlossen sein. Das bedeutet, ein Betreiber eines high-risk KI-Systems haftet auch im Falle des schadensauslösenden Ausnutzens von Schwachstellen durch Dritte.
Demgemäß sollen gemäß Art. 4 (4.) des Verordnungsentwurfs die Betreiber solcher high-risk KI-Systeme verpflichtet werden, eine (der KfZ-Halterhaftpflichtversicherung vergleichbare) Haftpflichtversicherung vorzuhalten. Diese muss im Verhältnis zu den in Art. 5 des Verordnungsentwurfs vorgesehenen Entschädigungsbeträgen angemessen sein. Das Europäische Parlament bewertet die Bedeutung des Versicherungsmarktes besonders hoch: Diesem soll es obliegen, bestehende Produkte anzupassen oder neuen Versicherungsschutz für die zahlreichen Sektoren und verschiedenen Technologien, Produkte und Dienstleistungen zu schaffen, die KI-Systeme umfassen.[5]
Für Entschädigungsansprüche im Zusammenhang mit high-risk KI-Systemen sieht Art. 7 des Verordnungsentwurfs zudem besondere Verjährungsfristen von 30 bzw. 10 Jahren vor.
Diejenigen KI-Systeme, welche ein besonders hohes Schadenspotential begründen, sollen in einem alle sechs Monate auf Aktualität zu überprüfenden Annex zur vorgeschlagenen Verordnung erschöpfend aufgeführt werden (vgl. Art. 4 (2.) des Verordnungsentwurfs). Als solche high-risk KI-Systeme werden im Annex zum Entwurf aufgelistet:
Für die Betreiber aller anderen KI-Systeme, also denjenigen, die nicht im Annex zur geplanten Verordnung aufgelistet werden, bestimmt Art. 8 (2.) des Verordnungsentwurfs eine sog. Beweislastumkehr: Der Betreiber eines KI-Systems, welches kein high-risk KI-System ist, haftet dann nicht, wenn er beweisen kann, dass der Schaden ohne sein Verschulden (i.e. Vorsatz oder Fahrlässigkeit) entstanden ist. Dabei darf er sich auf folgende Gründe berufen:
Ausgeschlossen ist auch hier eine Exkulpation unter Hinweis auf autonome Aktivitäten, Geräte oder Prozesse. Ebenfalls ist eine Haftung nur ausgeschlossen im Falle höherer Gewalt.
Ausdrücklich bestimmt Art. 8 (3.) des Verordnungsentwurfs, dass der Betreiber des KI-Systems auch im Falle der Schadensverursachung durch einen Dritten, der in das KI-System eingegriffen und seine Funktionsweise verändert hat, haftet. Selbst dann, wenn der Dritte nicht auffindbar oder mittellos ist.
Art. 8 (4.) des Verordnungsentwurfs sieht eine Pflicht des Herstellers eines KI-Systems zur Zusammenarbeit auf Verlangen des Betreibers vor. Diese soll (nur) so weit gehen, wie es die Bedeutung des Anspruchs rechtfertigt und der Betreiber sein Nichtverschulden beweisen kann.
Ist der Betreiber zugleich Hersteller des KI-Systems, soll gemäß Art. 11 (S. 2) des Verordnungsentwurfs diese Verordnung Vorrang vor der Produkthaftungsrichtlinie haben.
Gemäß Art. 12 (3.) des Verordnungsentwurfs kann der Betreiber eines fehlerhaften KI-Systems, der die Entschädigung ausgezahlt hat, den Hersteller des fehlerhaften KI-Systems gemäß der Richtlinie 85/374/EWG und den nationalen Bestimmungen über die Haftung für fehlerhafte Produkte in Regress nehmen. Gemäß der Verordnungsbegründung soll von größeren Änderungen des bestehenden Haftungssystems abgesehen werden. Betroffene sollen zunächst durch den Betreiber vollständig entschädigt werden, bevor mögliche Haftungsansprüche gegen den Hersteller geltend gemacht werden können. Aus Gründen der Rechtssicherheit soll der sog. Backend-Betreiber dem Hersteller gleichgestellt sein (vgl. Art. 3 (g) des Verordnungsentwurfs).
Interessant dürfte das Spannungsverhältnis der Zusammenarbeitspflicht des Herstellers mit dem Betreiber und dem in diesem Personenverhältnis offensichtlich fehlenden Herstellerinteresse am Beweis gegen sich selbst werden. Hier fehlt es an einer Beweislastumkehr, die mit der Beweislastumkehr für den Betreiber des KI-Systems korrespondiert.
Der Vorschlag des Europäischen Parlaments ist im Grundsatz begrüßenswert, weil er sowohl Innovation als auch Interessenausgleich vorantreibt, ihren unmittelbaren Zusammenhang erkennt und mit einfachen Mitteln durchzusetzen sucht. Er ist auf vielen Ebenen gut durchdacht und bahnt den Weg in eine von Science-Fiction und Irrtümern freie Rechtszukunft. So wird im 5. Erwägungsgrund des Verordnungsentwurfs ausdrücklich klarstellt, dass KI-Systeme weder Rechtspersönlichkeit noch menschliches Bewusstsein haben und Begehrlichkeiten Dritter wecken werden.
Die vorgeschlagene Verordnung ist sicherlich noch an der einen oder anderen Stelle überprüfenswert:
Verbesserungsbedarf wird vor allem bei den Definitionen in Art. 3 des Draft Reports gesehen, auch wenn dieser gegenüber anderen Definitionsversuchen, z.B. der sog. High Level Expert Group on Artificial Intelligence in ihren Ethics Guidelines on Artificial Intelligence vom 8. April 2019, geringfügig ist. So sollte überlegt werden, den das KI-System beschreibenden Zusatz “displays intelligent behaviour“ (in der deutschen Fassung: „mit intelligentem Verhalten“) aus der Definition in Art. 3 (a) zu streichen. Diese Beschreibung könnte Rechtsunsicherheit schaffen, weil es schon an einem einheitlichen Verständnis von menschlicher Intelligenz fehlt.[6]
Die Definition für „autonomous“ in Art. 3 (b), insbesondere die Umschreibung „without needing to follow a set of pre-determined instructions“ (in der deutschen Fassung: „ohne Notwendigkeit, vorab festgelegte Anweisungen zu befolgen“), könnte darüber hinaus missverständlich sein und ebenfalls zu Rechtsunsicherheit führen, weil auch sog. autonome Systeme nicht unabhängig von menschlichen Vorgaben sind. Wie im 5. Erwägungsgrund richtig hervorgehoben wird, haben autonome Systeme kein Bewusstsein, welches eine solche vorgabenunabhängige Entscheidungsfreiheit und damit Autonomie ermöglicht.
Im Annex zu Art. 4 (2) des Verordnungsentwurfs erscheint „Autonome Roboter“ nicht zuletzt in problematischer Weise unbestimmt. So könnte bereits ein simpler Staubsaugerroboter (ein Beistand im Haushalt) als hochriskant und damit besonders gefährlich eingestuft werden. Damit würde die Grenze zwischen high-risk KI-System samt der an sie geknüpften Gefährdungshaftung und sonstigem KI-System mit Beweislastumkehrfolge verschwimmen.
Auch wenn die Initiative des Europäischen Parlaments noch das Tätigwerden der Europäischen Kommission erfordert und einige Zeit bis zum Inkrafttreten einer Verordnung vergehen wird, so ist doch insgesamt davon auszugehen, dass der Regulierungsvorschlag des Europäischen Parlaments Wirklichkeit wird.
Wer KI-Systeme betreibt, der eröffnet und unterhält eine Gefahrenquelle. Diese gilt es in weiser Voraussicht bestmöglich zu beherrschen. Weil der Betreiber von KI-Systemen zukünftig auch dann für den Schaden einstehen soll, wenn ein Dritter hierin eingreift und die Funktionsweise mit Schadensfolge modifiziert, gilt es, bestmöglich vorzusorgen und das Risiko so gering wie möglich zu halten. Diese Vorsorge umfasst vor allem das größtmögliche Wissen über das eingesetzte KI-System. Doch dazu gehört es auch, stets mit aktuellem Wissen, z.B. über mögliche Angriffsszenarien (etwa sog. Data Poisoning Attacks) und Vorsorgemöglichkeiten versorgt zu sein. Gleiches gilt für Hersteller von KI-Systemen und ihren Komponenten.
V
Wir haben es bei sog. KI mit technischen Verfahren zu tun, bei denen Fehler immer möglich sind, denn Perfektion gibt es nicht. Der Mensch bleibt stets verantwortlich; er bildet den entscheidenden Willen. Dieser kann auch einen “Entscheidungsspielraum” umfassen. Die Kunstfigur “KI” selbst jedoch trifft keine Entscheidungen. Sie resultiert im Wesentlichen aus der Überschätzung technischer Möglichkeiten, nicht selten ausgelöst durch sog. Show Robots (vgl. Sophia, bekannt für den Satz “Ok, I will destroy humans.”). Verantwortlich kann jedoch auch eine juristische Person sein, die nur durch ihre Menschen handeln und denken kann. Wer technische Verfahren als Produkte in den Verkehr gibt, muss die von ihm gesetzten Bedingungen bestmöglich beherrschen, d.h. vor allem kennen.
Insgesamt ist also damit zu rechnen, dass der, der die Bedingungen für einen Schaden gesetzt hat, auch in Anspruch genommen werden kann. Um die gesetzten Bedingungen bestmöglich beherrschen zu können, braucht es entsprechende (interne) Vorkehrungen, Verfahren und Vorgaben. In Anbetracht der herannahenden EU-Haftungsregelungen kann damit nicht früh genug begonnen werden.
Benötigen Sie Unterstützung hierbei? Dann sprechen Sie mich gerne an.
V
V
[1] Eine weitere englischsprachige Fassung vom 4. Mai 2020 wurde von Axel Voss auf LinkedIn veröffentlicht.
[2] Otto, Recht innovativ (Ri) 2018, 136 ff., kostenfrei abrufbare Zweitveröffentlichung im Telemedicus, https://www.telemedicus.info/article/3395-Die-groesste-Verwundbarkeit-ist-die-Unwissenheit.html.
[3] Ziffer 9 der Entschließungsempfehlungen.
[4] Dazu eingehend Otto, Das dritte Ich, Ri 2018, 68 (75 ff.).
[5] Ziffer 20 der Entschließungsempfehlungen.
[6] Dazu Otto, Das dritte Ich, Ri 2018, 68 ff.
Fortschritt mit Recht gestalten.
