Fehldiagnose durch ChatGPT – wer haftet?

A. Wo liegen die Chancen und Risiken der KI?

Noch vor einigen Jahren war es undenkbar, dass ein Arzt eine App nach Erkrankungen fragen könnte und diese ihm eigenständig Diagnosen und Therapieempfehlungen gibt. So zeigte eine Untersuchung von 2016, dass damals Zweidrittel aller Diagnosen über Onlineportale falsch gewesen sind.
Inzwischen hat sich einiges getan. So kann ChatGPT, welches auf Künstlicher Intelligenz (KI) beruht, sogar unter gewissen Voraussetzungen die Theorieprüfung des amerikanischen Medizinexamens (United States Medical Licensing Exam) bestehen.

Kritiker führen dagegen an, dass ein Großteil der Informationen nicht aus wissenschaftlichen Quellen stamme und nicht überprüft wären. Auch würden oft plausibel klingende Antworten verfasst, welche inhaltlich falsch seien. So könnten nur geringfügige Abweichungen bei der Frageneingabe oder bloße mehrfach inhaltlich gleiche Anfragen zu unterschiedlichen Antworten führen. Auch konnte die Wissenssendung Galileo zeigen, dass ChatGPT bei vagen medizinischen Symptomen Schwierigkeiten hatte, eine klare und korrekte Diagnose zu stellen.

B. Haftung des Herstellers

I. Produkthaftung

Denkbar wäre eine Produkthaftung nach § 1 I 1 ProdHaftG. Auch wenn die Norm nach § 2 ProdHaftG eine bewegliche Sache voraussetzt, kann eine entsprechende Anwendung auf Softwareprodukte angenommen werden. Bei § 1 I 1 ProdHaftG handelt es sich um eine sogenannte Gefährdungshaftung. Daher kommt es grundsätzlich nur darauf an, dass durch ein fehlerhaftes Produkt jemand getötet, verletzt oder eine Sache beschädigt wird. Ein Verschulden des Herstellers, also eine vorsätzliche oder fahrlässige Handlung, ist nicht erforderlich.

Problematisch ist jedoch, ob und vor allem wo bei einer falschen Antwort ein Produktfehler vorliegt. So sind beispielsweise die Verarbeitungsvorgänge der KI für Außenstehende schwer nachvollziehbar und unklar, wie ChatGPT zu seiner Antwort kommt. Daher ist es schwierig nachzuweisen, ob tatsächlich ein Programmierfehler vorliegt. Somit wird dieser Haftungsanspruch häufig ausscheiden.

II. Produzentenhaftung

Denkbar wäre eine Haftung des Herstellers aus § 823 I BGB, wenn es durch das fehlerhafte Produkt zu einer Verletzung von Leben, Körper oder Gesundheit kommt. Im Gegensatz zum ProdHaftG muss bei § 823 I BGB der Entwickler schuldhaft, also vorsätzlich oder fahrlässig gehandelt haben. Grundsätzlich müsste hier der Geschädigte nachweisen, dass der Hersteller das Produkt schuldhaft in den Verkehr gebracht hat. Jedoch wird bei der Produzentenhaftung eine Beweislastumkehr angenommen, sodass der Hersteller beweisen muss, dass er kein fehlerhaftes Produkt in den Verkehr gebracht hat.

Dabei stellt sich die Frage, ab wann der Fehler, beispielsweise eine Fehlinformation oder eine falsche Verarbeitung von Informationen, nicht mehr in der Sphäre des Herstellers liegt, sondern erst später durch die selbstlernende KI entstanden ist. Das könnte gerade bei der eigenständigen Verknüpfung von falschen, nicht-verifizierten medizinischen Informationen aus dem Internet problematisch sein. Hier bleiben Fragen bislang offen.

Überdies stellt sich die Frage, ob der Entwickler sich der Haftung durch einen wirksamen Haftungsausschluss entziehen kann. Das ist aber zweifelhaft, da nach § 309 Nr. 7a BGB ein solcher bei der Verletzung von Leben, Körper und Gesundheit unwirksam ist.

III. Diskussion über eine neue EU-Haftungsrichtlinie

1. Einfacherer Nachweis eines Produktfehlers durch Offenlegungspflicht

Wie oben angesprochen, ist die Feststellung eines Produktfehlers bei KI sehr schwierig. Dieses Problem erkennt auch der europäische Gesetzgeber und diskutiert mit dem Vorschlag vom 28.09.2022 die Einführung einer EU-Richtlinie, welche die Haftung bei dem Einsatz von KI genauer regeln soll. So könnte beispielsweise Art. 3 EU-RL KI-Haftung vorsehen, dass der Entwickler von Hochrisiko-KI-Programmen Beweismittel offenlegen muss, welche die Einsicht in etwaige Programmierfehler ermöglichen soll. Somit wäre ein Nachweis durch den Geschädigten deutlich einfacher. Jedoch ist zweifelhaft, ob ChatGPT trotz der hohen Gesundheitsrisiken bei der Empfehlung von Diagnosen oder Therapien eine sog. Hochrisiko-KI nach Art. 2 Nr. 2 Vorschlag EU-RL KI-Haftung iVm Art. 6 II, Anhang III des Vorschlags einer EU-VO für ein Gesetz über KI darstellt. Daher wird man hier wohl eine Hochrisiko-KI verneinen.

2. Beweiserleichterungen durch eine Kausalitätsvermutung des Verschuldens

Grundsätzlich muss der Geschädigte den Fehler nachweisen. Da die Feststellung eines Fehlers schwierig ist, sieht der EU-Richtlinienvorschlag bezüglich der Haftung von KI-Applikationen eine Kausalitätsvermutung beim Verschulden in Art. 4 EU-RL KI-Haftung vor. Das betrifft nur Ansprüche, welche wie die Produzentenhaftung (s.o.) ein Verschulden voraussetzen. Diese Vermutung soll widerlegbar sein oder greifen, wenn der Entwickler seiner o.g. Offenlegungspflicht nicht nachkommt.

3. Kritik an dem EU-Vorschlag

Dieser Richtlinienvorschlag wird von einigen Seiten kritisiert. So sehen Entwickler von Künstlicher Intelligenz die Richtlinie sehr kritisch und befürchten Haftungsrisiken oder eine Hemmung von Investitionen. Verbraucherschützern geht der Vorschlag hingegen nicht weit genug. Sie fordern statt einer verschuldensabhängigen Haftung eine verschuldensunabhängige Gefährdungshaftung bei KI, da sonst die Hürden für die Nachweisführung beispielsweise hinsichtlich des Verschuldens durch die Hersteller zu hoch seien. Noch ist offen, ob und in welcher Form die EU-Richtlinie kommt.

C. Haftung des Arztes

Denkbar wäre eine Haftung aus § 823 I BGB, indem durch eine fahrlässig oder vorsätzlich falsche Benutzung der KI das Leben, Körper oder Gesundheit eines Patienten verletzt wird. So kann ein Behandlungsfehler in der Eingabe von falschen Daten oder in der Verwendung von unkorrekten Keywords liegen. Auch könnte die Frage missverständlich formuliert worden sein. Zudem könnte der Arzt die Ergebnisse fehlerhaft interpretieren oder sich allein darauf verlassen.

I. Wann handelt der Arzt schuldhaft?

So stellt sich die Frage, inwiefern den Arzt ein Verschulden trifft, also ob er fahrlässig oder vorsätzlich handelt. Dabei ist entscheidend, ob er bei der Benutzung der Software, die im Verkehr erforderliche Sorgfalt beachtet hat. Grundsätzlich handelt der Anwender nicht fahrlässig, wenn er die Software ordnungsgemäß bedient oder mögliche Konstruktionsfehler der Software nicht erkennen konnte.

II. Ordnungsgemäße Bedienung bei sprachlicher Umgehung?

Jedoch ist fraglich, ob noch eine ordnungsgemäße Bedienung vorliegt, wenn ein Arzt die Software „manipuliert“, indem er ChatGPT bittet, sich vorzustellen, dass sie Arzt sei, damit die KI trotz der einprogrammierten Sperre medizinische Auskünfte gibt. Auf der einen Seite verwendet der Arzt hier keine technischen Umgehungsprogramme oder Ähnliches, sondern nur eine andere Frageformulierung. Auch wenn diese eingebaute Sperre leicht zu umgehen ist, so deutet es darauf hin, dass dem Entwickler die Gefahren bei der Weitergabe von Gesundheitsinformationen bekannt sind und er das durch Vorkehrungen verhindern möchte. Zudem ist es vorgesehen, dass man der KI direkt Fragen stellt und sie darauf antwortet. Das Bitten der KI, sich erst vorzustellen, dass sie selbst Arzt sei, ist nicht der übliche Weg. Auch wenn man in einem weiteren Schritt darüber nachdenken kann, ob die vergleichsweise schwache Sperre zu einem Mitverschulden seitens des Herstellers führen kann, so liegt es nahe, in der sprachlichen Umgehung eine nicht ordnungsgemäße Bedienung zu sehen.

Zudem trifft den Arzt neben der ordnungsgemäßen Bedienung die Verantwortung, die Ergebnisse zu verifizieren. So kann jedenfalls dann von einem Verschulden ausgegangen werden, wenn der Arzt sich überwiegend auf die von der KI erstellten Diagnosen verlässt und keine umfassende Prüfung vornimmt.

III. Weitere Haftung aus dem Behandlungsvertrag?

Darüber hinaus kommt eine vertragliche Haftung des Arztes nach §§ 280 I i.Vm. § 630a BGB in Betracht, wenn er gegen allgemein anerkannte fachliche Standards handelt. Das kann auch dann vorliegen, wenn er falsche und ungenaue Daten überträgt. Zudem kann der Arzt auch einen Befunderhebungsfehler begehen, wenn er durch das Vertrauen in die KI medizinisch gebotene Befunde nicht erhebt. Wie ausgeführt, ist auch eine falsche Interpretation der mittels KI erhobenen Befunde (Diagnoseirrtum) möglich. Wenn der Arzt durch eine falsche Benutzung der KI nicht alle Befunde erhebt und es dadurch zu einer falschen Diagnose kommt, kann auch ein Befunderhebungsfehler vorliegen.

D. Haftung der KI selbst

ChatGPT oder andere KI-Software haben (noch) keine eigene Rechtspersönlichkeit, sodass eine eigene Haftung ausscheidet. Da die KI jedoch „selbst“ denkt und eigene Entscheidungen trifft, gibt es Diskussionen, ob sich daran künftig etwas ändern soll. Momentan sind dafür aber noch zu viele Fragen offen.

E. Zusammenfassung

Einerseits klingt es nach Science-Fiction, dass langjährig ausgebildete Ärzte eine KI befragen, welche Diagnose vorliegen könnte oder was die beste Therapie wäre. Andererseits lässt es aufhorchen, dass ChatGPT, wie erwähnt, sogar medizinische Examen bestehen kann. So könnte beispielsweise ein gezielter Einsatz von KI bei medizinischen Nachschlagewerken in absehbarer Zeit nicht völlig abwegig sein. Jedoch sollten sich Ärzte im Klaren sein, dass die Software heute noch nicht zuverlässig genug ist und sie einem Haftungsrisiko ausgesetzt sind.

Insofern lässt sich mit den Worten von Martin Buber schließen:

„Nicht ‘blindes’, sondern sehendes, einsetzendes Vertrauen; nicht ‘ergebenes’, vielmehr kühnes, ringendes, mitwirkendes Vertrauen scheint mir das höchste Gut zu sein, das im menschlichen Dasein erlangt werden kann“.