Interview

KI hat nie das Wohlergehen der Menschen im Blick

Matthias Zuchowski, Sie haben als Mediziner, Gesundheitsökonom, und Direktor für kaufmännische Administration und Geschäftsfeldentwicklung am Robert Bosch Krankenhaus zusammen mit Ihrer Schwester Lena Zuchowski ein Rahmenwerk für zuverlässige KI vorgeschlagen. Sind Anwendungen der Künstlichen Intelligenz in der Medizin bisher nicht ausreichend zuverlässig?

Matthias Zuchowski: KI-Anwendungen weiten sich in der Medizin derzeit deutlich aus. Das ist einerseits wünschenswert, weil sie beispielsweise Kosten senken können. Andererseits gibt es eine Reihe von unbeantworteten Fragen: Was ist, wenn Patientinnen und Patienten KI zuhause benutzen? Was ist, wenn Ärztinnen und Ärzte auf Basis von KI Diagnosen stellen oder Behandlungen vorschlagen? Medizinerinnen und Mediziner haben den Hippokratischen Eid geschworen, genauer gesagt das Genfer Gelöbnis abgelegt. Sie stellen sich mit ihrem Handeln in den Dienst der Menschlichkeit und dienen der Erhaltung und Wiederherstellung der Gesundheit. Für Medizin-KI oder ihre Entwickler:innen gilt das nicht. Kurzum: Wir sehen Handlungsbedarf, ein Rahmenwerk für KI in der Medizin zu entwickeln.

Lena Zuchowski, Sie sind Philosophin an der Universität Bristol in Großbritannien. Was kann und muss ein solches Rahmenwerk aus Ihrer Sicht denn erreichen?

Lena Zuchowski: Wir haben herausgearbeitet, dass es ganz zentral ist, dass das medizinische Personal und die Patient:innen einander vertrauen.

Dieses Vertrauen ist entscheidend für den Behandlungserfolg, für das Wohlbefinden und ob Patientinnen und Patienten dem ärztlichen Rat folgen – also für die Compliance. Wenn in dieser Zweierbeziehung nun als dritter Akteur die KI hinzukommt, darf sie das Vertrauen zwischen Ärzt:innen und Erkrankten nicht untergraben, sondern muss es stärken. Dafür muss sie zuverlässig funktionieren. Unser gesamtes Rahmenwerk beruht auf diesen beiden zentralen Werten: auf Vertrauen zwischen Arzt und Patient und auf der Zuverlässigkeit der KI. Denn der KI selbst können Menschen nicht vertrauen.

Wie meinen Sie das? Warum können Menschen einer KI nicht vertrauen – das passiert doch faktisch schon jeden Tag, wenn KI-basierte Software Behandlungsvorschläge unterbreitet?

Lena Zuchowski: KI ist nicht in der Lage selbst ein moralisches oder emotionales Verständnis zu entwickeln. Sie ist nicht mehr als ein lernfähiger Algorithmus, von Menschen programmiert, und mit einem Datensatz von Menschen trainiert. Aufgrund dieser Eigenschaften kann KI die Fürsorge eines Menschen nicht vollständig übernehmen. Sie kann zwar bestimmte Aufgaben erledigen, etwa könnte ein KI-basierter Roboter einem Kind das Essen reichen, aber er kann nicht auf das Kind in der Weise aufpassen, wie es Eltern tun können. Das bedeutet, dass die Verantwortung für Behandlungen, die Entscheidungshoheit, letztlich beim medizinischen Personal liegen muss. Und wir müssen uns fragen, wie wir diese Verantwortung etwa des Arztes gegenüber dem Patienten erhalten.     

Schon jetzt nutzen Krankenhäuser und Praxen diverse Softwareprodukte, ob Patientenmanagementsysteme oder Programme zur Auswertung von Röntgenbilddaten. Warum sehen Sie einen kategorischen Unterschied zwischen KI-basierter und übriger Software?

Matthias Zuchowski: Jede Software ist ein Werkzeug. Aber Medizin-KI ist eher in der Lage, dem medizinischen Personal wie auch den Patienten oder Patientinnen Antworten auf Fragen zu geben. Sie kann beispielsweise Diagnosen vorschlagen. Wir unterscheiden klinische Medizin-KI, die vom medizinischen Personal genutzt wird. Sollen indes Laien die KI verwenden, sprechen wir von patientenverfügbarer KI: Die Selbstbehandlung rückt mit solchen Produkten in greifbare Nähe. Sie kann aber keine Verantwortung für die Therapie übernehmen, das muss schon medizinisches Personal übernehmen.

Es geht Ihnen also auch um den Erhalt des vertrauten Gesundheitswesens, indem Ärzte und Ärztinnen die Behandlungshoheit haben. Wie müsste Medizin-KI denn sein, damit sie das respektiert?

Matthias Zuchowski: Es braucht ein größeres Maß an Transparenz, als das gegenwärtig bei vielen KI-Anwendungen üblich ist. Medizinerinnen und Mediziner wissen, wie ein Röntgengerät funktioniert. Aber wir haben kein Äquivalent für Medizin-KI. Solche Anwendungen dürfen keine „black box“ sein. Das medizinische Personal muss ein grundlegendes Verständnis für entsprechende Software haben.

Hier lauern aber gleich mehrere Konflikte. Es liegt nicht im Interesse von Entwickler:innen den Quellcode oder fundamentale Schritte der Programmierung offen zu legen. Auch setzt die Entwicklung von KI hochspezialisiertes Wissen im Bereich der Mathematik und Informatik voraus, dass Mediziner:innen nicht haben. Wie wollen Sie diese Probleme lösen?

Matthias Zuchowski: Wir schlagen in unserem Rahmenwerk vor, dass Hersteller von Medizin-KI dafür verantwortlich sind, professionelle Anwender:innen im Gebrauch der Software zu schulen. KI muss erklärbar sein. Dazu gehört unbedingt auch ein grundlegendes Verständnis der Mechanismen dahinter, auch, welche Grenzen die jeweilige KI-Anwendung hat. Erforderlich ist ein grundlegendes Verständnis der Technologie.

Und ja, es ist nötig, dass hierfür die Curricula, Aus- und Weiterbildungsordnungen angepasst werden. Ohne ein Training in Datenverarbeitung wird es nicht gehen.

Lena Zuchowski: Ganz entscheidend für die Transparenz der KI-Anwendungen ist, dass gegenüber dem medizinischen Personal und dem Kreis der Patient:innen offengelegt wird, mit welchem Datensatz die KI trainiert wurde. Denn davon hängt ihre Aussagekraft fundamental ab. Ein Beispiel: Eine bekannte, bereits verfügbare KI zielt auf die Hautkrebsvorsorge. Fotos von Hautveränderungen werden daraufhin geprüft, ob es sich um einen Tumor handelt. Solche KI ist aber meist überwiegend an kaukasischer Bevölkerung mit weißer Haut entwickelt worden. Für andere Ethnien ist sie nicht in gleicher Weise geeignet. KI kann über solche Massentrainingssätze ein Problem noch verschärfen, das wir bereits im Gesundheitswesen haben: dass Minderheiten nicht ausreichend beachtet werden.

Matthias Zuchowski: Letztlich bedeutet all das: Eine Medizin-KI, die komplett undurchsichtig arbeitet, eignet sich nicht für das Gesundheitswesen.

Was braucht es für die erforderliche Transparenz neben einer Schulung des medizinischen Personals noch?

Lena Zuchowski: Wir schlagen in unserem Rahmenwerk vor, dass Medizinerinnen und Mediziner sowie Patienten und Patientinnen auch sehr früh in der Programmierung der KI einbezogen werden. In den Unternehmen sollte es eine Person geben, die verantwortlich ist für die ethischen Probleme und Datenungleichgewichte oder -lücken im Verlauf der Entwicklung und Testung der Software. Es ist erfahrungsgemäß wirksamer, ein Mensch hat diese Aufgabe inne als eine ganze Firma mit vielen Beschäftigten.

Matthias Zuchowski: Wenn medizinisches Personal und Patientenvertretungen von Anfang an der Entwicklung beteiligt sind, können die Grenzen der KI auch frühzeitig identifiziert und später in den Sprechstunden den Patientinnen und Patienten vermittelt werden. Eine Software, die in London genutzt werden soll, muss beispielsweise auch die Bevölkerungsstruktur dort berücksichtigen.

Es gibt immer wieder Fachaufsätze, wonach KI sogar besser ist als der Mensch, etwa Brustkrebs zuverlässiger erkennt oder schlicht weniger Fehler macht. Dann ist es doch ein Fortschritt, wenn diese KI entscheidet?

Lena Zuchowski: KI kann besser sein. In Schweden wurde das auch in einer großen Studie zur Brustkrebserkennung gezeigt. Sie kann sehr kleine Veränderungen im Brustgewebe besser detektieren. Das ist zwar ein begrenztes Set an Fällen. Aber die KI kann immerhin veranlassen, dass Ärztinnen und Ärzte ein zweites Mal hinschauen – und das ist in der Tat gut.

Matthias Zuchowski: Keine Frage, KI kann nützlich sein. Es wird aber oft behauptet, KI sei per se besser. Das kann gar nicht sein, weil KI nie das Wohlergehen im Blick haben kann. Wenn ein Mensch zum Beispiel viele Krankheiten hat und dann wird auch noch ein Tumor gefunden, mag die KI zwar eine Behandlung vorschlagen. Aber sie kann nicht ermessen, ob dieser Mensch mit all den Krankheiten, diese Behandlung möchte und überstehen wird. Dafür braucht es die verantwortliche und vertrauenswürdige Entscheidung: In den Krankenhäusern besprechen sich heutzutage immer mehrere Ärztinnen und Ärzte in den sogenannten Tumor Boards, um eine Therapieentscheidung zu fällen und vorzuschlagen.

Wie weit ist die Medizin-KI-Branche denn von den Forderungen in Ihrem Rahmenwerk entfernt?

Matthias Zuchowski: Im Moment gibt es in der Medizin-KI-Branche oft die hemdsärmelige Haltung, „Lasst uns das ausprobieren und wenn die Leute es benutzen, passt es schon“. Aber Chatbots, die wie ein Doktor arbeiten, haben eine Auswirkung auf die Gesundheit. Da braucht es einen Nachweis der Wirksamkeit – die evidenzbasierte Medizin gilt hier genauso. Eine Software muss besser oder gleichwertig sein, verglichen mit dem Goldstandard. Letztlich muss, wer KI für den medizinischen Sektor entwickelt, das Leitprinzip der Medizin befolgen: Die Sicherheit der Erkrankten geht vor. Das ist nicht verhandelbar. Der Austausch zwischen den Beteiligten über diese Aspekte hat gerade erst begonnen.

Die Menschen googeln aber auch ohne KI schon seit langem ihre Symptome.

Matthias Zuchowski: Ja, die Leute fragen oft ChatGPT oder Google. Aber schon die genaue Beschreibung der Symptome benötigt medizinisches Fachwissen: Ein chronischer oder akuter Husten, das ist nicht leicht voneinander zu unterscheiden. Es müsste an solchen Punkten in jeder KI darauf hingewiesen werden, dass ein Arzt konsultiert werden muss. Die Biologie ist viel komplexer als ein lernender Algorithmus.

Wozu kann KI nützlich sein, wenn sie Ärzt:innen nicht gänzlich ersetzen und von Patient:innen in der Regel nicht allein benutzt werden soll?

Lena Zuchowski: Was sie leisten kann, kommt nicht zuletzt auf das Anwendungsszenario an: In Schweden hat sie im Projekt der Brustkrebserkennung eine Stimme neben den Stimmen von Ärzt:innen. Aber sie könnte genauso auch eine Art Rückfallversicherung sein, damit man bestimmte Fälle nicht übersieht. Ehe zum Beispiel ein Grenzwert überschritten wird, sagen wir ein Blutparameter, könnte die KI schon Empfehlungen machen, worauf zu achten ist. Das kann helfen, dass wichtige Fakten nicht übersehen werden.