Autor: Roman Wagner

Künstliche Intelligenz (KI) spielt in unserem Alltag eine zunehmend wichtige Rolle. Die Medizin ist einer der für ethische Fragestellungen zentralen Bereiche, in denen KI-Systeme zum Einsatz kommen. In der medizinischen Praxis werden bereits heute verschiedene KI-Programme genutzt. So wird KI etwa verwendet, um radiologisches Bildmaterial automatisiert zu prüfen. Moderne KI-Systeme sind dabei in der Lage, Krankheitsbilder zu erkennen und Diagnosen sowie Prognosen zu erstellen. Wenngleich sich diese technischen Möglichkeiten noch im Anfangsstadium der Entwicklung befinden, lassen sich bereits heute erstaunliche Erfolge verzeichnen. Zugleich birgt aber der Einsatz von KI insbesondere in der Medizin schwerwiegende Risiken. Selbst in den Einsatzbereichen, in denen KI-Systeme ähnlich gute oder sogar bessere Ergebnisse erzielen als Ärzt:innen, besteht die Gefahr gravierender Fehler. Treten solche Fehler auf, ist die Ursache meist nur sehr schwer oder gar nicht nachvollziehbar. Diese Problematik erwächst aus dem so genannten „black box“ Charakter zeitgenössischer KI. Während klassische KI-Systeme in ihrer Funktionsweise zumindest den Programmierer:innen durchsichtig waren, gilt das für moderne selbstlernende KI nicht mehr. Diese Programme sind in der Lage, auf Basis von Input-Daten selbstständig Problemlösungen für eine Vielzahl von Aufgaben zu erarbeiten, ohne dass die Entwickler:innen solcher KI erklären könnten, wie das Programm zu seinen Lösungen kommt. Gerade angesichts der Tatsache, dass KI-Programme teilweise Fehler produzieren, die menschlichen Akteur:innen in dieser Form nicht unterlaufen, verschärft sich die Frage, wie wir die Vertrauenswürdigkeit von KI verbessern können und wer im Fall von Fehldiagnosen die Verantwortung trägt.

Peter Winter und Annamaria Carusi fokussieren sich in ihrer Arbeit „(De)troubling transparency: artificial intelligence (AI) for clinical applications“ auf die Akzeptanz von KI vonseiten des ärztlichen Fachpersonals. Ihrer Einschätzung zufolge stehen Mediziner:innen aufgrund von mangelnder epistemischer Transparenz dem Einsatz von KI skeptisch gegenüber. Winter und Carusi betonen, dass Ärzt:innen zwar durchaus die Notwendigkeit und den möglichen Nutzen von KI-basierter Diagnosefindung erkennen, jedoch nur vergleichsweise wenige Programme in der alltäglichen medizinischen Arbeit tatsächlich Anwendung finden. Der Hauptgrund hierfür liege darin, dass aus Ärzt:innenperspektive black boxes in der medizinischen Arbeit nicht akzeptabel seien, da sie die Transparenz der ärztlichen Entscheidungsfindung untergraben und damit Patient:innen erschwerten, diese Entscheidungen angemessen zu verstehen. Zwar seien auch menschliche – das heißt in diesem Fall ärztliche – Urteilsbildungen nicht immer transparent und vollumfänglich verständlich, gleichwohl sei die Opazität menschlicher Urteilsbildung geläufig und gewöhnlich. Die Fehler jedoch, die eine KI mache, seien so ungewöhnlich und unvorhersehbar, dass sie die gewöhnlichen Muster von Opazität und Transparenz untergraben und damit zu einem epistemischen Misstrauen führten. Als Reaktion auf diese Problematik schlagen die Autor:innen des Artikels einen „process of de-troubling transparency“ vor. Dieser Prozess, der die Entwicklung und Anwendung eines KI-Systems umfasst, sieht vor, dass das medizinische Fachpersonal bereits in der Entwicklung der KI eingebunden wird. Das Ziel dieses Prozesses ist, dass Ärzt:innen ihre eigenen Entscheidungsfindungsprozesse in der Funktionsweise der KI wiedererkennen und dadurch eine Familiarität mit dem Funktionieren des Systems aufbauen. Dieser Prozess umfasst drei Stufen: Das Aufstellen von Input-Daten, durch die die KI trainiert wird, das Erstellen der Software und schließlich das Training des Modells. Indem Ärzt:innen in allen drei Schritten eingebunden werden, soll ihr Vertrauen und ihre Vertrautheit im Umgang mit KI-Systemen im medizinischen Alltag gefördert werden.

Der Fokus des Beitrags „Ethical funding for trustworthy AI“ von Allison Gardner et al. liegt auf der Fragestellung, wie das Bemühen um eine vertrauenswürdige KI bereits auf der Ebene der Verteilung von Forschungsgeldern befördert werden kann. Gardner et al. betonen, dass insbesondere im Kontext von „high-risk“-Anwendungen von KI, wie sie im Fall der medizinischen Praxis aufgrund der potenziell existenziellen Gefahren für Personen vorliegen, eine besondere Dringlichkeit gegeben sei, die Vertrauenswürdigkeit dieser Programme zu fördern. Mit Blick auf bereits zum Einsatz gekommene KI-Systeme sei darüber hinaus klar geworden, dass das Diskriminierungspotenzial von KI-gestützter medizinischer Praxis erheblich sei. Um diesen Problemen angemessen zu begegnen, sei es von größter Bedeutung, mithilfe von bereits erarbeiteten ethischen Leitlinien – so etwa dem IEEE P7010 Transparency of Autonomous Systems oder dem ISO/IEC JTC 1/SC 42 Artificial Intelligence – hochstufige ethische Prinzipien in der Erarbeitung eines KI-Systems zu berücksichtigen. Indem bereits im Bewerbungsprozess für Forschungsgelder der Fokus auf ethische Maßstäbe gelegt werde, könne sichergestellt werden, dass künftige KI-Entwicklung vertrauenswürdige Systeme hervorbringe.

Georg Starke et al. fokussieren sich in ihrem Beitrag „Intentional machines: A defence of trust in medical artificial intelligence“ auf zwei kritische Einwände gegen die Idee, wir könnten einer KI vertrauen. Der erste Einwand ist ein konzeptioneller, demzufolge der Begriff des Vertrauens nicht auf KI-Systeme anwendbar sei, während der zweite Einwand der Idee, wir sollten KI-Programmen vertrauen, skeptisch gegenübersteht. Der konzeptionelle Einwand, wie er etwa von Thomas Metzinger vorgebracht wurde, interpretiert den Begriff des Vertrauens so, dass er allein auf solche Wesen Anwendung finden könne, die Absichten oder Handlungsmotive besitzen und zu denen wir interpersonale Beziehungen aufbauen könnten. Weil KI-Systemen die Fähigkeit, Absichten zu bilden, abgesprochen wird, sei es eine konzeptionelle Konfusion davon zu sprechen, wir könnten einer KI vertrauen. Starke et al. führen gegen diese Kritik drei Gegenargumente ein. Erstens sei es, ganz im Sinne von Wittgensteins Philosophie der normalen Sprache, üblich, den Begriff des Vertrauens auf Entitäten anzuwenden, zu denen wir nicht in interpersonalen Beziehungen stünden, so etwa im Umgang mit Autos oder Brücken. Zweitens gebe es Möglichkeiten, den Begriff des Vertrauens auf eine Weise zu konzipieren, die nicht auf das Vorliegen von Absichten oder Motive abstellten. Einige dieser Alternativkonzeptionen seien dabei durchaus auf KI anwendbar. Drittens würde der Begriff des Vertrauens bereits seit Jahrzehnten in der KI-Debatte auf unser Verhältnis zu KI-Systemen angewandt, sodass es zumindest ein prima facie Indiz dafür gebe, dass wir diesen Begriff sinnvoll auch auf KI-Systeme anwenden können. Auf Basis dieser Gegeneinwände konzipieren Starke et al. ein Verständnis von Vertrauen in KI, das sich an den Dimensionen der Verlässlichkeit, der Kompetenz und der Absichten, die in der Funktionsweise von KI-Systemen verwirklicht werden, orientiert. Auf Basis dieser Analyse kommen Starke et al. zu dem Schluss, dass Vertrauen in KI nicht nur möglich, sondern – besonders im medizinischen Kontext – auch notwendig ist, da medizinische KI nur auf Basis eines vertrauensvollen Verhältnisses von Patient:innen und Ärzt:innen zu den KI-Programmen ihren Zweck erfüllen könne. Nur dann, wenn eine KI verlässlich und kompetent funktioniere und wenn die Absichten der an der Entwicklung der KI beteiligten Personen, die durch die KI verwirklicht werden, vertrauenswürdig sind, sei es gerechtfertigt, einer KI zu vertrauen und nur, wenn einer KI unter diesen Bedingungen vertraut wird, könne sie ein Gewinn für den medizinischen Alltag sein.