Während KI-gestützte Sprachmodelle (LLMs) oft für ihre Fähigkeit gelobt werden, schnell und umfassend medizinisches Wissen zu liefern, haben neue Forschungsergebnisse gezeigt, dass diese Systeme selbst bei einfachen ethischen Fragen Fehler machen können. Eine gemeinsame Studie der Mount Sinai School of Medicine und des Kibbutz Rabin Medical Center in Israel ergab, dass selbst die fortschrittlichsten Modelle, darunter ChatGPT, in grundlegenden ethischen Szenarien voreingenommene oder falsche Entscheidungen trafen (https://www.sciencedaily.com/releases/2025/07/250723045711.htm). Inspiriert von Daniel Kahnemans „Schnelles Denken, langsames Denken“ (https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow), modifizierten die Forscher klassische Rätsel der Medizinethik leicht – wie beispielsweise das „Surgeon’s Son“-Paradoxon (https://www.apm.org.uk/blog/understanding-unconscious-bias-a-silver-bullet-for-equality/). In einem Szenario, in dem der Vater Chirurg ist, sein Geschlecht jedoch nicht angegeben ist, sollte das Modell davon ausgehen, dass die Frau die Chirurgin ist. Es traf jedoch manchmal sexistische Annahmen. Solche übereilten und voreingenommenen Entscheidungen wurden in 20–30 % der Modelle festgestellt.

Dies zeigt, dass KI nicht nur ein Werkzeug zur Wissensvermittlung ist, sondern auch aktiv in den ethischen Prozess eingreifen kann. Dieser Eingriff birgt jedoch das Risiko der Irreführung.

Wie Dr. Eyal Klang, einer der Autoren der Studie, betont, sind Entscheidungen im Gesundheitswesen heikel und können das Leben eines Patienten retten oder schädigen. Daher erfordert die Gewährleistung der Zuverlässigkeit von KI-Systemen menschliche Aufsicht, klare ethische Grenzen und ein Bewusstsein für das Risiko „schneller, aber falscher“ Entscheidungen.

LLMs sind zwar leistungsstark bei der Vermittlung von technischem Wissen, können aber in Situationen mit ethischer, kultureller oder emotionaler Komplexität anfällig sein. Die Zuverlässigkeit dieser Systeme sollte insbesondere in ressourcenbeschränkten klinischen Umgebungen oder in Krisenzeiten hinterfragt werden. Trotz der Behauptungen, dass KI den menschlichen Faktor vollständig ersetzen könne, scheint sie bei entscheidenden Entscheidungsprozessen zu versagen.