Norman Müller fordert Sicherheitstests für lange Chatbot-Gespräche

Müller argumentiert, dass einzelne Testfragen für die Beurteilung eines dialogorientierten Produkts nicht ausreichen. Ein Gespräch könne unauffällig beginnen und über viele Nachrichten einen problematischen Deutungsrahmen übernehmen. Anbieter sollten deshalb testen, wann ihr System Unsicherheit benennt, Grenzen seiner Wahrnehmung erklärt und eine argumentative Schleife unterbricht. Für Anwendungen mit persönlicher oder gesundheitlicher Nähe fordert er erreichbare Übergänge zu menschlicher Unterstützung.

Der Autor verbindet diese Fragen mit der Auswahl und Kontrolle von KI-Produkten. Verantwortliche sollten von Anbietern Nachweise zu Tests langer Dialoge und dokumentierten Grenzfällen verlangen. Außerdem sollten sie klären, welche Risiken das System nicht zuverlässig erkennt und wie ein Nutzer tatsächlich einen Menschen erreicht. Im Essay versteht Müller diese Punkte als Anforderungen an Beschaffung, Freigabe und laufende Kontrolle, nicht als bereits belegte Schutzwirkung eines bestimmten Produkts.

Anlass seiner Einordnung ist unter anderem eine am 7. Oktober in JAMA Psychiatry veröffentlichte rückblickende Untersuchung aus dem Vanderbilt University Medical Center. Sie wertet dokumentierte Zusammenhänge zwischen Chatbot-Nutzung und psychotischen Symptomen in Krankenakten einer einzelnen Einrichtung aus. Aus dieser Untersuchung lässt sich weder ein allgemeines Risiko für alle Chatbot-Nutzer noch ein Kausalnachweis ableiten. Der Essay unterscheidet diese begrenzte Beleglage von den daraus entwickelten Forderungen an die Gestaltung von KI-Produkten.

Müller spricht sich zudem dafür aus, Geschäftskennzahlen zur Nutzungsbindung um Sicherheitskriterien zu ergänzen. Lange Sitzungen und wiederkehrende Nutzung sollten bei persönlich wirkenden Assistenzsystemen nicht allein als Erfolg gelten. Auch der Umgang mit Widerspruch und die Beendigung problematischer Gesprächsschleifen gehörten zur Produktqualität. Diese Aussagen sind die Position des Autors. Die Veröffentlichung kündigt kein medizinisch zertifiziertes Verfahren oder neues therapeutisches Angebot des Verbands an.

Der vollständige Essay ist auf Venture AI Stack verfügbar. Für redaktionelle Rückfragen zu seinen Forderungen an die Verantwortung von Produktanbietern steht Norman Müller zur Verfügung.

Quelle: https://www.ventureaistack.com/…
Studie: https://jamanetwork.com/…