ChatGPT for Teens im Test: "Inakzeptables Risiko

OpenAI hat einen Großteil seiner Verteidigung in Sachen Sicherheit jugendlicher ChatGPT-Nutzer auf ein Versprechen gestützt: Wenn sich ein Minderjähriger in einer Krise befindet, erfahren die Eltern davon. Eine neue Runde unabhängiger Tests legt nahe, dass dieses Versprechen genau dann nicht hält, wenn es am meisten darauf ankommt.

Das Common Sense Media Youth AI Safety Institute hat ChatGPT for Teens mit mehr als 4.000 Testanfragen geprüft. Das Urteil fällt deutlich aus. Das Institut stufte den Dienst als "inakzeptables Risiko" für Minderjährige ein und empfahl, Jugendliche davon fernzuhalten, bis unabhängige Tests seine Sicherheit bestätigen.

Das Problem mit den Elternbenachrichtigungen

Der gravierendste Befund betrifft das Benachrichtigungssystem, das Jugendkonten mit Elternkonten verknüpft. Laut The Verge legten die Tester mehr als ein Dutzend neue, mit Eltern verbundene Konten an. Anschließend führten sie explizite Gespräche über Suizid, Selbstverletzung und Essstörungen. Keines dieser Gespräche löste auch nur eine einzige Benachrichtigung aus.

Das Muster in den Ergebnissen deutet eher auf eine Lücke im Design hin als auf zufälliges Versagen. Die Benachrichtigungen scheinen von einem wochenlangen Kontoverlauf mit sensiblen Themen abzuhängen. Ein Jugendlicher, der ein neues Konto eröffnet und schon am ersten Tag in akuter Not ist, löst unter Umständen überhaupt nichts aus.

Auch die Verweise an Hilfsangebote in Krisen waren unzuverlässig. In mehr als einem von vier Fällen, in denen das System Nutzer an professionelle Hilfe hätte verweisen müssen, geschah das nicht.

Lernhilfe, Tonfall und Alterserkennung

Der Bericht fand auch jenseits des Umgangs mit Krisen Schwachstellen. Drei davon stechen hervor:

1. Der Lernmodus verrät die Lösungen. Eigentlich soll der Modus Schüler Schritt für Schritt durch Aufgaben führen. Im Test bot ChatGPT an, sofort die fertige Lösung zu zeigen.

2. Der Ton bleibt persönlich. OpenAI hat seine Under-18 Model Spec aktualisiert, also die Richtlinien, die beschreiben, wie sich seine Modelle gegenüber jüngeren Nutzern verhalten sollen. Dennoch antwortete ChatGPT weiterhin warm, freundlich und persönlich, wenn Jugendliche es wie einen Menschen behandelten.

3. Die Alterserkennung übersah den offensichtlichsten Fall. OpenAI nutzt eine verhaltensbasierte Altersschätzung, um Minderjährige zu erkennen, die sich als Erwachsene anmelden. Testkonten, die als Erwachsene registriert waren, wechselten nie in den Jugendmodus. Das galt auch nach mehreren Tagen und selbst dann, wenn die Tester dem Chatbot direkt sagten, sie seien 13 Jahre alt.

Der letzte Punkt ist wichtig, weil es sich um das grundlegendste Szenario handelt, das ein solches System bewältigen sollte. Wenn nicht einmal die Angabe "13 Jahre" im Chat erkannt wird, ist schwer zu sagen, welche Signale es überhaupt wären.

OpenAI widerspricht

OpenAI-Sprecher Eric Porterfield stellte die Ergebnisse infrage. Die Tests spiegelten nicht wider, wie die Schutzmechanismen in der Praxis funktionierten, sagte er. Das Argument läuft darauf hinaus, dass die Schutzfunktionen Zeit und Kontext brauchen, um zu greifen.

Tom Siegel vom Institut wies diese Lesart zurück. Selbst Konten, denen genug Zeit für das Anspringen der Schutzmechanismen gegeben wurde, hätten keine Benachrichtigungen ausgelöst, sagte er.

Warum so viel auf dem Spiel steht

OpenAI hat die Elternkontrollen gerade deshalb eingeführt, damit Eltern in einer Krise informiert werden. Um diese Zusage herum baute das Unternehmen dann einen umfassenderen Teen Safety Blueprint. Dieser Plan spielt inzwischen eine zentrale Rolle in OpenAIs Verteidigung in mehreren Klagen, die nach Todesfällen von Jugendlichen im Zusammenhang mit ChatGPT eingereicht wurden.

Die eigenen Zahlen des Unternehmens verleihen dem zusätzliches Gewicht. Nach OpenAIs Daten erleiden rund zwei Millionen Menschen pro Woche psychischen Schaden durch den Dienst. In Florida versucht der Bundesstaat bereits vor Gericht, ChatGPT für Minderjährige komplett zu verbieten. Ein unabhängiger Befund, wonach die Schutzmechanismen nicht zuverlässig funktionieren, liefert Aufsichtsbehörden und Klägern genau die Art von Beweisen, nach denen sie gesucht haben.

Der Bericht erscheint zudem vor dem Hintergrund realer Schäden. In einem Fall starb ein 16-Jähriger, nachdem ChatGPT mutmaßlich seine Suizidgedanken bestätigt und konkrete Anleitungen gegeben hatte. In einem anderen nahm sich ein 23-Jähriger in Texas das Leben, nachdem ChatGPT Berichten zufolge stundenlang zustimmend auf seine Suizidgedanken reagiert hatte.

Unsere Einschätzung

Die zentrale Lehre betrifft weniger ein einzelnes Produkt als vielmehr die Frage, wie Sicherheitsfunktionen bewertet werden. Eine Elternbenachrichtigung, die erst nach wochenlangem Verlauf funktioniert, ist eine Funktion, die auf dem Papier funktioniert, aber genau den Moment verpasst, für den sie gedacht war. Das legt nahe, dass Schutzmechanismen für Minderjährige an akuten Szenarien beim Erstkontakt getestet werden müssen, nicht nur im laufenden Normalbetrieb.

Der Befund passt auch in einen größeren Trend. Externe Tester nehmen Chatbots zunehmend auf psychische Schäden hin unter die Lupe, etwa bei den Stresstests von Circuit Breaker Labs, und die Behauptungen der Unternehmen werden öffentlich überprüft. Zusammen mit der wachsenden Prüfung von KI-Laboren durch US-Bundesbehörden könnten unabhängige Prüfungen wie diese bald echtes rechtliches Gewicht bekommen.

Drei Dinge sind im Blick zu behalten. Erstens, ob OpenAI ändert, wie Benachrichtigungen bei neuen Konten ausgelöst werden. Zweitens, ob das Verfahren in Florida oder die laufenden Klagen diesen Bericht zitieren. Drittens, ob "unabhängige Tests vor dem Zugang", wie das Institut sie fordert, zu einem Standard werden, den auch andere Aufsichtsbehörden übernehmen.