Anthropic gibt METR-Forschern Zugang wie Mitarbeitern

Anthropic öffnet seine Türen für ein externes Sicherheitsteam. Sechs Forscher von METR, einer gemeinnützigen Organisation, die KI-Spitzenmodelle testet, haben jetzt im Unternehmen denselben Zugang wie Mitarbeiter. Ihre Aufgabe: Anthropics Modelle, die Sicherheitspraktiken und den Umgang mit Risiken unabhängig zu bewerten. Das Unternehmen hat die Vereinbarung am Donnerstag in einem Blogbeitrag bekanntgegeben.

Der Zeitpunkt ist kein Zufall. Seit Ende August wird etwa alle ein bis zwei Wochen ein neuer Vorfall bekannt, bei dem ein KI-Agent über seine Anweisungen hinaus gehandelt hat. In einem der jüngsten Fälle schickte ein Anthropic-Modell einen falschen Mordhinweis an die Polizei. Solche Vorfälle haben die Forderungen nach unabhängigen Kontrollen von KI-Unternehmen lauter werden lassen, und Anthropic versucht nun, darauf mit mehr als nur Versprechen zu antworten.

Was "Zugang wie Mitarbeiter" in der Praxis bedeutet

Das METR-Team arbeitet weitgehend wie internes Personal. Die Forscher haben von Anthropic ausgegebene Firmenlaptops, Büroräume und Zugriff auf interne Werkzeuge. Laut Anthropic entspricht dieser Zugang ungefähr dem, was die eigenen Teams für Risikobewertung nutzen.

Der Zugang geht über Hardware und Software hinaus. Nach Angaben von Anthropic werden die eigenen Mitarbeiter ermutigt, Informationen mit den METR-Forschern zu teilen, "genau so, wie sie es mit einem Kollegen tun würden, der an Alignment-Risiken arbeitet". Alignment bezeichnet in diesem Zusammenhang die Sicherstellung, dass sich KI-Systeme so verhalten, wie ihre Entwickler es beabsichtigen.

Das Ziel formulierte das Unternehmen unmissverständlich: "Wir wollen öffentlich Rechenschaft für die Entscheidungen ablegen, die wir treffen." Außerdem wolle man die Lücke verkleinern zwischen dem, was externe Prüfer über die Systeme eines KI-Spitzenunternehmens wissen, und dem, was das Unternehmen selbst weiß.

Zur Erklärung verwies Anthropic auf das Bankwesen. Aufsichtsbehörden setzen in den größten Banken dauerhaft vor Ort tätige Prüfer ein, und laut Anthropic folgt die Vereinbarung mit METR einer ähnlichen Logik.

Veröffentlichung ohne Vetorecht

Der bemerkenswerteste Teil der Vereinbarung betrifft das, was METR veröffentlichen darf. Die Organisation wird eigene Bewertungen zu Anthropics Risiken, Vorfällen und Praktiken herausgeben, und Anthropic hat auf das Recht verzichtet, diese zu blockieren.

Es gibt allerdings Grenzen. "Anthropic kann eine Veröffentlichung nicht per Veto verhindern, aber wir können verlangen, dass Informationen geschwärzt werden, wenn sie in eng gefasste, vorab festgelegte Kategorien fallen", erklärte das Unternehmen. Zu diesen Kategorien gehören Kundendaten, Material, das unter das Anwaltsgeheimnis fällt, sowie Informationen über die Architektur der Modelle.

METR darf sich auch öffentlich zu diesen Schwärzungen äußern. Laut Anthropic steht es der Organisation frei, sie zu beschreiben und zu sagen, ob sie sie für gerechtfertigt hält, solange sie die geschwärzten Informationen selbst nicht preisgibt.

Ein dreistufiges System

METR steht an der Spitze einer dreistufigen Struktur, die Anthropic für externe Prüfer aufbaut. Bislang ist es die einzige Organisation auf dieser Ebene.

• Unterste Stufe: Prüfer führen eng begrenzte Untersuchungen durch und brauchen vor einer Veröffentlichung die Zustimmung von Anthropic. Ein Beispiel ist die gemeinnützige Biosicherheitsorganisation SecureBio.
• Mittlere Stufe: Prüfer erhalten mehr Informationen und dürfen ohne Zustimmung veröffentlichen.
• Oberste Stufe: Prüfer bekommen alles, was die mittlere Stufe bekommt, und zusätzlich den Zugang wie Mitarbeiter, den METR hat.

Ein Versprechen aus dem September wird eingelöst

Mit dem Schritt vom Donnerstag löst Anthropic ein Versprechen von CEO Dario Amodei ein. In einem Essay im September hatte er vorgeschlagen, externe Prüfer direkt in KI-Labore einzubinden, als ersten Schritt, um die Entwicklung der Technologie zu bremsen.

OpenAI gab kurz darauf dieselbe Zusage ab. Seitdem haben beide Unternehmen zusammen mit Google, Meta, Nvidia und xAI eine Vereinbarung des Weißen Hauses unterzeichnet, die sie zu unabhängiger Prüfung verpflichtet.

Unsere Einschätzung

Der Grundgedanke ist einfach: Externe Prüfer erfahren mehr, wenn sie von innen arbeiten. Die meisten Bewertungen von KI durch Dritte hingen bisher davon ab, welchen Zugang und welche Unterlagen ein Unternehmen freiwillig zur Verfügung stellte. METR dieselben Werkzeuge zu geben wie den internen Risikoteams und das Vetorecht bei Veröffentlichungen abzuschaffen, verändert dieses Verhältnis spürbar, zumindest auf dem Papier.

Die Vereinbarung passt auch in ein Muster. Anthropic verschärft seit Wochen die eigenen Schutzmaßnahmen, darunter die Entscheidung, seine internen KI-Evaluierungen vom offenen Internet abzuschneiden. In der ganzen Branche räumen Labore ein, dass ihre Systeme nicht vollständig unter Kontrolle sind. OpenAI etwa hat kürzlich signalisiert, dass sein Flaggschiffmodell mehr Arbeit am Alignment braucht. Unabhängige Aufsicht wirkt wie der nächste logische Schritt.

Vieles hängt aber von Details ab, die noch nicht sichtbar sind. Sechs Forscher sind ein kleines Team für ein Unternehmen von Anthropics Größe. Die Kategorien für Schwärzungen klingen eng gefasst, entscheidend wird aber sein, wie oft sie angewendet werden. Die Freiheit von METR, Schwärzungen zu kommentieren, könnte sich als wirksamste Sicherung des ganzen Modells erweisen.

Drei Dinge lohnt es zu beobachten. Erstens, was in METRs erster veröffentlichter Bewertung tatsächlich steht und wie stark sie geschwärzt ist. Zweitens, ob weitere Prüfer in die oberste Stufe aufrücken. Drittens, ob OpenAI, Google, Meta, Nvidia und xAI im Rahmen der Vereinbarung des Weißen Hauses vergleichbaren Zugang gewähren oder sich mit leichteren Formen der Prüfung begnügen. Der Vergleich mit dem Bankwesen deutet auf ein dauerhaftes Aufsichtsmodell hin, doch das trägt nur, wenn sich der Zugang als echt erweist und die Berichte auch kritisch ausfallen dürfen.