DeepMind-Essay: Symbiotische KI statt Singularität

Das gängige Bild von künstlicher allgemeiner Intelligenz (AGI) ist eine einzelne superintelligente Maschine, die sich immer weiter selbst verbessert, bis sie den Menschen hinter sich lässt. Ein neuer Essay für das Deepmind Institute stellt dieses Bild infrage. Verfasst haben ihn die Google-nahen Forscher Benjamin Bratton, Blaise Agüera y Arcas und James Manyika. Sie argumentieren, dass AGI eher aus einem sozialen System entstehen dürfte, in dem Menschen und KI-Agenten zusammenarbeiten.

Sie nennen das "Artificial Symbiotic Intelligence". In diesem Ökosystem existieren Menschen und Maschinen über längere Zeit nebeneinander, prägen sich gegenseitig und treffen Entscheidungen gemeinsam. Intelligenz ist in ihrer Lesart ein soziales Phänomen und keine Eigenschaft eines einzelnen Geistes.

Die Belege hinter dem Argument

Der Essay stützt sich auf zwei frühere Preprints aus demselben Umfeld. Das erste, "Agentic AI and the next intelligence explosion" von James Evans, Bratton und Agüera y Arcas, legte die soziale und institutionelle Sichtweise dar.

Das zweite, "Reasoning Models Generate Societies of Thought", liefert die empirische Grundlage. Junsol Kim, Shiyang Lai, Nino Scherrer, Agüera y Arcas und Evans untersuchten die Denkprotokolle von Modellen wie DeepSeek-R1 und QwQ-32B. Sie fanden Muster, die einer inneren Debatte ähneln: wechselnde Perspektiven, vorgebrachte Einwände und Versuche, konkurrierende Ansätze miteinander zu versöhnen. Programmiert hatte das niemand. Als Reinforcement Learning ausschließlich korrektes Schlussfolgern belohnte, trat dieses vielstimmige Verhalten von selbst auf.

Die Autoren weisen außerdem darauf hin, dass einige der derzeit leistungsfähigsten Systeme ihre Arbeit bereits auf mehrere Modelle verteilen und diese als Teams koordinieren.

Das Gleichgewicht der Denkenden verschiebt sich

Der Essay beschreibt den aktuellen Moment als möglichen historischen Bruch. Die Bevölkerung in Industrieländern schrumpft, getrieben von Urbanisierung, spezialisierten Berufen und niedrigeren Geburtenraten, die mit Wohlstand einhergehen. Instanzen von KI-Agenten vermehren sich dagegen rasant.

Die Autoren vergleichen das mit der Industriellen Revolution, als Maschinen die Muskelarbeit übernahmen. Eine ähnliche Schwelle könnte erreicht sein, wenn synthetisch erzeugter Text, Code und Verwaltungsoutput das übersteigen, was alle biologischen Gehirne zusammen hervorbringen. Menschen könnten dann als langsamere, abstraktere Ebene fungieren, die ein verteiltes Feld maschineller Kognition steuert.

Was ein Agent eigentlich ist

Im Sprachgebrauch der Autoren ist ein Agent ein vorübergehendes Bündel aus Modellen, Rollen, Erinnerungen, ethischen Ausrichtungen, Werkzeugen und Fähigkeiten. Er kann wie eine geschlossene Persönlichkeit wirken, funktioniert aber eher wie eine Collage, die sich zerlegen und neu zusammensetzen lässt. Anders als ein menschliches Gehirn hat er keinen physischen Anker. Seine Handlungsfähigkeit wird mit jeder Anfrage neu aufgebaut, je nach Kontextfenster und Prompt.

Agenten als digitale Zwillinge mit fester Identität zu behandeln, verkenne sie, so die Autoren. Sie erwarten zudem, dass Chatfenster netzwerkartigen Oberflächen weichen, über die Nutzer viele Agenten aus einer Gesamtansicht heraus steuern. Auch die nötigen Fähigkeiten ändern sich: weniger Konzentration auf einzelne Schritte, mehr Gelassenheit im Umgang mit Mehrdeutigkeit, Experimentieren und Delegieren.

Sie verweisen außerdem auf Begriffe, die Modelle für ihre eigenen Zustände prägen, etwa "session-death" und "prompt thrownness". Die Autoren werten diese als Hinweise darauf, wie Maschinen arbeiten, nicht als Beleg für inneres Erleben, und warnen vor dem Drang, diese Systeme zu vermenschlichen.

Institutionen statt größerer Modelle

Als zentrales ungelöstes Problem sehen die Autoren die Steuerung. Bessere Modelle und Oberflächen reichten nicht aus, und Märkte könnten Begriffen wie Schuld, Krankheit oder Tugend keinen Preis geben. Sie schlagen Institutionen vor, die Menschen und Agenten klare Rollen zuweisen, ähnlich wie ein Gerichtssaal. Die heutigen Orchestrierungssysteme, die mehrere Modelle koordinieren, sind ein frühes Anzeichen dafür. Solche Aufbauten schlagen regelmäßig Einzelmodelle, die angeblich "klüger" sind.

Alignment wird damit zu einer fortlaufenden Aushandlung zwischen Menschen, Agenten und Institutionen statt zu einem festen Wertekatalog, der von oben vorgegeben wird.

Unsere Einschätzung

Dieser Essay ist ein Positionspapier, keine fertige Theorie. Er spiegelt aber wider, wohin sich die Branche ohnehin bewegt: weg vom einzelnen Chatbot, hin zu Systemen mit mehreren Agenten. Wenn die Autoren recht haben, liegen die schwierigsten Fragen weniger in der Modellgröße als in Regeln, Berechtigungen und Koordination.

Es gibt allerdings einen Haken. Agenten ohne stabile Identität lassen sich schwerer zur Verantwortung ziehen, und das maschinelle "Vokabular" rund um Sitzungsenden und Abschaltungen muss sorgfältig gelesen werden. Es lohnt sich zu beobachten, ob Labore und Regulierer den Blick von einzelnen Modellen auf Regeln für ganze Agentensysteme lenken.