Grok Voice 3.0 schlägt OpenAI und Google im Sprach-Benchmark

SpaceXSI, das KI-Unternehmen von Elon Musks SpaceX, hat Grok Voice 3.0 veröffentlicht. Das neue Speech-to-Speech-Modell treibt die Voice Agent API des Unternehmens an und führt jetzt eine unabhängige Rangliste an, noch vor Modellen von OpenAI und Google.

Für alle, die beim Namen den Überblick verloren haben: SpaceXSI ist das frühere xAI. SpaceX hat xAI im Februar übernommen. Im Juli wurde die KI-Sparte zu SpaceXAI, Anfang dieses Monats bekam sie ihren heutigen Namen.

Der Zielmarkt ist eng gefasst und praxisnah. SpaceXSI will Unternehmen gewinnen, die ihren Kundenservice und Vertrieb über Sprachagenten abwickeln. Das sind Systeme, die in Echtzeit zuhören, nachdenken und antworten, ohne dass ein Mensch in der Leitung ist.

So schneiden die Modelle in den Tests ab

Die wichtigste Aussage stammt von Artificial Analysis, einem unabhängigen Unternehmen, das KI-Modelle testet und vergleicht. Sein Speech-to-Speech Index setzt sich aus drei Bausteinen zusammen: Tests zum logischen Denken, Erfolgsquoten bei Aufgaben und Bewertungen von Zuhörern, die in Blindgesprächen jeweils zwei Modelle direkt miteinander vergleichen.

In diesem Index kamen die Modelle auf folgende Werte:

1. Grok Voice 3.0: 86,9
2. GPT-Live-1 von OpenAI: 83,2, getestet mit OpenAIs Modell GPT-6 Astra für das logische Denken
3. Gemini 3.8 Live von Google: 82,6

Das neue Grok-Modell erreichte außerdem 97 % im Full Duplex Bench. Dieser Test misst, wie natürlich ein Modell mit Pausen und Unterbrechungen umgeht, also genau dort, wo viele Sprachagenten anfangen, roboterhaft zu wirken.

Grok lag aber nicht überall vorn. Bei Tau-Voice, einem Test mit Support-Anrufen, starken Akzenten und Hintergrundgeräuschen, behielt das OpenAI-Modell mit 74,5 % knapp die Nase vorn, Grok kam auf 71,6 %. Laut SpaceXSI lieferte das eigene Modell in diesem Test die erste Audioausgabe rund 40 % schneller. Am Telefon zählt Tempo, doch das ist eine andere Frage als die, ob die Antwort stimmt.

Auch der Preis gehört zum Verkaufsargument. Im Big-Bench-Audio-Durchlauf von Artificial Analysis kostete eine einzelne Aufgabe mit Grok Voice 3.0 etwa 2,5 Cent. Dieselbe Aufgabe kostete mit GPT-Live-1 3 Cent und mit OpenAIs GPT-Realtime-2.1 5,5 Cent.

Ein Praxistest von außerhalb des Labors

ServiceNow, der US-Anbieter von Software für Unternehmensabläufe, pflegt einen Open-Source-Benchmark namens EVA-Bench. Er umfasst mehr als 200 Szenarien aus dem Unternehmensalltag. Grok Voice 3.0 lag dort bei der Genauigkeit mit 74 % vorn, und wenn Genauigkeit und Kundenerlebnis gemeinsam bewertet wurden, schnitt kein Modell besser ab.

Nitin Aggarwal, Senior Director of Product Management bei ServiceNow, sagte, das Modell "verbindet höchste Genauigkeit mit einem natürlichen, reaktionsschnellen Gespräch".

Bereits im großen Maßstab im Einsatz

SpaceXSI kann auf Einsätze innerhalb von Musks Firmengeflecht verweisen.

• Tesla: In den Fahrzeugen laufen bereits täglich Millionen Gespräche mit Grok Voice. Fahrer nutzen es, um ihren Kalender zu prüfen und E-Mails zu beantworten. Größere Aufgaben wie eine Tischreservierung zum Abendessen übernimmt Grok Bot, dessen Sprachmodus ebenfalls auf dem neuen Modell läuft.
• Starlink: Beim Satelliteninternet-Geschäft von SpaceX nimmt Grok Voice täglich rund 20.000 Kundenanrufe in mehreren Sprachen entgegen. Nach Angaben von SpaceXSI werden etwa 70 % davon gelöst, ohne dass ein Mensch eingreifen muss. Jedes vierte Verkaufsgespräch endet mit einem Kauf, bevor der Anrufer auflegt.

Diese Zahlen stammen von SpaceXSI, nicht aus einer externen Prüfung. Beide Kunden gehören zudem zum selben Konzernverbund wie der Anbieter.

Preise und Verfügbarkeit

Grok Voice 3.0 ist ab sofort in der Voice Agent API für acht Cent pro Minute erhältlich, also 4,80 Dollar pro Stunde. Das ist derselbe Preis wie bei Grok Voice 2.0. Entwickler, deren Agenten den Modell-Alias grok-voice-latest nutzen, wurden bereits auf die neue Version umgestellt, ohne selbst etwas ändern zu müssen.

Unsere Einschätzung

Sprache wird zu einem eigenen Wettbewerbsfeld in der KI, getrennt von Chatbots und Programiermodellen. Die Zahlen hier zeigen, warum. Zwischen den drei besten Systemen im Hauptindex liegen nur wenige Punkte. Beim Test mit Störgeräuschen und Akzenten dreht sich die Reihenfolge um. Für ein Unternehmen, das einen Anbieter auswählt, heißt das: Ein einzelner Spitzenwert sagt wenig darüber aus, wie ein Modell mit den eigenen Anrufern zurechtkommt.

Preisgestaltung und automatisches Upgrade könnten wichtiger sein als die Ranglisten. Bessere Werte zum gleichen Minutenpreis, still und leise über einen Modell-Alias ausgeliefert, senken für Bestandskunden die Hürde, nicht zu wechseln. Das automatische Upgrade hat allerdings eine Kehrseite. Ein Team, das seine Gesprächsabläufe auf ein bestimmtes Modell abgestimmt hat, arbeitet jetzt mit einem anderen, ohne es getestet zu haben. Teams mit strengen Testanforderungen sollten daher lieber eine bestimmte Version festlegen, statt sich auf "latest" zu verlassen.

Die Starlink-Zahlen verweisen auf denselben Zwiespalt. Eine Lösungsquote von 70 % ohne Menschen ist ein starker Effizienzwert. Sie bedeutet aber auch, dass für die meisten dieser Anrufer der Agent das letzte Wort hat, auch wenn er sich irrt. Je mehr Sprachagenten Vertrieb und Kundenservice eigenständig übernehmen, desto mehr rückt die Frage in den Blick, wer für Fehler geradesteht, und Versicherer bereiten sich bereits auf Haftungsansprüche im Zusammenhang mit KI-Agenten vor.

Der Markt bewegt sich von mehreren Seiten in diese Richtung. Automation Anywhere hat kürzlich Boost.ai übernommen, um ins Geschäft mit Sprach-KI einzusteigen. Das deutet darauf hin, dass Unternehmenssoftware-Anbieter Sprache als zentralen Kanal für Agenten sehen und nicht als Zusatz.

Spannend bleibt, ob OpenAI und Google mit Preisänderungen oder neuen Echtzeitmodellen antworten. Offen ist auch, ob Kunden außerhalb der Musk-Unternehmen Ergebnisse veröffentlichen, die mit denen von Starlink vergleichbar sind. Bis dahin stammen die stärksten Belege für Grok Voice 3.0 aus Benchmarks und aus Einsätzen innerhalb des eigenen Konzerns.