Grok Voice 3.0 verslaat OpenAI en Google in spraakbenchmark

SpaceXSI, het AI-bedrijf van Elon Musks SpaceX, heeft Grok Voice 3.0 uitgebracht. Het is een nieuw speech-to-speech-model dat de Voice Agent API van het bedrijf aandrijft, en het staat nu bovenaan een onafhankelijke ranglijst, boven modellen van OpenAI en Google.

Voor wie de naam niet meer kan volgen: SpaceXSI is het voormalige xAI. SpaceX nam xAI in februari over. De AI-tak werd in juli SpaceXAI en kreeg eerder deze maand zijn huidige naam.

De doelmarkt is smal en praktisch. SpaceXSI mikt op bedrijven die hun klantenservice en verkooplijnen via spraakagents laten lopen. Dat zijn systemen die in realtime luisteren, redeneren en antwoorden, zonder menselijke medewerker aan de lijn.

Hoe de benchmarks zich tot elkaar verhouden

De belangrijkste claim komt van Artificial Analysis, een onafhankelijk bureau dat AI-modellen test en rangschikt. De Speech-to-Speech Index van dat bureau combineert drie onderdelen: redeneertests, slagingspercentages bij taken en stemmen van luisteraars die in blinde gesprekken twee modellen naast elkaar vergelijken.

Op die index waren de scores:

1. Grok Voice 3.0: 86,9
2. GPT-Live-1 van OpenAI: 83,2, getest met OpenAI's GPT-6 Astra-model voor het redeneerwerk
3. Gemini 3.8 Live van Google: 82,6

Het nieuwe Grok-model scoorde daarnaast 97% op Full Duplex Bench. Die test meet hoe natuurlijk een model omgaat met pauzes en onderbrekingen, precies het punt waarop veel spraakagents robotachtig gaan klinken.

Grok won niet overal. Op Tau-Voice, een test rond klantgesprekken met zware accenten en achtergrondgeluid, hield het model van OpenAI een kleine voorsprong met 74,5% tegenover 71,6% voor Grok. Volgens SpaceXSI liet zijn model op die test zo'n 40% sneller het eerste geluid horen. Snelheid telt aan de telefoon, maar dat is een andere vraag dan of het antwoord klopt.

Ook de kosten horen bij het verkooppraatje. In de Big Bench Audio-test van Artificial Analysis kostte een enkele taak ongeveer 2,5 cent op Grok Voice 3.0. Dezelfde taak kostte 3 cent op GPT-Live-1 en 5,5 cent op OpenAI's GPT-Realtime-2.1.

Een zakelijke test van buiten het lab

ServiceNow, het Amerikaanse bedrijf achter software voor zakelijke workflows, beheert een opensource-benchmark met de naam EVA-Bench. Die omvat meer dan 200 zakelijke scenario's. Grok Voice 3.0 was daar met 74% het nauwkeurigst, en geen enkel model scoorde hoger wanneer nauwkeurigheid en klantervaring samen werden beoordeeld.

Nitin Aggarwal, senior director productmanagement bij ServiceNow, zei dat het model "topnauwkeurigheid combineert met een natuurlijk, vlot gesprek."

Draait al op grote schaal

SpaceXSI kan wijzen op toepassingen binnen de bredere groep bedrijven van Musk.

• Tesla: Auto's voeren al miljoenen Grok Voice-gesprekken per dag. Bestuurders gebruiken het om hun agenda te bekijken en e-mail te beantwoorden. Grotere taken, zoals een etentje reserveren, lopen via Grok Bot, waarvan de spraakmodus ook op het nieuwe model draait.
• Starlink: Bij de satellietinternettak van SpaceX neemt Grok Voice zo'n 20.000 klantgesprekken per dag aan, in meerdere talen. Volgens SpaceXSI wordt ongeveer 70% daarvan afgehandeld zonder dat er een mens aan te pas komt. Een op de vier verkoopgesprekken eindigt in een aankoop voordat de beller ophangt.

Deze cijfers komen van SpaceXSI zelf, niet uit een externe audit. Beide klanten horen bovendien bij hetzelfde concern als de leverancier.

Prijs en beschikbaarheid

Grok Voice 3.0 is nu beschikbaar in de Voice Agent API voor acht cent per minuut, ofwel 4,80 dollar per uur. Dat is hetzelfde als bij Grok Voice 2.0. Ontwikkelaars van wie de agents de modelalias grok-voice-latest gebruiken, zijn al overgezet naar de nieuwe versie zonder dat ze zelf iets hoefden te veranderen.

Onze analyse

Spraak wordt een eigen strijdtoneel binnen AI, los van chatbots en programmeermodellen. De cijfers hier laten zien waarom. De verschillen tussen de top drie op de hoofdindex bedragen een paar punten. Op de test met lawaaiige gesprekken en accenten draait de volgorde om. Voor een bedrijf dat een leverancier kiest, is de les dat een enkele kopscore weinig zegt over hoe een model met de eigen bellers omgaat.

De details over de prijs en de automatische upgrade zijn misschien belangrijker dan de ranglijsten. Betere scores voor hetzelfde tarief per minuut, stilletjes geleverd via een modelalias, maken overstappen voor bestaande klanten makkelijker. Die automatische upgrade heeft wel een keerzijde. Een team dat zijn gespreksflows op het ene model heeft afgestemd, draait nu op een ander model zonder het te hebben getest. Teams met strenge testeisen doen er misschien goed aan een specifieke versie vast te zetten in plaats van te vertrouwen op "latest".

De Starlink-cijfers wijzen op dezelfde spanning. Een afhandelingspercentage van 70% zonder mensen is een sterk efficiëntiecijfer. Het betekent ook dat de agent voor de meeste van die bellers het laatste woord heeft, ook als hij de fout ingaat. Nu spraakagents zelfstandig verkoop en klantenservice afhandelen, krijgt de vraag wie verantwoordelijk is voor fouten meer aandacht, en verzekeraars bereiden zich al voor op aansprakelijkheidsclaims rond AI-agents.

De markt beweegt van meerdere kanten in deze richting. Automation Anywhere kocht onlangs Boost.ai om uit te breiden naar spraak-AI, wat erop wijst dat zakelijke leveranciers spraak zien als een kernkanaal voor agents, niet als extraatje.

Het is de moeite waard om te volgen of OpenAI en Google reageren met prijsaanpassingen of nieuwe realtime-modellen. Een ander open punt is of klanten buiten de bedrijven van Musk resultaten publiceren die vergelijkbaar zijn met die van Starlink. Tot dat gebeurt, komt het sterkste bewijs voor Grok Voice 3.0 uit benchmarks en uit toepassingen binnen het eigen concern.