Liquid AI zet op apparaatcontext voor persoonlijke AI-agents

De meeste AI-modellen worden vandaag gebouwd vanuit de aanname dat er altijd meer rekenkracht beschikbaar is. Meer capaciteit nodig? De cloud schaalt gewoon op. Liquid AI Inc. werkt vanuit de omgekeerde aanname: persoonlijke AI hoort thuis op de hardware die mensen al bij zich dragen, en die hardware heeft harde grenzen.

Jeffrey Li, chief operating officer van het bedrijf, zette die visie uiteen in een gesprek met Dave Vellante en John Furrier van theCUBE Research tijdens het evenement Fully Connected. TheCUBE is de livestreamstudio van SiliconANGLE Media. Het gesprek ging over AI-agents op het apparaat zelf, vaste rekenkracht aan de edge en wat Li observability loops noemt.

Waarom de edge

Li's redenering is eenvoudig. De edge geeft je minder rekenkracht, maar wel een veel beter beeld van de gebruiker. Door die afweging zijn apparaten volgens hem de logische plek voor persoonlijke AI.

"Onze visie is dat we AI ... dichter bij de gebruiker moeten brengen", zei Li. "Daarom richten we ons op AI die draait op de apparaten om ons heen."

Hij gaf ook precies aan welke apparaten hij bedoelt. "Wat is de beste vorm om dat signaal op te vangen? Dat zijn de apparaten in onze broekzak", zei hij. "Onze telefoons, onze wearables, onze horloges, onze pc's, onze auto's."

Wat Liquid Context doet

Het product waar het hier om draait is Liquid Context, dat is geoptimaliseerd voor Snapdragon-processors. Het zit in het midden van de stack, tussen modellen, agents en hardware. Volgens Li gebruikt het signalen van het apparaat om te achterhalen wie de gebruiker is en wat die probeert te doen.

Dat is van belang vanwege de manier waarop agents worden gebouwd. De software die van een model een werkende agent maakt - vaak een harness genoemd - moet ook de context van de gebruiker bijhouden. Een gangbare aanpak is om die context op te slaan in een tekstbestand dat steeds groter wordt. Op een telefoon of horloge loopt die aanpak volgens Li al snel vast.

"Het probleem met apparaten is dat je vaste rekenkracht hebt", zei hij. "Je moet binnen een rekenbudget blijven waarin alles ten koste gaat van iets anders. Dat betekent dat veel aannames achter de manier waarop harnesses nu worden gebouwd aan de edge niet meer opgaan."

Het antwoord van Liquid AI is om eigen modellen te laten bepalen welke informatie het bewaren waard is en hoe die kan worden gecomprimeerd, in plaats van de context zich te laten opstapelen.

Van uitrol naar zelfverbetering

Het bedrijf heeft het niet alleen over telefoons. Liquid AI werkt samen met Mercedes-Benz Group AG om AI op het apparaat zelf in zijn auto's te brengen.

Volgens Li is de volgende uitdaging om agents ook lang na de lancering te laten doen wat gebruikers verwachten. "Vanaf hier willen we deze systemen en agents zo bouwen dat ze zichzelf in de loop van de tijd kunnen herstellen, verbeteren en personaliseren", zei hij. "We bouwen observability loops en loops voor continue verbetering die zowel het model als de harness na verloop van tijd beter maken door natuurlijk gebruik."

In de praktijk betekent dat dat twee dingen beter moeten worden naarmate ze worden gebruikt: het model zelf en de harness eromheen.

Onze analyse

Het verhaal van Liquid AI past in een gestage beweging richting lokale AI. Googles offline vergadertool voor de Mac en nieuwe hardware zoals een slimme ring die is ontworpen voor AI-agents wijzen dezelfde kant op. Het interessante aan Li's betoog is echter niet de hardware. Het is de bewering dat harnesses voor agents die voor de cloud zijn gebouwd niet zomaar overgezet kunnen worden naar apparaten met vaste rekenkracht.

Dat doet vermoeden dat geheugenbeheer een belangrijk onderscheidend kenmerk kan worden voor agents op het apparaat zelf. Het doel van zelfverbetering wordt nog omschreven als werk in uitvoering. Het is de moeite waard om te volgen hoe "verbeteren door natuurlijk gebruik" in de praktijk wordt aangepakt, vooral wat betreft welke gegevens op het apparaat blijven, en of de samenwerking met Mercedes-Benz tot concrete producten leidt.