Seismora: Steuerungsebene verteilt KI auf Geräte und Clouds

KI-Anwendungen laufen zunehmend auf Smartphones, Edge-Servern und bei mehreren Cloud-Anbietern zugleich. Irgendjemand muss also entscheiden, wo welcher Teil der Arbeit erledigt wird. Seismora Inc. will diese Entscheidung automatisieren. Das Start-up baut nach eigenen Worten eine intelligente Steuerungsebene (Control Plane): eine Netzwerkschicht, die KI-Workloads über Geräte, Edge-Infrastruktur und Cloud-Anbieter hinweg koordiniert. Entwickler sollen diese Logik dann nicht mehr in jede einzelne Anwendung selbst einbauen müssen.

Gründer und CEO Vito Palermo stellte das Projekt im Gespräch mit John Furrier für die Reihe theCUBE + NYSE Wired: AI Luminaries vor. Produziert wird sie von theCUBE, dem Livestreaming-Studio von SiliconANGLE Media. Neo4j hat die Berichterstattung von theCUBE über die Reihe gesponsert, laut SiliconANGLE haben Sponsoren jedoch keinen redaktionellen Einfluss auf die Inhalte.

Vom menschlichen zum maschinellen Datenverkehr

Palermos Ausgangspunkt ist eine Verschiebung darin, wer im Netz mit wem kommuniziert. "Durch den KI-Boom bewegen wir uns weg von der Kommunikation zwischen Mensch und System hin zur Kommunikation zwischen Maschinen", sagte er.

Seine Antwort ist eine Steuerungsebene, über die KI-Datenverkehr fließen kann, "unabhängig vom Netz, unabhängig davon, wer die Neocloud oder der Hyperscaler ist, und sogar unabhängig von den Geräten selbst". Neoclouds sind die jüngeren, auf KI spezialisierten Cloud-Anbieter, die GPU-Kapazität vermieten - im Unterschied zu Hyperscalern wie den großen etablierten Public Clouds.

Die Grundidee ist einfach. Verschiedene Teile ein und derselben KI-Anwendung können ganz unterschiedliche Rechenressourcen benötigen. Manche Aufgaben lassen sich lokal auf dem Smartphone erledigen. Andere gehören an den Netzrand, näher an den Nutzer. Für schwerere Aufgaben braucht es womöglich spezialisierte Cloud-Hardware.

So soll die Verteilung funktionieren

Palermo nannte ein konkretes Beispiel. Je nachdem, was ein Nutzer in einer Anwendung vorhat, könnte das System einen Teil der Arbeit auf einem iPhone ausführen und einen anderen am Netzrand. Eine anspruchsvollere Aufgabe, etwa der Aufbau eines digitalen Zwillings mit Nvidias Omniverse, ließe sich an eine Neocloud weiterreichen.

"Und die Steuerungsebene trifft diese Entscheidungen automatisch und optimiert dabei auch die Kosten", sagte er.

Seismora nennt diesen Ansatz "kognitives Routing". Das System wählt anhand von vier Kriterien aus, wo KI-Arbeit ausgeführt wird:

1. Leistungsfähigkeit: was die Hardware oder das Modell tatsächlich kann.
2. Kosten: was die jeweilige Option kostet.
3. Latenz: wie schnell Ergebnisse vorliegen müssen.
4. Richtlinien: Regeln dazu, wohin Arbeit und Daten gelangen dürfen.

Der Teil, der auf dem Gerät selbst läuft, passt zu einem breiteren Trend, persönlichen KI-Agenten mehr lokalen Kontext zu geben und die Cloud den Aufgaben vorzubehalten, die sie wirklich brauchen.

Für Entwickler gebaut, nicht für Endnutzer

Seismora verkauft nicht an Verbraucher. Laut Palermo sind die Zielkunden Entwickler, die agentenbasierte Anwendungen für Endnutzer bauen. Diese Entwickler sollen sich an die Steuerungsebene anbinden, statt eigene Routing-Systeme zu entwerfen.

Palermo argumentierte, dass Heterogenität in der Unternehmens-KI inzwischen eine Selbstverständlichkeit sei. "Man will heterogen sein, denn ganz ehrlich: Unternehmen arbeiten heute sicher mit mehreren Neoclouds und mit mehreren Modellen", sagte er. "Mein Problem ist das Routing über all diese Anbieter hinweg, und darauf liegt der Fokus."

Er skizzierte einen Aufbau, bei dem Open-Weight-Modelle von Anbietern wie Fireworks.ai stammen, kontextbezogenes Wissen aus der Graphtechnologie von Neo4j kommt und Rechenleistung sowie Speicher über Netzrand und Unternehmen verteilt sind. Das Ziel sei, so Palermo, "Intelligenz dorthin verlagern zu können, wo es sinnvoll ist".

Ein Signal aus dem Stripe-OpenRouter-Deal

Als Beleg dafür, dass dieser Markt real ist, verwies Palermo auf die Vereinbarung von Stripe Inc. zur Übernahme von OpenRouter Inc., einer Plattform, die Anfragen auf verschiedene KI-Modelle verteilt. Der Deal wurde im August angekündigt, der Preis soll Berichten zufolge bei rund 7,5 Milliarden Dollar liegen. Für Palermo zeigt das ein wachsendes Interesse an Infrastruktur für Transaktionen zwischen Maschinen.

OpenRouter arbeitet auf Modellebene und leitet Anfragen an unterschiedliche KI-Modelle weiter. Seismora zielt auf eine umfassendere Schicht, die auch berücksichtigt, wo die Rechenleistung physisch sitzt - vom Handy des Nutzers bis zum Rechenzentrum eines Drittanbieters.

Unsere Einschätzung

Seismoras Konzept passt zu einem Muster, das wir schon länger beobachten: Je mehr Agenten es gibt, desto mehr wandern die spannenden Probleme weg vom Modell selbst hin zur Infrastruktur drumherum. Routing, Kostenkontrolle und die Wahl des Ausführungsorts werden zu eigenständigen Produkten. Aktuelle Arbeiten zu schnellen Entscheidungsmodellen für KI-Agenten und zu Kontrollmechanismen für Agenten-Workloads auf Neoclouds weisen in dieselbe Richtung.

Der Preis für OpenRouter deutet darauf hin, dass Investoren einen Wert darin sehen, diese Verkehrsschicht zu kontrollieren. Allerdings hat Seismora bislang nur einen Ansatz beschrieben und weder Kunden noch Benchmarks oder Preise genannt. Spannend wird, ob "kognitives Routing" Richtlinien zuverlässig auch bei Anbietern durchsetzen kann, die Seismora nicht kontrolliert, und ob Entwickler einem Dritten solche Entscheidungen über den Ausführungsort anvertrauen. Eine Steuerungsebene, die jede KI-Anfrage sieht, ist zudem ein verlockender Single Point of Failure. Ihr Sicherheitskonzept wird daher genauso wichtig sein wie die Kostenersparnis.