Aleph Alpha Kolibri: Offenes Deutsch-Englisch-Modell
Das deutsche KI-Unternehmen Aleph Alpha hat Kolibri veröffentlicht, ein zweisprachiges Sprachmodell für Deutsch und Englisch mit frei verfügbaren Gewichten. Das Unternehmen bewirbt es als praxistaugliches Werkzeug für öffentliche Verwaltung, Luftfahrt und Industrie. Zugleich sieht es das Modell als Beleg dafür, dass Europa wettbewerbsfähige KI nach eigenen Regeln entwickeln kann.
Laut dem technischen Bericht des Unternehmens wurde das Modell auf europäischer Hardware trainiert, nach europäischem Recht entwickelt und mit Blick auf den EU AI Act konzipiert. Der AI Act ist der Rechtsrahmen der Europäischen Union zur Regulierung von KI-Systemen.
Ein großes Modell, das sparsam läuft
Auf dem Papier hat Kolibri 78 Milliarden Parameter. In der Praxis nutzt es für jedes einzelne Token nur rund drei Milliarden davon. Das liegt an einer Mixture-of-Experts-Architektur, die das Netz in spezialisierte Teilnetze aufteilt und jedes Token nur durch wenige davon schickt.