Warum Small Special Purpose Models die Zukunft sind.

Die Vorstellung, dass ein sogenanntes großes Welt-Modell alles kann und weiß, ist ein großer Traum und eine gut gehegte Erzählung. Die großen KI-Anbieter verkaufen diese These schon lange. Die Idee, und ich glaube auch die allgemeine Wahrnehmung, ist noch immer, dass Large Language Models (LLM) uns direkt zu Artificial General Intelligence (AGI), also eine allwissende/alles-könnende KI, führen werden. Und wenn diese AGI erreicht ist, wir sämtliche unliebsame Arbeit an diese Art Modell delegieren können. Das wird so nicht passieren.

Kampf mit der Adaption

Ich erlebe tagtäglich, wie Unternehmen zum einen viele tolle Proof of Concepts machen aber es andererseits nicht ansatzweise schaffen diese dann zu operationalisieren.

Das hat oft verschiedene Gründe; zum einen sind in den PoCs oft Leute beteiligt, die das Business-Problem, das es zu lösen gibt, nicht genug gut verstehen. Automatisierung in Enterprise Unternehmen – und dort liegen die wirklichen Potentiale – ist aufwändig und kompliziert. Wer kein tiefes Verständnis aller Details hat, scheitert.

Zum anderen sind die Anforderungen für einen operationellen Betrieb oft fundamental anders als die «Umgebung» des PoC.  

Oft haben Leute in der Linie nur ein müdes Lächeln für die PoCs übrig. Dazu kommt, dass niemand in der Linie radikale Effizienzbestrebungen unterstützt, da diese sehr wohl an dem Ast sägen, auf dem ganze Abteilungen sägen. Zu allem Übel proklamierten die «Altmans und Amodeis» dieser Welt noch bis vor kurzem, KI würde eh bald alle Jobs ersetzen. Das wirkt – nur halt leider nicht gerade positiv auf die Adaptionskurve.

Story für Investoren

Altman und Amodei wissen natürlich ganz genau, dass das nicht stimmt. Warum sie diese Geschichte (auch wenn in den letzten Tagen zurückgerudert wird) trotzdem erzählen, ist simpel: Die Nachricht ist für die Investoren und C-Level bestimmt.

Sie soll eine «Fear-of-Missing-Out» generieren. Denn wenn man mit einer Technologie rasch den Großteil der menschlichen Arbeit günstig ersetzen könnte, ja dann wäre das die größte Geschäftsgelegenheit, die es je gegeben hätte. Dass das gesamtwirtschaftlich keine so wahnsinnig clevere Sache wäre, geschenkt. Die Message verfängt und vor allem Investoren scheinen jegliches Rational (und den Taschenrechner) beiseitegelegt zu haben.

Geld brennt gerade wie Zunder

Das ist auch bitter notwendig. Alle Anbieter von LLM verbrennen Unsummen von Geld sei das in der Forschung, sprich Entwicklung von Modellen, oder aber im Betrieb, «Inference» genannt. Ohne Liquiditätsnachschub gehen also nicht nur der Weiterentwicklung der Modelle, sondern auch dem Betrieb der Modelle der Treibstoff aus.

Lange war die These, dass sich die Kostenprobleme lösen werden, zum einen durch unglaublich hohe und schnell wachsende Umsätze zum anderen durch radikal günstigere Inference Kosten. «Moores Law» ließ als Analogie grüßen bis Nvidia-CEO Huang es abmoderierte und sich das Schlagwort „Scaling-Laws“ etablierte. Aber beides, Senkung von Forschungskosten und Betriebskosten, läuft nicht in benötigtem Masse in die richtige Richtung.

Die Umsätze und das Wachstum sind zwar nach konventionellen Gesichtspunkten gigantisch sind aber gemessen an den finanziellen Wetten, die eingegangen wurden, unzureichend. Und auf Inference Seite führt die Nachfrage erstmal dazu, dass auch die «Stückkosten» steigen. In einem Masse, dass es in den Chip-Preisen angekommen ist.

Umdenken wird notwendig

Das Drama kündet sich an. Jeden Tag kommen neue Nachrichten. Die Bubble werde platzen, es sei doch vielleicht alles übertrieben. Noch vor 5 Monaten stand ich mit der These, dass der KI-Hype per se nicht gut gehen könne, recht allein da. Heute sehe ich immer mehr Köpfe nicken.

Jetzt zu denken, dass KI-Anwendungen nicht bahnbrechend wären und die Art wie wir arbeiten und leben nicht fundamentaler und schneller als bislang verändern würde ist natürlich reichlich falsch und naiv.

Was muss also passieren, damit die Vorteile dieser Technologie sozusagen «at Scala» in den Unternehmen ankommen? Ich denke es sind drei Dinge:

Die Modelle müssen besser werden
LLM haben in der Breite beeindruckende Fähigkeiten, wenn man aber eine Gruppe von Dingen richtig gut automatisieren/autonomisieren will ist die Performance oft für den realen Einsatz nicht gut genug. Warum das so ist, ist simpel: die Trainingsdaten, die für diesen Task in das Modell flossen, sind zu klein und/oder zu schlecht.

Die Modelle müssen günstiger werden
Der Betrieb von Modellen bei Hyperscalern geht ins Geld, gerade weil das Modell eben «Large», also so groß, sind. Zu allem Übel kommt dazu, dass die Preise in hohem Masse «subventioniert» sind. Sprich die effektiven Kosten – und wir sprechen noch nicht mal von Margen – sind um Größenordnungen höher. Man kann sich vorstellen, was mit den Preisen in Zukunft passieren wird, wenn Investoren ihr Geld sehen wollen. Drum sehen wir jetzt Rate-Beschränkungen und Preiserhöhungen.

Der Betrieb muss sicherer werden
«Sovereign Data» ist das aktuelle Thema schlechthin. Zu Recht, denn es ist weit mehr als «Wir vertrauen den Amerikanern nicht mehr». Nein, in der Epoche der Daten und künstlichen Intelligenz ist Daten-Souveränität sozusagen harte betriebswirtschaftliche Realität.

Zu lange haben Unternehmen gutgläubig ihre Daten an Hyperscaler gesendet. Die LLM-Anbieter, sozusagen «datenhungrig by nature» freuen sich über den Zustrom von Daten und haben in der Vergangenheit eher wenig Skrupel gezeigt, das, was auf dem Tisch liegt, einfach ohne zu fragen zu nehmen. Better sorry than safe.

Small Special Purpose Models (SSPM)

Die Lösung für dieses Dilemmas sind sogenannte Small Special Purpose Models in der Fachsprache oft auch Small Language Models (SLMs) oder Domain-Specific-Models genannt.

Das sind kleine Modelle welche für eine Domäne, zum Beispiel Dokumentenverarbeitung mit einem riesigen Pool an qualitativ hochstehenden Daten trainiert werden. Sie lassen sich mit «Low-key»-Hardware betreiben. Das öffnet einem selbstbestimmten, lokalen und «air-gapped», also Betrieb ohne Internetverbindung, Tür und Tor.

Wir mussten diese Lektion bei Parashift selbst lernen und arbeiten schon eine ganze Weile an solchen SVLMs und senken damit unsere Inference-Kosten. Das sind Modelle, welche die Handvoll typische Aufgaben rund um die Dokumenten-Automatisierung um Größenordnungen besser bewältigen als die LLM, die wir schon seit geraumer Zeit betreiben.

Wir werden in den nächsten Monaten ein entsprechendes Model-Produkt lancieren, das ohne weiteres z. Bsp. auf dem EUR 1500 Gaming-PC meines Sohnes den Workload eines Deutschen Mittelständlers abarbeiten kann – ohne jegliche Verbindung zum Internet. Die Unit Economics sind entsprechend fantastisch.

Der Grund, warum das so ist, folgt einem simplen Rational: In der Automatisierung in Unternehmen streamline ich Aufgaben in Prozesse und bespiele ein Modell mit den immer gleichen Aufgaben. Es muss nur eine Handvoll Aufgaben richtig gut können. Alle anderen Fertigkeiten sind nur kostspieliger Ballast.

Adam Smith reloaded

Denkt man über diese Dinge nach, kommt einem unweigerlich Adam Smiths Stecknadelfabrik als Beispiel für die Arbeitsteilung in den Sinn. Dieselben Mechanismen die für menschliche Arbeiten gelten – welche Überraschung – auch für maschinelle Arbeit.

Will die KI-Industrie nachhaltige, profitable und ja rasche Adaption dieser Technologie, und ich als Teil dieser Industrie will das, dann müssen wir in anderen Setups denken.

Data, Data, Data

Um richtig gute SSPMs zu bauen sind zwei Dinge notwendig; eine große Menge an enorm guten, legal erworbenen Trainingsdaten und tiefes Domänen-Wissen zur zu lösenden Aufgabe. Beides kann man als Unternehmen nicht für alle möglichen Arbeiten, welche die Wirtschaft erfordert haben.  

Ausblick

SSPMs sind die erste Geländekammer eines langandauernden, profitablen und nachhaltigen KI-Booms. Nach der Abmoderation des Hypes und der damit verbundenen Enttäuschung, prophezeie ich eine stark beschleunigte Kombination von menschlicher und maschineller Arbeit. Ein Schwarm von spezialisierten Modellen, ein Thema an dem wir bei Parashift in verschiedenen Ausprägungen schon lange arbeiten.

Was bislang fehlte und wirklich schwierig zu lösen wird, ist die autonome Interpretation von Aufgaben und anschließende Koordination der kleinen Modelle – um dann die Arbeitsergebnisse strukturiert wieder zusammen zu führen.

Gerade da glaube ich werden große «Router»-Modelle eine wichtige Rolle spielen, denn da ist Generalistenwissen und -fähigkeit gefragt. Und da darf es auch gerne ein bisschen mehr kosten.

Wenn Sie also in Zukunft in Unternehmen Arbeit durch KI automatisieren lassen wollen, halten Sie Ausschau nach spezialisierten Modellen, welche sie ohne «Strings attached» sicher betreiben können. Ich bin mir sicher wir werden in den nächsten immer mehr solche Angebote und Optionen sehen.

^{(Picture editorial credit: Everett Collection)}