Die Ausgangslage
Das Unternehmen hatte KI tief in seinen Tagesbetrieb eingebaut – und in einen wachsenden Stapel von Rechnungen pro Token. Jeder Workload lief gegen nutzungsbasiert abgerechnete Cloud-APIs: Die Kosten skalierten linear mit dem Erfolg, sensible Daten überquerten bei jedem Aufruf eine externe Grenze, und Kapazität, Latenz und Modellverhalten waren letztlich die Entscheidungen von jemand anderem. Was als schnellster Weg zur KI-Einführung begann, war zur strukturellen Abhängigkeit geworden.
Das Problem hinter dem Problem
Das ist eine Entscheidung zwischen Bauen und Mieten – und die ehrliche Antwort ändert sich mit der Größenordnung. Unterhalb eines bestimmten Dauervolumens ist Mieten richtig; das sagen wir in Diagnosegesprächen regelmäßig. Dieses Unternehmen war über dieser Linie: planbare Workloads mit hohem Volumen, bei denen sich eigene Hardware selbst bezahlt, Anforderungen an die Datenhoheit, die gegen eine externe Grenze sprechen, und genug operative Reife, um einen eigenen Stack zu betreiben. Die Diagnose hat den Kipppunkt beziffert, bevor auch nur ein Stück Hardware spezifiziert war.
Was wir gerade bauen
Maßgeschneiderte Inferenz-Infrastruktur – Hardware, spezifiziert für das tatsächliche Workload-Profil des Unternehmens statt als generische GPU-Bestellung – und die Plattformschicht, die sie nutzbar macht: Model Serving, Routing, Monitoring und Fallback. Die Migration läuft Workload für Workload: Jeder wird gegen seine Cloud-Baseline auf Qualität, Latenz und Kosten gebenchmarkt, auf dem neuen Stack in Produktion genommen – und erst dann folgt der nächste.
Der schwierige Teil
Ein laufendes Geschäft zu migrieren, ohne es zu unterbrechen. Jeder Workload, der umzieht, ist einer, auf den das Unternehmen täglich angewiesen ist. Deshalb bringt jede Migration einen Rollback-Pfad zu der Cloud-API mit, die sie ersetzt, und der Umstieg erfolgt erst, wenn die On-Premises-Version ihre Baseline im Produktions-Schattenbetrieb erreicht hat. Die Disziplin ist bewusst langweilig – genau das ist der Sinn von Infrastruktur.
Wo das Projekt steht
Das Engagement läuft: Die ersten Workloads sind auf der neuen Hardware in Produktion, die Migrationswarteschlange bewegt sich, und die Zahlen, auf die es ankommt – Kosten pro Workload gegenüber der Cloud-Baseline, Latenz und wie viele sensible Daten das Haus nicht mehr verlassen – werden gemessen, sobald jeder Workload landet. Nach unserer eigenen Regel veröffentlichen wir die vollständigen Vorher-nachher-Aussagen, sobald die Nachher-Zahlen vorliegen.