Die Ausgangslage
Das Unternehmen hatte KI tief im Tagesbetrieb verankert und damit auch einen wachsenden Stapel von Rechnungen pro Token. Jeder Workload lief über nutzungsabhängig abgerechnete Cloud-APIs: Die Kosten stiegen linear mit dem Erfolg, sensible Daten überschritten bei jedem Aufruf eine externe Grenze, und über Kapazität, Latenz und Modellverhalten entschied am Ende ein anderes Unternehmen. Was als schnellster Weg in die KI begann, war zu einer strukturellen Abhängigkeit geworden.
Das Problem hinter dem Problem
Zu entscheiden war zwischen Eigenbau und Miete, und die ehrliche Antwort hängt an der Größenordnung. Unterhalb eines bestimmten Dauervolumens ist Mieten die richtige Wahl; das sagen wir in Diagnosegesprächen regelmäßig. Dieses Unternehmen lag darüber: planbare Workloads mit hohem Volumen, bei denen sich eigene Hardware selbst bezahlt, Anforderungen an die Datenhoheit, die gegen eine externe Grenze sprechen, und genug operative Reife, um einen eigenen Stack zu betreiben. Die Diagnose hat den Kipppunkt beziffert, bevor auch nur ein Stück Hardware spezifiziert wurde.
Was wir gerade umsetzen
Eine Inferenz-Infrastruktur, deren Hardware nicht als generische GPU-Bestellung eingekauft, sondern für das tatsächliche Lastprofil des Unternehmens spezifiziert wurde, dazu die Plattformschicht, die sie nutzbar macht: Model Serving, Routing, Monitoring und Fallback. Die Migration läuft Workload für Workload. Jeder wird anhand seiner Cloud-Baseline auf Qualität, Latenz und Kosten vermessen, dann auf dem neuen Stack in Produktion genommen, und erst danach folgt der nächste.
Der schwierige Teil
Ein laufendes Geschäft zu migrieren, ohne es zu unterbrechen. Jeder Workload, der umzieht, ist einer, auf den das Unternehmen täglich angewiesen ist; deshalb bringt jede Migration einen Rollback-Pfad auf die Cloud-API mit, die sie ablöst. Der Umstieg erfolgt erst, wenn die Version im Haus ihre Baseline im Produktions-Schattenbetrieb erreicht hat. Dieses Vorgehen ist bewusst langweilig, und genau darum geht es bei Infrastruktur.
Wo das Projekt steht
Das Engagement läuft. Die ersten Workloads sind auf der neuen Hardware in Produktion, die Warteschlange der übrigen bewegt sich, und die Zahlen, auf die es ankommt, werden gemessen, sobald ein Workload umgestellt ist: Kosten je Workload gegenüber der Cloud-Baseline, Latenz und wie viele sensible Daten das Haus nicht mehr verlassen. Nach unserer eigenen Regel veröffentlichen wir die vollständigen Vorher-nachher-Aussagen erst, wenn die Nachher-Zahlen vorliegen.