La situation
L'entreprise avait fait entrer l'IA au plus profond de ses opérations quotidiennes, et avec elle une pile de factures au token qui ne cessait de grossir. Chaque charge de travail s'exécutait sur des API cloud facturées à l'usage : les coûts augmentaient linéairement avec le succès, des données sensibles franchissaient une frontière externe à chaque appel, et la capacité, la latence et le comportement des modèles relevaient en dernier ressort des décisions d'un tiers. Le chemin le plus rapide pour adopter l'IA était devenu une dépendance structurelle.
Le problème derrière le problème
C'est un arbitrage entre construire et louer, et la réponse honnête change avec l'échelle. En dessous d'un certain volume soutenu, louer reste le bon choix : nous le disons régulièrement en séance de diagnostic. Cette entreprise avait dépassé la ligne, avec des charges de travail prévisibles et à fort volume, où le matériel possédé s'amortit, des exigences de maîtrise des données qui plaident contre une frontière externe, et assez de maturité opérationnelle pour exploiter sa propre stack. Le diagnostic a chiffré ce point de bascule avant que le moindre matériel ne soit spécifié.
Le système que nous construisons
Une infrastructure d'inférence sur mesure : du matériel spécifié pour le profil de charge réel de l'entreprise plutôt qu'une commande de GPU générique, et la couche plateforme qui le rend exploitable, avec serving de modèles, routage, monitoring et repli. La migration avance charge par charge. Chacune est comparée à sa référence cloud sur la qualité, la latence et le coût, puis mise en production sur la nouvelle stack, et la suivante ne démarre qu'ensuite.
La difficulté
Migrer une activité en marche sans l'interrompre. Chaque charge de travail déplacée est une charge dont l'entreprise dépend au quotidien : chaque migration est donc livrée avec un chemin de retour vers l'API cloud qu'elle remplace, et la bascule n'a lieu qu'une fois la version on-premise alignée sur sa référence, en mode shadow, en production. Une discipline volontairement sans surprise, et c'est bien tout l'intérêt d'une infrastructure.
Où en est le projet
La mission est en cours : les premières charges de travail tournent en production sur le nouveau matériel et la file de migration avance. Les chiffres qui comptent sont relevés à chaque charge qui atterrit : coût par charge de travail face à la référence cloud, latence, et volume de données sensibles qui ne sort plus de l'entreprise. Conformément à notre propre règle, les résultats avant/après complets seront publiés quand les chiffres « après » seront disponibles.