Situacija
Kompanija je AI ugradila duboko u svakodnevno poslovanje, a sa njim i sve deblji svežanj faktura po tokenu. Svaki workload išao je preko cloud API-ja koji se naplaćuju po potrošnji: trošak je rastao linearno sa uspehom, osetljivi podaci prelazili su spoljnu granicu pri svakom pozivu, a kapacitet, latencija i ponašanje modela bili su na kraju tuđa odluka. Ono što je počelo kao najbrži način da se AI uvede pretvorilo se u strukturnu zavisnost.
Problem ispod problema
Ovde se odlučuje da li graditi ili iznajmljivati, a pošten odgovor menja se sa obimom. Ispod određenog stalnog obima iznajmljivanje je ispravan izbor i to redovno kažemo na dijagnostičkim sesijama. Ova kompanija bila je preko te granice: predvidivi workloadi velikog obima kod kojih se sopstveni hardver isplati, zahtevi za kontrolom podataka koji govore protiv spoljne granice i dovoljno operativne zrelosti da vodi sopstvenu infrastrukturu. Tačku preloma izračunali smo u dijagnozi, pre nego što je specificiran ijedan komad hardvera.
Šta gradimo
Namensku infrastrukturu za inferenciju, sa hardverom specificiranim prema stvarnom profilu opterećenja kompanije, a ne po generičkoj GPU narudžbini, i platformski sloj koji je čini upotrebljivom: serviranje modela, rutiranje, monitoring i fallback. Migracija ide workload po workload: svaki merimo u odnosu na njegovu cloud osnovicu, po kvalitetu, latenciji i trošku, zatim ga prebacujemo u produkciju na novoj infrastrukturi, i tek onda uzimamo naredni.
Najteži deo
Preseliti posao koji radi, a da se pritom ne prekine. Svaki workload koji se seli kompaniji treba svakog dana, pa svaka migracija ima i putanju za povratak na cloud API koji zamenjuje, a prelazak se dešava tek kada on-prem verzija dostigne svoju osnovicu u shadow režimu nad produkcijom. Disciplina je namerno dosadna, jer to i jeste poenta infrastrukture.
Dokle se stiglo
Angažman je u toku: prvi workloadi rade u produkciji na novom hardveru, a red za migraciju se pomera. Kako koji workload sleće, merimo ono što je bitno: trošak po workloadu u odnosu na cloud osnovicu, latenciju i to koliko osetljivih podataka više ne napušta kuću. Po sopstvenom pravilu, tvrdnje o stanju pre i posle objavljujemo tek kada brojke sa druge strane budu potpune.