Obrazac se ponavlja toliko dosledno da je već dosadan. Kompanija pokrene AI pilot, demo prođe odlično, svi klimnu glavom, a šest meseci kasnije pilot tiho ode u stranu, stavka u budžetu nestane i organizacija zaključi da “AI još nije spreman za našu industriju”. Problem retko kada bude model. Problem bude način na koji je pilot postavljen.
Istraživanja u industriji uporno smeštaju udeo AI pilota koji nikada ne stignu do produkcije negde između sedamdeset i devedeset posto, a naše iskustvo sa preuzimanjem zaglavljenih pilota govori da su otprilike u pravu. Ono što istraživanja ne kažu jeste da su ta gašenja predvidiva: iste tri greške u postavci objašnjavaju najveći deo groblja, i sve tri se vide već u prvoj nedelji, mnogo pre nego što ijedan model dobije priliku da podbaci.
Tri načina na koja piloti umiru
Smrt od nedostatka metrike. Pilot je pokrenut sa zadatkom da “istraži mogućnosti AI-ja”, što znači da niko nije imenovao broj koji treba da pomeri. Bez metrike nema ciljne linije, a bez ciljne linije pilot podrazumevano gasi prva provera budžeta. Pilot treba da bude eksperiment sa hipotezom: “ovaj model može da prepolovi vreme prve provere uz istu tačnost”. Prošao ili pao, naučili ste nešto što se može budžetirati.
Znak se vidi u jeziku samog projektnog zadatka. “Istražiti”, “proceniti potencijal” i “izgraditi kapacitet u oblasti” su formulacije koje ne mogu da padnu, a ono što ne može da padne ne može ni da uspe. Uporedite ih sa ovom: “smanjiti medijanu vremena obrade izuzetka sa 40 na ispod 15 minuta, mereno na živom obimu, do kraja drugog kvartala”. Ta rečenica može da izgubi, i baš zato je vredi finansirati kada pobedi.
Smrt od demo podataka. Pilot je radio na čistim, probranim primerima, a produkcija radi na skeniranim faksovima, prosleđenim lancima mejlova i onom jednom dobavljaču koji i dalje šalje TIFF-ove. U jazu između tačnosti na demou i tačnosti u produkciji umire poverenje, a kada ljudi jednom prestanu da veruju alatu, nijedno poboljšanje tačnosti ih ne vraća. Rešenje nije nimalo glamurozno: evaluacioni set gradite prvo od svojih najružnijih stvarnih slučajeva.
Dublji razlog je u tome što se taj jaz ne pokaže kao jedan otkaz, nego kao polagano osipanje. Alat je u pravu na lakim slučajevima, koje bi tim ionako rešio, a greši na teškim, tamo gde je pomoć i tražena. Ljudi tu računicu urade brzo. U roku od mesec dana alat dobije nadimak, a nadimak nije od milja.
Smrt od nedostatka vlasnika. Pilot je pripadao timu za inovacije, a proces operativi, pa kada se pilot završio, niko čiji bonus zavisi od tog procesa nije odgovarao za njegovo usvajanje. Piloti preživljavaju kada ih traži vlasnik procesa. Sponzorstvo nije isto što i vlasništvo.
Još dva načina da pilot propadne zaslužuju pomen. Smrt od omotača: pilot živi u zasebnom tabu, sa zasebnom prijavom i u zasebnom prozoru, a svaka promena konteksta koju traži je mala carina na usvajanje. Ako se izlaz modela ne pojavi unutar alata u kome se odluka donosi, konsultovaće ga nedelju dana pa zaboraviti. I smrt od zakasnelog upravljanja: bezbednost, pravna služba i usklađenost čuju za pilot tek u četvrtom mesecu, kada im je jedini preostali potez da ga zaustave. Donesite im dijagram toka podataka već prve nedelje i postaju saradnici; iznenadite ih i postaju, sasvim opravdano, zid.
Pilot nije mali demo, nego mali produkcijski sistem: sa metrikom, stvarnim podacima i vlasnikom.
Kako izabrati proces koji može da ponese pilot
Polovina uspeha se odluči pre nego što je ijedan dobavljač pozvan, u izboru procesa. Dobri kandidati dele četiri svojstva. Obim: zadatak se ponavlja stotinama puta mesečno, pa su dobici merljivi, a signal za učenje se nakuplja. Podnošljiva provera: čovek jeftino proverava izlaz, bilo da se sažima, klasifikuje, izvlači podatak ili piše prvi nacrt, za razliku od zadataka gde provera košta koliko i sam posao. Postojeći podaci: istorijski slučajevi za evaluacioni set već leže u nekom sistemu, umesto u glavama dvojice veterana. Bol: ljudi koji taj posao rade danas mrze njegov najgori deo, a njihova motivacija je motor usvajanja koji nijedan plan uvođenja ne može da zameni.
Loši kandidati se prepoznaju jednako lako. Sve što je kritično po bezbednost ili usklađenost kao prvi projekat, i to ne zato što AI tu ne može da pomogne, nego zato što prvi projekat određuje budžet poverenja u organizaciji, a vidljiv rani neuspeh u procesu sa visokim ulogom potroši ga celog. Zatim sve sa manje od sto slučajeva mesečno, gde statistika nikada neće razdvojiti signal od sreće. I omiljeni demo koji je direktor video na konferenciji: sponzora ima, a obim, podatke i vlasnika retko. Uzmite radije dosadan proces velikog obima koji svi mrze.
Sprint izvodljivosti, korak po korak
Dvonedeljni sprint kojim otvaramo svaki AI angažman ima fiksan oblik, a svaki korak u njemu postoji zato što je nekoga opeklo kada ga je preskočio. Prvi i drugi dan: skupljamo evaluacioni set, sto do dvesta stvarnih slučajeva uzorkovanih iz živog obima, uz ljude iz operative koji pokazuju koji su teški i zašto. Ne one koje sponzor prosledi, nego one kojih se tim pribojava. Treći i četvrti dan: merimo ljudsku osnovu. Koliko zadatak traje danas, koliko košta i kolika je trenutna stopa grešaka? Bez tog broja pilot kasnije ne može ništa da dokaže.
Srednja nedelja: puštamo modele kandidate na evaluacioni set i pravimo taksonomiju grešaka, dakle ne samo “87% tačnosti” nego kojih 13% pada i da li se promašaji grupišu negde jeftino (retki tipovi dokumenata koje možete proslediti ljudima) ili negde fatalno (slučajevi najveće vrednosti). Poslednji dani: računamo jediničnu ekonomiju, dakle trošak po slučaju pri produkcijskom obimu zajedno sa ljudskom proverom koju rutiranje po pouzdanosti pokreće, i pišemo go/no-go memo. Otprilike trećina naših sprintova završi sa “no-go”, a ti memoi su klijentima uštedeli više novca od nekih sistema koje smo isporučili.
Tri koja su uspela
Pregled ugovora u advokatskoj kancelariji. Projektni zadatak je imenovao jedan broj: vreme prve provere. Evaluacioni set je napravljen od ranijih ugovora same kancelarije, uključujući i one neuredne, i ocenjen prema ispravkama koje su partneri ranije unosili. Advokati su za svaku klauzulu videli pouzdanost modela i mogli su da odbiju predlog jednim klikom, a odbijanja su se vraćala u evaluaciju. Usvajanje niko nije naredio: dogodilo se zato što je alat skratio najzamorniji deo posla.
Trijaža izuzetaka kod trgovca. Umesto da model cilja ceo tok porudžbina, uperen je samo u izuzetke, 4% porudžbina koje su jele 60% vremena tima. Rutiranje po pouzdanosti je značilo da model rešava rutinske izuzetke, a čudne prosleđuje dalje, pa se nikome posao nije promenio osim njegovog najgoreg sata.
Prognoza tražnje ugrađena u planiranje. Prethodni “AI dashboard” niko nije otvarao godinu dana. Nova verzija je prognozu stavila unutar alata za planiranje, u sam trenutak u kome se obaveza preuzima, uz pošteno prikazan opseg greške modela. Planeri su je slobodno ispravljali, a stopa tih ispravki postala je metrika usvajanja i padala je iz meseca u mesec.
Vredi pogledati šta ova tri primera dele. Nijedan nije uperio AI u ceo posao, nego svaki u najgori deo jednog posla. Sva tri su nesigurnost pokazivala umesto da je kriju, pa su ljudi mogli da kalibrišu poverenje umesto da ga izgube. I u sva tri je metrika pripadala ljudima koji posao rade; nijedna nije živela na slajdu. Obrazac je gotovo neprijatno jednostavan, samo se retko sledi, jer “transformisaćemo odeljenje” zvuči bolje na kickoff sastanku od “popravićemo najgori sat u utorak”.
Rutiranje po pouzdanosti, obrazac zbog kog AI stigne u produkciju
Ako jedan inženjerski obrazac deli isporučene sisteme od odloženih, onda je to ovaj. Svaki izlaz modela nosi signal pouzdanosti, a sistem po tom signalu rutira. Visoka pouzdanost ide pravo kroz, uz zapis u logu. Srednja ide u red za ljudsku proveru, unapred popunjena, sa jednim tasterom za odobrenje. Niska, ili tip slučaja koji evaluacioni set nikada nije video, ide u potpunu eskalaciju uz označenu rupu. Pragovi su poslovne odluke, a ne tehničke: oni kodiraju koliko greška košta, pa se razlikuju kod marketinškog nacrta i kod naloga za plaćanje.
Rutiranje radi tri posla odjednom. Ograničava domet greške modela, što je ono zbog čega se sistem može odbraniti pred komitetom za rizik. Kao nusproizvod normalnog rada proizvodi označene podatke za treniranje, pa svako ljudsko odobrenje ili ispravka izoštrava sledeći krug evaluacije. I usvajanju daje nagib: tim gleda kako mašina zarađuje poverenje slučaj po slučaj, umesto da mu ga daje unapred. Sistemi uvedeni ovako vremenom postaju sve autonomniji, uz dokaz na svakom koraku, dok sistemi uvedeni kao “potpuno automatizovani” budu isključeni pri prvoj vidljivoj grešci.
Koliko pilot treba da košta
Pilot koji ne može jeftino da padne neće smeti da padne uopšte: proglasiće ga uspehom, pa će tiho ostati nekorišćen, a to je gore. Zato struktura troška treba da prati strukturu odluke: sprint izvodljivosti meren u nedeljama, izrada za produkciju naplaćena po etapama od kojih svaka isporučuje nešto što se može pregledati, i troškovi rada modelirani po slučaju pre puštanja u rad, a ne otkriveni na prvoj fakturi. Potrošnja modela je varijabilni trošak, a procesi sa teškim dokumentima ili dugim kontekstima umeju da iznenade pri produkcijskom obimu, pa korak sa jediničnom ekonomijom u sprintu i postoji zato da se iznenađenje desi u tabeli.
Čuvajte se i suprotnog promašaja, pilota koji je premali da bi bilo šta dokazao. Vikend prototip na deset ručno odabranih slučajeva proizvodi tačno jedan artefakt: demo koji obmanjuje. Ako je proces dovoljno važan da se pilotira, dovoljno je važan i da mu se pošteno izmeri osnova i da se evaluira na stvarnom obimu. Minimalan pošten pilot je manji nego što se većina kompanija plaši, a veći od hakatona: nedelje umesto dana i stotine slučajeva umesto deset.
Šta meriti posle puštanja u rad
Metrika pilota odgovara na pitanje da li je radilo u prvom mesecu, a produkciji treba dashboard koji odgovara na pitanje da li i dalje radi u dvanaestom. Zanimljivi brojevi su pritom bihevioralni. Stopa ručnih ispravki: pad je znak zdravlja, a rast znak da nešto klizi, bilo u podacima, u modelu ili u poverenju tima. Struktura eskalacija: ako ljudski red raste, ili se obim pomerio ili ga model više ne pokriva. Jedinični trošak po slučaju, jer se i cene modela i obrasci korišćenja pomeraju. I tačnost na rotirajućem uzorku živih slučajeva, iznova ocenjenom kroz eval harness, jer svet u kome je model meren prošle godine nije svet u kome danas radi.
To je ujedno i pošten odgovor na pitanje kada je AI projekat gotov: nikada sasvim, ali je tekući trošak mali, budžetiran i dosadan, tačno kao održavanje bilo kog drugog produkcijskog sistema. Ono što nije prihvatljivo jeste alternativa za koju se odlučila većina propalih uvođenja: isporuči, prestani da meriš, pa od besnog klijenta saznaj da model tiho greši još od marta.
Dajte brojevima ritual, inače neće preživeti kvartal. Dovoljan je mesečni sastanak od trideset minuta, na kome sede vlasnik procesa i jedan inženjer sa dashboardom pred sobom: šta se pomerilo, šta je odlutalo, koje su eskalacije nove i koje se jedno poboljšanje uzima za naredni mesec. Ritual je važniji od alata, jer dashboard koji niko nije zadužen da otvori ostaje samo screenshot sa troškovima hostinga. I zapišite šta je na kom sastanku odlučeno, jer trećeg puta kada menjate model ili pomerate prag upravo taj zapis pravi razliku između institucije koja uči i tima koji dvaput pogađa isto.
Kontrolna lista
Jedna metrika, imenovana u projektnom zadatku, koja može vidljivo da padne. Evaluacioni set napravljen od vaših najružnijih stvarnih slučajeva, nikako od najlepših. Vlasnik procesa koji ga želi, a ne sponzor koji ga finansira. Izlaz koji se pojavljuje unutar alata u kome se odluka donosi, nikada u još jednom tabu. Bezbednost i usklađenost u sobi već prve nedelje. Rutiranje ka ljudima po pouzdanosti od prvog dana, sa pragovima koje određuje cena greške. Sprint izvodljivosti pre izrade, da go/no-go odluka košta nedelje, a ne kvartale. I dashboard posle lansiranja koji neko zaista vodi. To je cela razlika između pilota i saopštenja za medije.