Obrazac je toliko dosledan da je gotovo dosadan. Kompanija pokrene AI pilot. Demo je impresivan. Svi klimaju glavom. Šest meseci kasnije pilot je tiho odložen, stavka u budžetu nestaje, a organizacija zaključuje da “AI još nije spreman za našu industriju”. Model retko kada jeste bio problem. Dizajn pilota jeste.
Istraživanja u industriji uporno smeštaju udeo AI pilota koji nikada ne stignu do produkcije negde između sedamdeset i devedeset posto, a naše iskustvo sa preuzimanjem zaglavljenih pilota kaže da su otprilike u pravu. Ono što istraživanja ne kažu jeste da su ta gašenja predvidiva. Iste tri greške u dizajnu objašnjavaju najveći deo groblja — i sve tri se vide već u prvoj nedelji pilota, mnogo pre nego što ijedan model dobije priliku da podbaci.
Tri načina na koja piloti umiru
Smrt od nedostatka metrike.Pilot je pokrenut da “istraži mogućnosti AI-ja” — što znači da niko nije definisao broj koji treba da pomeri. Bez metrike nema ciljne linije; bez ciljne linije, revizija budžeta ga podrazumevano gasi. Pilot treba da bude eksperiment sa hipotezom: “ovaj model može da prepolovi vreme prve provere pri istoj tačnosti”. Prošao ili pao, naučili ste nešto što se može budžetirati.
Znak prepoznavanja je u jeziku same povelje projekta. “Istražiti”, “proceniti potencijal”, “izgraditi kapacitet u oblasti” — to su formulacije koje ne mogu da padnu, a ono što ne može da padne ne može ni da uspe. Uporedite: “smanjiti medijanu vremena obrade izuzetka sa 40 na ispod 15 minuta, mereno na živom obimu, do kraja drugog kvartala”. Ta rečenica može da izgubi. Baš zato je vredna finansiranja kada pobedi.
Smrt od demo podataka. Pilot je radio na čistim, probranim primerima. Produkcija radi na skeniranim faksovima, prosleđenim email nizovima i onom jednom dobavljaču koji i dalje šalje TIFF-ove. Jaz između tačnosti na demou i tačnosti u produkciji je mesto gde poverenje umire — a kada operateri jednom prestanu da veruju alatu, nijedno poboljšanje tačnosti ih ne vraća. Rešenje je neglamurozno: skup za evaluaciju gradite prvo od svojih najružnijih stvarnih slučajeva.
Postoji i dublji razlog zbog kog ovo ubija pilote: jaz demo podataka se ne pokazuje kao jedan otkaz, nego kao erozija. Alat je u pravu na lakim slučajevima — koje bi tim ionako rešio — a greši na teškim, a baš tu su pomoć i tražili. Operateri brzo urade tu računicu. U roku od mesec dana alat dobije nadimak, i nadimak nije od milja.
Smrt od nedostatka vlasnika. Pilot je pripadao timu za inovacije; proces je pripadao operacijama. Kada se pilot završio, niko čiji bonus zavisi od tog procesa nije bio odgovoran za njegovo usvajanje. Piloti preživljavaju kada ih traži vlasnik procesa — a ne sponzor.
Još dva načina otkazivanja zaslužuju pomen. Smrt od omotača: pilot živi u zasebnom tabu, sa zasebnom prijavom, u zasebnom prozoru — a svaka promena konteksta koju traži je mala carina na usvajanje. Ako se izlaz modela ne pojavi unutar alata u kome se odluka donosi, konsultovaće ga nedelju dana, pa zaboraviti. I smrt od zakasnelog upravljanja: bezbednost, pravni tim i compliance čuju za pilot u četvrtom mesecu, kada im je jedini preostali potez da ga zaustave. Donesite im dijagram toka podataka već u prvoj nedelji i postaju saradnici; iznenadite ih i postaju, sasvim opravdano, zid.
Pilot nije mali demo. To je mali produkcijski sistem — sa metrikom, stvarnim podacima i vlasnikom.
Kako izabrati proces koji može da ponese pilot
Polovina uspeha pilota odluči se pre nego što je ijedan dobavljač pozvan — u izboru procesa. Dobri kandidati dele četiri svojstva. Obim: zadatak se dešava stotinama puta mesečno, pa su dobici merljivi i signal se akumulira. Podnošljivost provere: čovek može jeftino da proveri izlaz — sažimanje, klasifikacija, ekstrakcija, prvi nacrt — za razliku od zadataka gde provera košta koliko i sam posao. Postojeći podaci: istorijski slučajevi potrebni za skup za evaluaciju već leže negde u sistemu, a ne u glavama dvojice veterana. Bol: ljudi koji taj posao rade danas mrze njegov najgori deo, jer je njihova motivacija motor usvajanja koji nijedan plan uvođenja ne može da zameni.
Loši kandidati se jednako lako prepoznaju. Sve što je kritično po bezbednost ili usklađenost kao prvi projekat — ne zato što AI tu ne može da pomogne, nego zato što prvi projekat određuje budžet poverenja u organizaciji, a vidljiv rani neuspeh u procesu sa visokim ulogom potroši ga celog. Sve sa manje od sto slučajeva mesečno, gde statistika nikada neće razdvojiti signal od sreće. I omiljeni demo koji je direktor video na konferenciji, koji ima sponzorstvo, ali retko obim, podatke ili vlasnika. Uvek birajte dosadan proces velikog obima koji svi mrze.
Sprint izvodljivosti, korak po korak
Dvonedeljni sprint kojim otvaramo svaki AI angažman ima fiksan oblik, i svaki korak postoji zato što je nekoga opekao kada ga je preskočio. Prvi i drugi dan: prikupljanje skupa za evaluaciju — sto do dvesta stvarnih slučajeva, uzorkovanih iz živog obima, uz operatere koji pokazuju koji su teški i zašto. Ne slučajevi koje sponzor prosledi; slučajevi kojih se tim pribojava. Treći i četvrti dan: merenje ljudske osnove. Koliko zadatak traje danas, koliko košta, kolika je trenutna stopa grešaka? Bez tog broja pilot kasnije ne može ništa da dokaže.
Srednja nedelja:pokrenuti modele kandidate nad skupom za evaluaciju i napraviti taksonomiju grešaka — ne samo “87% tačnosti” nego kojih 13% pada i da li se otkazi grupišu negde jeftino (retki tipovi dokumenata koje možete rutirati ljudima) ili negde fatalno (slučajevi najveće vrednosti). Poslednji dani:izračunati jediničnu ekonomiju — trošak po slučaju pri produkcijskom obimu, uključujući i ljudsku proveru koju će rutiranje po pouzdanosti pokrenuti — i napisati go/no-go memo. Otprilike trećina naših sprintova se završi sa “no-go”, a ti memoi su klijentima uštedeli više novca od nekih sistema koje smo isporučili.
Tri koja su uspela
Pregled ugovora u advokatskoj kancelariji. Povelja je imenovala jedan broj: vreme prve provere. Skup za evaluaciju je napravljen od sopstvenih ranijih ugovora kancelarije, uključujući i one neuredne, i ocenjen prema ranijim ispravkama samih partnera. Advokati su videli pouzdanost modela za svaku klauzulu i mogli su da odbiju predlog jednim klikom — odbijanja su se vraćala u evaluaciju. Usvajanje nije bilo naređeno; dogodilo se jer je alat skratio najzamorniji deo posla.
Trijaža izuzetaka kod trgovca. Umesto da se model uperi u ceo tok porudžbina, uperen je samo u izuzetke — 4% porudžbina koje su jele 60% vremena tima. Rutiranje po pouzdanosti značilo je da model rešava rutinske izuzetke, a čudne prosleđuje dalje. Nikome se posao nije promenio osim njegovog najgoreg sata.
Prognoza tražnje ugrađena u planiranje.Prethodni “AI dashboard” bio je ignorisan godinu dana. Ponovo napravljena verzija stavila je prognozu unutar alata za planiranje, u trenutak u kome se obaveza preuzima, uz pošteno prikazan opseg greške modela. Tim ju je slobodno pregazio — a sama stopa pregaženja postala je metrika usvajanja. Padala je iz meseca u mesec.
Obratite pažnju na ono što ova tri preživela dele. Nijedan nije uperio AI u ceo posao — svaki ga je uperio u najgori deo jednog. Sva tri su pokazivala svoju nesigurnost umesto da je kriju, što je ljudima omogućilo da kalibrišu poverenje umesto da ga izgube. I u sva tri, metrika je pripadala ljudima koji rade posao, a ne slajdu. Obrazac je gotovo neprijatno jednostavan; samo se retko sledi, jer “transformisaćemo odeljenje” zvuči bolje na kickoff sastanku od “popravićemo najgori sat u utorak”.
Rutiranje po pouzdanosti, obrazac koji AI čini isporučivim
Ako jedan inženjerski obrazac razdvaja isporučene sisteme od odloženih, to je ovaj. Svaki izlaz modela nosi signal pouzdanosti; sistem rutira po njemu. Visoka pouzdanost: pravo kroz, uz zapis u logu. Srednja: u red za ljudsku proveru, unapred popunjeno, jedan taster za odobrenje. Niska, ili tip slučaja koji eval skup nikada nije video: potpuna eskalacija, uz označavanje rupe. Pragovi su poslovne, a ne tehničke odluke — oni kodiraju koliko greška košta, i razlikuju se između marketinškog nacrta i naloga za plaćanje.
Rutiranje radi tri posla odjednom. Ograničava domet greške modela, što je ono što sistem čini odbranjivim pred komitetom za rizik. Proizvodi označene podatke za treniranje kao nusproizvod normalnog rada — svako ljudsko odobrenje ili ispravka izoštrava sledeći krug evaluacije. I daje usvajanju nagib: tim gleda kako mašina zarađuje poverenje slučaj po slučaj, umesto da se od njega traži da ga da unapred. Sistemi uvedeni ovako postaju sveautonomniji vremenom, uz dokaz na svakom koraku. Sistemi uvedeni kao “potpuno automatizovani” budu isključeni pri prvoj vidljivoj grešci.
Koliko pilot treba da košta
Pilot koji ne može jeftino da padne neće smeti da padne uopšte — biće proglašen uspehom i tiho ostati nekorišćen, što je gore. Struktura troška treba da prati strukturu odluke: sprint izvodljivosti meren u nedeljama, izrada za produkciju naplaćena po fazama od kojih svaka isporučuje nešto što se može pregledati, i troškovi rada modelirani po slučaju pre puštanja u rad, a ne otkriveni na prvoj fakturi. Potrošnja modela je varijabilni trošak, a procesi sa teškim dokumentima ili dugim kontekstima znaju da iznenade pri produkcijskom obimu; korak sa jediničnom ekonomijom u sprintu postoji upravo zato da se iznenađenje desi u tabeli.
Čuvajte se i suprotnog promašaja: pilota koji je premali da bi bilo šta dokazao. Vikend prototip na deset ručno odabranih slučajeva proizvodi tačno jedan artefakt — demo koji obmanjuje. Ako je proces dovoljno važan da se pilotira, dovoljno je važan i da mu se pošteno izmeri osnova i da se evaluira na stvarnom obimu. Minimalni pošten pilot je manji nego što se većina kompanija plaši i veći od hakatona: nedelje, a ne dani; stotine slučajeva, a ne deset.
Šta meriti posle puštanja u rad
Metrika pilota odgovara na pitanje “da li je radilo u prvom mesecu”. Produkciji treba dashboard koji odgovara na “da li i dalje radi u dvanaestom”, a zanimljivi brojevi su bihevioralni. Stopa pregaženja: pad je zdravlje, rast je odstupanje — u podacima, u modelu ili u poverenju tima. Struktura eskalacija: ako ljudski red raste, ili se obim pomerio ili ga model više ne pokriva. Jedinični trošak po slučaju, jer se i cene modela i obrasci korišćenja pomeraju. I tačnost na rotirajućem uzorku živih slučajeva, iznova ocenjenom kroz eval harness, jer svet na kome je vaš model meren prošle godine nije svet u kome sada radi.
To je i pošten odgovor na pitanje “kada je AI projekat gotov”: nikada sasvim — ali je tekući trošak mali, budžetiran i dosadan, tačno kao održavanje bilo kog drugog produkcijskog sistema. Ono što nije prihvatljivo jeste alternativa koju je izabrala većina propalih uvođenja: isporuči, prestani da meriš, pa od besnog klijenta saznaj da model tiho greši još od marta.
Dajte brojevima ritual, inače neće preživeti kvartal. Mesečna tridesetominutna revizija — vlasnik procesa, jedan inženjer, dashboard — sasvim je dovoljna: šta se pomerilo, šta je odlutalo, koje su eskalacije bile nove i koje jedno poboljšanje se uzima za naredni mesec. Ritual je važniji od alata, jer dashboard koji niko nije zadužen da gleda je samo screenshot sa troškovima hostinga. I zapišite šta je svaka revizija odlučila; treći put kada se model zameni ili prag pomeri, taj zapis je razlika između institucije koja uči i tima koji pogađa dvaput.
Kontrolna lista
Jedna metrika, imenovana u povelji, koja može vidljivo da padne. Skup za evaluaciju napravljen od vaših najružnijih stvarnih slučajeva, a ne od najlepših. Vlasnik procesa koji ga želi, a ne sponzor koji ga finansira. Izlaz isporučen unutar alata u kome se odluka donosi, nikada u još jednom tabu. Bezbednost i usklađenost u sobi već prve nedelje. Rutiranje ka ljudima po pouzdanosti od prvog dana, sa pragovima koje određuje cena greške. Sprint izvodljivosti pre izrade, da go/no-go odluka košta nedelje, a ne kvartale. I dashboard posle lansiranja koji neko zaista poseduje. To je cela razlika između pilota i saopštenja za medije.