Koliko je precizno AI prepoznavanje cigara i zašto skeneri za identifikaciju po fotografiji često greše?
Bolje nego ranije, lošije nego što marketing sugeriše. Skener za identifikaciju po fotografiji je nekoliko nepouzdanih signala koji glasaju istovremeno: tekst na bandi, boja i tekstura omotača, oblik kape i dimenzije. Svaki od njih sam po sebi može da zavede. Greške nisu nasumične. One se gomilaju oko oštećenih bandi, generičkih naziva modela i cigara čija jedina referentna fotografija ne odgovara onoj koju držite u ruci.
U šta skener zapravo gleda?
Uperite kameru u cigaru i ne postoji samo jedna stvar koju treba prepoznati. Postoje četiri stvari naslagane jedna na drugu, a sistem koji radi mora da pročita sve njih i zatim odluči koliko da veruje svakoj od njih.
Banda nosi odštampan ili reljefan tekst, obično najglasniji signal kada je čitljiv. Omotač ima boju i teksturu površine koja sužava porodicu nijansi - list Connecticut-shade tipa ne liči nimalo na tamni, uljani maduro - ali mnoge nijanse su dovoljno blizu da samo osvetljenje može da promeni klasifikaciju. Kapa i opšta silueta sužavaju vitolu - parejo sa pravim stranicama izgleda drugačije od zašiljenog figurada. A dimenzije, obim prstena i dužina, dodatno sužavaju kandidate unutar linije na koju su već ukazali drugi signali.
Nijedan od ova četiri signala nije dovoljno pouzdan sam po sebi. Sistem koji funkcioniše pušta ih da rade zajedno i da jedan ispravlja druge. Kada ljudi kažu da je skener "pogrešio", obično se desilo da je jedan signal bio snažan, siguran i pogrešan, a ništa drugo to nije uhvatilo.
Poklapanje sa stvarnim katalogom je takođe potpuno drugačiji problem od klasifikovanja fotografije izolovano. Paradigm-ov sopstveni katalog sadrži 11.519 cigara, i svaki od ta četiri signala konačno mora biti provaren naspram stvarnih unosa, a ne samo prepoznat kao "maduro robusto", što sužava polje bez da bilo šta identifikuje.
Zašto tekst na bandi tako često ne uspeva?
Tekst na bandi izgleda kao lak deo. Obično nije. Banda je obavijena oko cilindra, pa je kamera fotografiše zakrivljenu, a prepoznavanje teksta trenirano uglavnom na ravnim stranicama lošije radi na zakrivljenom tekstu nego što većina ljudi očekuje. Folijaste bande dodaju odsjaj koji progutа cela slova u zavisnosti od ugla svetla. Bande koje su provele vreme u džepu ili putnoj kutiji postaju izgužvane, ogrebane ili delimično odlepljene, a delimično zaklonjena reč se može pročitati kao potpuno drugačija reč od one koja je zapravo odštampana.
Zatim postoji problem koji nema nikakve veze sa kvalitetom slike: pristojan broj cigara jednostavno nema prepoznatljiva imena za čitanje. Pristup identifikaciji isključivo preko bande otkazuje na dosta predvidiv način, i jedan od najvećih problema je to što su neki proizvodi nazvani rečima tako generičkim da ni savršena ekstrakcija teksta ne govori koju konkretnu cigaru držite.
Šta zapravo znači problem generičkih naziva od 13,3%?
U katalogu od 11.519 cigara, 13,3% unosa ima nazive modela sastavljene isključivo od generičkih reči - termina koji opisuju kategoriju umesto da identifikuju proizvod. Skener koji bi savršeno pročitao svako slovo na toj bandi i dalje ne bi imao ništa prepoznatljivo za poklapanje, jer same reči ne pripadaju jednoj cigari više nego bilo kojoj drugoj.
Zato tekst na bandi ne može biti ceo sistem, čak i sa savršenom fotografijom. Poklapanje teksta treba nešto sa čime da se poklapa, a približno jedna od osam cigara u stvarnom katalogu to ne pruža.
Zašto boja omotača i oblik ne mogu da nose ostatak posla?
Omotač i oblik izgledaju kao da bi trebalo da budu tolerantniji, jer nijedan od njih ne zavisi od čitljive štampe. U praksi su naprosto teški na drugi način.
Klasifikacija nijanse se menja sa vlažnošću. Ulja izlaze na površinu omotača tokom vremena i menjaju kako se svetlost odbija od nje, a list fotografisan pod toplim unutrašnjim svetlom, nižim na skali temperature boje nego dnevna svetlost, ispada za nekoliko nijansi tamniji nego isti list na otvorenom. Klasifikacija oblika se sudara sa čistim brojem porodica vitola koje izgledaju gotovo identično sa jednog ugla. Postoje desetine imenovanih oblika i veličina u upotrebi, i nekoliko parova se razlikuje uglavnom po uglu suženja ili stilu kape koji kamera telefona nekonzistentno hvata u zavisnosti od udaljenosti i kadriranja.
Nijedan od ova dva razloga nije razlog da se odustane od signala. To je razlog da se očekuje da im je potreban prav, ciljani inženjerski rad, a ne jedan širok potez. Paradigm-ov sopstveni klasifikator oblika kape je skočio sa 78,6% na 91,9% tačnosti na stvarnim produkcijskim skeniranjima nakon ispravke izgrađene oko dve konkretne merene karakteristike, a ne potpune promene modela, što je dokaz da prepoznavanje oblika reaguje na usku, pažljivu korekciju više nego na veći, opštiji model. Šta omotač i oblik iskreno mogu da vam kažu pre nego što uopšte pripalite cigaru je srodno, ali posebno pitanje koje zaslužuje svoj odgovor.
Kako da tumačim tvrdnju o tačnosti iz bilo koje aplikacije za cigare?
Većina objavljenih brojeva tačnosti opisuje testni skup: odabranu seriju čistih, dobro osvetljenih referentnih fotografija izabranih zato što se dobro fotografišu. Taj broj vam skoro ništa ne govori o tome šta se dešava kada stojite u neravnomernom svetlu sa bandom koja je upola odlepljena.
Korisniji broj je onaj mera na stvarnim produkcijskim skeniranjima - realnim fotografijama koje su snimili stvarni ljudi u stvarnim uslovima, a ne na benčmarku sastavljenom da izgleda dobro. To je manji skup primera za provaru, jer zahteva da se nešto zapravo pusti u rad i da se mere rezultati nakon toga, umesto da se jednom objavi rezultat iz laboratorije i prelazi dalje.
| Pitanje koje treba postaviti | Zašto je važno |
|---|---|
| Mereno na testnom skupu ili na stvarnim skeniranjima? | Testni skup je čistiji od stvarnosti u velikoj meri |
| Jedan signal ili nekoliko kombinovanih? | Sistem sa jednim signalom nasleđuje tačno te greške tog signala |
| Da li navodi kako obrađuje oštećenu ili odsjajnu foliju na bandi? | Ako je tekst na bandi ceo proces, tu se sve raspada |
| Je li broj datiran, ili je jednokratna tvrdnja? | Modeli i katalozi se menjaju; broj od prošle godine možda više ne važi |
Ako aplikacija ne može da odgovori na prva dva pitanja, tretirajte svaki istaknuti procenat kao marketing, a ne kao merenje.
Kratka verzija
- Skener čita četiri odvojena signala - tekst na bandi, boju omotača, oblik kape i dimenzije - i nijedan od njih sam po sebi nije pouzdan.
- Zakrivljena folija, odsjaj, izgužvanost i trošenje su razlog zašto tekst na bandi otkazuje češće nego što ljudi očekuju.
- Približno jedna od osam cigara (13,3%) u stvarnom katalogu ima naziv previše generički da bi ga poklapanje teksta rešilo, bez obzira na kvalitet fotografije.
- Prepoznavanje oblika i boje se poboljšava uz ciljane, merene ispravke: korekcija sa dve karakteristike pomerila je jedan stvarni klasifikator sa 78,6% na 91,9%.
- Pre nego što poverujete broju tačnosti, pitajte da li potiče sa stvarnih skeniranja ili sa čistog testnog skupa.