Kako natančno je prepoznavanje cigar z umetno inteligenco in zakaj skenerji za prepoznavo po fotografiji pogosto zgrešijo?
Bolje, kot je bilo nekoč, a slabše, kot nakazuje marketing. Skener za prepoznavo po fotografiji je hkrati več nezanesljivih znakov, ki glasujejo skupaj: besedilo na trakici, barva in tekstura ovoja, oblika pokrovčka in dimenzije. Vsak posamezen znak lahko zavede sam po sebi. Napake niso naključne. Pojavljajo se predvsem pri poškodovanih trakicah, generičnih imenih modelov in cigarah, katerih edina referenčna fotografija ne ustreza tisti, ki jo držite v roki.
Kaj skener pravzaprav opazuje?
Ko kamero usmerite v cigaro, ni ene same stvari za prepoznavanje. Gre za štiri plasti, naložene ena na drugo, in delujoč sistem mora prebrati vse štiri ter se nato odločiti, koliko zaupati vsaki od njih.
Trakica nosi natisnjeno ali reliefno besedilo, običajno najglasnejši znak, kadar je berljiv. Ovoj ima barvo in površinsko teksturo, ki zoži družino odtenkov – list vrste Connecticut-shade je videti povsem drugače kot temen, oljnat maduro – vendar je veliko odtenkov dovolj blizu skupaj, da lahko že sama osvetlitev preklopi razvrstitev. Pokrovček in celotna silhueta zožita vitolo – ravnostranski parejo se bere drugače kot koničasti figurado. Dimenzije, obseg (ring gauge) in dolžina, pa nadalje zožijo kandidate znotraj linije, na katero so že pokazali drugi znaki.
Noben od teh štirih znakov ni dovolj zanesljiv, da bi deloval sam. Sistem, ki deluje, jih poganja skupaj in dovoli, da vsak popravlja druge. Ko ljudje rečejo, da je skener "zgrešil", se je običajno zgodilo, da je bil en znak močan, samozavesten in napačen, ničesar drugega pa ni ujelo napake.
Primerjava z resničnim katalogom je tudi povsem drugačen problem kot razvrščanje osamljene fotografije. Paradigm-ov lastni katalog vsebuje 11.519 cigar, in vsak od teh štirih znakov je treba na koncu preveriti ob dejanskih vnosih, ne le prepoznati kot "maduro robusto", kar zoži polje, ne da bi karkoli dejansko identificiralo.
Zakaj besedilo na trakici tako pogosto odpove?
Besedilo na trakici je videti kot lahek del. A po navadi ni. Trakica ovija cilindrično telo, zato jo kamera fotografira ukrivljeno, prepoznavanje besedila, ki je treniran večinoma na ravnih straneh, pa se pri ukrivljenem besedilu odreže slabše, kot bi si večina mislila. Folijske trakice dodajajo bleščanje, ki lahko požre cele črke, odvisno od kota svetlobe. Trakice, ki so preživele nekaj časa v žepu ali potovalnem etuiju, se nagubajo, opraskajo ali delno odlepijo, delno zakrita beseda pa se lahko prebere kot povsem druga beseda od tiste, ki je dejansko natisnjena.
Nato je tu še težava, ki nima nič opraviti s kakovostjo slike: precejšen delež cigar preprosto nima izrazitih imen za branje. Pristop, ki temelji zgolj na branju trakice, odpove na precej predvidljive načine, eden največjih pa je, da so nekateri izdelki poimenovani z besedami, tako splošnimi, da tudi popolna ekstrakcija besedila ne pove, katero konkretno cigaro imate v roki.
Kaj pravzaprav pomeni problem 13,3-odstotnega deleža generičnih imen?
V katalogu z 11.519 cigarami ima 13,3 % vnosov imena modela, sestavljena izključno iz generičnih besed – izrazov, ki opisujejo kategorijo, ne pa identificirajo izdelka. Skener, ki bi z absolutno natančnostjo prebral vsak znak na trakici, bi še vedno nimel ničesar posebnega, s čimer bi lahko primerjal, ker same besede ne pripadajo eni cigari bolj kot kateri koli drugi.
Zato besedilo trakice ne more biti celoten sistem, tudi če je fotografija popolna. Ujemanje besedila potrebuje nekaj, s čimer se primerja, in v resničnem katalogu ga približno vsaka osma cigara ne omogoča.
Zakaj barva ovoja in oblika ne moreta same odnesti preostanka naloge?
Videti je, kot da bi morala biti ovoj in oblika bolj prizanesljiva, saj nobeden od njiju ni odvisen od berljivega tiska. V praksi sta le težka na drugačen način.
Razvrščanje odtenkov niha z vlažnostjo. Olja se sčasoma dvignejo na površino ovoja in spremenijo, kako se od nje odbija svetloba, list, fotografiran pod toplo notranjo svetlobo, nižje na lestvici barvne temperature kot dnevna svetloba, pa se prebere za več odtenkov temnejši, kot enak list na prostem. Razvrščanje oblike se sooča z ogromnim številom družin vitol, ki so si iz enega kota videti skoraj enake. V obtoku je na desetine poimenovanih oblik in velikosti, več parov med njimi pa se razlikuje predvsem po kotu koničanja ali stilu pokrovčka, ki ga telefonska kamera zajame neenotno, odvisno od razdalje in kadriranja.
Nič od tega ni razlog, da bi znak opustili. Je pa razlog, da pričakujemo, da potrebuje pravi, ciljno usmerjen inženiring, ne enega širokega prehoda. Paradigm-ov lastni klasifikator oblike pokrovčka je s 78,6 % natančnosti napredoval na 91,9 % pri skeniranjih v produkciji, po popravku, zgrajenem okoli dveh konkretnih izmerjenih značilnosti, ne s celovito zamenjavo modela – kar dokazuje, da se prepoznavanje oblike bolj odziva na ozko, skrbno popravljanje kot na večji, splošnejši model. Kaj vam lahko ovoj in oblika pošteno povesta, še preden prižgete cigaro je sorodno, a ločeno vprašanje, vredno lastnega odgovora.
Kako naj berem trditev o natančnosti katere koli aplikacije za cigare?
Večina objavljenih številk o natančnosti opisuje testni nabor: izbrano paketo čistih, dobro osvetljenih referenčnih fotografij, izbranih ravno zato, ker se dobro fotografirajo. Ta številka vam pove skoraj nič o tem, kaj se zgodi, ko stojite v neenakomerni svetlobi s trakico, ki je napol obrabljena.
Bolj uporabna je številka, izmerjena na resničnih skeniranjih v produkciji – dejanskih fotografijah, ki so jih posneli resnični ljudje v resničnih pogojih, ne v laboratoriju sestavljenem tako, da izpade dobro. To je manjši vzorec primerov za preverjanje, ker zahteva, da izdelek dejansko izdate in nato merite, kaj se zgodi, namesto da enkrat poročate rezultat laboratorija in greste naprej.
| Vprašanje, ki si ga zastavite | Zakaj je pomembno |
|---|---|
| Izmerjeno na testnem naboru ali na resničnih skeniranjih? | Testni nabor je bistveno čistejši od resničnosti |
| En sam znak ali več kombiniranih? | Sistem z enim znakom podeduje točno njegove napake |
| Ali pove, kako obravnava poškodovano ali z bleščanjem folije prizadeto trakico? | Če je besedilo trakice cel sistem, se tu zlomi |
| Je številka datirana ali gre za enkratno trditev? | Modeli in katalogi se spreminjajo; lanska številka morda danes ne velja več |
Če aplikacija ne zna odgovoriti na prvi dve vprašanji, obravnavajte vsak naslovni odstotek kot marketing, ne kot meritev.
Kratka različica
- Skener prebere štiri ločene znake – besedilo trakice, barvo ovoja, obliko pokrovčka in dimenzije – in noben od njih sam po sebi ni zanesljiv.
- Ukrivljena folija, bleščanje, gubanje in obraba so razlog, da besedilo trakice odpove pogosteje, kot bi kdo pričakoval.
- Približno vsaka osma cigara (13,3 %) v resničnem katalogu ima ime, preveč generično, da bi ga ujemanje besedila lahko rešilo, ne glede na kakovost fotografije.
- Prepoznavanje oblike in barve se izboljšuje s ciljnimi, izmerjenimi popravki: popravek dveh značilnosti je en klasifikator v produkciji dvignil s 78,6 % na 91,9 %.
- Preden zaupate številki o natančnosti, vprašajte, ali izvira iz resničnih skeniranj ali iz čistega testnega nabora.