Kui täpne on tehisintellektil põhinev sigarituvastus ja miks fotopõhised skannerid tihti eksivad?
Parem kui varem, kehvem kui turundus lubab. Fotopõhine skanner on mitu ebausaldusväärset signaali, mis hääletavad korraga: bändi tekst, ümbrislehe värv ja tekstuur, katte kuju ning mõõtmed. Igaüks neist võib üksinda eksitada. Vead ei ole juhuslikud. Need koonduvad kahjustatud bändide, üldnimeliste mudelinimede ja selliste sigarite ümber, mille ainus võrdlusfoto ei vasta sellele, mis su käes tegelikult on.
Mida skanner tegelikult vaatab?
Suuna kaamera sigari poole ja tegelikult pole seal ühte asja, mida tuvastada. Seal on neli üksteise peale kihistunud tunnust ning toimiv süsteem peab kõiki neid lugema ja seejärel otsustama, kui palju igaüht usaldada.
Bänd kannab trükitud või reljeefset teksti – tavaliselt kõige valjem signaal, kui see on loetav. Ümbrislehel on värv ja pinnatekstuur, mis kitsendab tooniperekonda: Connecticut-tüüpi vari all kasvatatud leht ei näe üldse välja nagu tume õline maduro, kuid paljud toonid asuvad piisavalt lähestikku, et pelgalt valgustus võib klassifikatsiooni ümber pöörata. Kate ja üldine siluett kitsendavad vitolat – sirgete külgedega parejo näeb erinev välja kui koonuseline figurado. Ning mõõtmed, ringmõõt ja pikkus, kitsendavad kandidaate veelgi selle sarja piires, kuhu teised signaalid juba osutasid.
Ükski neist neljast pole üksinda piisavalt usaldusväärne. Toimiv süsteem käitab neid koos ja laseb neil üksteist korrigeerida. Kui inimesed ütlevad, et skanner "eksis", siis tavaliselt juhtus see, et üks signaal oli tugev, kindel ja vale, ning miski muu ei märganud seda.
Sobitamine päris kataloogiga on ka hoopis teine probleem kui foto eraldiseisev klassifitseerimine. Paradigmi enda kataloogis on 11 519 sigarit ning kõik need neli signaali tuleb lõpuks kontrollida päris kirjete vastu, mitte lihtsalt tuvastada kui "maduro robusto", mis kitsendab välja, aga ei tuvasta midagi.
Miks bändi tekst nii tihti alt veab?
Bändi tekst tundub lihtne osa. Tavaliselt see nii ei ole. Bänd on ümber silindri keritud, seega pildistab kaamera seda kõverdunult, ja tekstituvastus, mis on treenitud enamasti tasastel lehtedel, toimib kõverjoonelise tekstiga halvemini, kui enamik inimesi arvaks. Fooliumist bändid lisavad helki, mis neelab tähti olenevalt valguse nurgast. Bändid, mis on veetnud aega taskus või reisikarbis, muutuvad kortsuliseks, kulunuks või osaliselt maha koorunuks, ning osaliselt varjatud sõna võib lugeda hoopis teisiti kui trükitud sõna tegelikult on.
Ning siis on probleem, millel pole pildikvaliteediga midagi pistmist: päris paljudel sigaritel lihtsalt puuduvad eristuvad nimed, mida lugeda. Ainult bändile tuginev tuvastusviis eksib üsna ennustataval moel ning üks suurimaid põhjusi on see, et osa tooteid on nimetatud sõnadega, mis on nii üldised, et isegi täiuslik teksti tuvastamine ei ütle sulle ikkagi, millist konkreetset sigarit sa käes hoiad.
Mida tähendab tegelikult 13,3% üldnimede probleem?
11 519 sigarist koosnevas kataloogis on 13,3% kirjetest mudelinimed, mis koosnevad täielikult üldsõnadest – terminitest, mis kirjeldavad kategooriat, mitte ei tuvasta toodet. Skanner, mis loeks bändilt iga tähe täieliku täpsusega, ei omaks ikkagi midagi eristuvat, mille vastu sobitada, sest sõnad ise ei kuulu ühele sigarile rohkem kui teisele.
Seepärast ei saa bändi tekst olla kogu süsteem isegi täiusliku foto korral. Teksti sobitamine vajab midagi, mille vastu sobitada, ja umbes iga kaheksas sigar päris kataloogis ei anna selleks midagi.
Miks ei suuda ümbrislehe värv ja kuju ülejäänud teed katta?
Ümbrisleht ja kuju tunduvad justkui peaksid olema leebemad, kuna kumbki ei sõltu loetavast trükist. Praktikas on need lihtsalt teistmoodi keerulised.
Tooni klassifikatsioon triivib koos niiskusega. Õlid tõusevad aja jooksul ümbrislehe pinnale ja muudavad, kuidas valgus sellelt peegeldub, ning soojas sisevalguses pildistatud leht, mis jääb värvitemperatuuri skaalal päevavalgusest madalamale, näib mitu tooni tumedam kui sama leht õues. Kuju klassifikatsioon põrkub käibel olevate vitolaperede suure arvuga, mis näevad ühest nurgast peaaegu identsed välja. Käibel on kümneid nimetatud kujusid ja suurusi ning mitmed paarid erinevad peamiselt koonusnurga või katte stiili poolest, mida telefonikaamera jäädvustab ebajärjekindlalt olenevalt kaugusest ja kaadrist.
Kumbki neist pole põhjus signaalist loobuda. Küll aga on see põhjus oodata, et see vajab tõelist, sihitud tehnilist tööd, mitte üht laiaulatuslikku katset. Paradigmi enda katte-kuju klassifikaator liikus 78,6%-lt 91,9%-le täpsuseni tootmiskeskkonna päris skannidel pärast parandust, mis ehitati kahe konkreetse mõõdetud tunnuse ümber, mitte täieliku mudelivahetuse tulemusel – see on tõestus, et kuju tuvastus reageerib kitsale, hoolikale korrigeerimisele rohkem kui suuremale, üldisemale mudelile. Mida ümbrisleht ja kuju sulle ausalt öelda saavad enne, kui sigar üldse süüdata jõuad, on seotud, kuid eraldi küsimus, mis väärib omaette vastust.
Kuidas peaksin suhtuma mis tahes sigariäpi täpsusväidetesse?
Enamik avaldatud täpsusnumbreid kirjeldab testkogumit: valitud partiid puhtaid, hästi valgustatud võrdlusfotosid, mis on valitud sellepärast, et need pildistuvad hästi. See number ei ütle sulle peaaegu midagi selle kohta, mis juhtub, kui seisad ebaühtlases valguses bändiga, mis on pooleldi kulunud.
Kasulikum number on see, mis on mõõdetud päris tootmiskeskkonna skannidelt – päris fotod, mille on teinud päris inimesed päriselus tingimustes, mitte hästi väljanägemiseks kokku pandud võrdluskogum. See on väiksem valim, mille vastu kontrollida, kuna see eeldab, et miski on tegelikult kasutusele võetud ja tulemusi hiljem mõõdetud, mitte laborit tulemust ühekordselt raporteeritud ja edasi liigutud.
| Küsimus, mida esitada | Miks see oluline on |
|---|---|
| Mõõdetud testkogumil või päris skannidel? | Testkogum on tegelikkusest suurel määral puhtam |
| Üks signaal või mitu koos? | Ühesignaalne süsteem pärib selle signaali täpsed veamustrid |
| Kas öeldakse, kuidas käsitletakse kahjustatud või fooliumi helki peegeldavat bändi? | Kui bändi tekst on kogu torustik, siis just seal see katki läheb |
| Kas number on dateeritud või ühekordne väide? | Mudelid ja kataloogid muutuvad; eelmise aasta number ei pruugi enam kehtida |
Kui äpp ei suuda esimesele kahele küsimusele vastata, käsitle iga pealkirja-protsenti pigem turundusena kui mõõtmisena.
Lühikokkuvõte
- Skanner loeb nelja eraldi signaali – bändi tekst, ümbrislehe värv, katte kuju ja mõõtmed –, ning ükski neist pole üksinda usaldusväärne.
- Kõverdunud foolium, helk, kortsumine ja kulumine on põhjus, miks bändi tekst eksib sagedamini, kui inimesed arvaksid.
- Umbes iga kaheksas sigar (13,3%) päris kataloogis kannab nime, mis on tekstituvastuse jaoks liiga üldine, olenemata foto kvaliteedist.
- Kuju- ja värvituvastus paranevad sihitud, mõõdetud parandustega: kahe tunnuse korrigeerimine tõstis ühe päris klassifikaatori täpsuse 78,6%-lt 91,9%-le.
- Enne täpsusnumbri usaldamist küsi, kas see pärineb päris skannidelt või puhtast testkogumist.