Cik precīza ir AI balstīta cigāru atpazīšana un kāpēc fotoattēlu identifikācijas skeneri bieži kļūdās?
Labāk nekā agrāk, sliktāk, nekā liecina mārketings. Fotoattēlu identifikācijas skeneris ir vairāki neuzticami signāli, kas balso vienlaicīgi: banderoles teksts, apvalka krāsa un tekstūra, vāciņa forma un izmēri. Katrs no tiem atsevišķi var maldināt. Kļūdas nav nejaušas. Tās koncentrējas ap bojātām banderolēm, vispārīgiem modeļu nosaukumiem un cigāriem, kuru vienīgais atsauces foto neatbilst tam, kas ir jūsu rokā.
Ko skeneris īsti redz?
Pavērsiet kameru pret cigāru, un tur nav tikai viena elementa, kas jāatpazīst. Tur ir četri slāņi, kas pārklājas viens ar otru, un darbojošai sistēmai jāizlasa tie visi un jāizlemj, cik lielā mērā uzticēties katram no tiem.
Uz banderoles ir iespiests vai reljefs teksts — parasti tas ir spilgtākais signāls, ja vien tas ir salasāms. Apvalkam ir krāsa un virsmas tekstūra, kas sašaurina toņa saimi — Konektikutas tipa apvalka lapa neizskatās neko līdzīgi tumšam, eļļainam maduro, taču daudzi toņi ir pietiekami tuvu viens otram, lai apgaismojums vien mainītu klasifikāciju. Vāciņš un kopējais siluets sašaurina loku līdz konkrētam formātam (vitolai) — taisnsānu parejo izskatās citādi nekā konisks figurado. Bet izmēri — apjoms un garums — vēl vairāk sašaurina kandidātu loku tajā līnijā, uz kuru jau norādījuši pārējie signāli.
Neviens no šiem četriem signāliem nav pietiekami uzticams, lai darbotos viens pats. Sistēma, kas strādā, apvieno tos visus un ļauj katram koriģēt pārējos. Kad cilvēki saka, ka skeneris "kļūdījās", parasti tas nozīmē, ka viens signāls bijis spēcīgs un pārliecinošs, bet kļūdains, un neviens cits signāls to nav noķēris.
Salīdzināšana ar reālu katalogu ir arī cita veida uzdevums nekā fotoattēla klasificēšana izolēti. Paradigm katalogā ir 11 519 cigāru, un galu galā katrs no šiem četriem signāliem jāpārbauda pret reāliem ierakstiem, nevis tikai jāatpazīst kā "maduro robusto", kas gan sašaurina loku, bet neko konkrēti neidentificē.
Kāpēc banderoles teksts tik bieži nesniedz rezultātu?
Banderoles teksts izskatās pēc vienkāršākās daļas. Parasti tā tas nav. Banderole aptin cilindru, tāpēc kamera to fotografē izliektu, un tekstatpazīšana, kas galvenokārt trenēta uz plakaniem lapaspusēm, ar izliektu tekstu tiek galā sliktāk, nekā vairums cilvēku sagaidītu. Folijas banderoles rada atspīdumu, kas atkarībā no gaismas leņķa var "norīt" veselus burtus. Banderolēm, kas pavadījušas laiku kabatā vai ceļojuma futrālī, veidojas krokas, skrāpējumi vai daļēja atlīmēšanās, un daļēji aizsegts vārds var izlasīties kā pavisam cits vārds, nevis tas, kas patiesībā uzdrukāts.
Un tad ir problēma, kam nav nekāda sakara ar attēla kvalitāti: diezgan daudziem cigāriem vienkārši nav atšķirīgu nosaukumu, ko lasīt. Identifikācijas pieeja, kas balstīta tikai uz banderoli, cieš neveiksmi diezgan paredzamā veidā, un viens no lielākajiem iemesliem ir tas, ka daži produkti nosaukti ar tik vispārīgiem vārdiem, ka pat perfekta teksta izgūšana joprojām neatklāj, kuru tieši cigāru jūs turat rokā.
Ko īsti nozīmē 13,3% vispārīgo nosaukumu problēma?
No 11 519 cigāru kataloga 13,3% ierakstu modeļa nosaukumi veidoti pilnībā no vispārīgiem vārdiem — terminiem, kas apraksta kategoriju, nevis identificē konkrētu produktu. Skeneris, kas ar pilnīgu precizitāti izlasītu katru burtu uz banderoles, tomēr nesastaptu neko atšķirīgu, ar ko to salīdzināt, jo paši vārdi nepieder vienam konkrētam cigāram vairāk nekā jebkuram citam.
Tāpēc banderoles teksts nevar būt visa sistēma, pat ja fotoattēls ir perfekts. Teksta salīdzināšanai vajag ar ko salīdzināt, un aptuveni katram astotajam cigāram reālā katalogā tā nav.
Kāpēc apvalka krāsa un forma nevar aiznest visu ceļu līdz galam?
Apvalks un forma izskatās pēc tā, ka tiem vajadzētu būt iecietīgākiem signāliem, jo neviens no tiem nav atkarīgs no salasāma apdrukājuma. Praksē tie ir vienkārši sarežģīti citā veidā.
Toņa klasifikācija mainās atkarībā no mitruma. Laika gaitā eļļas paceļas uz apvalka virsmas un maina to, kā gaisma no tā atstarojas, un lapa, kas fotografēta siltā telpas apgaismojumā (ar zemāku krāsu temperatūru nekā dienasgaisma), izskatās par vairākiem toņiem tumšāka nekā tā pati lapa ārā. Formas klasifikācija sastopas ar milzīgo daudzumu vitolu saimju, kas no viena skata leņķa izskatās gandrīz identiskas. Apritē ir desmitiem nosaukto formu un izmēru, un vairāki no tiem atšķiras galvenokārt ar sašaurinājuma leņķi vai vāciņa stilu, ko telefona kamera nofiksē neviendabīgi atkarībā no attāluma un kadrējuma.
Neviens no šiem faktiem nav iemesls atteikties no šī signāla. Tas ir iemesls sagaidīt, ka tam vajadzīga īsta, mērķtiecīga inženierija, nevis viens plašs risinājums. Paradigm vāciņa formas klasifikators uzlaboja precizitāti no 78,6% līdz 91,9% reālos produkcijas skenējumos pēc labojuma, kas balstīts uz divām konkrētām mērītām īpašībām, nevis pilnīgu modeļa maiņu — tas liecina, ka formas atpazīšana labāk reaģē uz šauru, rūpīgu koriģēšanu nekā uz lielāku, vispārīgāku modeli. Ko apvalks un forma godīgi var pastāstīt, pirms vēl esat cigāru aizdedzinājis, ir saistīts, taču atsevišķs jautājums, kas ir pelnījis savu atbildi.
Kā man vērtēt jebkuras cigāru lietotnes precizitātes apgalvojumu?
Lielākā daļa publicēto precizitātes skaitļu apraksta testa kopu: atlasītu paketi tīru, labi apgaismotu atsauces fotoattēlu, kas izvēlēti tāpēc, ka tie labi fotografējas. Šis skaitlis gandrīz neko nepasaka par to, kas notiek, kad stāvat nevienmērīgā apgaismojumā ar banderoli, kas pusē nodilusi.
Noderīgāks skaitlis ir tāds, kas mērīts reālos produkcijas skenējumos — īstos fotoattēlos, ko īsti cilvēki uzņēmuši īstos apstākļos, nevis salikts atskaites punktu kopums, lai izskatītos labi. Tas ir mazāks pieejamo piemēru skaits, jo tas prasa faktiski kaut ko palaist un mērīt, kas notiek pēc tam, nevis vienreiz uzrādīt laboratorijas rezultātu un doties tālāk.
| Jautājums, ko uzdot | Kāpēc tas ir svarīgi |
|---|---|
| Mērīts uz testa kopas vai uz reāliem skenējumiem? | Testa kopa ir daudz "tīrāka" nekā realitāte |
| Viens signāls vai vairāki apvienoti? | Vienu signālu izmantojoša sistēma pārmanto tieši šī signāla kļūdas |
| Vai norādīts, kā tā rīkojas ar bojātu vai folijas atspīduma pārklātu banderoli? | Ja banderoles teksts ir visa sistēma, tieši šeit tā salūst |
| Vai skaitlis ir datēts, vai tas ir vienreizējs apgalvojums? | Modeļi un katalogi mainās; pagājušā gada skaitlis var vairs neatbilst |
Ja lietotne nespēj atbildēt uz pirmajiem diviem jautājumiem, uztveriet jebkuru virsraksta procentu kā mārketingu, nevis mērījumu.
Īsumā
- Skeneris nolasa četrus atsevišķus signālus — banderoles tekstu, apvalka krāsu, vāciņa formu un izmērus —, un neviens no tiem atsevišķi nav uzticams.
- Izliekta folija, atspīdumi, krokas un nodilums ir iemesls, kāpēc banderoles teksts kļūdās biežāk, nekā daudzi sagaida.
- Aptuveni katram astotajam cigāram (13,3%) reālā katalogā ir nosaukums, kas pārāk vispārīgs, lai teksta salīdzināšana to atrisinātu, neatkarīgi no fotoattēla kvalitātes.
- Formas un krāsas atpazīšana uzlabojas ar mērķtiecīgiem, mērītiem labojumiem: divu īpašību korekcija uzlaboja vienu reālu klasifikatoru no 78,6% līdz 91,9%.
- Pirms uzticaties precizitātes skaitlim, pajautājiet, vai tas iegūts no reāliem skenējumiem vai no tīras testa kopas.