Kaip tiksliai dirbtinis intelektas atpažįsta cigarus ir kodėl nuotraukų skeneriai dažnai klysta?
Geriau, nei buvo, bet prasčiau, nei teigia rinkodara. Nuotraukų atpažinimo skeneris – tai keli nepatikimi signalai, balsuojantys vienu metu: juostelės tekstas, dangalo spalva ir tekstūra, dangtelio forma bei matmenys. Kiekvienas iš jų atskirai gali suklaidinti. Klaidos nėra atsitiktinės. Jos telkiasi aplink apgadintas juosteles, bendrinius modelių pavadinimus ir cigarus, kurių vienintelė turima nuotrauka neatitinka to, kas laikoma rankoje.
Į ką iš tikrųjų žiūri skeneris?
Nukreipus fotoaparatą į cigarą, atpažinti reikia ne vieną dalyką. Yra keturi vienas ant kito sudėti sluoksniai, ir veikianti sistema turi perskaityti juos visus, o tada nuspręsti, kiek kiekvienu iš jų pasitikėti.
Juostelė turi spausdintą arba reljefinį tekstą – dažniausiai tai stipriausias signalas, kai jis įskaitomas. Dangalas turi spalvą ir paviršiaus tekstūrą, kurios susiaurina atspalvių šeimą – šešėlyje auginto Connecticut lapo niekaip nesupainiosi su tamsiu, riebaluotu maduro, tačiau daugybė atspalvių yra taip artimi, kad vien apšvietimas gali apversti klasifikaciją. Dangtelis ir bendras siluetas susiaurina vitolos tipą – tiesiais šonais parejo skiriasi nuo siaurėjančio figurado. O matmenys – žiedo matas ir ilgis – dar labiau susiaurina kandidatus toje linijoje, į kurią jau nurodė kiti signalai.
Nė vienas iš šių keturių signalų nėra pakankamai patikimas veikti vienas. Veikianti sistema juos sujungia ir leidžia vienam koreguoti kitus. Kai žmonės sako, kad skeneris „suklydo“, dažniausiai reiškia, jog vienas signalas buvo stiprus, įtikinamas ir klaidingas, o niekas kitas to nepastebėjo.
Palyginimas su realiu katalogu taip pat yra kitokia problema nei izoliuotos nuotraukos klasifikavimas. „Paradigm“ paties katalogas turi 11 519 cigarus, ir kiekvienas iš keturių signalų galiausiai turi būti patikrintas su realiais įrašais, o ne tiesiog atpažintas kaip „maduro robusto“ – tai susiaurina lauką, bet nieko konkrečiai neidentifikuoja.
Kodėl juostelės tekstas taip dažnai klysta?
Juostelės tekstas atrodo kaip paprasčiausia dalis. Dažniausiai taip nėra. Juostelė apjuosia cilindrą, todėl fotoaparatas nufotografuoja ją lenktą, o tekstui atpažinti sukurtos sistemos, treniruotos daugiausia su plokščiais puslapiais, su lenktu tekstu susitvarko prasčiau, nei dauguma tikisi. Folijos juostelės prideda blizgesio, kuris, priklausomai nuo šviesos kampo, „praryja“ ištisas raides. Juostelės, praleidusios laiką kišenėje ar kelioninėje dėžutėje, susiraukšlėja, nusitrina arba dalinai nusilupa, o iš dalies užstotas žodis gali būti perskaitytas kaip visiškai kitas nei iš tikrųjų atspausdintas.
Be to, yra problema, visai nesusijusi su nuotraukos kokybe: nemažai cigarų tiesiog neturi savito, atpažįstamo pavadinimo. Vien tik juostele grįstas atpažinimo metodas klysta gana nuspėjamais būdais, ir viena iš didžiausių priežasčių – kai kurie produktai pavadinti tokiais bendriniais žodžiais, kad net tobulas teksto nuskaitymas nepasako, kurį konkretų cigarą laikote rankoje.
Ką iš tikrųjų reiškia 13,3 % bendrinių pavadinimų problema?
Iš 11 519 cigarų kataloge 13,3 % įrašų turi modelių pavadinimus, sudarytus vien iš bendrinių žodžių – terminų, apibūdinančių kategoriją, o ne identifikuojančių konkretų produktą. Skeneris, tobulai perskaitęs kiekvieną raidę toje juostelėje, vis tiek neturėtų nieko savito, su kuo lyginti, nes patys žodžiai priklauso ne vienam konkrečiam cigarui labiau nei bet kuriam kitam.
Štai kodėl juostelės tekstas negali būti visa sistema net esant tobulai nuotraukai. Teksto atpažinimui reikia su kuo lyginti, o realiame kataloge maždaug kas aštuntas cigaras tokios galimybės nesuteikia.
Kodėl dangalo spalva ir forma negali užbaigti likusio darbo?
Atrodo, kad dangalas ir forma turėtų būti atlaidesni signalai, nes nė vienas nepriklauso nuo įskaitomo spausdinimo. Praktiškai jie sunkūs, tik kitaip.
Atspalvio klasifikacija kinta priklausomai nuo drėgmės. Su laiku aliejai iškyla į dangalo paviršių ir keičia, kaip nuo jo atsispindi šviesa, o lapas, nufotografuotas šiltoje patalpos šviesoje, kurios spalvos temperatūra žemesnė nei dienos šviesos, atrodo keliais tonais tamsesnis nei tas pats lapas lauke. Formos klasifikacija susiduria su tuo, kad egzistuoja daugybė vitolų šeimų, iš vieno kampo atrodančių beveik identiškai. Apyvartoje yra dešimtys pavadintų formų ir dydžių, o kai kurios poros skiriasi daugiausia siaurėjimo kampu ar dangtelio stiliumi, kurį telefono kamera fiksuoja nenuosekliai, priklausomai nuo atstumo ir kadravimo.
Nė viena iš šių priežasčių nereiškia, kad reikia atsisakyti šio signalo. Tai reiškia, kad reikia tikros, tikslinės inžinerijos, o ne vieno plataus sprendimo. „Paradigm“ paties dangtelio formos klasifikatorius pagerėjo nuo 78,6 % iki 91,9 % tikslumo realiuose gamybiniuose nuskaitymuose, kai buvo pritaikytas taisymas, pagrįstas dviem konkrečiais išmatuotais požymiais, o ne visišku modelio pakeitimu – tai įrodo, kad formos atpažinimas geriau reaguoja į siaurą, kruopštų taisymą nei į didesnį, bendresnį modelį. Ką dangalas ir forma gali sąžiningai pasakyti dar prieš uždegant cigarą – tai susijęs, bet atskiras klausimas, vertas savo atsakymo.
Kaip vertinti bet kurios cigarų programėlės tikslumo teiginį?
Dauguma paskelbtų tikslumo skaičių apibūdina testinę imtį: parinktą švarių, gerai apšviestų nuorodinių nuotraukų partiją, atrinktą todėl, kad jos gerai fotografuojasi. Toks skaičius beveik nieko nepasako apie tai, kas atsitinka, kai stovite netolygioje šviesoje su per pusę nusitrynusia juostele.
Naudingesnis skaičius – tas, kuris išmatuotas su realiais gamybiniais nuskaitymais: tikromis nuotraukomis, kurias tikri žmonės daro tikromis sąlygomis, o ne su specialiai gerai atrodyti sudarytu etalonu. Tai mažesnis pavyzdžių kiekis, nes reikia iš tikrųjų paleisti produktą ir matuoti, kas vyksta vėliau, o ne vieną kartą pateikti laboratorinio testo rezultatą ir tuo pasitenkinti.
| Ką paklausti | Kodėl tai svarbu |
|---|---|
| Matuota testinėje imtyje ar realiuose nuskaitymuose? | Testinė imtis daug švaresnė nei realybė |
| Vienas signalas ar keli sujungti? | Vieno signalo sistema perima būtent to signalo klaidų pobūdį |
| Ar nurodoma, kaip tvarkomasi su apgadinta ar folijos blizgesio paveikta juostele? | Jei visas procesas paremtas vien juostelės tekstu, čia jis ir sugriūva |
| Ar skaičius su data, ar tai vienkartinis teiginys? | Modeliai ir katalogai keičiasi; pernykštis skaičius gali nebegalioti dabar |
Jei programėlė negali atsakyti į pirmuosius du klausimus, bet kokį pagrindinį procentinį skaičių verta laikyti rinkodara, o ne matavimu.
Trumpai
- Skeneris skaito keturis atskirus signalus – juostelės tekstą, dangalo spalvą, dangtelio formą ir matmenis – ir nė vienas iš jų atskirai nėra patikimas.
- Lenkta folija, blizgesys, susiraukšlėjimas ir susidėvėjimas – dėl to juostelės tekstas klysta dažniau, nei tikimasi.
- Maždaug kas aštuntas cigaras (13,3 %) realiame kataloge turi pavadinimą, per daug bendrinį, kad teksto atitikimas jį išspręstų, nesvarbu, kokia nuotraukos kokybė.
- Formos ir spalvos atpažinimas tobulėja per tikslingus, išmatuotus pataisymus: dviejų požymių korekcija vieną gyvą klasifikatorių pagerino nuo 78,6 % iki 91,9 %.
- Prieš pasitikėdami tikslumo skaičiumi, paklauskite, ar jis gautas iš realių nuskaitymų, ar iš švarios testinės imties.