Aká presná je rozpoznávanie cigár pomocou AI a prečo fotografické skenery často urobia chybu?
Lepšie, než to bývalo, horšie, než naznačuje marketing. Fotografický skener je v skutočnosti niekoľko nespoľahlivých signálov, ktoré hlasujú naraz: text na bandáži, farba a textúra krycieho listu, tvar čiapočky a rozmery. Každý z nich môže sám osebe zavádzať. Zlyhania nie sú náhodné. Sústreďujú sa okolo poškodených bandáží, všeobecných názvov modelov a cigár, ktorých jediná referenčná fotografia nezodpovedá tomu, čo držíte v ruke.
Čo skener v skutočnosti sníma?
Keď namierite kameru na cigaru, nejde o rozpoznanie jednej veci. Ide o štyri vrstvy naraz a funkčný systém musí prečítať všetky a potom rozhodnúť, nakoľko dôverovať každej z nich.
Bandáž nesie potlačený alebo razený text, zvyčajne najhlasnejší signál, ak je čitateľný. Krycí list má farbu a povrchovú textúru, ktoré zužujú rodinu odtieňov – list typu Connecticut-shade nevyzerá vôbec ako tmavý olejnatý maduro, no mnohé odtiene sú si natoľko blízke, že samotné osvetlenie dokáže preklopiť klasifikáciu. Čiapočka a celková silueta zužujú vitolu – rovný parejo pôsobí inak než zúžené figurado. A rozmery, prstencová miera a dĺžka, ďalej zužujú kandidátov v rámci línie, na ktorú už ukázali ostatné signály.
Žiadny z týchto štyroch signálov nie je sám osebe dostatočne spoľahlivý. Fungujúci systém ich spúšťa spoločne a necháva každý z nich opravovať ostatné. Keď ľudia povedia, že skener sa „pomýlil", zvyčajne sa stalo to, že jeden signál bol silný, sebavedomý a nesprávny, a nič iné to nezachytilo.
Porovnávanie so skutočným katalógom je navyše iný problém než izolovaná klasifikácia fotografie. Katalóg Paradigm obsahuje 11 519 cigár a každý z týchto štyroch signálov sa nakoniec musí overiť oproti reálnym záznamom – nestačí ho rozpoznať len ako „maduro robusto", čo zúži pole, no nič konkrétne neidentifikuje.
Prečo text na bandáži tak často zlyháva?
Text na bandáži sa zdá byť tá jednoduchá časť. Zvyčajne nie je. Bandáž obopína valec, takže ju kamera fotí zakrivenú, a rozpoznávanie textu natrénované prevažne na plochých stránkach si na zakrivenom texte vedie horšie, než väčšina ľudí čaká. Fóliové bandáže pridávajú odlesky, ktoré v závislosti od uhla svetla pohltia celé písmená. Bandáže, ktoré strávili čas vo vrecku alebo v cestovnom puzdre, sa pokrčia, ošúchajú alebo čiastočne odlepia, a čiastočne zakryté slovo sa dá prečítať ako úplne iné slovo, než aké je na ňom skutočne vytlačené.
Potom je tu problém, ktorý s kvalitou obrazu nemá nič spoločné: pomerne veľký počet cigár jednoducho nemá výrazný názov, ktorý by bolo možné prečítať. Prístup založený výlučne na bandáži zlyháva pomerne predvídateľným spôsobom a jedným z najväčších problémov je, že niektoré produkty majú názvy zložené zo slov natoľko všeobecných, že aj dokonalá extrakcia textu vám stále nepovie, ktorú konkrétnu cigaru držíte v ruke.
Čo v skutočnosti znamená problém 13,3 % všeobecných názvov?
V katalógu 11 519 cigár má 13,3 % záznamov názvy modelov zložené výlučne zo všeobecných slov – výrazov, ktoré opisujú kategóriu, nie identifikujú konkrétny produkt. Skener, ktorý by prečítal každý znak na bandáži so stopercentnou presnosťou, by stále nemal nič výrazné, s čím by mohol porovnávať, pretože tieto slová nepatria jednej cigare o nič viac než akejkoľvek inej.
Preto text na bandáži nemôže byť celým systémom, ani pri dokonalej fotografii. Porovnávanie textu potrebuje niečo, s čím by sa dalo porovnávať, a približne každá ôsma cigara v reálnom katalógu mu to neposkytuje.
Prečo farba krycieho listu a tvar nedokážu vyriešiť zvyšok?
Krycí list a tvar by mali byť zdanlivo zhovievavejšie signály, keďže ani jeden z nich nezávisí od čitateľnej potlače. V praxi sú len ťažké iným spôsobom.
Klasifikácia odtieňa sa mení s vlhkosťou. Oleje sa časom dostávajú na povrch krycieho listu a menia spôsob, akým sa od neho odráža svetlo, a list odfotografovaný v teplom vnútornom svetle, ktoré má nižšiu farebnú teplotu než denné svetlo, pôsobí o niekoľko odtieňov tmavšie než ten istý list vonku. Klasifikácia tvaru naráža na obrovské množstvo rodín vitol, ktoré z jedného uhla vyzerajú takmer identicky. V obehu je niekoľko desiatok pomenovaných tvarov a veľkostí a niekoľko ich dvojíc sa líši najmä uhlom zúženia alebo tvarom čiapočky, ktorý telefónna kamera zachytáva nekonzistentne v závislosti od vzdialenosti a orámovania záberu.
Ani jedno z toho nie je dôvod signál vzdať. Je to dôvod očakávať, že si vyžaduje skutočnú, cielenú prácu, nie jeden všeobecný zásah. Klasifikátor tvaru čiapočky v Paradigm sa posunul zo 78,6 % na 91,9 % presnosti pri reálnych produkčných skenoch po oprave postavenej na dvoch konkrétnych meraných znakoch, nie po plošnej zmene modelu – čo je dôkazom, že rozpoznávanie tvaru reaguje skôr na úzku, precíznu korekciu než na väčší, všeobecnejší model. Čo vám krycí list a tvar dokážu úprimne povedať ešte predtým, než si cigaru zapálite, je súvisiaca, no samostatná otázka, ktorá si zaslúži vlastnú odpoveď.
Ako mám čítať tvrdenie o presnosti od ktorejkoľvek cigarovej aplikácie?
Väčšina zverejnených čísel o presnosti opisuje testovaciu sadu: vybraný súbor čistých, dobre osvetlených referenčných fotografií, ktoré boli zvolené preto, že sa dobre fotia. Toto číslo vám takmer nič nepovie o tom, čo sa stane, keď stojíte v nerovnomernom svetle s bandážou, ktorá je z polovice odretá.
Užitočnejšie je číslo namerané na reálnych produkčných skenoch – skutočných fotografiách, ktoré urobili skutoční ľudia v skutočných podmienkach, nie na benchmarku zostavenom tak, aby dobre vyzeral. Ide o menšiu množinu príkladov na porovnávanie, pretože si vyžaduje niečo skutočne nasadiť a potom merať, čo sa deje, namiesto jednorazového nahlásenia laboratórneho výsledku a posunutia sa ďalej.
| Otázka, ktorú si položiť | Prečo na tom záleží |
|---|---|
| Namerané na testovacej sade, alebo na reálnych skenoch? | Testovacia sada je oveľa čistejšia než realita |
| Jeden signál, alebo viacero kombinovaných? | Systém s jedným signálom preberá presne jeho spôsoby zlyhania |
| Uvádza, ako zvláda poškodenú alebo fóliou oslnenú bandáž? | Ak je text na bandáži celým systémom, presne tu sa láme |
| Je číslo datované, alebo ide o jednorazové tvrdenie? | Modely a katalógy sa menia; minuloročné číslo dnes už nemusí platiť |
Ak aplikácia nedokáže odpovedať na prvé dve otázky, berte akékoľvek nápadné percento skôr ako marketing než ako meranie.
Stručne zhrnuté
- Skener číta štyri samostatné signály – text na bandáži, farbu krycieho listu, tvar čiapočky a rozmery – a ani jeden z nich nie je sám osebe spoľahlivý.
- Zakrivená fólia, odlesky, pokrčenie a opotrebovanie sú dôvodom, prečo text na bandáži zlyháva častejšie, než ľudia čakajú.
- Približne každá ôsma cigara (13,3 %) v reálnom katalógu má názov príliš všeobecný na to, aby ho vyriešilo porovnávanie textu, bez ohľadu na kvalitu fotografie.
- Rozpoznávanie tvaru a farby sa zlepšuje pomocou cielených, meraných opráv: korekcia založená na dvoch znakoch posunula jeden reálny klasifikátor zo 78,6 % na 91,9 %.
- Predtým, než uveríte číslu o presnosti, sa opýtajte, či pochádza z reálnych skenov, alebo z čistej testovacej sady.