Jak přesné je rozpoznávání doutníků pomocí AI a proč skenery podle fotky často chybují?
Lepší, než bývalo, horší, než tvrdí marketing. Skener podle fotky je vlastně několik nespolehlivých signálů, které hlasují najednou: text na pásce, barva a struktura krycího listu, tvar hlavičky a rozměry. Kterýkoli z nich může sám o sobě zmást. Chyby přitom nejsou náhodné. Soustřeďují se kolem poškozených pásek, obecných názvů modelů a doutníků, jejichž jediná referenční fotografie neodpovídá tomu, co máte v ruce.
Na co se skener vlastně dívá?
Namiřte kameru na doutník a nenajdete jednu věc k rozpoznání. Jsou tam čtyři vrstvy na sobě a funkční systém je musí přečíst všechny a pak rozhodnout, nakolik každé z nich věřit.
Páska nese potištěný nebo raženy text, obvykle nejhlasitější signál, pokud je čitelný. Krycí list má barvu a povrchovou strukturu, která zužuje rodinu odstínů, list typu Connecticut-shade nevypadá vůbec jako tmavý olejnatý maduro, ale řada odstínů leží dostatečně blízko sebe na to, aby samotné osvětlení dokázalo klasifikaci přehodit. Hlavička a celková silueta zužují vitolu, rovný válcovitý parejo vypadá jinak než zúžený figurado. A rozměry, průměr a délka, dále zužují kandidáty v rámci té řady, na kterou už ukázaly ostatní signály.
Žádný z těchto čtyř signálů není dostatečně spolehlivý sám o sobě. Funkční systém je používá společně a nechává je navzájem se korigovat. Když lidé řeknou, že skener „to spletl", obvykle šlo o to, že jeden signál byl silný, sebejistý a mylný, a nic jiného to nezachytilo.
Porovnávání se skutečným katalogem je navíc jiný problém než klasifikace izolované fotografie. Vlastní katalog Paradigm obsahuje 11 519 doutníků a každý z těchto čtyř signálů musí být nakonec ověřen proti reálným záznamům, nestačí ho pouze rozpoznat jako „maduro robusto", což pole zúží, ale nic tím neidentifikuje.
Proč tak často selhává text na pásce?
Text na pásce vypadá jako snadná část. Obvykle není. Páska obtáčí válec, takže ji kamera fotí zakřivenou, a rozpoznávání textu trénované většinou na plochých stránkách je na zakřiveném textu horší, než by většina lidí čekala. Fóliové pásky přidávají odlesky, které v závislosti na úhlu světla pohltí celá písmena. Pásky, které strávily čas v kapse nebo v cestovním pouzdru, jsou pomačkané, odřené nebo částečně odloupnuté, a částečně zakryté slovo se dá přečíst jako úplně jiné slovo, než jaké je na něm skutečně vytištěné.
Pak je tu problém, který nemá nic společného s kvalitou obrazu: řada doutníků prostě nemá výrazné názvy, které by se daly přečíst. Přístup založený pouze na pásce selhává poměrně předvídatelným způsobem a jedním z největších problémů je, že některé produkty jsou pojmenované slovy natolik obecnými, že ani dokonalé rozpoznání textu neřekne, který konkrétní doutník držíte.
Co ve skutečnosti znamená problém 13,3 % obecných názvů?
V rámci katalogu 11 519 doutníků má 13,3 % záznamů názvy modelů složené výhradně z obecných slov, výrazů, které popisují kategorii, ale neidentifikují produkt. Skener, který by přečetl každý znak na pásce s naprostou přesností, by stále neměl s čím ho porovnat, protože samotná slova nepatří jednomu doutníku více než kterémukoli jinému.
Proto text na pásce nemůže být celým systémem, ani při dokonalé fotografii. Porovnávání textu potřebuje něco, s čím se porovnává, a zhruba jeden doutník z osmi v reálném katalogu mu to neposkytne.
Proč nemohou barva krycího listu a tvar zvládnout zbytek?
Krycí list a tvar vypadají, že by měly být shovívavější, protože ani jeden nezávisí na čitelném potisku. V praxi jsou jen obtížné jiným způsobem.
Klasifikace odstínu se posouvá s vlhkostí. Oleje se postupně dostávají na povrch krycího listu a mění, jak se od něj odráží světlo, a list vyfocený v teplém vnitřním osvětlení, s nižší barevnou teplotou než denní světlo, vypadá o několik odstínů tmavší než tentýž list venku. Klasifikace tvaru naráží na samotný počet rodin vitol, které z jednoho úhlu vypadají téměř identicky. V oběhu jsou desítky pojmenovaných tvarů a velikostí a několik jejich dvojic se liší hlavně úhlem zúžení nebo tvarem hlavičky, který telefonní kamera zachycuje nekonzistentně v závislosti na vzdálenosti a rámování.
Ani jedno z toho není důvod signál vzdát. Je to důvod očekávat, že potřebuje skutečné, cílené inženýrství spíše než jeden široký zásah. Vlastní klasifikátor tvaru hlavičky Paradigm se posunul z 78,6 % na 91,9 % přesnosti při ostrém provozním skenování po opravě postavené na dvou konkrétních měřených vlastnostech, nikoli po celoplošné změně modelu, což je důkaz, že rozpoznávání tvaru reaguje spíše na úzkou, pečlivou korekci než na větší, obecnější model. Co vám krycí list a tvar dokážou upřímně říct ještě předtím, než doutník zapálíte, je související, ale samostatná otázka, která si zaslouží vlastní odpověď.
Jak mám číst tvrzení o přesnosti od jakékoli aplikace na doutníky?
Většina zveřejněných čísel přesnosti popisuje testovací sadu: vybraný soubor čistých, dobře osvětlených referenčních fotografií zvolených proto, že se dobře fotí. Toto číslo vám téměř nic neřekne o tom, co se stane, když stojíte v nerovnoměrném osvětlení s páskou napůl odřenou.
Užitečnější je číslo naměřené na ostrém provozním skenování, skutečných fotografiích pořízených skutečnými lidmi ve skutečných podmínkách, ne na benchmarku sestaveném tak, aby dobře vypadal. Jde o menší soubor příkladů k ověření, protože vyžaduje skutečně něco spustit a měřit, co se pak stane, místo jednorázového zveřejnění laboratorního výsledku.
| Otázka, kterou položit | Proč na tom záleží |
|---|---|
| Měřeno na testovací sadě, nebo na ostrém skenování? | Testovací sada je výrazně čistší než realita |
| Jeden signál, nebo více kombinovaných? | Systém s jedním signálem zdědí přesně jeho chybové vzorce |
| Uvádí, jak zvládá poškozenou nebo fólií oslněnou pásku? | Pokud je text na pásce celým systémem, tady se láme |
| Je číslo datované, nebo jde o jednorázové tvrzení? | Modely a katalogy se mění; loňské číslo dnes nemusí platit |
Pokud aplikace neumí odpovědět na první dvě otázky, berte jakékoli hlavní procento spíše jako marketing než jako měření.
Stručně shrnuto
- Skener čte čtyři samostatné signály, text na pásce, barvu krycího listu, tvar hlavičky a rozměry, a žádný z nich není spolehlivý sám o sobě.
- Zakřivená fólie, odlesky, pomačkání a opotřebení jsou důvodem, proč text na pásce selhává častěji, než by lidé čekali.
- Zhruba jeden doutník z osmi (13,3 %) v reálném katalogu má název příliš obecný na to, aby ho vyřešilo pouhé porovnávání textu, bez ohledu na kvalitu fotografie.
- Rozpoznávání tvaru a barvy se zlepšuje cílenými, měřenými opravami: korekce dvou vlastností posunula jeden ostrý klasifikátor z 78,6 % na 91,9 %.
- Než uvěříte číslu o přesnosti, zeptejte se, zda pochází z ostrého skenování, nebo z čisté testovací sady.