Mennyire pontos a mesterséges intelligencia alapú szivarfelismerés, és miért téved gyakran a fotó alapú azonosítás?
Jobb, mint korábban volt, de rosszabb, mint amit a marketing sugall. A fotó alapú azonosítás valójában több, önmagában megbízhatatlan jel egyidejű "szavazata": a szalagszöveg, a boríték színe és textúrája, a kupak formája és a méretek. Bármelyik önmagában félrevezető lehet. A tévedések nem véletlenszerűek. Jellemzően a sérült szalagoknál, az általános modellneveknél, és azoknál a szivaroknál fordulnak elő, amelyek egyetlen referenciafotója sem hasonlít arra, ami éppen a kezedben van.
Mit lát valójában a szkenner?
Ha fényképezőgépet irányítasz egy szivarra, nincs egyetlen felismerendő dolog. Négy réteg rakódik egymásra, és egy működőképes rendszernek mindegyiket ki kell olvasnia, majd el kell döntenie, mennyire bízzon meg bennük egyenként.
A szalag nyomtatott vagy domború szöveget hordoz, ez általában a leghangosabb jel, ha olvasható. A boríték színe és felületi textúrája leszűkíti a szín-kategóriát – egy Connecticut-árnyalatú levél egyáltalán nem hasonlít egy sötét, olajos maduróra –, de sok árnyalat olyan közel esik egymáshoz, hogy pusztán a megvilágítás is átbillentheti a besorolást. A kupak és a teljes körvonal leszűkíti a vitolát: egy egyenes oldalú parejo másképp néz ki, mint egy kúpos figurado. A méretek – a gyűrűátmérő és a hossz – pedig tovább szűkítik a jelölteket azon a terméksorozaton belül, amelyre a többi jel már rámutatott.
E négy jel egyike sem elég megbízható ahhoz, hogy önállóan működjön. Egy jól működő rendszer együtt futtatja őket, és hagyja, hogy kölcsönösen korrigálják egymást. Amikor azt mondják, hogy egy szkenner "tévedett", általában az történt, hogy az egyik jel erős és magabiztos volt – de téves –, és semmi más nem fogta meg a hibát.
A valódi katalógushoz való illesztés más probléma, mint egy fotó önmagában történő osztályozása. Paradigm saját katalógusa 11 519 szivart tartalmaz, és a négy jel mindegyikét végül valódi bejegyzésekkel kell összevetni – nem elég csupán "egy maduro robusto"-ként felismerni, ami leszűkíti a mezőnyt, de semmit sem azonosít.
Miért téved olyan gyakran a szalagszöveg felismerése?
A szalagszöveg elsőre a könnyű résznek tűnik. Legtöbbször nem az. A szalag egy henger köré tekeredik, így a kamera görbén fényképezi le, a főként lapos oldalakon betanított szövegfelismerés pedig rosszabbul teljesít görbe szövegen, mint azt a legtöbben gondolnák. A fóliás szalagok fényvisszaverődést okoznak, ami a fény szögétől függően egész betűket nyelhet el. A zsebben vagy utazótokban töltött idő után a szalagok meggyűrődnek, kopottá válnak, vagy részben leválnak, és egy részben eltakart szó egészen más szónak olvasható, mint ami valójában rá van nyomtatva.
Aztán van egy probléma, aminek semmi köze a képminőséghez: elég sok szivarnak egyszerűen nincs egyedi, olvasható neve. A kizárólag szalagra épülő azonosítás elég kiszámítható módokon hibázik, és az egyik legnagyobb ezek közül, hogy néhány terméket olyan általános szavakkal neveznek el, hogy még a tökéletes szövegkinyerés sem árulja el, pontosan melyik szivart tartod a kezedben.
Mit jelent valójában a 13,3%-os "általános névprobléma"?
A 11 519 szivarból álló katalógusban a bejegyzések 13,3%-ának modellneve teljes egészében általános szavakból épül fel – olyan kifejezésekből, amelyek egy kategóriát írnak le, nem egy terméket azonosítanak. Egy szkenner, amely a szalag minden karakterét tökéletes pontossággal olvasná el, ekkor sem találna semmi egyedit, amivel összevetheti, mert maguk a szavak nem tartoznak jobban egyik szivarhoz, mint a másikhoz.
Ezért nem lehet a szalagszöveg az egész rendszer, még egy tökéletes fotó esetén sem. A szövegillesztéshez kell valami, amihez illeszteni lehet, és egy valódi katalógusban nagyjából minden nyolcadik szivar nem ad ilyet.
Miért nem tudja a boríték színe és a forma önmagában megoldani a többit?
A boríték és a forma elsőre elnézőbbnek tűnhet, hiszen egyik sem függ olvasható nyomtatástól. A gyakorlatban azonban csak másképp nehezek.
A színárnyalat besorolása a páratartalommal együtt változik. Az olajok idővel a boríték felszínére kerülnek, és megváltoztatják, hogyan verődik vissza róla a fény, egy meleg beltéri fényben fotózott levél pedig – amelynek színhőmérséklete alacsonyabb, mint a napfényé – több árnyalattal sötétebbnek tűnik, mint ugyanaz a levél kültéren. A forma besorolását az nehezíti, hogy rengeteg vitolacsalád szinte azonosnak tűnik egyetlen szögből nézve. Több tucat elnevezett forma és méret van forgalomban, és számos párjuk elsősorban a kúpossági szögben vagy a kupakstílusban különbözik – amit egy telefon kamerája a távolságtól és a keretezéstől függően következetlenül rögzít.
Egyik sem indok arra, hogy lemondjunk a jelről. Sokkal inkább arra, hogy valós, célzott mérnöki munkára van szükség egyetlen átfogó megoldás helyett. Paradigm saját kupakforma-osztályozója 78,6%-ról 91,9%-ra javult az élő, valós szkenneléseken, miután egy javítást vezettek be két konkrét, mért jellemző alapján – nem pedig a teljes modell lecserélésével. Ez arra utal, hogy a formafelismerés inkább a szűk, precíz korrekcióra reagál, mint egy nagyobb, általánosabb modellre. Az, hogy a boríték és a forma valójában mit árulhat el, még mielőtt rágyújtanál a szivarra, egy kapcsolódó, de külön kérdés, amely megérdemli a saját választ.
Hogyan értelmezzem egy szivaralkalmazás pontossági állítását?
A legtöbb közzétett pontossági szám egy tesztkészletet ír le: egy válogatott csomag tiszta, jól megvilágított referenciafotóból, amelyeket éppen azért választottak ki, mert jól fotózhatók. Ez a szám szinte semmit nem mond arról, mi történik, amikor egyenetlen fényben állsz, egy félig elkopott szalaggal.
Sokkal hasznosabb az a szám, amelyet élő, valós szkenneléseken mérnek – valódi emberek által, valódi körülmények között készített fotókon, nem pedig egy szépre komponált benchmarkon. Ez kisebb mintát jelent az ellenőrzéshez, mert megköveteli, hogy a rendszert ténylegesen éles használatba állítsák, és utólag mérjék, mi történik – ahelyett, hogy egyszer közzétennének egy laboratóriumi eredményt, és azzal le is zárnák a témát.
| Milyen kérdést érdemes feltenni | Miért számít |
|---|---|
| Tesztkészleten mérték, vagy élő szkenneléseken? | A tesztkészlet sokkal "tisztább", mint a valóság |
| Egyetlen jel alapján dolgozik, vagy többet kombinál? | Az egyjeles rendszer örökli az adott jel pontos hibalehetőségeit |
| Elmondja-e, hogyan kezeli a sérült vagy fólia miatt fénylő szalagot? | Ha a szalagszöveg az egész rendszer, itt törik el minden |
| A szám dátumozott, vagy egyszeri állítás? | A modellek és katalógusok változnak; a tavalyi szám mára már lehet, hogy nem érvényes |
Ha egy alkalmazás nem tud válaszolni az első két kérdésre, minden hangzatos százalékos adatot inkább marketingnek, mint mérésnek érdemes tekinteni.
Röviden összefoglalva
- A szkenner négy különálló jelet olvas – a szalagszöveget, a boríték színét, a kupak formáját és a méreteket –, és egyik sem megbízható önmagában.
- A görbe fólia, a fényvisszaverődés, a gyűrődés és a kopás miatt a szalagszöveg gyakrabban téved, mint azt az emberek gondolnák.
- Egy valódi katalógusban nagyjából minden nyolcadik szivar (13,3%) neve túl általános ahhoz, hogy a szövegillesztés önmagában megoldja – a fotó minőségétől függetlenül.
- A forma- és színfelismerés célzott, mért javításokkal fejlődik: egy két jellemzőre épülő korrekció egy élő osztályozót 78,6%-ról 91,9%-ra vitt.
- Mielőtt megbíznál egy pontossági számban, kérdezd meg, hogy élő szkennelésekből vagy egy tiszta tesztkészletből származik-e.