Hoe nauwkeurig is AI-gebaseerde sigarenherkenning, en waarom zitten foto-ID-scanners er zo vaak naast?
Beter dan vroeger, slechter dan de marketing suggereert. Een foto-ID-scanner is een aantal onbetrouwbare signalen die tegelijk stemmen: bandtekst, dekbladkleur en -textuur, kopvorm en afmetingen. Elk daarvan kan op zichzelf misleiden. De fouten zijn niet willekeurig. Ze clusteren rond beschadigde banden, generieke modelnamen en sigaren waarvan de enige referentiefoto niet overeenkomt met wat je in je hand hebt.
Waar kijkt een scanner eigenlijk naar?
Richt een camera op een sigaar en er is niet één ding te herkennen. Er zijn vier dingen die over elkaar heen liggen, en een werkende pipeline moet ze allemaal lezen en vervolgens bepalen hoeveel vertrouwen elk signaal verdient.
De band draagt gedrukte of gereliëfde tekst, meestal het luidste signaal zolang die leesbaar is. Het dekblad heeft een kleur en een oppervlaktetextuur die de kleurfamilie inperken; een Connecticut shade-blad lijkt in niets op een donkere, olieachtige maduro, maar heel wat tinten liggen dicht genoeg bij elkaar dat alleen al de belichting een classificatie kan omdraaien. De kop en het algehele silhouet perken de vitola in; een parejo met rechte zijden leest anders dan een taps toelopende figurado. En de afmetingen, ringmaat en lengte, versmallen de kandidaten verder binnen de lijn waar de andere signalen al naar wezen.
Geen van deze vier is betrouwbaar genoeg om alleen te draaien. Een systeem dat werkt laat ze samen lopen en laat ze elkaar corrigeren. Als mensen zeggen dat een scanner er "naast zat", is er meestal één signaal geweest dat sterk en zelfverzekerd én fout was, zonder dat iets anders dat opving.
Matchen tegen een echte catalogus is bovendien een ander probleem dan een foto los classificeren. De eigen catalogus van Paradigm bevat 11.519 sigaren, en elk van die vier signalen moet uiteindelijk worden getoetst aan echte vermeldingen, niet alleen herkend worden als "een maduro robusto", wat het veld wel inperkt maar niets identificeert.
Waarom faalt bandtekst zo vaak?
Bandtekst lijkt het makkelijke deel. Dat is het meestal niet. Een band loopt rond een cilinder, dus een camera fotografeert hem gebogen, en tekstherkenning die vooral op vlakke pagina's is getraind presteert op gebogen tekst slechter dan de meeste mensen verwachten. Foliebanden voegen schittering toe die hele letters opslokt, afhankelijk van de lichthoek. Banden die tijd in een broekzak of een reisetui hebben doorgebracht raken gekreukt, geschaafd of deels losgeraakt, en een gedeeltelijk verborgen woord kan gelezen worden als een heel ander woord dan wat er werkelijk op gedrukt staat.
Daarnaast is er een probleem dat niets met beeldkwaliteit te maken heeft: een flink aantal sigaren heeft eenvoudigweg geen onderscheidende naam om te lezen. De band-only benadering van identificatie faalt op een tamelijk voorspelbare manier, en een van de grootste oorzaken is dat sommige producten namen dragen met woorden die zo generiek zijn dat zelfs perfecte tekstextractie je nog steeds niet vertelt welke specifieke sigaar je vasthoudt.
Wat betekent het probleem van 13,3% generieke namen precies?
In een catalogus van 11.519 sigaren hebben 13,3% van de vermeldingen modelnamen die volledig uit generieke woorden bestaan: termen die een categorie beschrijven in plaats van een product te identificeren. Een scanner die elk teken op die band met volledige nauwkeurigheid leest, zou nog steeds niets onderscheidends hebben om tegen te matchen, omdat de woorden zelf niet meer bij de ene sigaar horen dan bij de andere.
Daarom kan bandtekst nooit het hele systeem zijn, zelfs niet met een perfecte foto. Tekstmatching heeft iets nodig om tegen te matchen, en ruwweg één op de acht sigaren in een echte catalogus geeft dat niet.
Waarom kunnen dekbladkleur en vorm de rest niet dragen?
Dekblad en vorm lijken vergevingsgezinder, want geen van beide hangt af van leesbare bedrukking. In de praktijk zijn ze gewoon op een andere manier lastig.
Kleurclassificatie schuift mee met de luchtvochtigheid. Oliën komen na verloop van tijd naar het oppervlak van een dekblad en veranderen hoe het licht erop weerkaatst, en een blad dat onder warm binnenlicht wordt gefotografeerd, lager op de schaal van kleurtemperatuur dan daglicht, leest meerdere tinten donkerder dan hetzelfde blad buiten. Vormclassificatie loopt aan tegen het pure aantal vitolafamilies die vanuit één hoek vrijwel identiek ogen. Er zijn tientallen benoemde vormen en maten in omloop, en verschillende paren daarvan verschillen vooral in een taps toelopende hoek of een kopafwerking die een telefooncamera inconsistent vastlegt, afhankelijk van afstand en kadrering.
Geen van beide is een reden om het signaal op te geven. Het is een reden om te verwachten dat er echt, gericht engineeringwerk nodig is in plaats van één brede veeg. De eigen kopvormclassificator van Paradigm ging van 78,6% naar 91,9% nauwkeurigheid op live productiescans na een verbetering die was opgebouwd rond twee specifiek gemeten kenmerken in plaats van een volledige modelwissel, wat aangeeft dat vormherkenning beter reageert op smalle, zorgvuldige correctie dan op een groter, algemener model. Wat een dekblad en een vorm je eerlijk kunnen vertellen voordat je de sigaar zelfs maar aansteekt is een verwante, aparte vraag die een eigen antwoord verdient.
Hoe moet ik een nauwkeurigheidsclaim van een sigarenapp lezen?
De meeste gepubliceerde nauwkeurigheidscijfers beschrijven een testset: een geselecteerde batch schone, goed belichte referentiefoto's die zijn uitgekozen omdat ze fotogeniek zijn. Dat getal zegt je vrijwel niets over wat er gebeurt wanneer je in ongelijkmatig licht staat met een band die half versleten is.
Het nuttigere getal is er een dat op live productiescans is gemeten: echte foto's, genomen door echte mensen in echte omstandigheden, en niet een benchmark die is samengesteld om er goed uit te zien. Dat is een kleinere verzameling voorbeelden om tegen te toetsen, want het vereist dat je daadwerkelijk iets uitbrengt en achteraf meet wat er gebeurt, in plaats van één keer een labresultaat te rapporteren en verder te gaan.
| Vraag om te stellen | Waarom het uitmaakt |
|---|---|
| Gemeten op een testset of op live scans? | Een testset is met ruime marge schoner dan de werkelijkheid |
| Eén signaal of meerdere gecombineerd? | Een systeem met één signaal erft precies de faalwijzen van dat signaal |
| Wordt vermeld hoe het omgaat met een beschadigde band of folieschittering? | Als bandtekst de hele pipeline is, breekt het hier |
| Is het cijfer gedateerd of een eenmalige claim? | Modellen en catalogi veranderen; het cijfer van vorig jaar hoeft nu niet meer te kloppen |
Als een app de eerste twee vragen niet kan beantwoorden, beschouw elk kopjespercentage dan als marketing en niet als meting.
De korte versie
- Een scanner leest vier afzonderlijke signalen: bandtekst, dekbladkleur, kopvorm en afmetingen, en geen enkel signaal is op zichzelf betrouwbaar.
- Gebogen folie, schittering, kreuken en slijtage zijn de reden dat bandtekst vaker faalt dan mensen verwachten.
- Ongeveer één op de acht sigaren (13,3%) in een echte catalogus heeft een naam die te generiek is om via tekstmatching op te lossen, ongeacht de fotokwaliteit.
- Vorm- en kleurherkenning verbeteren met gerichte, gemeten correcties: een correctie op twee kenmerken bracht één live classificator van 78,6% naar 91,9%.
- Vertrouw pas op een nauwkeurigheidscijfer als je weet of het van live scans komt of van een schone testset.