Hur exakt är AI-baserad cigarrigenkänning, och varför gör foto-ID-skannrar ofta fel?
Bättre än förut, sämre än marknadsföringen antyder. En foto-ID-skanner är egentligen flera opålitliga signaler som röstar samtidigt: bandtext, mantelns färg och struktur, huvudets form och dimensionerna. Var och en kan missleda på egen hand. Felen är inte slumpmässiga. De klustrar kring skadade band, generiska modellnamn och cigarrer vars enda referensfoto inte matchar den du håller i handen.
Vad tittar en skanner egentligen på?
Rikta en kamera mot en cigarr och det finns inte en enda sak att känna igen. Det finns fyra saker lagrade ovanpå varandra, och en fungerande pipeline måste läsa alla fyra och sedan avgöra hur mycket den ska lita på var och en.
Bandet bär tryckt eller präglad text, oftast den starkaste signalen när den går att läsa. Manteln har en färg och en ytstruktur som avgränsar nyansfamiljen — ett Connecticut-shade-blad ser inte alls ut som en mörk, oljig maduro — men många nyanser ligger tillräckligt nära varandra för att belysningen ensam ska kunna vända en klassificering. Huvudet och den övergripande silhuetten avgränsar vitolan; en rak parejo läses annorlunda än en avsmalnande figurado. Och dimensionerna, ringmått och längd, snävar in kandidaterna ytterligare inom vilken linje de andra signalerna redan pekat mot.
Ingen av dessa fyra är pålitlig nog att köra ensam. Ett system som fungerar kör dem tillsammans och låter var och en korrigera de andra. När folk säger att en skanner "gjorde fel" är det oftast så att en signal var stark, säker och fel, och inget annat fångade det.
Att matcha mot en verklig katalog är också ett annat problem än att klassificera ett foto isolerat. Paradigms egen katalog innehåller 11 519 cigarrer, och var och en av dessa fyra signaler måste till slut kontrolleras mot verkliga poster, inte bara kännas igen som "en maduro-robusto", vilket avgränsar fältet utan att identifiera något.
Varför misslyckas bandtext så ofta?
Bandtext ser ut som den enkla delen. Det är den oftast inte. Ett band lindas runt en cylinder, så en kamera fotograferar det böjt, och textigenkänning tränad mestadels på platta sidor presterar sämre på böjd text än vad de flesta förväntar sig. Folieband ger reflexer som sväljer hela bokstäver beroende på ljusets vinkel. Band som legat i en ficka eller ett resefodral en tid blir skrynkliga, repiga eller delvis avflagade, och ett delvis dolt ord kan läsas som ett helt annat ord än det som faktiskt står tryckt.
Sedan finns ett problem som inte har med bildkvalitet att göra: ganska många cigarrer saknar helt enkelt särskiljande namn att läsa. Den bandbaserade metoden för identifiering misslyckas på ett ganska förutsägbart antal sätt, och en av de största orsakerna är att vissa produkter namnges med ord så generiska att även en perfekt textextraktion fortfarande inte talar om vilken specifik cigarr du håller i handen.
Vad betyder egentligen 13,3 %-problemet med generiska namn?
Av en katalog på 11 519 cigarrer har 13,3 % av posterna modellnamn helt uppbyggda av generiska ord, termer som beskriver en kategori snarare än identifierar en produkt. En skanner som läste varenda tecken på det bandet med total precision skulle ändå inte ha något särskiljande att matcha mot, eftersom orden i sig inte tillhör en cigarr mer än någon annan.
Det är därför bandtext inte kan vara hela systemet, även med ett perfekt foto. Textmatchning behöver något att matcha mot, och ungefär var åttonde cigarr i en verklig katalog ger den inget.
Varför kan inte mantelfärg och form bära resten av vägen?
Mantel och form ser ut som att de borde vara mer förlåtande, eftersom ingen av dem beror på läsbar tryck. I praktiken är de bara svåra på ett annat sätt.
Nyansklassificering driver med luftfuktigheten. Oljor stiger till mantelns yta med tiden och förändrar hur ljus reflekteras mot den, och ett blad fotograferat i varmt inomhusljus, lägre på färgtemperaturskalan än dagsljus, läses flera nyanser mörkare än samma blad utomhus. Formklassificering stöter på det stora antalet vitolafamiljer som ser nästan identiska ut från en enda vinkel. Det finns dussintals namngivna former och storlekar i omlopp, och flera par av dem skiljer sig huvudsakligen genom en avsmalningsvinkel eller huvudstil som en mobilkamera fångar inkonsekvent beroende på avstånd och beskärning.
Ingen av dessa är en anledning att ge upp signalen. De är en anledning att förvänta sig att den behöver riktig, målinriktad teknisk finjustering snarare än en enda bred insats. Paradigms egen klassificerare för huvudform gick från 78,6 % till 91,9 % noggrannhet på skanningar i skarp drift efter en fix byggd kring två specifikt uppmätta egenskaper snarare än en total modellförändring, vilket är belägg för att formigenkänning svarar bättre på smal, noggrann korrigering än på en större, mer generell modell. Vad en mantel och en form ärligt talat kan berätta för dig innan du ens tänder cigarren är en relaterad, separat fråga som förtjänar ett eget svar.
Hur ska jag tolka ett noggrannhetspåstående från en cigarrapp?
De flesta publicerade noggrannhetssiffror beskriver ett testset: ett utvalt parti med rena, välbelysta referensfoton valda för att de fotograferar bra. Den siffran säger nästan ingenting om vad som händer när du står i ojämnt ljus med ett band som är halvt slitet.
Den mer användbara siffran är en uppmätt på skanningar i skarp drift, riktiga foton tagna av riktiga människor under riktiga förhållanden, inte ett benchmark hopsatt för att se bra ut. Det är en mindre pool av exempel att kontrollera mot, eftersom det kräver att man faktiskt lanserar något och mäter vad som händer efteråt, istället för att rapportera ett laboratorieresultat en gång och gå vidare.
| Fråga att ställa | Varför det spelar roll |
|---|---|
| Uppmätt på ett testset, eller på skanningar i skarp drift? | Ett testset är renare än verkligheten med bred marginal |
| En signal, eller flera kombinerade? | Ett system med en enda signal ärver just den signalens exakta felmönster |
| Anger den hur den hanterar ett skadat eller foliereflekterande band? | Om bandtext är hela pipelinen, är det där det går sönder |
| Är siffran daterad, eller ett engångspåstående? | Modeller och kataloger förändras; förra årets siffra kanske inte gäller nu |
Om en app inte kan svara på de två första frågorna, behandla varje rubrikprocent som marknadsföring snarare än mätning.
Kortversionen
- En skanner läser fyra separata signaler, bandtext, mantelfärg, huvudform och dimensioner, och ingen enda av dem är pålitlig på egen hand.
- Böjd folie, reflexer, skrynklor och slitage är varför bandtext misslyckas oftare än folk förväntar sig.
- Ungefär var åttonde cigarr (13,3 %) i en verklig katalog har ett namn för generiskt för att textmatchning ska lösa det, oavsett bildkvalitet.
- Form- och färgigenkänning förbättras med målinriktade, uppmätta fixar: en tvåfaktorskorrigering flyttade en klassificerare i skarp drift från 78,6 % till 91,9 %.
- Innan du litar på en noggrannhetssiffra, fråga om den kommer från skanningar i skarp drift eller från ett rent testset.