Quanto è accurato il riconoscimento dei sigari basato sull'IA e perché gli scanner foto-ID sbagliano così spesso?
Meglio di prima, peggio di quanto suggerisca il marketing. Uno scanner foto-ID è un insieme di segnali inaffidabili che votano contemporaneamente: testo della fascia, colore e texture della foglia di copertura, forma della testa e dimensioni. Ognuno di essi, da solo, può portare fuori strada. Gli errori non sono casuali. Si concentrano intorno alle fasce danneggiate, ai nomi di modello generici e ai sigari la cui unica foto di riferimento non corrisponde a quello che hai in mano.
Che cosa guarda davvero uno scanner?
Puntando una fotocamera su un sigaro non c'è una sola cosa da riconoscere. Ce ne sono quattro, sovrapposte l'una all'altra, e una pipeline funzionante deve leggerle tutte e poi decidere quanto fidarsi di ciascuna.
La fascia porta testo stampato o in rilievo, di solito il segnale più forte quando è leggibile. La foglia di copertura ha un colore e una texture superficiale che restringono la famiglia di tonalità: una foglia Connecticut shade non assomiglia per niente a un maduro scuro e oleoso, ma molte tonalità sono abbastanza vicine tra loro perché la sola illuminazione possa ribaltare una classificazione. La testa e la silhouette complessiva restringono la vitola: un parejo dai fianchi diritti si legge in modo diverso da un figurado affusolato. E le dimensioni, cepo e lunghezza, restringono ulteriormente i candidati all'interno della linea verso cui gli altri segnali hanno già puntato.
Nessuno di questi quattro è abbastanza affidabile da funzionare da solo. Un sistema che funziona li usa insieme e lascia che ciascuno corregga gli altri. Quando si dice che uno scanner "ha sbagliato", di solito è successo che un segnale era forte, sicuro di sé e sbagliato, e nient'altro l'ha intercettato.
Confrontare con un catalogo reale è poi un problema diverso dal classificare una foto in isolamento. Il catalogo di Paradigm contiene 11.519 sigari, e ognuno di quei quattro segnali deve prima o poi essere verificato contro voci reali, non solo riconosciuto come "un robusto maduro", cosa che restringe il campo senza identificare nulla.
Perché il testo della fascia fallisce così spesso?
Il testo della fascia sembra la parte facile. Di solito non lo è. Una fascia avvolge un cilindro, quindi la fotocamera la fotografa curva, e il riconoscimento del testo, addestrato in gran parte su pagine piatte, funziona sul testo curvo peggio di quanto la maggior parte delle persone si aspetti. Le fasce metallizzate aggiungono riflessi che inghiottono lettere intere a seconda dell'angolo della luce. Le fasce che hanno passato del tempo in tasca o in un portasigari da viaggio si piegano, si graffiano o si scollano in parte, e una parola parzialmente coperta può essere letta come una parola completamente diversa da quella effettivamente stampata.
Poi c'è un problema che non ha nulla a che vedere con la qualità dell'immagine: un buon numero di sigari semplicemente non ha nomi distintivi da leggere. L'approccio basato solo sulla fascia fallisce secondo uno schema piuttosto prevedibile, e uno dei limiti maggiori è che alcuni prodotti hanno nomi costruiti con parole così generiche che perfino un'estrazione perfetta del testo non ti dice quale sigaro specifico stai tenendo in mano.
Che cosa significa davvero il problema del 13,3% di nomi generici?
Su un catalogo di 11.519 sigari, il 13,3% delle voci ha nomi di modello costruiti interamente con parole generiche, termini che descrivono una categoria invece di identificare un prodotto. Uno scanner che leggesse ogni carattere di quella fascia con precisione assoluta non avrebbe comunque nulla di distintivo da confrontare, perché quelle parole non appartengono a un sigaro più che a un altro.
Ecco perché il testo della fascia non può essere l'intero sistema nemmeno con una foto perfetta. Il confronto testuale ha bisogno di qualcosa con cui confrontarsi, e circa un sigaro su otto in un catalogo reale non glielo fornisce.
Perché colore della foglia e forma non possono coprire il resto del percorso?
Foglia e forma sembrerebbero più tolleranti, dato che nessuna delle due dipende da una stampa leggibile. In pratica sono solo difficili in un altro modo.
La classificazione della tonalità cambia con l'umidità. Con il tempo gli oli salgono in superficie sulla foglia di copertura e modificano il modo in cui la luce vi si riflette, e una foglia fotografata sotto una luce interna calda, più bassa sulla scala della temperatura di colore rispetto alla luce diurna, appare di diverse tonalità più scura della stessa foglia all'aperto. La classificazione della forma si scontra con il numero enorme di famiglie di vitole che, da una singola angolazione, sembrano quasi identiche. Esistono decine di forme e misure denominate in circolazione, e diverse coppie di esse differiscono principalmente per un angolo di rastremazione o per uno stile di testa che una fotocamera di smartphone cattura in modo incoerente a seconda di distanza e inquadratura.
Nessuna di queste due cose è un motivo per rinunciare al segnale. È un motivo per aspettarsi che serva un lavoro di ingegneria reale e mirato, più che una singola passata generica. Il classificatore della forma della testa di Paradigm è passato dal 78,6% al 91,9% di accuratezza sulle scansioni reali in produzione dopo un intervento costruito su due specifiche caratteristiche misurate, invece di un cambio di modello complessivo: la prova che il riconoscimento della forma risponde a correzioni ristrette e accurate più che a un modello più grande e generale. Che cosa possono onestamente dirti una foglia di copertura e una forma prima ancora di accendere il sigaro è una questione collegata ma distinta, che merita una risposta a parte.
Come dovrei interpretare la dichiarazione di accuratezza di un'app per sigari?
La maggior parte dei numeri di accuratezza pubblicati descrive un set di test: un lotto selezionato di foto di riferimento pulite e ben illuminate, scelte perché vengono bene in fotografia. Quel numero non ti dice quasi nulla su cosa succede quando ti trovi in una luce irregolare con una fascia consumata a metà.
Il numero più utile è quello misurato su scansioni reali in produzione, foto vere scattate da persone vere in condizioni vere, non un benchmark assemblato per fare bella figura. Sono esempi più difficili da reperire, perché richiedono di mettere davvero qualcosa in mano agli utenti e misurare cosa succede dopo, invece di riportare un risultato di laboratorio una volta e passare oltre.
| Domanda da fare | Perché conta |
|---|---|
| Misurato su un set di test o su scansioni reali? | Un set di test è molto più pulito della realtà |
| Un solo segnale o diversi combinati? | Un sistema a segnale unico eredita esattamente le sue modalità di errore |
| Dice come gestisce una fascia danneggiata o con riflessi metallici? | Se il testo della fascia è tutta la pipeline, è qui che si rompe |
| Il numero è datato o è una dichiarazione una tantum? | Modelli e cataloghi cambiano; il numero dell'anno scorso può non valere più |
Se un'app non riesce a rispondere alle prime due domande, considera qualunque percentuale in evidenza come marketing, non come misurazione.
In breve
- Uno scanner legge quattro segnali distinti, testo della fascia, colore della foglia, forma della testa e dimensioni, e nessuno di essi è affidabile da solo.
- Curvatura, riflessi metallici, pieghe e usura sono il motivo per cui il testo della fascia fallisce più spesso di quanto si pensi.
- Circa un sigaro su otto (13,3%) in un catalogo reale ha un nome troppo generico perché il confronto testuale possa risolvere il problema, a prescindere dalla qualità della foto.
- Il riconoscimento di forma e colore migliora con correzioni mirate e misurate: un intervento su due caratteristiche ha portato un classificatore in produzione dal 78,6% al 91,9%.
- Prima di fidarti di un dato di accuratezza, chiedi se viene da scansioni reali o da un set di test pulito.