Qual é a precisão do reconhecimento de charutos por IA e por que razão os scanners de foto-ID erram tantas vezes?
Melhor do que era, pior do que o marketing sugere. Um scanner de foto-ID são vários sinais pouco fiáveis a votar ao mesmo tempo: texto da anilha, cor e textura da capa, forma da cabeça e dimensões. Qualquer um deles, isolado, pode induzir em erro. As falhas não são aleatórias. Concentram-se em anilhas danificadas, nomes de modelo genéricos e charutos cuja única fotografia de referência não corresponde ao que tem na mão.
Para o que é que um scanner está realmente a olhar?
Aponte uma câmara a um charuto e não há uma única coisa a reconhecer. Há quatro coisas sobrepostas umas às outras, e um sistema que funcione tem de ler todas elas e depois decidir quanto pode confiar em cada uma.
A anilha traz texto impresso ou em relevo, normalmente o sinal mais forte quando está legível. A capa tem uma cor e uma textura de superfície que reduzem a família de tonalidade: uma folha Connecticut shade não se parece nada com um maduro escuro e oleoso, mas há muitas tonalidades suficientemente próximas para que só a iluminação faça virar uma classificação. A cabeça e a silhueta geral reduzem a vitola: um parejo de lados retos lê-se de forma diferente de um figurado afunilado. E as dimensões, cepo (ring gauge) e comprimento, estreitam ainda mais os candidatos dentro da linha para a qual os outros sinais já apontaram.
Nenhum destes quatro é fiável o suficiente para funcionar sozinho. Um sistema que funciona usa-os em conjunto e deixa que cada um corrija os outros. Quando alguém diz que um scanner "errou", o que normalmente aconteceu é que um sinal era forte, confiante e errado, e nada mais o travou.
Fazer a correspondência com um catálogo real é também um problema diferente de classificar uma fotografia isoladamente. O catálogo da Paradigm tem 11 519 charutos, e cada um daqueles quatro sinais tem, no fim, de ser confrontado com registos reais, não apenas reconhecido como "um robusto maduro", o que reduz o campo sem identificar nada.
Por que razão o texto da anilha falha tantas vezes?
O texto da anilha parece a parte fácil. Normalmente não é. A anilha envolve um cilindro, por isso a câmara fotografa-a curvada, e o reconhecimento de texto treinado sobretudo em páginas planas comporta-se pior com texto curvo do que a maioria das pessoas espera. Anilhas metalizadas acrescentam reflexos que engolem letras inteiras, dependendo do ângulo da luz. Anilhas que passaram tempo num bolso ou numa charuteira de viagem ficam vincadas, riscadas ou parcialmente descoladas, e uma palavra parcialmente tapada pode ler-se como uma palavra completamente diferente da que está realmente impressa.
Depois há um problema que nada tem a ver com a qualidade da imagem: um número considerável de charutos simplesmente não tem nomes distintivos para ler. A abordagem baseada apenas na anilha falha de um conjunto de formas bastante previsível, e uma das maiores é que alguns produtos têm nomes formados por palavras tão genéricas que mesmo uma extração de texto perfeita continua a não dizer qual é o charuto específico que tem na mão.
O que significa realmente o problema dos 13,3% de nomes genéricos?
Num catálogo de 11 519 charutos, 13,3% dos registos têm nomes de modelo construídos inteiramente com palavras genéricas, termos que descrevem uma categoria em vez de identificarem um produto. Um scanner que lesse todos os caracteres dessa anilha com total exatidão continuaria a não ter nada de distintivo para comparar, porque as próprias palavras não pertencem mais a um charuto do que a qualquer outro.
É por isto que o texto da anilha não pode ser todo o sistema, mesmo com uma fotografia perfeita. A correspondência de texto precisa de algo com que comparar, e cerca de um charuto em cada oito num catálogo real não lhe dá nada.
Por que razão a cor da capa e a forma não conseguem fazer o resto do caminho?
A capa e a forma parecem ser mais tolerantes, já que nenhuma depende de impressão legível. Na prática, são apenas difíceis de outra maneira.
A classificação de tonalidade varia com a humidade. Os óleos sobem à superfície da capa com o tempo e alteram a forma como a luz se reflete nela, e uma folha fotografada sob luz interior quente, mais baixa na escala de temperatura de cor do que a luz do dia, lê-se vários tons mais escura do que a mesma folha ao ar livre. A classificação de forma depara-se com o número enorme de famílias de vitolas que parecem quase idênticas vistas de um único ângulo. Existem dezenas de formas e tamanhos com nome em circulação, e vários pares distinguem-se sobretudo por um ângulo de afunilamento ou por um estilo de cabeça que a câmara de um telemóvel capta de forma inconsistente, dependendo da distância e do enquadramento.
Nenhuma destas dificuldades é razão para desistir do sinal. É razão para esperar que exija engenharia real e direcionada, em vez de uma passagem ampla e única. O classificador de forma de cabeça da Paradigm passou de 78,6% para 91,9% de exatidão em leituras reais de produção depois de uma correção construída em torno de duas características medidas específicas, e não de uma mudança total de modelo, o que é prova de que o reconhecimento de forma responde melhor a correções estreitas e cuidadosas do que a um modelo maior e mais geral. O que uma capa e uma forma lhe podem honestamente dizer antes mesmo de acender o charuto é uma questão relacionada, mas distinta, que merece resposta própria.
Como devo interpretar uma alegação de exatidão de qualquer aplicação de charutos?
A maioria dos números de exatidão publicados descreve um conjunto de teste: um lote selecionado de fotografias de referência limpas e bem iluminadas, escolhidas porque fotografam bem. Esse número diz-lhe muito pouco sobre o que acontece quando está de pé sob luz irregular com uma anilha meio gasta.
O número mais útil é o medido em leituras reais de produção, fotografias reais tiradas por pessoas reais em condições reais, e não um benchmark montado para ficar bem. Esse é um conjunto de exemplos mais pequeno para verificar, porque exige realmente lançar algo e medir o que acontece depois, em vez de reportar um resultado de laboratório uma vez e seguir em frente.
| Pergunta a fazer | Por que importa |
|---|---|
| Medido num conjunto de teste ou em leituras reais? | Um conjunto de teste é muito mais limpo do que a realidade |
| Um sinal, ou vários combinados? | Um sistema de sinal único herda exatamente os modos de falha desse sinal |
| Diz como lida com uma anilha danificada ou com reflexos metalizados? | Se o texto da anilha é todo o sistema, é aqui que se parte |
| O número tem data, ou é uma alegação única? | Modelos e catálogos mudam; o número do ano passado pode já não valer |
Se uma aplicação não consegue responder às duas primeiras perguntas, trate qualquer percentagem de destaque como marketing e não como medição.
Versão curta
- Um scanner lê quatro sinais distintos, texto da anilha, cor da capa, forma da cabeça e dimensões, e nenhum deles é fiável isoladamente.
- Metalizados curvos, reflexos, vincos e desgaste são a razão pela qual o texto da anilha falha mais vezes do que se espera.
- Cerca de um charuto em cada oito (13,3%) num catálogo real tem um nome demasiado genérico para a correspondência de texto resolver, independentemente da qualidade da fotografia.
- O reconhecimento de forma e de cor melhora com correções direcionadas e medidas: uma correção de duas características levou um classificador em produção de 78,6% para 91,9%.
- Antes de confiar num número de exatidão, pergunte se veio de leituras reais ou de um conjunto de teste limpo.