Qual é a precisão do reconhecimento de charutos por IA e por que os scanners de foto erram tanto?
Melhor do que já foi, pior do que o marketing sugere. Um scanner de identificação por foto é um conjunto de sinais pouco confiáveis votando ao mesmo tempo: o texto da anilha, a cor e a textura da capa, o formato da cabeça e as dimensões. Qualquer um deles, isolado, pode enganar. As falhas não são aleatórias. Elas se concentram em anilhas danificadas, nomes de modelo genéricos e charutos cuja única foto de referência não corresponde ao que você tem na mão.
O que um scanner realmente observa?
Aponte uma câmera para um charuto e não existe uma única coisa a reconhecer. Existem quatro coisas sobrepostas umas às outras, e um pipeline que funciona precisa ler todas elas e depois decidir quanta confiança dar a cada uma.
A anilha carrega texto impresso ou em relevo, normalmente o sinal mais alto quando está legível. A capa tem uma cor e uma textura de superfície que estreitam a família de tonalidade: uma folha Connecticut shade não se parece em nada com um maduro escuro e oleoso, mas muitas tonalidades ficam próximas o bastante para que só a iluminação inverta uma classificação. A cabeça e a silhueta geral estreitam a vitola: um parejo de laterais retas se lê de forma diferente de um figurado afunilado. E as dimensões, cepo e comprimento, estreitam ainda mais os candidatos dentro da linha para a qual os outros sinais já apontaram.
Nenhum desses quatro é confiável o bastante para atuar sozinho. Um sistema que funciona roda todos juntos e deixa cada um corrigir os outros. Quando as pessoas dizem que um scanner "errou", o que normalmente aconteceu é que um sinal estava forte, confiante e errado, e nada mais percebeu isso.
Fazer a correspondência com um catálogo real também é um problema diferente de classificar uma foto isolada. O catálogo da própria Paradigm reúne 11.519 charutos, e cada um daqueles quatro sinais acaba tendo de ser confrontado com registros reais, não apenas reconhecido como "um robusto maduro", o que estreita o campo sem identificar nada.
Por que o texto da anilha falha com tanta frequência?
O texto da anilha parece ser a parte fácil. Em geral não é. Uma anilha envolve um cilindro, então a câmera a fotografa curvada, e o reconhecimento de texto treinado sobretudo em páginas planas se sai pior com texto curvo do que a maioria das pessoas imagina. Anilhas metalizadas acrescentam reflexos que engolem letras inteiras dependendo do ângulo da luz. Anilhas que passaram um tempo em um bolso ou em uma charuteira de viagem ficam vincadas, arranhadas ou parcialmente descoladas, e uma palavra parcialmente encoberta pode ser lida como outra completamente diferente da que está impressa.
Há ainda um problema que nada tem a ver com a qualidade da imagem: boa parte dos charutos simplesmente não tem nomes distintivos a serem lidos. A abordagem de identificação baseada apenas na anilha falha de maneiras bastante previsíveis, e uma das maiores é que alguns produtos recebem nomes com palavras tão genéricas que mesmo uma extração de texto perfeita ainda não diz qual charuto específico você tem na mão.
O que significa, na prática, o problema dos 13,3% de nomes genéricos?
Em um catálogo de 11.519 charutos, 13,3% dos registros têm nomes de modelo formados inteiramente por palavras genéricas, termos que descrevem uma categoria em vez de identificar um produto. Um scanner que lesse cada caractere daquela anilha com precisão total ainda assim não teria nada distintivo para comparar, porque as próprias palavras não pertencem mais a um charuto do que a qualquer outro.
É por isso que o texto da anilha não pode ser o sistema inteiro, mesmo com uma foto perfeita. A correspondência de texto precisa ter algo com que comparar, e cerca de um charuto em cada oito em um catálogo real não oferece isso.
Por que a cor da capa e o formato não conseguem dar conta do resto?
Capa e formato parecem mais tolerantes, já que nenhum dos dois depende de impressão legível. Na prática, eles são difíceis de um jeito diferente.
A classificação de tonalidade varia com a umidade. Os óleos migram para a superfície da capa com o tempo e mudam a forma como a luz reflete nela, e uma folha fotografada sob luz interna quente, mais baixa na escala de temperatura de cor do que a luz do dia, aparece vários tons mais escura do que a mesma folha ao ar livre. A classificação de formato esbarra na enorme quantidade de famílias de vitolas que parecem quase idênticas vistas de um único ângulo. Existem dezenas de formatos e tamanhos nomeados em circulação, e vários pares deles se diferenciam sobretudo por um ângulo de afunilamento ou um estilo de cabeça que a câmera de um celular capta de forma inconsistente conforme a distância e o enquadramento.
Nada disso é motivo para desistir do sinal. É motivo para esperar que ele exija engenharia real e direcionada, em vez de uma única passagem ampla. O classificador de formato de cabeça da própria Paradigm passou de 78,6% para 91,9% de precisão em escaneamentos reais de produção depois de uma correção construída em torno de duas características medidas específicas, em vez de uma troca geral de modelo, o que é evidência de que o reconhecimento de formato responde mais a correções estreitas e cuidadosas do que a um modelo maior e mais genérico. O que a capa e o formato podem honestamente dizer antes mesmo de você acender o charuto é uma questão relacionada, porém separada, que merece sua própria resposta.
Como devo interpretar uma alegação de precisão de qualquer app de charutos?
A maioria dos números de precisão publicados descreve um conjunto de teste: um lote selecionado de fotos de referência limpas e bem iluminadas, escolhidas porque ficam bem na foto. Esse número não diz quase nada sobre o que acontece quando você está em pé sob uma luz irregular, com uma anilha meio gasta.
O número mais útil é aquele medido em escaneamentos reais de produção: fotos reais, tiradas por pessoas reais, em condições reais, e não um benchmark montado para parecer bom. Esse é um conjunto menor de exemplos para verificar, porque exige de fato colocar algo no ar e medir o que acontece depois, em vez de relatar um resultado de laboratório uma única vez e seguir em frente.
| Pergunta a fazer | Por que importa |
|---|---|
| Medido em um conjunto de teste ou em escaneamentos reais? | Um conjunto de teste é bem mais limpo que a realidade |
| Um único sinal ou vários combinados? | Um sistema de sinal único herda exatamente as falhas daquele sinal |
| Ele diz como lida com uma anilha danificada ou com reflexo metalizado? | Se o texto da anilha é todo o pipeline, é aqui que ele quebra |
| O número tem data ou é uma alegação única? | Modelos e catálogos mudam; o número do ano passado pode não valer mais |
Se um app não consegue responder às duas primeiras perguntas, trate qualquer porcentagem de destaque como marketing, e não como medição.
Resumo
- Um scanner lê quatro sinais distintos, texto da anilha, cor da capa, formato da cabeça e dimensões, e nenhum deles isoladamente é confiável.
- Curvatura, reflexo metalizado, vincos e desgaste são os motivos pelos quais o texto da anilha falha mais do que as pessoas esperam.
- Cerca de um charuto em cada oito (13,3%) em um catálogo real tem um nome genérico demais para a correspondência de texto resolver, independentemente da qualidade da foto.
- O reconhecimento de formato e de cor melhora com correções direcionadas e medidas: uma correção de duas características levou um classificador em produção de 78,6% para 91,9%.
- Antes de confiar em um número de precisão, pergunte se ele veio de escaneamentos reais ou de um conjunto de teste limpo.