Насколько точно ИИ распознаёт сигары и почему сканеры по фото часто ошибаются?
Лучше, чем раньше, но хуже, чем обещает маркетинг. Сканер по фото — это несколько ненадёжных сигналов, голосующих одновременно: текст на кольце, цвет и текстура обёртки, форма шапки и размеры. Любой из них по отдельности может ввести в заблуждение. Ошибки не случайны. Они группируются вокруг повреждённых колец, обобщённых названий моделей и сигар, чьё единственное эталонное фото не совпадает с тем, что у вас в руке.
На что на самом деле смотрит сканер?
Направьте камеру на сигару — и там нет одной вещи для распознавания. Есть четыре слоя, наложенных друг на друга, и работающий конвейер должен считать их все, а затем решить, насколько доверять каждому.
Кольцо несёт напечатанный или тиснёный текст — обычно самый громкий сигнал, когда он читаем. Обёртка имеет цвет и текстуру поверхности, которые сужают семейство оттенков: лист коннектикутского покровного типа совсем не похож на тёмный маслянистый мадуро, но многие оттенки расположены достаточно близко друг к другу, чтобы одно только освещение могло изменить классификацию. Шапка и общий силуэт сужают виолу — прямой парехо читается иначе, чем сужающийся фигурадо. А размеры, калибр кольца и длина, дополнительно сужают список кандидатов внутри той линейки, на которую уже указали остальные сигналы.
Ни один из этих четырёх сигналов недостаточно надёжен сам по себе. Работающая система запускает их вместе и позволяет каждому исправлять остальные. Когда люди говорят, что сканер «ошибся», обычно происходит вот что: один сигнал был сильным, уверенным и неверным, а больше ничего это не поймало.
Сопоставление с реальным каталогом — это тоже отдельная задача, отличная от классификации фото в изоляции. Собственный каталог Paradigm содержит 11 519 сигар, и каждый из этих четырёх сигналов в итоге нужно сверить с реальными позициями, а не просто распознать как «мадуро робусто», что сужает поле, но ничего не идентифицирует.
Почему текст на кольце так часто подводит?
Текст на кольце кажется самой простой частью. Обычно это не так. Кольцо оборачивается вокруг цилиндра, поэтому камера фотографирует его изогнутым, а системы распознавания текста, обученные в основном на плоских страницах, хуже справляются с изогнутым текстом, чем большинство людей ожидает. Фольгированные кольца добавляют блики, которые «съедают» целые буквы в зависимости от угла света. Кольца, побывавшие в кармане или дорожном кейсе, мнутся, царапаются или частично отслаиваются, и частично скрытое слово может прочитаться как совершенно другое, отличное от реально напечатанного.
Затем есть проблема, вообще не связанная с качеством изображения: у немалого числа сигар просто нет отличительных названий, которые можно было бы прочитать. Подход к идентификации только по кольцу подводит достаточно предсказуемым набором способов, и один из главных — некоторые продукты названы словами настолько обобщёнными, что даже идеальное извлечение текста не подскажет, какую именно сигару вы держите.
Что на самом деле означает проблема 13,3% обобщённых названий?
В каталоге из 11 519 сигар 13,3% позиций имеют названия моделей, состоящие целиком из обобщённых слов — терминов, описывающих категорию, а не идентифицирующих конкретный продукт. Сканер, который считал бы каждый символ на этом кольце с полной точностью, всё равно не имел бы ничего отличительного для сопоставления, потому что сами слова не принадлежат одной сигаре больше, чем любой другой.
Вот почему текст на кольце не может быть всей системой, даже при идеальном фото. Сопоставлению текста нужно с чем сопоставлять, а примерно у каждой восьмой сигары в реальном каталоге такого нет.
Почему цвет обёртки и форма не могут вытянуть остальное?
Обёртка и форма кажутся более щадящими сигналами, поскольку ни один из них не зависит от читаемости печати. На практике они просто сложны по-другому.
Классификация оттенка «плывёт» вместе с влажностью. Масла со временем поднимаются на поверхность обёртки и меняют то, как от неё отражается свет, а лист, сфотографированный при тёплом внутреннем освещении с более низкой цветовой температурой, чем дневной свет, читается на несколько оттенков темнее, чем тот же лист на улице. Классификация формы упирается в само количество семейств виол, которые с одного ракурса выглядят почти одинаково. В обращении находятся десятки именованных форм и размеров, и некоторые пары из них различаются в основном углом сужения или формой шапки, которую камера телефона фиксирует непоследовательно в зависимости от расстояния и кадрирования.
Ни одно из этого не повод отказаться от сигнала. Это повод ожидать, что ему нужна настоящая, целенаправленная инженерная работа, а не один общий проход. Собственный классификатор формы шапки Paradigm поднялся с точности 78,6% до 91,9% на реальных боевых сканах после исправления, построенного вокруг двух конкретных измеряемых признаков, а не полной смены модели, — это свидетельство того, что распознавание формы отзывается на узкую, аккуратную коррекцию сильнее, чем на более крупную, более общую модель. Что честно могут рассказать обёртка и форма ещё до того, как вы закурили сигару — смежный, отдельный вопрос, заслуживающий собственного ответа.
Как следует относиться к заявлению о точности от любого приложения о сигарах?
Большинство опубликованных цифр точности описывают тестовую выборку: отобранную партию чистых, хорошо освещённых эталонных фото, выбранных именно потому, что они хорошо фотографируются. Эта цифра почти ничего не говорит о том, что произойдёт, когда вы стоите при неровном освещении с кольцом, наполовину стёршимся.
Более полезная цифра — измеренная на реальных боевых сканах: настоящих фото, сделанных настоящими людьми в настоящих условиях, а не на бенчмарке, собранном для красивого результата. Это меньший по объёму пул примеров для проверки, потому что он требует реально выпустить продукт и измерить, что происходит после этого, а не один раз отчитаться о лабораторном результате и двигаться дальше.
| Какой вопрос задать | Почему это важно |
|---|---|
| Измерено на тестовой выборке или на реальных сканах? | Тестовая выборка намного чище реальности |
| Один сигнал или несколько объединённых? | Система с одним сигналом наследует именно его слабые места |
| Указано ли, как обрабатывается повреждённое кольцо или блик от фольги? | Если весь конвейер — это текст на кольце, именно здесь всё ломается |
| Цифра датирована или это разовое заявление? | Модели и каталоги меняются; прошлогодняя цифра может уже не действовать |
Если приложение не может ответить на первые два вопроса, относитесь к любому заголовочному проценту как к маркетингу, а не к измерению.
Коротко
- Сканер считывает четыре отдельных сигнала — текст на кольце, цвет обёртки, форму шапки и размеры, — и ни один из них не надёжен сам по себе.
- Изогнутая фольга, блики, заминки и износ — вот почему текст на кольце подводит чаще, чем принято думать.
- Примерно у каждой восьмой сигары (13,3%) в реальном каталоге название слишком обобщённое, чтобы его решило сопоставление текста, независимо от качества фото.
- Распознавание формы и цвета улучшается за счёт целенаправленных, измеряемых исправлений: коррекция по двум признакам подняла один боевой классификатор с 78,6% до 91,9%.
- Прежде чем доверять цифре точности, спросите, получена ли она на реальных сканах или на чистой тестовой выборке.