Πόσο ακριβής είναι η αναγνώριση πούρων με τεχνητή νοημοσύνη και γιατί οι σκάνερ αναγνώρισης μέσω φωτογραφίας συχνά κάνουν λάθος;
Καλύτερα απ' ό,τι ήταν, χειρότερα απ' ό,τι υπονοεί το μάρκετινγκ. Ένας σκάνερ αναγνώρισης μέσω φωτογραφίας είναι στην ουσία αρκετά αναξιόπιστα σήματα που ψηφίζουν ταυτόχρονα: κείμενο ταινίας, χρώμα και υφή φύλλου, σχήμα κεφαλής, και διαστάσεις. Καθένα από αυτά μπορεί από μόνο του να παραπλανήσει. Οι αποτυχίες δεν είναι τυχαίες. Συγκεντρώνονται γύρω από φθαρμένες ταινίες, γενικά ονόματα μοντέλων, και πούρα των οποίων η μοναδική φωτογραφία αναφοράς δεν ταιριάζει με αυτό που κρατάτε στο χέρι σας.
Τι κοιτάζει στην πραγματικότητα ένας σκάνερ;
Στρέψτε μια κάμερα σε ένα πούρο και δεν υπάρχει ένα μόνο πράγμα για αναγνώριση. Υπάρχουν τέσσερα πράγματα στρωμένα το ένα πάνω στο άλλο, και ένα λειτουργικό σύστημα πρέπει να τα διαβάσει όλα και μετά να αποφασίσει πόσο να εμπιστευτεί το καθένα.
Η ταινία φέρει τυπωμένο ή ανάγλυφο κείμενο, συνήθως το πιο έντονο σήμα όταν είναι ευανάγνωστο. Το φύλλο έχει ένα χρώμα και μια υφή επιφάνειας που στενεύουν την οικογένεια αποχρώσεων· ένα φύλλο τύπου Connecticut υπό σκίαση δεν μοιάζει καθόλου με ένα σκούρο, λαδωμένο maduro, αλλά αρκετές αποχρώσεις βρίσκονται αρκετά κοντά μεταξύ τους ώστε ο φωτισμός και μόνο να αλλάξει την κατηγοριοποίηση. Το καπάκι και η γενική σιλουέτα στενεύουν τη vitola· ένα ίσιο parejo «διαβάζεται» διαφορετικά από ένα κωνικό figurado. Και οι διαστάσεις, η διάμετρος δακτυλίου και το μήκος, στενεύουν περισσότερο τους υποψήφιους μέσα σε όποια σειρά έχουν ήδη υποδείξει τα άλλα σήματα.
Κανένα από αυτά τα τέσσερα δεν είναι αρκετά αξιόπιστο για να λειτουργήσει μόνο του. Ένα σύστημα που δουλεύει τα τρέχει όλα μαζί και αφήνει το καθένα να διορθώνει τα άλλα. Όταν κάποιος λέει ότι ένας σκάνερ «το έκανε λάθος», αυτό που συνήθως συνέβη είναι ότι ένα σήμα ήταν έντονο, σίγουρο και λάθος, και τίποτα άλλο δεν το έπιασε.
Η αντιστοίχιση με έναν πραγματικό κατάλογο είναι επίσης διαφορετικό πρόβλημα από την ταξινόμηση μιας φωτογραφίας μεμονωμένα. Ο κατάλογος του ίδιου του Paradigm περιέχει 11.519 πούρα, και καθένα από αυτά τα τέσσερα σήματα πρέπει τελικά να ελεγχθεί έναντι πραγματικών καταχωρήσεων, όχι απλώς να αναγνωριστεί ως «ένα robusto maduro», κάτι που στενεύει το πεδίο χωρίς να αναγνωρίζει τίποτα συγκεκριμένο.
Γιατί αποτυγχάνει τόσο συχνά το κείμενο της ταινίας;
Το κείμενο της ταινίας φαίνεται το εύκολο κομμάτι. Συνήθως δεν είναι. Μια ταινία τυλίγεται γύρω από έναν κύλινδρο, οπότε μια κάμερα τη φωτογραφίζει καμπυλωμένη, και η αναγνώριση κειμένου, εκπαιδευμένη κυρίως σε επίπεδες σελίδες, τα καταφέρνει χειρότερα σε καμπυλωμένο κείμενο απ' όσο περιμένουν οι περισσότεροι. Οι ταινίες με φύλλο αλουμινίου προσθέτουν αντανακλάσεις που «καταπίνουν» ολόκληρα γράμματα ανάλογα με τη γωνία του φωτός. Ταινίες που έχουν περάσει καιρό σε μια τσέπη ή σε μια θήκη ταξιδίου τσαλακώνονται, φθείρονται ή ξεφλουδίζουν εν μέρει, και μια εν μέρει καλυμμένη λέξη μπορεί να «διαβαστεί» ως εντελώς διαφορετική από τη λέξη που είναι πραγματικά τυπωμένη.
Υπάρχει επίσης ένα πρόβλημα που δεν έχει καμία σχέση με την ποιότητα της εικόνας: αρκετά πούρα απλά δεν έχουν διακριτικά ονόματα για να διαβαστούν. Η προσέγγιση αναγνώρισης βασισμένη αποκλειστικά στην ταινία αποτυγχάνει με έναν αρκετά προβλέψιμο τρόπο, και ένας από τους μεγαλύτερους λόγους είναι ότι ορισμένα προϊόντα ονομάζονται με λέξεις τόσο γενικές που ακόμη και η τέλεια εξαγωγή κειμένου δεν σας λέει ποιο συγκεκριμένο πούρο κρατάτε.
Τι σημαίνει στην πραγματικότητα το πρόβλημα του 13,3% με τα γενικά ονόματα;
Σε έναν κατάλογο 11.519 πούρων, το 13,3% των καταχωρήσεων έχουν ονόματα μοντέλων φτιαγμένα εξ ολοκλήρου από γενικές λέξεις, όρους που περιγράφουν μια κατηγορία και όχι ένα προϊόν. Ένας σκάνερ που θα διάβαζε κάθε χαρακτήρα σε αυτή την ταινία με απόλυτη ακρίβεια δεν θα είχε ακόμη τίποτα διακριτικό για αντιστοίχιση, γιατί οι ίδιες οι λέξεις δεν ανήκουν σε ένα συγκεκριμένο πούρο περισσότερο απ' ό,τι σε οποιοδήποτε άλλο.
Αυτός είναι ο λόγος που το κείμενο της ταινίας δεν μπορεί να είναι ολόκληρο το σύστημα, ακόμη και με τέλεια φωτογραφία. Η αντιστοίχιση κειμένου χρειάζεται κάτι με το οποίο να αντιστοιχιστεί, και περίπου ένα στα οκτώ πούρα σε έναν πραγματικό κατάλογο δεν της δίνει κάτι τέτοιο.
Γιατί δεν μπορούν το χρώμα και το σχήμα του φύλλου να καλύψουν το υπόλοιπο;
Το φύλλο και το σχήμα φαίνονται σαν να έπρεπε να είναι πιο ανθεκτικά σε σφάλματα, αφού κανένα από τα δύο δεν εξαρτάται από ευανάγνωστη εκτύπωση. Στην πράξη είναι εξίσου δύσκολα, αλλά με διαφορετικό τρόπο.
Η ταξινόμηση της απόχρωσης μεταβάλλεται με την υγρασία. Τα λάδια ανεβαίνουν στην επιφάνεια ενός φύλλου με τον καιρό και αλλάζουν τον τρόπο που το φως ανακλάται πάνω του, και ένα φύλλο φωτογραφημένο κάτω από ζεστό εσωτερικό φωτισμό, χαμηλότερα στην κλίμακα της θερμοκρασίας χρώματος από το φυσικό φως ημέρας, φαίνεται αρκετές αποχρώσεις πιο σκούρο απ' ό,τι το ίδιο φύλλο σε εξωτερικό χώρο. Η ταξινόμηση σχήματος συναντά το απλό γεγονός του τεράστιου αριθμού οικογενειών vitola που φαίνονται σχεδόν ίδιες από μία γωνία. Υπάρχουν δεκάδες ονομασμένα σχήματα και μεγέθη σε κυκλοφορία, και αρκετά ζεύγη από αυτά διαφέρουν κυρίως σε μια γωνία κωνικότητας ή σε ένα στυλ κεφαλής που η κάμερα ενός κινητού καταγράφει με ασυνέπεια, ανάλογα με την απόσταση και την πλαισίωση της λήψης.
Κανένα από αυτά δεν είναι λόγος για να εγκαταλείψουμε το σήμα. Είναι λόγος για να περιμένουμε ότι χρειάζεται πραγματική, στοχευμένη μηχανική παρά μία ευρεία προσπάθεια. Ο ίδιος ο ταξινομητής σχήματος κεφαλής του Paradigm βελτιώθηκε από 78,6% σε 91,9% ακρίβεια σε πραγματικές σκαναρίσεις παραγωγής, μετά από μια διόρθωση χτισμένη γύρω από δύο συγκεκριμένα μετρημένα χαρακτηριστικά και όχι μέσω μιας ολικής αλλαγής μοντέλου, κάτι που αποδεικνύει ότι η αναγνώριση σχήματος ανταποκρίνεται περισσότερο σε στενές, προσεκτικές διορθώσεις παρά σε ένα μεγαλύτερο, πιο γενικό μοντέλο. Τι μπορούν πραγματικά να σας πουν ένα φύλλο και ένα σχήμα πριν ακόμη ανάψετε το πούρο είναι μια σχετική, ξεχωριστή ερώτηση που αξίζει τη δική της απάντηση.
Πώς πρέπει να διαβάζω έναν ισχυρισμό ακρίβειας από οποιαδήποτε εφαρμογή πούρων;
Οι περισσότεροι δημοσιευμένοι αριθμοί ακρίβειας περιγράφουν ένα σύνολο δοκιμών: μια επιλεγμένη παρτίδα καθαρών, καλά φωτισμένων φωτογραφιών αναφοράς, επιλεγμένες επειδή φωτογραφίζονται καλά. Αυτός ο αριθμός δεν σας λέει σχεδόν τίποτα για το τι συμβαίνει όταν στέκεστε σε ανομοιόμορφο φωτισμό με μια ταινία μισοφθαρμένη.
Ο πιο χρήσιμος αριθμός είναι εκείνος που μετριέται σε πραγματικές σκαναρίσεις παραγωγής, πραγματικές φωτογραφίες τραβηγμένες από πραγματικούς ανθρώπους σε πραγματικές συνθήκες, όχι ένα σημείο αναφοράς φτιαγμένο για να δείχνει καλό. Αυτό είναι μια μικρότερη δεξαμενή παραδειγμάτων για έλεγχο, γιατί απαιτεί να έχεις πραγματικά κυκλοφορήσει κάτι και να μετράς τι συμβαίνει μετά, αντί να αναφέρεις ένα αποτέλεσμα εργαστηρίου μία φορά και να προχωράς.
| Ερώτηση που πρέπει να θέσετε | Γιατί έχει σημασία |
|---|---|
| Μετρήθηκε σε σύνολο δοκιμών ή σε πραγματικές σκαναρίσεις; | Ένα σύνολο δοκιμών είναι πολύ πιο «καθαρό» από την πραγματικότητα |
| Ένα σήμα, ή αρκετά σε συνδυασμό; | Ένα σύστημα ενός σήματος κληρονομεί ακριβώς τους τρόπους αποτυχίας εκείνου του σήματος |
| Λέει πώς χειρίζεται μια φθαρμένη ταινία ή ταινία με αντανακλάσεις αλουμινόχαρτου; | Αν το κείμενο ταινίας είναι όλο το σύστημα, εδώ είναι που σπάει |
| Ο αριθμός έχει ημερομηνία, ή είναι εφάπαξ ισχυρισμός; | Τα μοντέλα και οι κατάλογοι αλλάζουν· ο περσινός αριθμός μπορεί να μην ισχύει πλέον |
Αν μια εφαρμογή δεν μπορεί να απαντήσει στις δύο πρώτες ερωτήσεις, αντιμετωπίστε κάθε επικεφαλής ποσοστό ως μάρκετινγκ και όχι ως μέτρηση.
Η σύνοψη
- Ένας σκάνερ διαβάζει τέσσερα ξεχωριστά σήματα, κείμενο ταινίας, χρώμα φύλλου, σχήμα κεφαλής, και διαστάσεις, και κανένα από αυτά δεν είναι αξιόπιστο μόνο του.
- Το καμπυλωμένο αλουμινόχαρτο, οι αντανακλάσεις, το τσαλάκωμα και η φθορά είναι οι λόγοι που το κείμενο ταινίας αποτυγχάνει πιο συχνά απ' όσο περιμένει κανείς.
- Περίπου ένα στα οκτώ πούρα (13,3%) σε έναν πραγματικό κατάλογο έχει όνομα υπερβολικά γενικό για να το λύσει η αντιστοίχιση κειμένου, ανεξάρτητα από την ποιότητα της φωτογραφίας.
- Η αναγνώριση σχήματος και χρώματος βελτιώνεται με στοχευμένες, μετρημένες διορθώσεις: μια διόρθωση δύο χαρακτηριστικών ανέβασε έναν ταξινομητή σε πραγματική λειτουργία από 78,6% σε 91,9%.
- Πριν εμπιστευτείτε έναν αριθμό ακρίβειας, ρωτήστε αν προήλθε από πραγματικές σκαναρίσεις ή από ένα καθαρό σύνολο δοκιμών.