ความแม่นยำของการระบุซิการ์ด้วย AI อยู่ในระดับไหน และทำไมสแกนเนอร์ระบุรูปภาพจึงมักผิดพลาด?
ดีขึ้นกว่าเดิม แต่ยังไม่ดีเท่าที่การตลาดบอก สแกนเนอร์ที่ระบุตัวจากรูปภาพคือสัญญาณที่ไม่น่าเชื่อถือหลายอย่างกำลัง "โหวต" พร้อมกัน ได้แก่ ข้อความบนแถบ สีและผิวสัมผัสของใบห่อ รูปทรงฝา และขนาด แต่ละอย่างเพียงลำพังอาจทำให้เข้าใจผิดได้ ความผิดพลาดเหล่านี้ไม่ได้เกิดแบบสุ่ม แต่มักรวมตัวอยู่รอบๆ แถบที่เสียหาย ชื่อรุ่นที่เป็นคำทั่วไป และซิการ์ที่มีภาพอ้างอิงเพียงภาพเดียวซึ่งไม่ตรงกับตัวจริงที่อยู่ในมือคุณ
สแกนเนอร์กำลังมองดูอะไรกันแน่?
เมื่อยกกล้องขึ้นถ่ายซิการ์ ไม่มี "สิ่งเดียว" ให้ระบุ แต่มีสี่สิ่งที่ซ้อนทับกันอยู่ และระบบที่ใช้งานได้จริงต้องอ่านทั้งสี่อย่างนี้ พร้อมตัดสินใจว่าจะเชื่อแต่ละสัญญาณมากน้อยเพียงใด
แถบซิการ์มีข้อความที่พิมพ์หรือปั๊มนูนไว้ ซึ่งมักเป็นสัญญาณที่ชัดเจนที่สุดเมื่ออ่านออก ใบห่อมีสีและผิวสัมผัสที่ช่วยจำกัดกลุ่มเฉดสี ใบ Connecticut-shade ดูไม่เหมือนมาดูโร่สีเข้มมันวาวเลย แต่ก็มีหลายเฉดสีที่อยู่ใกล้กันมากพอจะทำให้แสงเพียงอย่างเดียวเปลี่ยนผลการจำแนกได้ ฝาและเค้าโครงโดยรวมช่วยจำกัดประเภทรูปทรง (vitola) ปาเรโฆ (parejo) ที่มีด้านตรงจะอ่านต่างจากฟิกูราโด (figurado) ที่มีด้านเรียวลง และขนาด ทั้งเส้นผ่านศูนย์กลาง (ring gauge) และความยาว ช่วยจำกัดตัวเลือกให้แคบลงอีกภายในกลุ่มที่สัญญาณอื่นชี้ไปแล้ว
ไม่มีสัญญาณใดในสี่อย่างนี้น่าเชื่อถือพอจะใช้เพียงอย่างเดียว ระบบที่ใช้งานได้จริงต้องรันทั้งหมดร่วมกันและให้แต่ละสัญญาณช่วยแก้ไขอีกสัญญาณ เมื่อผู้คนบอกว่าสแกนเนอร์ "ระบุผิด" สิ่งที่มักเกิดขึ้นคือสัญญาณหนึ่งแข็งแกร่งและดูมั่นใจแต่ผิด และไม่มีสัญญาณอื่นมาคอยจับความผิดพลาดนั้นได้
การจับคู่กับแคตาล็อกจริงก็เป็นปัญหาที่แตกต่างจากการจำแนกภาพเพียงภาพเดียวแบบลำพัง แคตาล็อกของ Paradigm เองมีซิการ์ถึง 11,519 รายการ และสัญญาณทั้งสี่อย่างนี้ในที่สุดต้องถูกตรวจสอบกับรายการจริง ไม่ใช่แค่ถูกจำแนกว่าเป็น "มาดูโร่ โรบัสโต" ซึ่งเป็นการจำกัดกลุ่มแต่ยังไม่ได้ระบุตัวตนที่แท้จริง
ทำไมข้อความบนแถบจึงผิดพลาดบ่อยนัก?
ข้อความบนแถบดูเหมือนเป็นส่วนที่ง่าย แต่ส่วนใหญ่แล้วไม่ใช่ แถบซิการ์พันรอบทรงกระบอก ดังนั้นกล้องจึงถ่ายภาพข้อความที่โค้ง และระบบรู้จำข้อความที่ถูกฝึกมาจากหน้ากระดาษแบนส่วนใหญ่ทำงานได้แย่กว่ากับข้อความโค้งมากกว่าที่คนทั่วไปคาดคิด แถบฟอยล์ยังเพิ่มแสงสะท้อนที่กลืนตัวอักษรไปทั้งคำขึ้นอยู่กับมุมของแสง แถบที่ผ่านการอยู่ในกระเป๋าหรือกล่องเดินทางมาระยะหนึ่งจะยับ ถลอก หรือลอกออกบางส่วน และคำที่ถูกบังบางส่วนอาจอ่านออกมาเป็นคำที่ต่างไปจากคำที่พิมพ์อยู่จริงโดยสิ้นเชิง
แล้วยังมีปัญหาอีกอย่างที่ไม่เกี่ยวกับคุณภาพของภาพเลย นั่นคือซิการ์จำนวนไม่น้อยไม่มีชื่อที่มีลักษณะเฉพาะให้อ่านตั้งแต่แรก แนวทางการระบุตัวตนด้วยแถบเพียงอย่างเดียวล้มเหลวในรูปแบบที่คาดเดาได้ค่อนข้างแน่นอน และหนึ่งในสาเหตุใหญ่ที่สุดคือสินค้าบางรายการถูกตั้งชื่อด้วยคำที่ทั่วไปมากจนแม้การอ่านตัวอักษรจะแม่นยำสมบูรณ์แบบก็ยังไม่สามารถบอกได้ว่าคุณกำลังถือซิการ์รุ่นใดอยู่
ปัญหาชื่อรุ่นทั่วไป 13.3% หมายความว่าอย่างไรกันแน่?
จากแคตาล็อกทั้งหมด 11,519 รายการ มี 13.3% ที่ชื่อรุ่นประกอบขึ้นจากคำทั่วไปล้วนๆ คำที่บอกเพียงหมวดหมู่ ไม่ได้ระบุสินค้าเฉพาะเจาะจง สแกนเนอร์ที่อ่านตัวอักษรบนแถบได้แม่นยำสมบูรณ์แบบก็ยังไม่มีอะไรที่มีลักษณะเฉพาะให้จับคู่ เพราะตัวคำเองไม่ได้เป็นของซิการ์รุ่นใดรุ่นหนึ่งมากกว่ารุ่นอื่น
นี่คือสาเหตุที่ข้อความบนแถบไม่สามารถเป็นระบบทั้งหมดได้ แม้จะมีภาพที่สมบูรณ์แบบ การจับคู่ข้อความต้องมีสิ่งให้จับคู่ด้วย และซิการ์ราวหนึ่งในแปดในแคตาล็อกจริงไม่มีสิ่งนั้นให้
ทำไมสีและรูปทรงของใบห่อจึงไม่สามารถแบกรับส่วนที่เหลือได้?
ใบห่อและรูปทรงดูเหมือนจะยอมรับความผิดพลาดได้มากกว่า เพราะไม่ขึ้นกับการพิมพ์ที่อ่านออก แต่ในทางปฏิบัติทั้งสองอย่างนี้ก็ยากในรูปแบบที่ต่างกันออกไป
การจำแนกเฉดสีแปรผันไปตามความชื้น น้ำมันจะลอยขึ้นสู่ผิวใบห่อเมื่อเวลาผ่านไปและเปลี่ยนวิธีที่แสงสะท้อนออกจากมัน ใบที่ถูกถ่ายภาพภายใต้แสงไฟในบ้านที่อบอุ่น ซึ่งอยู่ในระดับอุณหภูมิสีที่ต่ำกว่าแสงกลางวัน จะดูเข้มกว่าใบเดียวกันที่ถ่ายกลางแจ้งหลายเฉด ส่วนการจำแนกรูปทรงต้องเจอกับจำนวนตระกูลรูปทรง (vitola) ที่มีมากมายและดูเหมือนกันเกือบหมดจากมุมเดียว มีรูปทรงและขนาดที่มีชื่อเรียกอยู่หลายสิบแบบในวงการ และหลายคู่ในนั้นแตกต่างกันหลักๆ แค่มุมเรียวหรือลักษณะฝา ซึ่งกล้องมือถือจับภาพได้ไม่คงเส้นคงวาขึ้นอยู่กับระยะและการจัดองค์ประกอบภาพ
ทั้งสองอย่างนี้ไม่ใช่เหตุผลให้ยอมแพ้ต่อสัญญาณนี้ แต่เป็นเหตุผลที่ควรคาดหวังว่าต้องใช้วิศวกรรมที่แท้จริงและเจาะจง มากกว่าการแก้ไขแบบครอบคลุมเพียงรอบเดียว ตัวจำแนกรูปทรงฝาของ Paradigm เองพัฒนาความแม่นยำจาก 78.6% เป็น 91.9% บนการสแกนจริงในระบบใช้งาน หลังจากแก้ไขโดยอาศัยคุณลักษณะที่วัดได้เฉพาะเจาะจงสองอย่าง มากกว่าการเปลี่ยนโมเดลทั้งระบบ ซึ่งเป็นหลักฐานว่าการจำแนกรูปทรงตอบสนองต่อการแก้ไขที่แคบและรอบคอบมากกว่าการใช้โมเดลที่ใหญ่และทั่วไปกว่า สิ่งที่ใบห่อและรูปทรงบอกคุณได้อย่างตรงไปตรงมาก่อนที่คุณจะจุดซิการ์ เป็นคำถามที่เกี่ยวข้องแต่แยกออกไป ซึ่งคุ้มค่าที่จะมีคำตอบของตัวเอง
ควรตีความคำกล่าวอ้างเรื่องความแม่นยำของแอปซิการ์ใดๆ อย่างไร?
ตัวเลขความแม่นยำที่เผยแพร่ส่วนใหญ่อธิบายถึงชุดทดสอบ (test set) คือกลุ่มภาพอ้างอิงที่คัดเลือกมา ชัดเจน แสงดี และถูกเลือกมาเพราะถ่ายภาพออกมาสวย ตัวเลขนั้นบอกคุณได้น้อยมากว่าจะเกิดอะไรขึ้นเมื่อคุณยืนอยู่ในแสงที่ไม่สม่ำเสมอพร้อมแถบที่สึกไปครึ่งหนึ่ง
ตัวเลขที่มีประโยชน์มากกว่าคือตัวเลขที่วัดจากการสแกนจริงในระบบใช้งาน คือภาพจริงที่ถ่ายโดยคนจริงในสภาพจริง ไม่ใช่เกณฑ์มาตรฐานที่จัดทำขึ้นให้ดูดี นั่นเป็นกลุ่มตัวอย่างที่เล็กกว่าในการตรวจสอบ เพราะต้องอาศัยการนำไปใช้งานจริงและวัดผลที่เกิดขึ้นภายหลัง มากกว่าการรายงานผลจากแล็บครั้งเดียวแล้วจบไป
| คำถามที่ควรถาม | เหตุใดจึงสำคัญ |
|---|---|
| วัดจากชุดทดสอบ หรือจากการสแกนจริง? | ชุดทดสอบสะอาดกว่าความเป็นจริงมากอย่างเห็นได้ชัด |
| สัญญาณเดียว หรือหลายสัญญาณรวมกัน? | ระบบที่ใช้สัญญาณเดียวย่อมได้รับรูปแบบความผิดพลาดของสัญญาณนั้นมาทั้งหมด |
| บอกไว้หรือไม่ว่าจัดการกับแถบที่เสียหายหรือมีแสงสะท้อนจากฟอยล์อย่างไร? | หากข้อความบนแถบคือทั้งระบบ นี่คือจุดที่มันจะพัง |
| ตัวเลขมีการระบุวันที่ หรือเป็นคำกล่าวอ้างเพียงครั้งเดียว? | โมเดลและแคตาล็อกเปลี่ยนแปลงอยู่เสมอ ตัวเลขจากปีที่แล้วอาจไม่เป็นจริงอีกต่อไป |
หากแอปใดตอบสองคำถามแรกไม่ได้ ควรมองเปอร์เซ็นต์ที่โฆษณาไว้เป็นเพียงการตลาด ไม่ใช่การวัดผลจริง
สรุปโดยย่อ
- สแกนเนอร์อ่านสัญญาณสี่อย่างแยกกัน ได้แก่ ข้อความบนแถบ สีของใบห่อ รูปทรงฝา และขนาด และไม่มีสักอย่างเดียวที่น่าเชื่อถือพอด้วยตัวเอง
- ฟอยล์ที่โค้ง แสงสะท้อน รอยยับ และการสึกหรอ คือเหตุผลที่ข้อความบนแถบผิดพลาดบ่อยกว่าที่คนคาดคิด
- ซิการ์ราวหนึ่งในแปด (13.3%) ในแคตาล็อกจริงมีชื่อที่ทั่วไปเกินกว่าที่การจับคู่ข้อความจะแก้ปัญหาได้ ไม่ว่าคุณภาพของภาพจะดีเพียงใด
- การจำแนกรูปทรงและสีดีขึ้นได้ด้วยการแก้ไขที่เจาะจงและวัดผลได้ การแก้ไขด้วยคุณลักษณะสองอย่างทำให้ตัวจำแนกหนึ่งที่ใช้งานจริงพัฒนาจาก 78.6% เป็น 91.9%
- ก่อนจะเชื่อตัวเลขความแม่นยำใดๆ ควรถามก่อนว่ามาจากการสแกนจริง หรือมาจากชุดทดสอบที่สะอาดเกินจริง