หลายคนถามว่าเบื้องหลังใช้อะไรจริง ๆ เอาแบบตรง ๆ คือ แอปสแกนส่วนใหญ่ส่งใบเสร็จไปที่เซิร์ฟเวอร์แล้วใช้ OCR สำเร็จรูปกับเทมเพลต regex ทับอีกที แต่ Manee ใช้ OCR กับโมเดลเล็ก ๆ ที่ fine-tune มาสองสามตัวแทน — และทั้งหมดทำงานบนมือถือของคุณ นี่คือขั้นตอนจริง ตั้งแต่ต้นจนจบ

อ่านใบเสร็จ

ตอนที่คุณเพิ่มใบเสร็จ มีหลายอย่างเกิดขึ้นตามลำดับ ทั้งหมดบนเครื่อง ขั้นตอน OCR จะดึงตัวอักษรทุกตัวออกจากรูป — รวมถึงตัวอักษรไทยที่หนาแน่น จากนั้นตัวจำแนกรูปภาพจะตรวจว่านี่คือใบเสร็จจริงไหมก่อนจะเชื่อถืออะไร ถ้าไม่ใช่ รูปนั้นก็ถูกข้ามไปและไม่มีอะไรถูกบันทึก ต่อมาโมเดลดึงข้อมูลที่ fine-tune มา — ราว 270 ล้านพารามิเตอร์ — จะเปลี่ยนข้อความที่กระจัดกระจายให้เป็นข้อมูลที่มีโครงสร้าง: ร้านค้า จำนวนเงิน วันที่ และรายการสินค้า ผลลัพธ์ถูกบันทึกเป็นรายจ่ายในฐานข้อมูลบนเครื่อง ไม่มีสำเนาถูกส่งไปที่ไหน

ตอบคำถาม

แชทเรื่องการใช้จ่ายก็ทำงานแบบเดียวกัน คุณถามอะไรสักอย่างเป็นภาษาอังกฤษหรือไทย — “เดือนนี้ฉันใช้เงินค่าอาหารไปเท่าไหร่?” โมเดลแชทที่ fine-tune มาและเป็นไทยโดยกำเนิดจะอ่านสิ่งที่คุณถามจริง ๆ ดึงรายจ่ายที่ตรงกันจากฐานข้อมูลบนเครื่องโดยตรง แล้วตอบด้วยคำตอบที่อ้างอิงจากข้อมูลของคุณเองล้วน ๆ โมเดลตัวเดียวดูแลบทสนทนาทั้งหมด มันคิดวิเคราะห์จากใบเสร็จของคุณ ไม่เคยส่งข้อมูลกลับบ้าน

โมเดลเล็กเฉพาะทาง — ไม่ใช่ตัวใหญ่ตัวเดียวที่ทำได้ทุกอย่าง

แต่ละขั้นตอนใช้โมเดลที่เล็กที่สุดที่ทำงานหนึ่งอย่างได้ดี ดวงตา คือชุด OCR กะทัดรัดที่เลือกมาเพราะรับมือหน้าตาของใบเสร็จไทยจริง ๆ ได้ — ตัวอักษรไทยที่หนาแน่น ไทยปนอังกฤษ ภาพสลิปที่คอนทราสต์ต่ำ ผู้อ่าน คือโมเดลดึงข้อมูลราว 270 ล้านพารามิเตอร์ ที่ fine-tune บนสลิปธนาคารและพร้อมเพย์ของไทย เพราะมันเข้าใจข้อความแทนที่จะจับคู่รูปแบบ เลย์เอาต์ธนาคารใหม่จึงไม่ทำให้มันพังแบบที่ทำให้เทมเพลต regex พัง เสียง คือโมเดลภาษาที่สร้างในไทย เพื่อภาษาไทย fine-tune มาเพื่อรับมือคำถามหลายรอบและคิดวิเคราะห์จากข้อมูลบนเครื่องของคุณ

ทำงานบนมือถือที่คุณมีอยู่แล้ว

AI บนเครื่องมักหมายถึง “ต้องเป็นเรือธง” — แอปส่วนใหญ่ที่รันโมเดลบนเครื่องแอบต้องการชิปใหม่สุดและแรม 8 GB แต่ Manee ถูกสร้างในทางกลับกัน: โมเดลเล็กที่ fine-tune มา ทำ quantize และวัดประสิทธิภาพจนทั้งขั้นตอนพอดีกับแรม 4 GB มันถูกทดสอบบน iPhone 13 — มือถือปี 2021 — และใช้เฟรมเวิร์ก Vision ของ Apple บน iOS ตรงที่มันเร็วที่สุดจริง ๆ ส่วนบน Android ใช้ชุด OCR โอเพนซอร์สกะทัดรัด การใช้งานหลักไม่ต้องใช้อินเทอร์เน็ตเลย

สิ่งหนึ่งที่ผมตั้งใจไม่ระบุชัดคือชื่อโมเดลที่ใช้จริง ๆ — ไม่ใช่เพราะจะปิดบัง แต่เพราะมันเปลี่ยนไปเรื่อย ๆ เมื่อมีตัวเลือกบนเครื่องที่ดีกว่าออกมา คำสัญญาที่ไม่เปลี่ยนคือคำที่ควรค่าแก่การพิมพ์ลงไป: มันทำงานบนอุปกรณ์ของคุณ และที่เดียวที่ใบเสร็จของคุณจะไปได้คือที่ที่คุณสั่งเอง — ซิงค์ของ Pro ไปยัง iCloud หรือ Google Drive ของคุณเอง ไม่มีวันไปถึงเซิร์ฟเวอร์ของผม