คุณสามารถใช้ Firebase ML เพื่อจดจำข้อความในรูปภาพ Firebase ML มีทั้ง API วัตถุประสงค์ทั่วไปที่เหมาะสมสำหรับการจดจำข้อความในรูปภาพ เช่น ข้อความของป้ายถนน และ API ที่ปรับให้เหมาะสมสำหรับการจดจำข้อความในเอกสาร
ก่อนที่คุณจะเริ่ม
- หากคุณยังไม่ได้เพิ่ม Firebase ลงในแอปของคุณ ให้ทำตามขั้นตอนใน คู่มือการเริ่มต้นใช้งาน
- ใน Xcode เมื่อโปรเจ็กต์แอปของคุณเปิดอยู่ ให้ไปที่ File > Add Package
- เมื่อได้รับแจ้ง ให้เพิ่มพื้นที่เก็บข้อมูล SDK แพลตฟอร์ม Firebase Apple:
- เลือกไลบรารี Firebase ML
- เพิ่มแฟล็ก
-ObjC
ไปยังส่วน Other Linker Flags ของการตั้งค่า build ของเป้าหมายของคุณ - เมื่อเสร็จแล้ว Xcode จะเริ่มแก้ไขและดาวน์โหลดการอ้างอิงของคุณโดยอัตโนมัติในเบื้องหลัง
- ในแอปของคุณ ให้นำเข้า Firebase:
สวิฟท์
import FirebaseMLModelDownloader
วัตถุประสงค์-C
@import FirebaseMLModelDownloader;
หากคุณยังไม่ได้เปิดใช้งาน API บนระบบคลาวด์สำหรับโปรเจ็กต์ของคุณ ให้ดำเนินการทันที:
- เปิด หน้า Firebase ML API ของคอนโซล Firebase
หากคุณยังไม่ได้อัปเกรดโปรเจ็กต์เป็นแผนราคา Blaze ให้คลิก อัปเกรด เพื่อดำเนินการดังกล่าว (คุณจะได้รับแจ้งให้อัปเกรดเฉพาะในกรณีที่โปรเจ็กต์ของคุณไม่ได้อยู่ในแผน Blaze)
เฉพาะโปรเจ็กต์ระดับ Blaze เท่านั้นที่ใช้ API บนระบบคลาวด์ได้
- หากยังไม่ได้เปิดใช้งาน API ในระบบคลาวด์ ให้คลิก เปิดใช้งาน API ในระบบคลาวด์
ใช้ Swift Package Manager เพื่อติดตั้งและจัดการการพึ่งพา Firebase
https://github.com/firebase/firebase-ios-sdk.git
จากนั้น ให้ทำการตั้งค่าในแอป:
ตอนนี้คุณพร้อมที่จะเริ่มจดจำข้อความในรูปภาพแล้ว
แนวทางการป้อนรูปภาพ
เพื่อให้ Firebase ML จดจำข้อความได้อย่างถูกต้อง รูปภาพที่ป้อนจะต้องมีข้อความที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ ตามหลักการแล้ว สำหรับข้อความภาษาละติน อักขระแต่ละตัวควรมีขนาดอย่างน้อย 16x16 พิกเซล สำหรับข้อความภาษาจีน ญี่ปุ่น และเกาหลี อักขระแต่ละตัวควรมีขนาด 24x24 พิกเซล สำหรับทุกภาษา โดยทั่วไปจะไม่มีประโยชน์ด้านความแม่นยำสำหรับอักขระที่มีขนาดใหญ่กว่า 24x24 พิกเซล
ตัวอย่างเช่น รูปภาพขนาด 640x480 อาจทำงานได้ดีในการสแกนนามบัตรที่ใช้พื้นที่เต็มความกว้างของรูปภาพ หากต้องการสแกนเอกสารที่พิมพ์บนกระดาษขนาด Letter อาจต้องใช้รูปภาพขนาด 720x1280 พิกเซล
การโฟกัสภาพที่ไม่ดีอาจส่งผลเสียต่อความแม่นยำในการจดจำข้อความ หากคุณไม่ได้รับผลลัพธ์ที่ยอมรับได้ ให้ลองขอให้ผู้ใช้จับภาพใหม่
จดจำข้อความในภาพ
หากต้องการจดจำข้อความในรูปภาพ ให้เรียกใช้โปรแกรมจดจำข้อความตามที่อธิบายไว้ด้านล่าง
1. เรียกใช้โปรแกรมจดจำข้อความ
ส่งรูปภาพเป็นUIImage
หรือ CMSampleBufferRef
ไปยังเมธอดกระบวนการของ VisionTextRecognizer
process(_:completion:)
- รับอินสแตนซ์ของ
VisionTextRecognizer
โดยการเรียกcloudTextRecognizer
:สวิฟท์
let vision = Vision.vision() let textRecognizer = vision.cloudTextRecognizer() // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages let options = VisionCloudTextRecognizerOptions() options.languageHints = ["en", "hi"] let textRecognizer = vision.cloudTextRecognizer(options: options)
วัตถุประสงค์-C
FIRVision *vision = [FIRVision vision]; FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer]; // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FIRVisionCloudTextRecognizerOptions *options = [[FIRVisionCloudTextRecognizerOptions alloc] init]; options.languageHints = @[@"en", @"hi"]; FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
- หากต้องการเรียกใช้ Cloud Vision รูปภาพจะต้องได้รับการจัดรูปแบบเป็นสตริงที่เข้ารหัส base64 ในการประมวลผล
UIImage
:สวิฟท์
guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return } let base64encodedImage = imageData.base64EncodedString()
วัตถุประสงค์-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
- จากนั้นส่งภาพไปยังเมธอด
process(_:completion:)
:สวิฟท์
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // ... return } // Recognized text }
วัตถุประสงค์-C
[textRecognizer processImage:image completion:^(FIRVisionText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // ... return; } // Recognized text }];
2. แยกข้อความออกจากกลุ่มข้อความที่รู้จัก
หากการดำเนินการรู้จำข้อความสำเร็จ ระบบจะส่งคืนออบเจ็VisionText
วัตถุ VisionText
ประกอบด้วยข้อความแบบเต็มที่จดจำได้ในรูปภาพ และวัตถุ VisionTextBlock
เป็นศูนย์หรือมากกว่านั้น แต่ละ VisionTextBlock
แทนบล็อกข้อความสี่เหลี่ยมซึ่งมีวัตถุ VisionTextLine
เป็นศูนย์หรือมากกว่า แต่ละออบเจ็กต์ VisionTextLine
มีออบเจ็กต์ VisionTextElement
เป็นศูนย์หรือมากกว่า ซึ่งแสดงถึงคำและเอนทิตีที่มีลักษณะคล้ายคำ (วันที่ ตัวเลข และอื่นๆ)
สำหรับออบเจ็ VisionTextBlock
, VisionTextLine
และ VisionTextElement
แต่ละรายการ คุณสามารถรับข้อความที่รับรู้ในภูมิภาคและพิกัดขอบเขตของภูมิภาคได้
ตัวอย่างเช่น:
สวิฟท์
let resultText = result.text for block in result.blocks { let blockText = block.text let blockConfidence = block.confidence let blockLanguages = block.recognizedLanguages let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for line in block.lines { let lineText = line.text let lineConfidence = line.confidence let lineLanguages = line.recognizedLanguages let lineCornerPoints = line.cornerPoints let lineFrame = line.frame for element in line.elements { let elementText = element.text let elementConfidence = element.confidence let elementLanguages = element.recognizedLanguages let elementCornerPoints = element.cornerPoints let elementFrame = element.frame } } }
วัตถุประสงค์-C
NSString *resultText = result.text; for (FIRVisionTextBlock *block in result.blocks) { NSString *blockText = block.text; NSNumber *blockConfidence = block.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages; NSArray<NSValue *> *blockCornerPoints = block.cornerPoints; CGRect blockFrame = block.frame; for (FIRVisionTextLine *line in block.lines) { NSString *lineText = line.text; NSNumber *lineConfidence = line.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages; NSArray<NSValue *> *lineCornerPoints = line.cornerPoints; CGRect lineFrame = line.frame; for (FIRVisionTextElement *element in line.elements) { NSString *elementText = element.text; NSNumber *elementConfidence = element.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages; NSArray<NSValue *> *elementCornerPoints = element.cornerPoints; CGRect elementFrame = element.frame; } } }
ขั้นตอนถัดไป
- ก่อนที่คุณจะปรับใช้แอปที่ใช้ Cloud API ในการผลิต คุณควรดำเนินการขั้นตอนเพิ่มเติมเพื่อ ป้องกันและลดผลกระทบจากการเข้าถึง API ที่ไม่ได้รับอนุญาต
จดจำข้อความในรูปของเอกสาร
หากต้องการจดจำข้อความของเอกสาร ให้กำหนดค่าและเรียกใช้ตัวจดจำข้อความในเอกสารตามที่อธิบายไว้ด้านล่าง
API การรู้จำข้อความในเอกสารที่อธิบายไว้ด้านล่าง มอบอินเทอร์เฟซที่มีจุดประสงค์เพื่อให้สะดวกยิ่งขึ้นสำหรับการทำงานกับรูปภาพของเอกสาร อย่างไรก็ตาม หากคุณต้องการอินเทอร์เฟซที่มาจาก API ข้อความแบบกระจาย คุณสามารถใช้อินเทอร์เฟซดังกล่าวแทนในการสแกนเอกสารโดยการกำหนดค่าตัวจดจำข้อความบนคลาวด์เพื่อ ใช้โมเดลข้อความหนาแน่น
หากต้องการใช้ API การจดจำข้อความในเอกสาร:
1. เรียกใช้โปรแกรมจดจำข้อความ
ส่งรูปภาพเป็นUIImage
หรือ CMSampleBufferRef
ไปยังเมธอดกระบวนการของ VisionDocumentTextRecognizer
process(_:completion:)
- รับอินสแตนซ์ของ
VisionDocumentTextRecognizer
โดยการเรียกcloudDocumentTextRecognizer
:สวิฟท์
let vision = Vision.vision() let textRecognizer = vision.cloudDocumentTextRecognizer() // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages let options = VisionCloudDocumentTextRecognizerOptions() options.languageHints = ["en", "hi"] let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)
วัตถุประสงค์-C
FIRVision *vision = [FIRVision vision]; FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer]; // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FIRVisionCloudDocumentTextRecognizerOptions *options = [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init]; options.languageHints = @[@"en", @"hi"]; FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];
- หากต้องการเรียกใช้ Cloud Vision รูปภาพจะต้องได้รับการจัดรูปแบบเป็นสตริงที่เข้ารหัส base64 ในการประมวลผล
UIImage
:สวิฟท์
guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return } let base64encodedImage = imageData.base64EncodedString()
วัตถุประสงค์-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
- จากนั้นส่งภาพไปยังเมธอด
process(_:completion:)
:สวิฟท์
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // ... return } // Recognized text }
วัตถุประสงค์-C
[textRecognizer processImage:image completion:^(FIRVisionDocumentText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // ... return; } // Recognized text }];
2. แยกข้อความออกจากกลุ่มข้อความที่รู้จัก
หากการดำเนินการรู้จำข้อความสำเร็จ จะส่งคืนออบเจ็กต์VisionDocumentText
ออบเจ็กต์ VisionDocumentText
ประกอบด้วยข้อความทั้งหมดที่รู้จักในภาพและลำดับชั้นของออบเจ็กต์ที่สะท้อนถึงโครงสร้างของเอกสารที่รู้จัก: สำหรับอ็อบเจ็กต์ VisionDocumentTextBlock
, VisionDocumentTextParagraph
, VisionDocumentTextWord
และ VisionDocumentTextSymbol
แต่ละรายการ คุณสามารถรับข้อความที่รับรู้ในภูมิภาคและพิกัดขอบเขตของขอบเขตได้
ตัวอย่างเช่น:
สวิฟท์
let resultText = result.text for block in result.blocks { let blockText = block.text let blockConfidence = block.confidence let blockRecognizedLanguages = block.recognizedLanguages let blockBreak = block.recognizedBreak let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for paragraph in block.paragraphs { let paragraphText = paragraph.text let paragraphConfidence = paragraph.confidence let paragraphRecognizedLanguages = paragraph.recognizedLanguages let paragraphBreak = paragraph.recognizedBreak let paragraphCornerPoints = paragraph.cornerPoints let paragraphFrame = paragraph.frame for word in paragraph.words { let wordText = word.text let wordConfidence = word.confidence let wordRecognizedLanguages = word.recognizedLanguages let wordBreak = word.recognizedBreak let wordCornerPoints = word.cornerPoints let wordFrame = word.frame for symbol in word.symbols { let symbolText = symbol.text let symbolConfidence = symbol.confidence let symbolRecognizedLanguages = symbol.recognizedLanguages let symbolBreak = symbol.recognizedBreak let symbolCornerPoints = symbol.cornerPoints let symbolFrame = symbol.frame } } } }
วัตถุประสงค์-C
NSString *resultText = result.text; for (FIRVisionDocumentTextBlock *block in result.blocks) { NSString *blockText = block.text; NSNumber *blockConfidence = block.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages; FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak; CGRect blockFrame = block.frame; for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) { NSString *paragraphText = paragraph.text; NSNumber *paragraphConfidence = paragraph.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages; FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak; CGRect paragraphFrame = paragraph.frame; for (FIRVisionDocumentTextWord *word in paragraph.words) { NSString *wordText = word.text; NSNumber *wordConfidence = word.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages; FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak; CGRect wordFrame = word.frame; for (FIRVisionDocumentTextSymbol *symbol in word.symbols) { NSString *symbolText = symbol.text; NSNumber *symbolConfidence = symbol.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages; FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak; CGRect symbolFrame = symbol.frame; } } } }
ขั้นตอนถัดไป
- ก่อนที่คุณจะปรับใช้แอปที่ใช้ Cloud API ในการผลิต คุณควรดำเนินการขั้นตอนเพิ่มเติมเพื่อ ป้องกันและลดผลกระทบจากการเข้าถึง API ที่ไม่ได้รับอนุญาต