Google は、黒人コミュニティのための人種的公平の促進に取り組んでいます。詳細をご覧ください。

iOSのFirebaseMLで画像内のテキストを認識する

Firebase MLを使用して、画像内のテキストを認識することができます。 Firebase MLには、道路標識のテキストなど、画像内のテキストを認識するのに適した汎用APIと、ドキュメントのテキストを認識するために最適化されたAPIの両方があります。

あなたが始める前に

  1. あなたはすでにあなたのアプリにFirebaseを追加していない場合は、の手順に従って、それを行うセットアップガイドを
  2. :あなたのPodfileでFirebase含める
    pod 'Firebase/MLVision'
    
    あなたのプロジェクトのポッドをインストールまたはアップデートした後、その使用してXcodeプロジェクトを開くようにしてください.xcworkspace
  3. アプリで、Firebaseをインポートします。

    迅速

    import Firebase

    Objective-C

    @import Firebase;
  4. プロジェクトでクラウドベースのAPIをまだ有効にしていない場合は、今すぐ有効にしてください。

    1. 開きFirebase MLのAPIページFirebaseコンソールのを。
    2. すでにブレイズ・プライシング計画にプロジェクトをアップグレードしていない場合は、そうするためにアップグレード]をクリックします。 (プロジェクトがBlazeプランに含まれていない場合にのみ、アップグレードするように求められます。)

      BlazeレベルのプロジェクトのみがクラウドベースのAPIを使用できます。

    3. クラウドベースのAPIがすでに有効になっていない場合は、クラウドベースのAPIを有効にする]をクリックします。

これで、画像内のテキストの認識を開始する準備が整いました。

入力画像のガイドライン

  • Firebase MLがテキストを正確に認識するためには、入力画像に十分なピクセルデータで表されるテキストが含まれている必要があります。理想的には、ラテン語のテキストの場合、各文字は少なくとも16x16ピクセルである必要があります。中国語、日本語、韓国語のテキストの場合、各文字は24x24ピクセルである必要があります。すべての言語で、文字が24x24ピクセルよりも大きい場合の精度の利点は一般にありません。

    したがって、たとえば、640x480の画像は、画像の全幅を占める名刺をスキャンするのに適しています。レターサイズの用紙に印刷されたドキュメントをスキャンするには、720x1280ピクセルの画像が必要になる場合があります。

  • 画像の焦点が悪いと、テキスト認識の精度が低下する可能性があります。許容できる結果が得られない場合は、画像を再キャプチャするようにユーザーに依頼してみてください。


画像内のテキストを認識する

画像内のテキストを認識するには、以下の説明に従ってテキスト認識機能を実行します。

1.テキストレコグナイザーを実行します

画像通過UIImageまたはCMSampleBufferRefVisionTextRecognizerprocess(_:completion:)方法。

  1. インスタンスを取得VisionTextRecognizer呼び出すことによってcloudTextRecognizer

    迅速

    let vision = Vision.vision()
    let textRecognizer = vision.cloudTextRecognizer()
    
    // Or, to provide language hints to assist with language detection:
    // See https://cloud.google.com/vision/docs/languages for supported languages
    let options = VisionCloudTextRecognizerOptions()
    options.languageHints = ["en", "hi"]
    let textRecognizer = vision.cloudTextRecognizer(options: options)
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];
    
    // Or, to provide language hints to assist with language detection:
    // See https://cloud.google.com/vision/docs/languages for supported languages
    FIRVisionCloudTextRecognizerOptions *options =
            [[FIRVisionCloudTextRecognizerOptions alloc] init];
    options.languageHints = @[@"en", @"hi"];
    FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
    
  2. Cloud Visionを呼び出すには、画像をbase64でエンコードされた文字列としてフォーマットする必要があります。処理するにUIImage

    迅速

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
    let base64encodedImage = imageData.base64EncodedString()

    Objective-C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
    NSString *base64encodedImage =
      [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. その後に画像を渡すprocess(_:completion:)方法。

    迅速

    textRecognizer.process(visionImage) { result, error in
      guard error == nil, let result = result else {
        // ...
        return
      }
    
      // Recognized text
    }
    

    Objective-C

    [textRecognizer processImage:image
                      completion:^(FIRVisionText *_Nullable result,
                                   NSError *_Nullable error) {
      if (error != nil || result == nil) {
        // ...
        return;
      }
    
      // Recognized text
    }];
    

2.認識されたテキストのブロックからテキストを抽出します

テキスト認識操作が成功した場合、それが返されますVisionTextオブジェクトを。 A VisionTextオブジェクトは、フルテキストが画像で認識され、ゼロ以上含有VisionTextBlockオブジェクト。

VisionTextBlockゼロ以上含有する、テキストの矩形ブロックを表すVisionTextLineオブジェクトを。各VisionTextLineオブジェクトは、ゼロ以上含有VisionTextElement単語と単語のようなエンティティ(日付、番号、等)を表す、オブジェクトを。

それぞれについてVisionTextBlockVisionTextLine 、およびVisionTextElementオブジェクト、あなたは地域で認識されたテキストや地域の境界の座標を取得することができます。

例えば:

迅速

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

次のステップ


ドキュメントの画像内のテキストを認識する

ドキュメントのテキストを認識するには、以下の説明に従ってドキュメントテキストレコグナイザーを構成して実行します。

以下で説明するドキュメントテキスト認識APIは、ドキュメントの画像を操作するためにより便利になることを目的としたインターフェイスを提供します。あなたが疎のテキストAPIが提供するインタフェースを好む場合は、あなたはクラウドのテキスト認識を構成することにより、スキャン文書に代わりにそれを使用することができ、緻密テキストモデルを使用します

ドキュメントテキスト認識APIを使用するには:

1.テキストレコグナイザーを実行します

画像通過UIImageまたはCMSampleBufferRefVisionDocumentTextRecognizerprocess(_:completion:)方法。

  1. インスタンスを取得VisionDocumentTextRecognizer呼び出すことによってcloudDocumentTextRecognizer

    迅速

    let vision = Vision.vision()
    let textRecognizer = vision.cloudDocumentTextRecognizer()
    
    // Or, to provide language hints to assist with language detection:
    // See https://cloud.google.com/vision/docs/languages for supported languages
    let options = VisionCloudDocumentTextRecognizerOptions()
    options.languageHints = ["en", "hi"]
    let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];
    
    // Or, to provide language hints to assist with language detection:
    // See https://cloud.google.com/vision/docs/languages for supported languages
    FIRVisionCloudDocumentTextRecognizerOptions *options =
            [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
    options.languageHints = @[@"en", @"hi"];
    FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];
    
  2. Cloud Visionを呼び出すには、画像をbase64でエンコードされた文字列としてフォーマットする必要があります。処理するにUIImage

    迅速

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
    let base64encodedImage = imageData.base64EncodedString()

    Objective-C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
    NSString *base64encodedImage =
      [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. その後に画像を渡すprocess(_:completion:)方法。

    迅速

    textRecognizer.process(visionImage) { result, error in
      guard error == nil, let result = result else {
        // ...
        return
      }
    
      // Recognized text
    }
    

    Objective-C

    [textRecognizer processImage:image
                      completion:^(FIRVisionDocumentText *_Nullable result,
                                   NSError *_Nullable error) {
      if (error != nil || result == nil) {
        // ...
        return;
      }
    
        // Recognized text
    }];
    

2.認識されたテキストのブロックからテキストを抽出します

テキスト認識操作が成功した場合、それが返されますVisionDocumentTextオブジェクトを。 VisionDocumentTextオブジェクトは、画像と認識し、文書の構造を反映したオブジェクトの階層で認識フルテキストが含まれています。

それぞれについてVisionDocumentTextBlockVisionDocumentTextParagraphVisionDocumentTextWord 、およびVisionDocumentTextSymbolオブジェクト、あなたは地域で認識されたテキストや地域の境界の座標を取得することができます。

例えば:

迅速

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

次のステップ