Reconnaître le texte dans les images en toute sécurité avec Cloud Vision à l'aide de Firebase Auth et des fonctions sur les plates-formes Apple

Afin d'appeler une API Google Cloud depuis votre application, vous devez créer une API REST intermédiaire qui gère les autorisations et protège les valeurs secrètes telles que les clés API. Vous devez ensuite écrire du code dans votre application mobile pour vous authentifier et communiquer avec ce service intermédiaire.

Une façon de créer cette API REST consiste à utiliser l'authentification et les fonctions Firebase, qui vous offrent une passerelle gérée et sans serveur vers les API Google Cloud qui gère l'authentification et peut être appelée depuis votre application mobile avec des SDK prédéfinis.

Ce guide montre comment utiliser cette technique pour appeler l'API Cloud Vision depuis votre application. Cette méthode permettra à tous les utilisateurs authentifiés d'accéder aux services facturés Cloud Vision via votre projet Cloud. Vérifiez donc si ce mécanisme d'authentification est suffisant pour votre cas d'utilisation avant de continuer.

Avant que tu commences

Configurez votre projet

Utilisez Swift Package Manager pour installer et gérer les dépendances Firebase.

1. Dans Xcode, avec votre projet d'application ouvert, accédez à File > Add Packages .
2. Lorsque vous y êtes invité, ajoutez le référentiel SDK des plates-formes Apple Firebase :

  https://github.com/firebase/firebase-ios-sdk.git

3. Choisissez la bibliothèque Firebase ML.
4. Ajoutez l'indicateur -ObjC à la section Autres indicateurs de l'éditeur de liens des paramètres de construction de votre cible.
5. Une fois terminé, Xcode commencera automatiquement à résoudre et à télécharger vos dépendances en arrière-plan.

Ensuite, effectuez une configuration dans l'application :

1. Dans votre application, importez Firebase :

   Rapide

   import FirebaseMLModelDownloader

   Objectif c

   @import FirebaseMLModelDownloader;

Encore quelques étapes de configuration et nous sommes prêts à partir :

1. Si vous n'avez pas encore activé les API basées sur le cloud pour votre projet, faites-le maintenant :

   1. Ouvrez la page API Firebase ML de la console Firebase.

   2. Si vous n'avez pas encore mis à niveau votre projet vers le plan tarifaire Blaze, cliquez sur Mettre à niveau pour le faire. (Vous serez invité à effectuer une mise à niveau uniquement si votre projet ne fait pas partie du plan Blaze.)

      Seuls les projets de niveau Blaze peuvent utiliser des API basées sur le cloud.

   3. Si les API basées sur le cloud ne sont pas déjà activées, cliquez sur Activer les API basées sur le cloud .
2. Configurez vos clés API Firebase existantes pour interdire l'accès à l'API Cloud Vision :
   1. Ouvrez la page Informations d'identification de la console Cloud.
   2. Pour chaque clé API de la liste, ouvrez la vue d'édition et dans la section Restrictions de clé, ajoutez toutes les API disponibles à la liste, à l'exception de l'API Cloud Vision.

Déployer la fonction appelable

Ensuite, déployez la fonction Cloud que vous utiliserez pour relier votre application et l'API Cloud Vision. Le référentiel functions-samples contient un exemple que vous pouvez utiliser.

Par défaut, l'accès à l'API Cloud Vision via cette fonction permettra uniquement aux utilisateurs authentifiés de votre application d'accéder à l'API Cloud Vision. Vous pouvez modifier la fonction pour différentes exigences.

Pour déployer la fonction :

1. Clonez ou téléchargez le dépôt de fonctions-échantillons et accédez au répertoire Node-1st-gen/vision-annotate-image :

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. Installer les dépendances :

   cd functions
   npm install
   cd ..
   

3. Si vous ne disposez pas de la CLI Firebase, installez-la .
4. Initialisez un projet Firebase dans le répertoire vision-annotate-image . Lorsque vous y êtes invité, sélectionnez votre projet dans la liste.

   firebase init

5. Déployer la fonction :

   firebase deploy --only functions:annotateImage

Ajoutez Firebase Auth à votre application

La fonction appelable déployée ci-dessus rejettera toute demande d'utilisateurs non authentifiés de votre application. Si vous ne l'avez pas déjà fait, vous devrez ajouter Firebase Auth à votre application.

Ajoutez les dépendances nécessaires à votre application

Utilisez Swift Package Manager pour installer la bibliothèque Cloud Functions pour Firebase.

Vous êtes maintenant prêt à commencer à reconnaître du texte dans des images.

1. Préparez l'image d'entrée

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Invoquez la fonction appelable pour reconnaître le texte

1. Tout d’abord, initialisez une instance de Cloud Functions :

   Rapide

   lazy var functions = Functions.functions()
   

   Objectif c

   @property(strong, nonatomic) FIRFunctions *functions;
   

2. Créez la demande. L'API Cloud Vision prend en charge deux types de détection de texte : TEXT_DETECTION et DOCUMENT_TEXT_DETECTION . Consultez la documentation Cloud Vision OCR pour connaître la différence entre les deux cas d'utilisation.

   Rapide

   let requestData = [
     "image": ["content": base64encodedImage],
     "features": ["type": "TEXT_DETECTION"],
     "imageContext": ["languageHints": ["en"]]
   ]
   

   Objectif c

   NSDictionary *requestData = @{
     @"image": @{@"content": base64encodedImage},
     @"features": @{@"type": @"TEXT_DETECTION"},
     @"imageContext": @{@"languageHints": @[@"en"]}
   };
   

3. Enfin, appelez la fonction :

   Rapide

   functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
     if let error = error as NSError? {
       if error.domain == FunctionsErrorDomain {
         let code = FunctionsErrorCode(rawValue: error.code)
         let message = error.localizedDescription
         let details = error.userInfo[FunctionsErrorDetailsKey]
       }
       // ...
     }
     // Function completed successfully
   }
   

   Objectif c

   [[_functions HTTPSCallableWithName:@"annotateImage"]
                             callWithObject:requestData
                                 completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
           if (error) {
             if (error.domain == FIRFunctionsErrorDomain) {
               FIRFunctionsErrorCode code = error.code;
               NSString *message = error.localizedDescription;
               NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
             }
             // ...
           }
           // Function completed succesfully
           // Get information about labeled objects
   
         }];
   

3. Extraire le texte des blocs de texte reconnu

Si l'opération de reconnaissance de texte réussit, une réponse JSON de BatchAnnotateImagesResponse sera renvoyée dans le résultat de la tâche. Les annotations de texte se trouvent dans l'objet fullTextAnnotation .

Vous pouvez obtenir le texte reconnu sous forme de chaîne dans le champ text . Par exemple:

guard let annotation = (result?.data as? [String: Any])?["fullTextAnnotation"] as? [String: Any] else { return }
print("%nComplete annotation:")
let text = annotation["text"] as? String ?? ""
print("%n\(text)")

NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);

Vous pouvez également obtenir des informations spécifiques aux régions de l'image. Pour chaque block , paragraph , word et symbol , vous pouvez obtenir le texte reconnu dans la région et les coordonnées limites de la région. Par exemple:

guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
var pageText = ""
guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
for block in blocks {
    var blockText = ""
    guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
    for paragraph in paragraphs {
    var paragraphText = ""
    guard let words = paragraph["words"] as? [[String: Any]] else { continue }
    for word in words {
        var wordText = ""
        guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
        for symbol in symbols {
        let text = symbol["text"] as? String ?? ""
        let confidence = symbol["confidence"] as? Float ?? 0.0
        wordText += text
        print("Symbol text: \(text) (confidence: \(confidence)%n")
        }
        let confidence = word["confidence"] as? Float ?? 0.0
        print("Word text: \(wordText) (confidence: \(confidence)%n%n")
        let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
        print("Word bounding box: \(boundingBox.description)%n")
        paragraphText += wordText
    }
    print("%nParagraph: %n\(paragraphText)%n")
    let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
    print("Paragraph bounding box: \(boundingBox)%n")
    let confidence = paragraph["confidence"] as? Float ?? 0.0
    print("Paragraph Confidence: \(confidence)%n")
    blockText += paragraphText
    }
    pageText += blockText
}

for (NSDictionary *page in annotation[@"pages"]) {
  NSMutableString *pageText = [NSMutableString new];
  for (NSDictionary *block in page[@"blocks"]) {
    NSMutableString *blockText = [NSMutableString new];
    for (NSDictionary *paragraph in block[@"paragraphs"]) {
      NSMutableString *paragraphText = [NSMutableString new];
      for (NSDictionary *word in paragraph[@"words"]) {
        NSMutableString *wordText = [NSMutableString new];
        for (NSDictionary *symbol in word[@"symbols"]) {
          NSString *text = symbol[@"text"];
          [wordText appendString:text];
          NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
        }
        NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
        NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
        [paragraphText appendString:wordText];
      }
      NSLog(@"\nParagraph: \n%@\n", paragraphText);
      NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
      NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
      [blockText appendString:paragraphText];
    }
    [pageText appendString:blockText];
  }
}