Apple platformlarında Firebase Auth ve Functions'ı kullanarak Cloud Vision ile Görüntülerdeki Metni Güvenli Bir Şekilde Tanıyın

Uygulamanızdan bir Google Cloud API çağırmak için, yetkilendirmeyi işleyen ve API anahtarları gibi gizli değerleri koruyan bir ara REST API'si oluşturmanız gerekir. Ardından, bu ara hizmette kimlik doğrulaması yapmak ve onunla iletişim kurmak için mobil uygulamanıza kod yazmanız gerekir.

Bu REST API'yi oluşturmanın bir yolu, kimlik doğrulamayı işleyen ve önceden oluşturulmuş SDK'larla mobil uygulamanızdan çağrılabilen Google Cloud API'lerine yönetilen, sunucusuz bir ağ geçidi sağlayan Firebase Authentication and Functions'ı kullanmaktır.

Bu kılavuz, uygulamanızdan Cloud Vision API'yi çağırmak için bu tekniğin nasıl kullanılacağını gösterir. Bu yöntem, kimliği doğrulanmış tüm kullanıcıların Cloud projeniz aracılığıyla Cloud Vision faturalandırılmış hizmetlerine erişmesine izin verecektir, bu nedenle devam etmeden önce bu kimlik doğrulama mekanizmasının kullanım durumunuz için yeterli olup olmadığını düşünün.

Sen başlamadan önce

projenizi yapılandırın

Firebase bağımlılıklarını kurmak ve yönetmek için Swift Paket Yöneticisi'ni kullanın.

1. Xcode'da, uygulama projeniz açıkken File > Add Packages seçeneğine gidin.
2. İstendiğinde, Firebase Apple platformları SDK deposunu ekleyin:

  https://github.com/firebase/firebase-ios-sdk

3. Firebase ML kitaplığını seçin.
4. Bittiğinde, Xcode otomatik olarak arka planda bağımlılıklarınızı çözmeye ve indirmeye başlayacaktır.

Ardından, bazı uygulama içi kurulumları gerçekleştirin:

1. Uygulamanızda Firebase'i içe aktarın:

   Süratli

   import FirebaseMLModelDownloader

   Amaç-C

   @import FirebaseMLModelDownloader;

Birkaç yapılandırma adımı daha ve başlamaya hazırız:

1. Projeniz için Bulut tabanlı API'leri henüz etkinleştirmediyseniz şimdi etkinleştirin:

   1. Firebase konsolunun Firebase ML API'leri sayfasını açın.

   2. Projenizi Blaze fiyatlandırma planına henüz yükseltmediyseniz, bunu yapmak için Yükselt'e tıklayın. (Yalnızca projeniz Blaze planında değilse yükseltme yapmanız istenecektir.)

      Yalnızca Blaze düzeyindeki projeler Bulut tabanlı API'leri kullanabilir.

   3. Bulut tabanlı API'ler zaten etkinleştirilmemişse, Bulut tabanlı API'leri Etkinleştir seçeneğine tıklayın.
2. Cloud Vision API'ye erişimi engellemek için mevcut Firebase API anahtarlarınızı yapılandırın:
   1. Bulut konsolunun Kimlik Bilgileri sayfasını açın.
   2. Listedeki her bir API anahtarı için, düzenleme görünümünü açın ve Anahtar Kısıtlamaları bölümünde, Cloud Vision API dışında mevcut tüm API'leri listeye ekleyin.

Çağrılabilir işlevi dağıtın

Ardından, uygulamanız ile Cloud Vision API arasında köprü kurmak için kullanacağınız Bulut İşlevini dağıtın. functions-samples deposu, kullanabileceğiniz bir örnek içerir.

Varsayılan olarak, bu işlev aracılığıyla Cloud Vision API'ye erişim, yalnızca uygulamanızın kimliği doğrulanmış kullanıcılarının Cloud Vision API'ye erişmesine izin verir. İşlevi farklı gereksinimler için değiştirebilirsiniz.

İşlevi dağıtmak için:

1. İşlev örnekleri deposunu kopyalayın veya indirin ve Node-1st-gen/vision-annotate-image dizinine değiştirin:

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. Bağımlılıkları yükleyin:

   cd functions
   npm install
   cd ..
   

3. Firebase CLI'niz yoksa kurun .
4. vision-annotate-image dizininde bir Firebase projesi başlatın. İstendiğinde, listeden projenizi seçin.

   firebase init

5. İşlevi dağıtın:

   firebase deploy --only functions:annotateImage

Uygulamanıza Firebase Auth ekleyin

Yukarıda dağıtılan çağrılabilir işlev, uygulamanızın kimliği doğrulanmamış kullanıcılarından gelen tüm istekleri reddeder. Henüz yapmadıysanız, uygulamanıza Firebase Auth eklemeniz gerekir.

Uygulamanıza gerekli bağımlılıkları ekleyin

Cloud Functions for Firebase kitaplığını yüklemek için Swift Paket Yöneticisi'ni kullanın.

Artık resimlerdeki metni tanımaya hazırsınız.

1. Giriş görüntüsünü hazırlayın

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Metni tanımak için çağrılabilir işlevi çağırın

1. İlk olarak, bir Cloud Functions örneğini başlatın:

   Süratli

   lazy var functions = Functions.functions()
   

   Amaç-C

   @property(strong, nonatomic) FIRFunctions *functions;
   

2. İsteği oluşturun. Cloud Vision API, iki tür metin algılamayı destekler: TEXT_DETECTION ve DOCUMENT_TEXT_DETECTION . İki kullanım durumu arasındaki fark için Cloud Vision OCR Belgelerine bakın.

   Süratli

   let requestData = [
     "image": ["content": base64encodedImage],
     "features": ["type": "TEXT_DETECTION"],
     "imageContext": ["languageHints": ["en"]]
   ]
   

   Amaç-C

   NSDictionary *requestData = @{
     @"image": @{@"content": base64encodedImage},
     @"features": @{@"type": @"TEXT_DETECTION"},
     @"imageContext": @{@"languageHints": @[@"en"]}
   };
   

3. Son olarak, işlevi çağırın:

   Süratli

   functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
     if let error = error as NSError? {
       if error.domain == FunctionsErrorDomain {
         let code = FunctionsErrorCode(rawValue: error.code)
         let message = error.localizedDescription
         let details = error.userInfo[FunctionsErrorDetailsKey]
       }
       // ...
     }
     // Function completed successfully
   }
   

   Amaç-C

   [[_functions HTTPSCallableWithName:@"annotateImage"]
                             callWithObject:requestData
                                 completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
           if (error) {
             if (error.domain == FIRFunctionsErrorDomain) {
               FIRFunctionsErrorCode code = error.code;
               NSString *message = error.localizedDescription;
               NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
             }
             // ...
           }
           // Function completed succesfully
           // Get information about labeled objects
   
         }];
   

3. Tanınan metin bloklarından metin çıkarın

Metin tanıma işlemi başarılı olursa, görevin sonucunda BatchAnnotateImagesResponse JSON yanıtı döndürülür. Metin ek açıklamaları, fullTextAnnotation nesnesinde bulunabilir.

Tanınan metni, text alanında bir dize olarak alabilirsiniz. Örneğin:

guard let annotation = (result?.data as? [String: Any])?["fullTextAnnotation"] as? [String: Any] else { return }
print("%nComplete annotation:")
let text = annotation["text"] as? String ?? ""
print("%n\(text)")

NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);

Görüntünün bölgelerine özel bilgiler de alabilirsiniz. Her bir block , paragraph , word ve symbol için bölgede tanınan metni ve bölgenin sınırlayıcı koordinatlarını alabilirsiniz. Örneğin:

guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
var pageText = ""
guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
for block in blocks {
    var blockText = ""
    guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
    for paragraph in paragraphs {
    var paragraphText = ""
    guard let words = paragraph["words"] as? [[String: Any]] else { continue }
    for word in words {
        var wordText = ""
        guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
        for symbol in symbols {
        let text = symbol["text"] as? String ?? ""
        let confidence = symbol["confidence"] as? Float ?? 0.0
        wordText += text
        print("Symbol text: \(text) (confidence: \(confidence)%n")
        }
        let confidence = word["confidence"] as? Float ?? 0.0
        print("Word text: \(wordText) (confidence: \(confidence)%n%n")
        let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
        print("Word bounding box: \(boundingBox.description)%n")
        paragraphText += wordText
    }
    print("%nParagraph: %n\(paragraphText)%n")
    let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
    print("Paragraph bounding box: \(boundingBox)%n")
    let confidence = paragraph["confidence"] as? Float ?? 0.0
    print("Paragraph Confidence: \(confidence)%n")
    blockText += paragraphText
    }
    pageText += blockText
}

for (NSDictionary *page in annotation[@"pages"]) {
  NSMutableString *pageText = [NSMutableString new];
  for (NSDictionary *block in page[@"blocks"]) {
    NSMutableString *blockText = [NSMutableString new];
    for (NSDictionary *paragraph in block[@"paragraphs"]) {
      NSMutableString *paragraphText = [NSMutableString new];
      for (NSDictionary *word in paragraph[@"words"]) {
        NSMutableString *wordText = [NSMutableString new];
        for (NSDictionary *symbol in word[@"symbols"]) {
          NSString *text = symbol[@"text"];
          [wordText appendString:text];
          NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
        }
        NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
        NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
        [paragraphText appendString:wordText];
      }
      NSLog(@"\nParagraph: \n%@\n", paragraphText);
      NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
      NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
      [blockText appendString:paragraphText];
    }
    [pageText appendString:blockText];
  }
}