Bezpieczne oznaczanie obrazów etykietami za pomocą Cloud Vision za pomocą uwierzytelniania i funkcji Firebase na platformach Apple

Aby wywołać interfejs Google Cloud API z poziomu aplikacji, musisz utworzyć pośredni interfejs REST API, który będzie obsługiwać autoryzację i chronić tajne wartości, takie jak klucze interfejsu API. Następnie musisz napisać kod w aplikacji mobilnej, aby uwierzytelnić się w tej usłudze pośredniej i komunikować się z nią.

Jednym ze sposobów utworzenia tego interfejsu REST API jest użycie uwierzytelniania i funkcji Firebase, które zapewniają zarządzaną, bezserwerową bramę do interfejsów Google Cloud API, która obsługuje uwierzytelnianie i może być wywoływana z aplikacji mobilnej za pomocą gotowych pakietów SDK.

Z tego przewodnika dowiesz się, jak używać tej metody do wywoływania interfejsu Cloud Vision API z poziomu aplikacji. Ta metoda umożliwi wszystkim uwierzytelnionym użytkownikom dostęp do płatnych usług Cloud Vision za pomocą Twojego projektu w chmurze, więc zanim przejdziesz dalej, zastanów się, czy ten mechanizm uwierzytelniania jest wystarczający w Twoim przypadku użycia.

Zanim zaczniesz

Skonfiguruj projekt

Do instalacji zależności Firebase i do zarządzania nimi możesz używać menedżera pakietów Swift.

1. Po otwarciu projektu aplikacji wybierz w Xcode kolejno File > Add Packages (Plik > Dodaj pakiety).
2. Gdy pojawi się prośba, dodaj repozytorium pakietu SDK Firebase na platformy Apple:

  https://github.com/firebase/firebase-ios-sdk.git

3. Wybierz bibliotekę Firebase ML.
4. Dodaj flagę -ObjC do sekcji Other Linker Flags (Inne flagi linkera) w ustawieniach kompilacji miejsca docelowego.
5. Gdy skończysz, Xcode zacznie automatycznie wyszukiwać i pobierać Twoje zależności w tle.

Następnie skonfiguruj aplikację:

1. W aplikacji zaimportuj Firebase:

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

Jeszcze kilka kroków konfiguracji i wszystko będzie gotowe:

1. Jeśli nie masz jeszcze włączonych interfejsów API opartych na chmurze w swoim projekcie, zrób to teraz:

   1. Otwórz stronę Firebase ML APIs w konsoli Firebase.

   2. Jeśli nie masz jeszcze projektu w planie taryfowym Blaze z płatnością według wykorzystania, kliknij Upgrade (Uaktualnij). (Prośba o uaktualnienie pojawi się tylko wtedy, gdy Twój projekt nie jest objęty planem taryfowym Blaze).

      Tylko projekty objęte planem taryfowym Blaze mogą korzystać z interfejsów API opartych na chmurze.

   3. Jeśli interfejsy API oparte na chmurze nie są jeszcze włączone, kliknij Enable Cloud-based APIs (Włącz interfejsy API oparte na chmurze).
2. Skonfiguruj dotychczasowe klucze interfejsu Firebase API, aby uniemożliwić dostęp do interfejsu Cloud Vision API:
   1. Otwórz stronę Dane logowania w konsoli Cloud.
   2. W przypadku każdego klucza interfejsu API na liście otwórz widok edycji i w sekcji Ograniczenia klucza dodaj do listy wszystkie dostępne interfejsy API z wyjątkiem interfejsu Cloud Vision API.

Wdrażanie funkcji wywoływanej

Następnie wdróż funkcję w Cloud Functions, która będzie służyć jako pomost między Twoją aplikacją a interfejsem Cloud Vision API. W repozy0toryum functions-samples znajdziesz przykład , z którego możesz skorzystać.

Domyślnie dostęp do interfejsu Cloud Vision API za pomocą tej funkcji będzie możliwy tylko dla uwierzytelnionych użytkowników Twojej aplikacji. Możesz zmodyfikować funkcję, aby spełniała inne wymagania.

Aby wdrożyć funkcję:

1. Sklonuj lub pobierz repozytorium functions-samples i przejdź do katalogu Node-1st-gen/vision-annotate-image:

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. Zainstaluj zależności:

   cd functions
   npm install
   cd ..

3. Jeśli nie masz wiersza poleceń Firebase, zainstaluj go.
4. Zainicjuj projekt w Firebase w vision-annotate-image katalogu. Gdy pojawi się prośba, wybierz projekt z listy.

   firebase init

5. Wdróż funkcję:

   firebase deploy --only functions:annotateImage

Dodawanie uwierzytelniania Firebase do aplikacji

Wdrożona powyżej funkcja wywoływana będzie odrzucać wszystkie żądania od nieuwierzytelnionych użytkowników Twojej aplikacji. Jeśli jeszcze tego nie zrobisz, musisz dodać do aplikacji uwierzytelnianie Firebase.

Dodawanie do aplikacji niezbędnych zależności

Do instalacji biblioteki Cloud Functions dla Firebase możesz używać menedżera pakietów Swift.

Możesz już etykietować obrazy.

1. Przygotowywanie obrazu wejściowego

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Wywoływanie funkcji wywoływanej w celu etykietowania obrazu

1. Najpierw zainicjuj instancję Cloud Functions:

   Swift

   lazy var functions = Functions.functions()
   

   Objective-C

   @property(strong, nonatomic) FIRFunctions *functions;
   

2. Utwórz żądanie z ustawionym typem Type na LABEL_DETECTION:

   Swift

   let requestData = [
     "image": ["content": base64encodedImage],
     "features": ["maxResults": 5, "type": "LABEL_DETECTION"]
   ]
   

   Objective-C

   NSDictionary *requestData = @{
     @"image": @{@"content": base64encodedImage},
     @"features": @{@"maxResults": @5, @"type": @"LABEL_DETECTION"}
   };
   

3. Na koniec wywołaj funkcję:

   Swift

   do {
     let result = try await functions.httpsCallable("annotateImage").call(requestData)
     print(result)
   } catch {
     if let error = error as NSError? {
       if error.domain == FunctionsErrorDomain {
         let code = FunctionsErrorCode(rawValue: error.code)
         let message = error.localizedDescription
         let details = error.userInfo[FunctionsErrorDetailsKey]
       }
       // ...
     }
   }
   

   Objective-C

   [[_functions HTTPSCallableWithName:@"annotateImage"]
                             callWithObject:requestData
                                 completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
           if (error) {
             if ([error.domain isEqualToString:@"com.firebase.functions"]) {
               FIRFunctionsErrorCode code = error.code;
               NSString *message = error.localizedDescription;
               NSObject *details = error.userInfo[@"details"];
             }
             // ...
           }
           // Function completed succesfully
           // Get information about labeled objects
   
         }];
   

3. Uzyskiwanie informacji o etykietowanych obiektach

if let labelArray = (result?.data as? [String: Any])?["labelAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let text = labelObj["description"]
    let entityId = labelObj["mid"]
    let confidence = labelObj["score"]
  }
}

NSArray *labelArray = result.data[@"labelAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *text = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *confidence = labelObj[@"score"];
}