Gắn nhãn hình ảnh một cách an toàn bằng Cloud Vision bằng tính năng Xác thực và các hàm trong Firebase trên các nền tảng của Apple

Để gọi một Cloud APIs của Google từ ứng dụng, bạn cần tạo một API REST trung gian xử lý việc uỷ quyền và bảo vệ các giá trị bí mật như khoá API. Sau đó, bạn cần viết mã trong ứng dụng di động để xác thực và giao tiếp với dịch vụ trung gian này.

Một cách để tạo API REST này là sử dụng Xác thực Firebase và Functions. Cách này cung cấp cho bạn một cổng không máy chủ, được quản lý đến các Cloud APIs của Google, xử lý việc xác thực và có thể được gọi từ ứng dụng di động của bạn bằng SDK tạo sẵn.

Hướng dẫn này minh hoạ cách sử dụng kỹ thuật này để gọi Cloud Vision API từ ứng dụng của bạn. Phương thức này sẽ cho phép tất cả người dùng đã xác thực truy cập vào các dịch vụ được tính phí của Cloud Vision thông qua dự án trên đám mây của bạn, vì vậy, hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.

Trước khi bắt đầu

Định cấu hình dự án

Sử dụng Trình quản lý gói Swift để cài đặt và quản lý các phần phụ thuộc của Firebase.

1. Trong Xcode, khi dự án ứng dụng của bạn đang mở, hãy chuyển đến File > Add Packages (Tệp > Thêm gói).
2. Khi được nhắc, hãy thêm kho lưu trữ SDK Firebase cho nền tảng của Apple:

  https://github.com/firebase/firebase-ios-sdk.git

3. Chọn thư viện Firebase ML.
4. Thêm cờ -ObjC vào phần Other Linker Flags (Cờ trình liên kết khác) trong chế độ cài đặt bản dựng của mục tiêu.
5. Khi hoàn tất, Xcode sẽ tự động bắt đầu phân giải và tải các phần phụ thuộc của bạn xuống ở chế độ nền.

Tiếp theo, hãy thực hiện một số bước thiết lập trong ứng dụng:

1. Trong ứng dụng, hãy nhập Firebase:

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

Chỉ cần thêm một vài bước định cấu hình nữa là chúng ta đã sẵn sàng:

1. Nếu bạn chưa bật API dựa trên đám mây cho dự án của mình, hãy bật ngay:

   1. Mở Firebase ML trang API trong bảng điều khiển Firebase.

   2. Nếu bạn chưa nâng cấp dự án lên gói giá linh hoạt (trả tiền theo mức dùng), hãy nhấp vào Nâng cấp để nâng cấp. (Bạn sẽ chỉ được nhắc nâng cấp nếu dự án của bạn không sử dụng gói giá linh hoạt.)

      Chỉ những dự án sử dụng gói giá Blaze mới có thể dùng API dựa trên đám mây.

   3. Nếu bạn chưa bật API dựa trên đám mây, hãy nhấp vào Bật API dựa trên đám mây.
2. Định cấu hình các khoá API Firebase hiện có để không cho phép truy cập vào Cloud Vision API:
   1. Mở trang Thông tin đăng nhập của Cloud Console.
   2. Đối với mỗi khoá API trong danh sách, hãy mở chế độ sửa và trong phần Quy tắc hạn chế đối với khoá, hãy thêm tất cả các API hiện có ngoại trừ Cloud Vision API vào danh sách.

Triển khai hàm có thể gọi

Tiếp theo, hãy triển khai Cloud Function mà bạn sẽ dùng để kết nối ứng dụng của mình với Cloud Vision API. Kho lưu trữ functions-samples chứa một ví dụ mà bạn có thể sử dụng.

Theo mặc định, việc truy cập vào Cloud Vision API thông qua hàm này sẽ chỉ cho phép người dùng đã xác thực của ứng dụng truy cập vào Cloud Vision API. Bạn có thể sửa đổi hàm này cho phù hợp với các yêu cầu khác nhau.

Cách triển khai hàm:

1. Sao chép hoặc tải kho lưu trữ functions-samples xuống rồi chuyển sang thư mục Node-1st-gen/vision-annotate-image:

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. Cài đặt phần phụ thuộc:

   cd functions
   npm install
   cd ..

3. Nếu bạn chưa có Giao diện dòng lệnh (CLI) của Firebase, hãy cài đặt.
4. Khởi chạy một dự án Firebase trong thư mục vision-annotate-image. Khi được nhắc, hãy chọn dự án của bạn trong danh sách.

   firebase init

5. Triển khai hàm:

   firebase deploy --only functions:annotateImage

Thêm Firebase Auth vào ứng dụng của bạn

Hàm có thể gọi được triển khai ở trên sẽ từ chối mọi yêu cầu từ người dùng chưa được xác thực của ứng dụng. Nếu chưa thực hiện, bạn cần thêm Firebase Auth vào ứng dụng của mình.

Thêm các phần phụ thuộc cần thiết vào ứng dụng

Sử dụng Trình quản lý gói Swift để cài đặt thư viện Cloud Functions cho Firebase.

Giờ bạn đã sẵn sàng gắn nhãn cho hình ảnh.

1. Chuẩn bị hình ảnh đầu vào

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Gọi hàm có thể gọi để gắn nhãn hình ảnh

1. Trước tiên, hãy khởi chạy một phiên bản Cloud Functions:

   Swift

   lazy var functions = Functions.functions()
   

   Objective-C

   @property(strong, nonatomic) FIRFunctions *functions;
   

2. Tạo một yêu cầu có Type (Loại) được đặt thành LABEL_DETECTION:

   Swift

   let requestData = [
     "image": ["content": base64encodedImage],
     "features": ["maxResults": 5, "type": "LABEL_DETECTION"]
   ]
   

   Objective-C

   NSDictionary *requestData = @{
     @"image": @{@"content": base64encodedImage},
     @"features": @{@"maxResults": @5, @"type": @"LABEL_DETECTION"}
   };
   

3. Cuối cùng, hãy gọi hàm:

   Swift

   do {
     let result = try await functions.httpsCallable("annotateImage").call(requestData)
     print(result)
   } catch {
     if let error = error as NSError? {
       if error.domain == FunctionsErrorDomain {
         let code = FunctionsErrorCode(rawValue: error.code)
         let message = error.localizedDescription
         let details = error.userInfo[FunctionsErrorDetailsKey]
       }
       // ...
     }
   }
   

   Objective-C

   [[_functions HTTPSCallableWithName:@"annotateImage"]
                             callWithObject:requestData
                                 completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
           if (error) {
             if ([error.domain isEqualToString:@"com.firebase.functions"]) {
               FIRFunctionsErrorCode code = error.code;
               NSString *message = error.localizedDescription;
               NSObject *details = error.userInfo[@"details"];
             }
             // ...
           }
           // Function completed succesfully
           // Get information about labeled objects
   
         }];
   

3. Nhận thông tin về các đối tượng được gắn nhãn

if let labelArray = (result?.data as? [String: Any])?["labelAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let text = labelObj["description"]
    let entityId = labelObj["mid"]
    let confidence = labelObj["score"]
  }
}

NSArray *labelArray = result.data[@"labelAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *text = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *confidence = labelObj[@"score"];
}