Nhận dạng địa danh một cách an toàn bằng Tầm nhìn đám mây bằng tính năng Xác thực và các hàm trong Firebase trên các nền tảng của Apple

Để gọi một Google Cloud API từ ứng dụng, bạn cần tạo một REST API trung gian xử lý việc uỷ quyền và bảo vệ các giá trị bí mật như khoá API. Sau đó, bạn cần viết mã trong ứng dụng di động để xác thực và giao tiếp với dịch vụ trung gian này.

Một cách để tạo REST API này là sử dụng Firebase Authentication và Functions. Cách này cung cấp cho bạn một cổng không máy chủ, được quản lý đến Google Cloud API, xử lý việc xác thực và có thể được gọi từ ứng dụng di động bằng các SDK dựng sẵn.

Hướng dẫn này minh hoạ cách sử dụng kỹ thuật này để gọi Cloud Vision API từ ứng dụng. Phương thức này sẽ cho phép tất cả người dùng đã xác thực truy cập vào các dịch vụ được tính phí của Cloud Vision thông qua dự án trên Cloud. Vì vậy, hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.

Trước khi bắt đầu

Định cấu hình dự án

Nếu bạn chưa thêm Firebase vào ứng dụng, hãy làm theo các bước trong hướng dẫn bắt đầu sử dụng.

Sử dụng Swift Package Manager để cài đặt và quản lý các phần phụ thuộc của Firebase.

Trong Xcode, khi dự án ứng dụng của bạn đang mở, hãy chuyển đến File > Add Packages.
Khi được nhắc, hãy thêm kho lưu trữ SDK nền tảng Apple của Firebase:

  https://github.com/firebase/firebase-ios-sdk.git

Chọn thư viện Firebase ML.
Thêm cờ -ObjC vào phần Other Linker Flags (Cờ trình liên kết khác) trong chế độ cài đặt bản dựng của mục tiêu.
Khi hoàn tất, Xcode sẽ tự động bắt đầu phân giải và tải các phần phụ thuộc xuống ở chế độ nền.

Tiếp theo, hãy thực hiện một số bước thiết lập trong ứng dụng:

Trong ứng dụng, hãy nhập Firebase:

Swift

import FirebaseMLModelDownloader

Objective-C

@import FirebaseMLModelDownloader;

Bạn cần thực hiện thêm một vài bước định cấu hình nữa là có thể bắt đầu:

Nếu bạn chưa bật API dựa trên đám mây cho dự án, hãy bật ngay:
1. Mở trang Firebase ML API trong bảng điều khiển Firebase.
2. Nếu bạn chưa nâng cấp dự án lên gói giá linh hoạt (trả tiền theo mức dùng) , hãy nhấp vào Nâng cấp để thực hiện. (Bạn sẽ chỉ được nhắc nâng cấp nếu dự án của bạn không sử dụng gói giá linh hoạt ).
  
  Chỉ những dự án sử dụng gói giá linh hoạt mới có thể sử dụng API dựa trên đám mây.
3. Nếu API dựa trên đám mây chưa được bật, hãy nhấp vào Bật API dựa trên đám mây.
Định cấu hình các khoá Firebase API hiện có để không cho phép truy cập vào Cloud Vision API:
1. Mở trang Thông tin xác thực của bảng điều khiển Cloud.
2. Đối với mỗi khoá API trong danh sách, hãy mở chế độ xem chỉnh sửa rồi trong phần Key Restrictions (Quy tắc hạn chế về khoá), hãy thêm tất cả các API có sẵn ngoại trừ Cloud Vision API vào danh sách.

Triển khai hàm có thể gọi

Tiếp theo, hãy triển khai Cloud Functions mà bạn sẽ dùng để kết nối ứng dụng và Cloud Vision API. Kho lưu trữ functions-samples chứa một ví dụ mà bạn có thể sử dụng.

Theo mặc định, việc truy cập vào Cloud Vision API thông qua hàm này sẽ cho phép chỉ người dùng đã xác thực của ứng dụng truy cập vào Cloud Vision API. Bạn có thể sửa đổi hàm cho các yêu cầu khác nhau.

Cách triển khai hàm:

Sao chép hoặc tải kho lưu trữ functions-samples xuống rồi chuyển sang thư mục Node-1st-gen/vision-annotate-image đó:
```
git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
```
Cài đặt các phần phụ thuộc:
```
cd functions
npm install
cd ..
```
Nếu bạn chưa có Firebase CLI, hãy cài đặt.
Khởi chạy một dự án Firebase trong thư mục vision-annotate-image. Khi được nhắc, hãy chọn dự án của bạn trong danh sách.
```
firebase init
```

Triển khai hàm:

firebase deploy --only functions:annotateImage

Thêm Firebase Auth vào ứng dụng

Hàm có thể gọi được triển khai ở trên sẽ từ chối mọi yêu cầu từ người dùng chưa xác thực của ứng dụng. Nếu chưa thực hiện, bạn cần thêm Firebase Auth vào ứng dụng.

Thêm các phần phụ thuộc cần thiết vào ứng dụng

Sử dụng Swift Package Manager để cài đặt thư viện Cloud Functions cho Firebase.

1. Chuẩn bị hình ảnh đầu vào

Để gọi Cloud Vision, hình ảnh phải được định dạng dưới dạng chuỗi được mã hoá base64. Cách xử lý UIImage:

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Gọi hàm có thể gọi để nhận dạng các địa danh

Để nhận dạng các địa danh trong một hình ảnh, hãy gọi hàm có thể gọi truyền một yêu cầu Cloud Vision JSON.

Trước tiên, hãy khởi chạy một thực thể của Cloud Functions:

Swift

lazy var functions = Functions.functions()

Objective-C

@property(strong, nonatomic) FIRFunctions *functions;

Tạo một yêu cầu có Loại được đặt thành LANDMARK_DETECTION:

Swift

let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
]

Objective-C

NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
};

Cuối cùng, hãy gọi hàm:

Swift

do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

Objective-C

[[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3. Xem thông tin về các địa danh được nhận dạng

Nếu thao tác nhận dạng địa danh thành công, một phản hồi JSON của BatchAnnotateImagesResponse sẽ được trả về trong kết quả của tác vụ. Mỗi đối tượng trong landmarkAnnotations mảng đại diện cho một địa danh được nhận dạng trong hình ảnh. Đối với mỗi địa danh, bạn có thể lấy toạ độ giới hạn của địa danh trong hình ảnh đầu vào, tên của địa danh, vĩ độ và kinh độ của địa danh, mã thực thể Knowledge Graph (nếu có) và điểm tin cậy của kết quả khớp. Ví dụ:

Swift

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Objective-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}