รู้จักสถานที่สำคัญด้วย Firebase ML บน iOS

คุณใช้ Firebase ML เพื่อระบุจุดสังเกตที่เป็นที่รู้จักในรูปภาพได้

ก่อนจะเริ่ม

    หากคุณยังไม่ได้เพิ่ม Firebase แอปของคุณทำเช่นนั้นโดยทำตามขั้นตอนในส่วน คู่มือการเริ่มต้น

    ใช้ Swift Package Manager เพื่อติดตั้งและจัดการการพึ่งพา Firebase

    1. ใน Xcode กับโครงการของคุณเปิดแอปนำทางไปยังไฟล์> สวิฟท์แพคเกจ> เพิ่มแพคเกจการพึ่งพา
    2. เมื่อได้รับแจ้ง ให้เพิ่มที่เก็บ SDK ของแพลตฟอร์ม Firebase Apple:
    3.   https://github.com/firebase/firebase-ios-sdk
        
    4. เลือกไลบรารี Firebase ML
    5. เมื่อเสร็จแล้ว Xcode จะเริ่มแก้ไขและดาวน์โหลดการพึ่งพาของคุณในเบื้องหลังโดยอัตโนมัติ

    ถัดไป ทำการตั้งค่าบางอย่างในแอพ:

    1. ในแอปของคุณ ให้นำเข้า Firebase:

      Swift

      import Firebase

      วัตถุประสงค์-C

      @import Firebase;
  1. หากคุณยังไม่ได้เปิดใช้งาน API แบบ Cloud-based สำหรับโปรเจ็กต์ของคุณ ให้ดำเนินการดังนี้:

    1. เปิด หน้า Firebase ML APIs ของคอนโซล Firebase
    2. หากคุณไม่ได้อัปเกรดแล้วโครงการของคุณแผนกำหนดราคา Blaze คลิกอัพเกรดจะทำเช่นนั้น (คุณจะได้รับแจ้งให้อัปเกรดเฉพาะเมื่อโปรเจ็กต์ของคุณไม่อยู่ในแผน Blaze)

      เฉพาะโปรเจ็กต์ระดับ Blaze เท่านั้นที่สามารถใช้ API แบบคลาวด์ได้

    3. หาก APIs cloud-based ยังไม่ได้เปิดใช้งานแล้วคลิกเปิดใช้งาน API ของ cloud-based

กำหนดค่าตัวตรวจจับจุดสังเกต

โดยค่าเริ่มต้น เครื่องมือตรวจจับระบบคลาวด์จะใช้เวอร์ชันเสถียรของโมเดลและส่งคืนผลลัพธ์สูงสุด 10 รายการ หากคุณต้องการที่จะเปลี่ยนทั้งการตั้งค่าเหล่านี้ระบุพวกเขาด้วย VisionCloudDetectorOptions วัตถุดังตัวอย่างต่อไปนี้:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

วัตถุประสงค์-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

ในขั้นตอนต่อไปผ่าน VisionCloudDetectorOptions วัตถุเมื่อคุณสร้างวัตถุเครื่องตรวจจับคลาวด์

เรียกใช้ตัวตรวจจับจุดสังเกต

สถานที่สำคัญที่จะรับรู้ในภาพผ่านภาพเป็น UIImage หรือ CMSampleBufferRef ไป VisionCloudLandmarkDetector 's detect(in:) วิธีการ:

  1. ได้รับตัวอย่างของ VisionCloudLandmarkDetector :

    Swift

    lazy var vision = Vision.vision()
    
    let cloudDetector = vision.cloudLandmarkDetector(options: options)
    // Or, to use the default settings:
    // let cloudDetector = vision.cloudLandmarkDetector()
    

    วัตถุประสงค์-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLandmarkDetector *landmarkDetector =
    //     [vision cloudLandmarkDetectorWithOptions:options];
    
  2. ในการเรียก Cloud Vision รูปภาพต้องได้รับการจัดรูปแบบเป็นสตริงที่เข้ารหัส base64 ในการประมวลผล UIImage :

    Swift

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
    let base64encodedImage = imageData.base64EncodedString()

    วัตถุประสงค์-C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
    NSString *base64encodedImage =
      [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. จากนั้นผ่านภาพไปยัง detect(in:) วิธีการ:

    Swift

    cloudDetector.detect(in: visionImage) { landmarks, error in
      guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
        // ...
        return
      }
    
      // Recognized landmarks
      // ...
    }
    

    วัตถุประสงค์-C

    [landmarkDetector detectInImage:image
                         completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                      NSError *error) {
      if (error != nil) {
        return;
      } else if (landmarks != nil) {
        // Got landmarks
      }
    }];
    

รับข้อมูลเกี่ยวกับสถานที่สำคัญที่เป็นที่รู้จัก

หากได้รับการยอมรับสถานที่สำคัญที่ประสบความสำเร็จอาร์เรย์ของ VisionCloudLandmark วัตถุจะถูกส่งผ่านไปยังตัวจัดการเสร็จสิ้น จากแต่ละออบเจ็กต์ คุณสามารถรับข้อมูลเกี่ยวกับจุดสังเกตที่รู้จักในภาพ

ตัวอย่างเช่น:

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

วัตถุประสงค์-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

ขั้นตอนถัดไป