תיוג תמונות באמצעות ערכת ML ב-iOS

אפשר להשתמש ב-ML Kit כדי להוסיף תוויות לאובייקטים שזוהו בתמונה, מודל במכשיר או מודל בענן. לצפייה סקירה כללית כדי ללמוד על היתרונות של בכל גישה.

לפני שמתחילים

1. אם עדיין לא הוספתם את Firebase לאפליקציה, צריך לבצע את הפעולות הבאות במדריך לתחילת העבודה.
2. כוללים את ספריות ML Kit ב-Podfile:

   pod 'Firebase/MLVision', '6.25.0'
   
   
   # If using the on-device API:
   pod 'Firebase/MLVisionLabelModel', '6.25.0'
   

   אחרי שמתקינים או מעדכנים את קבוצות ה-Pod של הפרויקט, חשוב לפתוח את ה-Xcode באמצעות ה-.xcworkspace שלו.
3. מייבאים את Firebase לאפליקציה:

   Swift

   import Firebase

   Objective-C

   @import Firebase;

4. אם אתם רוצים להשתמש במודל מבוסס-הענן ועדיין לא הפעלתם באמצעות ממשקי ה-API מבוססי-הענן של הפרויקט שלכם, עשו זאת עכשיו:

   1. פתיחת ML Kit דף ממשקי ה-API במסוף Firebase.

   2. אם עדיין לא שדרגתם את הפרויקט לתוכנית תמחור ותשלומים של Blaze, לוחצים על כדי לעשות זאת, אפשר לשדרג. (תתבקש לשדרג רק אם הוא לא בתוכנית Blaze.)

      רק בפרויקטים ברמת Blaze אפשר להשתמש בממשקי API מבוססי-Cloud.

   3. אם ממשקי API מבוססי-ענן עדיין לא מופעלים, לוחצים על הפעלת ממשקי API מבוססי-ענן. ממשקי API.

   אם רוצים להשתמש רק במודל ששמור במכשיר, אפשר לדלג על השלב הזה.

עכשיו אתם מוכנים לתייג תמונות באמצעות דגם ששמור במכשיר או מבוסס-ענן.

1. הכנת תמונת הקלט

יצירת אובייקט VisionImage באמצעות UIImage או CMSampleBufferRef

כדי להשתמש ב-UIImage:

1. במקרה הצורך, מסובבים את התמונה כך ש-imageOrientation הוא .up.
2. יוצרים אובייקט VisionImage באמצעות UIImage שסובב בצורה נכונה. אין לציין מטא-נתונים של סיבוב – צריך להשתמש בערך ברירת המחדל, .topLeft.

   Swift

   let image = VisionImage(image: uiImage)

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

כדי להשתמש ב-CMSampleBufferRef:

1. יוצרים אובייקט VisionImageMetadata שמציין את של נתוני התמונה שכלולים מאגר נתונים זמני של CMSampleBufferRef.

   כדי לקבל את כיוון התמונה:

   Swift

   func imageOrientation(
       deviceOrientation: UIDeviceOrientation,
       cameraPosition: AVCaptureDevice.Position
       ) -> VisionDetectorImageOrientation {
       switch deviceOrientation {
       case .portrait:
           return cameraPosition == .front ? .leftTop : .rightTop
       case .landscapeLeft:
           return cameraPosition == .front ? .bottomLeft : .topLeft
       case .portraitUpsideDown:
           return cameraPosition == .front ? .rightBottom : .leftBottom
       case .landscapeRight:
           return cameraPosition == .front ? .topRight : .bottomRight
       case .faceDown, .faceUp, .unknown:
           return .leftTop
       }
   }

   Objective-C

   - (FIRVisionDetectorImageOrientation)
       imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                              cameraPosition:(AVCaptureDevicePosition)cameraPosition {
     switch (deviceOrientation) {
       case UIDeviceOrientationPortrait:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationLeftTop;
         } else {
           return FIRVisionDetectorImageOrientationRightTop;
         }
       case UIDeviceOrientationLandscapeLeft:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationBottomLeft;
         } else {
           return FIRVisionDetectorImageOrientationTopLeft;
         }
       case UIDeviceOrientationPortraitUpsideDown:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationRightBottom;
         } else {
           return FIRVisionDetectorImageOrientationLeftBottom;
         }
       case UIDeviceOrientationLandscapeRight:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationTopRight;
         } else {
           return FIRVisionDetectorImageOrientationBottomRight;
         }
       default:
         return FIRVisionDetectorImageOrientationTopLeft;
     }
   }

   לאחר מכן, יוצרים את אובייקט המטא-נתונים:

   Swift

   let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
   let metadata = VisionImageMetadata()
   metadata.orientation = imageOrientation(
       deviceOrientation: UIDevice.current.orientation,
       cameraPosition: cameraPosition
   )

   Objective-C

   FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
   AVCaptureDevicePosition cameraPosition =
       AVCaptureDevicePositionBack;  // Set to the capture device you used.
   metadata.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

2. יוצרים אובייקט VisionImage באמצעות האובייקט CMSampleBufferRef והמטא-נתונים של הסיבוב:

   Swift

   let image = VisionImage(buffer: sampleBuffer)
   image.metadata = metadata

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
   image.metadata = metadata;

2. הגדרה והפעלה של מתייג התמונות

1. קודם צריך לקבל מופע של VisionImageLabeler.

   אם רוצים להשתמש במתייג התמונות במכשיר:

   Swift

   let labeler = Vision.vision().onDeviceImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionOnDeviceImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().onDeviceImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] onDeviceImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionOnDeviceImageLabelerOptions *options =
   //         [[FIRVisionOnDeviceImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] onDeviceImageLabelerWithOptions:options];
   

   אם רוצים להשתמש במתייג של תמונות בענן:

   Swift

   let labeler = Vision.vision().cloudImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionCloudImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().cloudImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionCloudImageLabelerOptions *options =
   //         [[FIRVisionCloudImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] cloudImageLabelerWithOptions:options];
   

2. לאחר מכן, מעבירים את התמונה ל-method processImage():

   Swift

   labeler.process(image) { labels, error in
       guard error == nil, let labels = labels else { return }
   
       // Task succeeded.
       // ...
   }
   

   Objective-C

   [labeler processImage:image
              completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                           NSError *_Nullable error) {
                  if (error != nil) { return; }
   
                  // Task succeeded.
                  // ...
              }];
   

3. אחזור מידע על אובייקטים מתויגים

לדוגמה:

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

טיפים לשיפור הביצועים בזמן אמת

כדי להוסיף תווית לתמונות באפליקציה בזמן אמת, צריך לפעול לפי השלבים הבאים כדי להשיג את קצבי הפריימים הטובים ביותר:

• ויסות קריאות למתייג התמונות. אם פריים חדש בסרטון הופך כאשר מתייג התמונות פועל, משחררים את המסגרת.
• אם משתמשים בפלט של מתייג התמונה כדי להציג גרפיקה בשכבת-על מקבלים קודם את התוצאה מ-ML Kit ואז מעבדים את התמונה וליצור שכבת-על בשלב אחד. כך תוכלו להציג את משטח המסך פעם אחת בלבד לכל מסגרת קלט. אפשר לעיין ב-previewOverlayView ו-FIRDetectionOverlayView באפליקציה לדוגמה של Showcase.

השלבים הבאים

• לפני שפורסים לסביבת ייצור אפליקציה שמשתמשת ב-Cloud API, צריך לבצע את הפעולות הבאות צעדים נוספים למניעה ולצמצום ההשפעה של גישה לא מורשית ל-API.