تصنيف الصور باستخدام تعلُّم الآلة من Firebase على منصات Apple

يمكنك استخدام السمة Firebase ML لتصنيف العناصر التي تم التعرّف عليها في الصورة. يمكنك الاطّلاع على نظرة عامة للحصول على معلومات حول واجهة برمجة التطبيقات هذه الجديدة.

قبل البدء

إذا لم يسبق لك إضافة Firebase إلى تطبيقك، يمكنك إجراء ذلك من خلال اتّباع الخطوات في دليل البدء.

يمكنك استخدام "مدير حزم Swift" لتثبيت اعتماديات Firebase وإدارتها.

1. في Xcode، انتقِل إلى File (ملف) > بعد فتح مشروع التطبيق الخاص بك. إضافة حِزم
2. أضِف مستودع حزمة تطوير البرامج (SDK) لمنصّات Firebase Apple عندما يُطلب منك ذلك:

  https://github.com/firebase/firebase-ios-sdk.git

3. اختَر مكتبة "Firebase ML".
4. أضِف العلامة -ObjC إلى القسم علامات الروابط الأخرى في إعدادات إصدار هدفك.
5. عند الانتهاء، سيبدأ Xcode تلقائيًا في حل وتنزيل ملف والتبعيات في الخلفية.

بعد ذلك، يمكنك إجراء بعض الإعدادات داخل التطبيق:

1. في تطبيقك، استورد Firebase:

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

1. إذا لم يسبق لك تفعيل واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية لمشروعك، يُرجى إجراء ذلك الآن:

   1. افتح Firebase ML. صفحة واجهات برمجة التطبيقات لوحدة تحكُّم Firebase.

   2. إذا لم تكن قد أجريت ترقية لمشروعك إلى خطة أسعار Blaze، انقر على يجب الترقية لإجراء ذلك. (ستتم مطالبتك بالترقية فقط إذا كان مشروعك ليس على خطة Blaze).

      يمكن للمشروعات على مستوى Blaze فقط استخدام واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية.

   3. إذا لم تكن واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية مُفعَّلة، انقر على تفعيل البيانات المستندة إلى السحابة الإلكترونية. API.

أنت الآن جاهز لتسمية الصور.

1- تحضير صورة الإدخال

إنشاء عنصر VisionImage باستخدام UIImage أو CMSampleBufferRef

لاستخدام UIImage:

1. إذا لزم الأمر، يمكنك تدوير الصورة لتكون imageOrientation الموقع هو .up.
2. إنشاء عنصر VisionImage باستخدام عنصر التدوير الذي تم تدويره بشكل صحيح UIImage عدم تحديد أي بيانات وصفية حول عرض الإعلانات بالتناوب - البيانات التلقائية القيمة، .topLeft،.

   Swift

   let image = VisionImage(image: uiImage)

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

لاستخدام CMSampleBufferRef:

1. أنشئ كائن VisionImageMetadata يحدّد اتجاه بيانات الصورة الواردة في المخزن المؤقت CMSampleBufferRef

   للحصول على اتجاه الصورة:

   Swift

   func imageOrientation(
       deviceOrientation: UIDeviceOrientation,
       cameraPosition: AVCaptureDevice.Position
       ) -> VisionDetectorImageOrientation {
       switch deviceOrientation {
       case .portrait:
           return cameraPosition == .front ? .leftTop : .rightTop
       case .landscapeLeft:
           return cameraPosition == .front ? .bottomLeft : .topLeft
       case .portraitUpsideDown:
           return cameraPosition == .front ? .rightBottom : .leftBottom
       case .landscapeRight:
           return cameraPosition == .front ? .topRight : .bottomRight
       case .faceDown, .faceUp, .unknown:
           return .leftTop
       }
   }

   Objective-C

   - (FIRVisionDetectorImageOrientation)
       imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                              cameraPosition:(AVCaptureDevicePosition)cameraPosition {
     switch (deviceOrientation) {
       case UIDeviceOrientationPortrait:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationLeftTop;
         } else {
           return FIRVisionDetectorImageOrientationRightTop;
         }
       case UIDeviceOrientationLandscapeLeft:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationBottomLeft;
         } else {
           return FIRVisionDetectorImageOrientationTopLeft;
         }
       case UIDeviceOrientationPortraitUpsideDown:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationRightBottom;
         } else {
           return FIRVisionDetectorImageOrientationLeftBottom;
         }
       case UIDeviceOrientationLandscapeRight:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationTopRight;
         } else {
           return FIRVisionDetectorImageOrientationBottomRight;
         }
       default:
         return FIRVisionDetectorImageOrientationTopLeft;
     }
   }

   بعد ذلك، أنشئ كائن البيانات الوصفية:

   Swift

   let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
   let metadata = VisionImageMetadata()
   metadata.orientation = imageOrientation(
       deviceOrientation: UIDevice.current.orientation,
       cameraPosition: cameraPosition
   )

   Objective-C

   FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
   AVCaptureDevicePosition cameraPosition =
       AVCaptureDevicePositionBack;  // Set to the capture device you used.
   metadata.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

2. إنشاء عنصر VisionImage باستخدام عنصر CMSampleBufferRef والبيانات الوصفية بالتناوب:

   Swift

   let image = VisionImage(buffer: sampleBuffer)
   image.metadata = metadata

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
   image.metadata = metadata;

2- ضبط أداة تصنيف الصور وتشغيلها

1. أولاً، عليك الحصول على مثيل لـ VisionImageLabeler:

   Swift

   let labeler = Vision.vision().cloudImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionCloudImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().cloudImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionCloudImageLabelerOptions *options =
   //         [[FIRVisionCloudImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] cloudImageLabelerWithOptions:options];
   

2. بعد ذلك، اضبط الصورة على طريقة processImage():

   Swift

   labeler.process(image) { labels, error in
       guard error == nil, let labels = labels else { return }
   
       // Task succeeded.
       // ...
   }
   

   Objective-C

   [labeler processImage:image
              completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                           NSError *_Nullable error) {
                  if (error != nil) { return; }
   
                  // Task succeeded.
                  // ...
              }];
   

3- الحصول على معلومات عن العناصر المصنّفة

على سبيل المثال:

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

الخطوات التالية

• قبل نشر تطبيق يستخدم Cloud API في قناة الإصدار العلني، يجب إجراء بعض الخطوات الإضافية لمنع وتخفيف تأثير الوصول غير المُصرح به إلى واجهة برمجة التطبيقات.