تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

رصد الكائنات وتتبُّعها باستخدام مجموعة أدوات تعلُّم الآلة على Android

يمكنك استخدام ML Kit لرصد العناصر وتتبُّعها في جميع لقطات الفيديو.

عند تمرير صور إلى ML Kit، تعرض لك هذه الأداة قائمة بكل صورة تتضمّن ما يصل إلى خمسة عناصر تم رصدها وموضعها في الصورة. عند رصد عناصر في بث الفيديو، يكون لكل عنصر رقم تعريف يمكنك استخدامه لتتبُّع العنصر في الصور. يمكنك أيضًا تفعيل التصنيف التقريبي للعناصر، والذي يصنّف العناصر باستخدام أوصاف فئات عامة.

قبل البدء

أضِف Firebase إلى مشروع Android الخاص بك، في حال لم يسبق لك إجراء ذلك.

أضِف العناصر التابعة لمكتبات ML Kit على Android إلى ملف Gradle الخاص بالوحدة (على مستوى التطبيق) (عادةً app/build.gradle):

apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-object-detection-model:19.0.6'
}

1. ضبط أداة رصد العناصر

لبدء رصد العناصر وتتبُّعها، عليك أولاً إنشاء مثيل من FirebaseVisionObjectDetector، مع تحديد أي إعدادات لأداة الرصد تريد تغييرها من الإعدادات التلقائية بشكل اختياري.

اضبط أداة رصد العناصر لتناسب حالة الاستخدام مع كائن FirebaseVisionObjectDetectorOptions. يمكنك تغيير الإعدادات التالية:

إعدادات أداة رصد الأجسام

وضع الكشف

إعدادات أداة رصد الأجسام
وضع الكشف	`STREAM_MODE` (تلقائي) \| `SINGLE_IMAGE_MODE` في `STREAM_MODE` (الإعداد التلقائي)، يتم تشغيل أداة رصد العناصر بزمن انتقال منخفض، ولكن قد تعرض نتائج غير مكتملة (مثل مربّعات محيطة أو تصنيفات فئات غير محدّدة) في المرات القليلة الأولى التي يتم فيها استدعاء أداة الرصد. بالإضافة إلى ذلك، في `STREAM_MODE`، يحدّد أداة رصد المعالم أرقام تعريف التتبُّع للعناصر، ويمكنك استخدامها لتتبُّع العناصر في جميع اللقطات. استخدِم هذا الوضع عندما تريد تتبُّع الكائنات أو عندما يكون وقت الاستجابة المنخفض مهمًا، مثلاً عند معالجة بث الفيديو في الوقت الفعلي. في `SINGLE_IMAGE_MODE`، ينتظر أداة رصد الأجسام إلى أن يتوفّر المربّع المحيط الخاص بالجسم الذي تم رصده وتصنيف الفئة (إذا فعّلت التصنيف) قبل عرض النتيجة. ونتيجةً لذلك، قد يكون وقت الاستجابة للرصد أطول. بالإضافة إلى ذلك، لا يتم تعيين أرقام تعريف التتبّع في `SINGLE_IMAGE_MODE`. استخدِم هذا الوضع إذا لم يكن وقت الاستجابة عاملاً مهمًا ولم تكن تريد التعامل مع نتائج جزئية.
رصد وتتبُّع عناصر متعدّدة	`false` (تلقائي) \| `true` تحديد ما إذا كان سيتم رصد وتتبُّع ما يصل إلى خمسة عناصر أو العنصر الأبرز فقط (الإعداد التلقائي)
تصنيف العناصر	`false` (تلقائي) \| `true` تحديد ما إذا كان سيتم تصنيف الأجسام التي تم رصدها إلى فئات عامة أم لا عند تفعيل هذه الميزة، يصنّف تطبيق "التعرّف على العناصر" العناصر إلى الفئات التالية: سلع الموضة، والطعام، والسلع المنزلية، والأماكن، والنباتات، والعناصر غير المعروفة.

STREAM_MODE (تلقائي) | SINGLE_IMAGE_MODE

في STREAM_MODE (الإعداد التلقائي)، يتم تشغيل أداة رصد العناصر بزمن انتقال منخفض، ولكن قد تعرض نتائج غير مكتملة (مثل مربّعات محيطة أو تصنيفات فئات غير محدّدة) في المرات القليلة الأولى التي يتم فيها استدعاء أداة الرصد. بالإضافة إلى ذلك، في STREAM_MODE، يحدّد أداة رصد المعالم أرقام تعريف التتبُّع للعناصر، ويمكنك استخدامها لتتبُّع العناصر في جميع اللقطات. استخدِم هذا الوضع عندما تريد تتبُّع الكائنات أو عندما يكون وقت الاستجابة المنخفض مهمًا، مثلاً عند معالجة بث الفيديو في الوقت الفعلي.

في SINGLE_IMAGE_MODE، ينتظر أداة رصد الأجسام إلى أن يتوفّر المربّع المحيط الخاص بالجسم الذي تم رصده وتصنيف الفئة (إذا فعّلت التصنيف) قبل عرض النتيجة. ونتيجةً لذلك، قد يكون وقت الاستجابة للرصد أطول. بالإضافة إلى ذلك، لا يتم تعيين أرقام تعريف التتبّع في SINGLE_IMAGE_MODE. استخدِم هذا الوضع إذا لم يكن وقت الاستجابة عاملاً مهمًا ولم تكن تريد التعامل مع نتائج جزئية.

رصد وتتبُّع عناصر متعدّدة

false (تلقائي) | true

تحديد ما إذا كان سيتم رصد وتتبُّع ما يصل إلى خمسة عناصر أو العنصر الأبرز فقط (الإعداد التلقائي)

تصنيف العناصر

false (تلقائي) | true

تحديد ما إذا كان سيتم تصنيف الأجسام التي تم رصدها إلى فئات عامة أم لا عند تفعيل هذه الميزة، يصنّف تطبيق "التعرّف على العناصر" العناصر إلى الفئات التالية: سلع الموضة، والطعام، والسلع المنزلية، والأماكن، والنباتات، والعناصر غير المعروفة.

تم تحسين واجهة برمجة التطبيقات لرصد الأجسام وتتبُّعها لحالتَي الاستخدام الأساسيتَين التاليتَين:

الرصد والتتبُّع المباشرَين لأبرز عنصر في عدسة الكاميرا
رصد عناصر متعدّدة من صورة ثابتة

لضبط واجهة برمجة التطبيقات لحالات الاستخدام هذه، اتّبِع الخطوات التالية:

Java

// Live detection and tracking
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

Kotlin

// Live detection and tracking
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

الحصول على مثيل من FirebaseVisionObjectDetector:

Java

FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector();

// Or, to change the default settings:
FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector(options);

Kotlin

val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector()

// Or, to change the default settings:
val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)

2. تشغيل أداة رصد العناصر

لاكتشاف العناصر وتتبُّعها، مرِّر الصور إلى طريقة processImage() الخاصة بالكائن FirebaseVisionObjectDetector.

لكل إطار فيديو أو صورة في تسلسل، اتّبِع الخطوات التالية:

أنشئ عنصر FirebaseVisionImage من صورتك.

لإنشاء عنصر FirebaseVisionImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، مرِّر عنصر media.Image وزاوية دوران الصورة إلى FirebaseVisionImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، سيحسب لك الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة الدوران، لذلك ما عليك سوى تحويل الدوران إلى أحد الثوابت ROTATION_ في ML Kit قبل استدعاء FirebaseVisionImage.fromMediaImage():

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

إذا لم تستخدم مكتبة كاميرا تتيح لك معرفة درجة دوران الصورة، يمكنك احتسابها من درجة دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز باتّباع الخطوات التالية:

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}VisionImage.java

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}VisionImage.kt

بعد ذلك، مرِّر العنصر media.Image وقيمة التدوير إلى FirebaseVisionImage.fromMediaImage():

Java

FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);VisionImage.java

Kotlin

val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)VisionImage.kt

لإنشاء عنصر FirebaseVisionImage من معرّف موارد منتظم (URI) لملف، مرِّر سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى FirebaseVisionImage.fromFilePath(). ويكون ذلك مفيدًا عند استخدام ACTION_GET_CONTENT intent لطلب أن يختار المستخدم صورة من تطبيق المعرض.
Java
```
FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}VisionImage.java
```
Kotlin
```
val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}VisionImage.kt
```

لإنشاء عنصر FirebaseVisionImage من ByteBuffer أو مصفوفة بايت، عليك أولاً حساب درجة دوران الصورة كما هو موضّح أعلاه بالنسبة إلى الإدخال media.Image.

بعد ذلك، أنشئ عنصر FirebaseVisionImageMetadata يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز الألوان وزاوية الدوران:

Java

FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();VisionImage.java

Kotlin

val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()VisionImage.kt

استخدِم المخزن المؤقت أو المصفوفة وكائن البيانات الوصفية لإنشاء كائن FirebaseVisionImage:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);VisionImage.java

Kotlin

val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)VisionImage.kt

لإنشاء كائن FirebaseVisionImage من كائن Bitmap، اتّبِع الخطوات التالية:
Java
```
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);VisionImage.java
```
Kotlin
```
val image = FirebaseVisionImage.fromBitmap(bitmap)VisionImage.kt
```
يجب أن تكون الصورة الممثّلة بالكائن Bitmap في الوضع العمودي، بدون الحاجة إلى تدوير إضافي.

مرِّر الصورة إلى طريقة processImage():

Java

objectDetector.processImage(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FirebaseVisionObject>>() {
                    @Override
                    public void onSuccess(List<FirebaseVisionObject> detectedObjects) {
                        // Task completed successfully
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Kotlin

objectDetector.processImage(image)
        .addOnSuccessListener { detectedObjects ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

إذا نجحت عملية استدعاء processImage()، سيتم تمرير قائمة FirebaseVisionObject إلى أداة معالجة النجاح.

يحتوي كل FirebaseVisionObject على السمات التالية:

مربّع الحدود	تمثّل `Rect` موضع العنصر في الصورة.
رقم تعريف التتبّع	عدد صحيح يحدّد العنصر في جميع الصور. قيمة فارغة في SINGLE_IMAGE_MODE
الفئة	تمثّل هذه السمة الفئة العامة للعنصر. إذا لم يكن مصنّف العناصر مفعّلاً، ستكون القيمة دائمًا `FirebaseVisionObject.CATEGORY_UNKNOWN`.
الثقة	قيمة الثقة في تصنيف الكائن إذا لم يتم تفعيل التصنيف في أداة رصد الأجسام، أو إذا تم تصنيف الجسم على أنّه غير معروف، ستكون القيمة `null`.

Java

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (FirebaseVisionObject obj : detectedObjects) {
    Integer id = obj.getTrackingId();
    Rect bounds = obj.getBoundingBox();

    // If classification was enabled:
    int category = obj.getClassificationCategory();
    Float confidence = obj.getClassificationConfidence();
}

Kotlin

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (obj in detectedObjects) {
    val id = obj.trackingId       // A number that identifies the object across images
    val bounds = obj.boundingBox  // The object's position in the image

    // If classification was enabled:
    val category = obj.classificationCategory
    val confidence = obj.classificationConfidence
}

تحسين سهولة الاستخدام والأداء

لضمان تقديم أفضل تجربة للمستخدم، اتّبِع الإرشادات التالية في تطبيقك:

تعتمد عملية رصد العناصر بنجاح على درجة تعقيدها المرئي. قد تحتاج العناصر التي تتضمّن عددًا قليلاً من الميزات المرئية إلى أن تشغل جزءًا أكبر من الصورة ليتم رصدها. عليك تقديم إرشادات للمستخدمين حول كيفية التقاط مدخلات تتوافق مع نوع العناصر التي تريد رصدها.
عند استخدام التصنيف، إذا أردت رصد عناصر لا تندرج بشكل واضح ضمن الفئات المتوافقة، عليك تنفيذ معالجة خاصة للعناصر غير المعروفة.

يمكنك أيضًا الاطّلاع على [تطبيق عرض Material Design في ML Kit][showcase-link]{: .external } ومجموعة أنماط Material Design للميزات المستندة إلى تعلُّم الآلة.

عند استخدام وضع البث في تطبيق يعمل في الوقت الفعلي، اتّبِع الإرشادات التالية للحصول على أفضل معدلات عرض للّقطات في الثانية:

لا تستخدم ميزة رصد عناصر متعددة في وضع البث، لأنّ معظم الأجهزة لن تتمكّن من عرض عدد كافٍ من اللقطات في الثانية.
أوقِف التصنيف إذا لم تكن بحاجة إليه.
تقليل عدد طلبات البيانات إلى أداة الرصد إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل أداة رصد الحركة، تجاهِل الإطار.
إذا كنت تستخدم ناتج أداة رصد الوجوه لتراكب الرسومات على صورة الإدخال، احصل أولاً على النتيجة من ML Kit، ثم اعرض الصورة وتراكبها في خطوة واحدة. وبذلك، يتم العرض على مساحة العرض مرة واحدة فقط لكل إطار إدخال.
إذا كنت تستخدم Camera2 API، التقط الصور بتنسيق ImageFormat.YUV_420_888.

إذا كنت تستخدم الإصدار القديم من Camera API، التقط الصور بتنسيق ImageFormat.NV21.

رصد الكائنات وتتبُّعها باستخدام مجموعة أدوات تعلُّم الآلة على Android تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

قبل البدء

1. ضبط أداة رصد العناصر

Java

Kotlin

Java

Kotlin

2. تشغيل أداة رصد العناصر

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

تحسين سهولة الاستخدام والأداء

رصد الكائنات وتتبُّعها باستخدام مجموعة أدوات تعلُّم الآلة على Android