این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.

شناسایی و ردیابی اشیاء با ML Kit در اندروید

شما می‌توانید از کیت ML برای تشخیص و ردیابی اشیاء در فریم‌های ویدیو استفاده کنید.

وقتی تصاویر ML Kit را ارسال می‌کنید، ML Kit برای هر تصویر، فهرستی از حداکثر پنج شیء شناسایی‌شده و موقعیت آنها در تصویر را برمی‌گرداند. هنگام شناسایی اشیاء در جریان‌های ویدیویی، هر شیء دارای یک شناسه است که می‌توانید از آن برای ردیابی شیء در تصاویر استفاده کنید. همچنین می‌توانید به صورت اختیاری طبقه‌بندی کلی اشیاء را فعال کنید که اشیاء را با توضیحات کلی دسته‌بندی برچسب‌گذاری می‌کند.

قبل از اینکه شروع کنی

اگر هنوز Firebase را به پروژه اندروید خود اضافه نکرده‌اید، آن را اضافه کنید.

وابستگی‌های کتابخانه‌های اندروید ML Kit را به فایل Gradle ماژول (سطح برنامه) خود (معمولاً app/build.gradle ) اضافه کنید:

apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-object-detection-model:19.0.6'
}

۱. آشکارساز شیء را پیکربندی کنید

برای شروع شناسایی و ردیابی اشیاء، ابتدا یک نمونه از FirebaseVisionObjectDetector ایجاد کنید و در صورت تمایل، تنظیمات آشکارسازی را که می‌خواهید از حالت پیش‌فرض تغییر دهید، مشخص کنید.

آشکارساز شیء را برای مورد استفاده خود با یک شیء FirebaseVisionObjectDetectorOptions پیکربندی کنید. می‌توانید تنظیمات زیر را تغییر دهید:

تنظیمات آشکارساز شیء

حالت تشخیص

تنظیمات آشکارساز شیء
حالت تشخیص	`STREAM_MODE` (پیش‌فرض) \| `SINGLE_IMAGE_MODE` در `STREAM_MODE` (پیش‌فرض)، آشکارساز شیء با تأخیر کم اجرا می‌شود، اما ممکن است در چند فراخوانی اول آشکارساز، نتایج ناقصی (مانند کادرهای محدودکننده نامشخص یا برچسب‌های دسته‌بندی) تولید کند. همچنین، در `STREAM_MODE` ، آشکارساز شناسه‌های ردیابی را به اشیاء اختصاص می‌دهد که می‌توانید از آنها برای ردیابی اشیاء در فریم‌ها استفاده کنید. از این حالت زمانی استفاده کنید که می‌خواهید اشیاء را ردیابی کنید یا زمانی که تأخیر کم مهم است، مانند پردازش جریان‌های ویدیویی در زمان واقعی. در `SINGLE_IMAGE_MODE` ، آشکارساز شیء منتظر می‌ماند تا کادر محصورکننده شیء شناسایی‌شده و (در صورت فعال بودن طبقه‌بندی) برچسب دسته‌بندی آن، قبل از بازگرداندن نتیجه، در دسترس باشند. در نتیجه، تأخیر تشخیص به‌طور بالقوه بیشتر است. همچنین، در `SINGLE_IMAGE_MODE` ، شناسه‌های ردیابی اختصاص داده نمی‌شوند. اگر تأخیر حیاتی نیست و نمی‌خواهید با نتایج جزئی سروکار داشته باشید، از این حالت استفاده کنید.
تشخیص و ردیابی چندین شیء	`false` (پیش‌فرض) \| `true` اینکه آیا تا پنج شیء شناسایی و ردیابی شود یا فقط برجسته‌ترین شیء (پیش‌فرض).
طبقه‌بندی اشیاء	`false` (پیش‌فرض) \| `true` اینکه آیا اشیاء شناسایی‌شده را در دسته‌های کلی طبقه‌بندی کند یا خیر. وقتی فعال باشد، آشکارساز شیء اشیاء را در دسته‌های زیر طبقه‌بندی می‌کند: کالاهای مد، غذا، کالاهای خانگی، مکان‌ها، گیاهان و ناشناخته‌ها.

STREAM_MODE (پیش‌فرض) | SINGLE_IMAGE_MODE

در STREAM_MODE (پیش‌فرض)، آشکارساز شیء با تأخیر کم اجرا می‌شود، اما ممکن است در چند فراخوانی اول آشکارساز، نتایج ناقصی (مانند کادرهای محدودکننده نامشخص یا برچسب‌های دسته‌بندی) تولید کند. همچنین، در STREAM_MODE ، آشکارساز شناسه‌های ردیابی را به اشیاء اختصاص می‌دهد که می‌توانید از آنها برای ردیابی اشیاء در فریم‌ها استفاده کنید. از این حالت زمانی استفاده کنید که می‌خواهید اشیاء را ردیابی کنید یا زمانی که تأخیر کم مهم است، مانند پردازش جریان‌های ویدیویی در زمان واقعی.

در SINGLE_IMAGE_MODE ، آشکارساز شیء منتظر می‌ماند تا کادر محصورکننده شیء شناسایی‌شده و (در صورت فعال بودن طبقه‌بندی) برچسب دسته‌بندی آن، قبل از بازگرداندن نتیجه، در دسترس باشند. در نتیجه، تأخیر تشخیص به‌طور بالقوه بیشتر است. همچنین، در SINGLE_IMAGE_MODE ، شناسه‌های ردیابی اختصاص داده نمی‌شوند. اگر تأخیر حیاتی نیست و نمی‌خواهید با نتایج جزئی سروکار داشته باشید، از این حالت استفاده کنید.

تشخیص و ردیابی چندین شیء

false (پیش‌فرض) | true

اینکه آیا تا پنج شیء شناسایی و ردیابی شود یا فقط برجسته‌ترین شیء (پیش‌فرض).

طبقه‌بندی اشیاء

false (پیش‌فرض) | true

اینکه آیا اشیاء شناسایی‌شده را در دسته‌های کلی طبقه‌بندی کند یا خیر. وقتی فعال باشد، آشکارساز شیء اشیاء را در دسته‌های زیر طبقه‌بندی می‌کند: کالاهای مد، غذا، کالاهای خانگی، مکان‌ها، گیاهان و ناشناخته‌ها.

API تشخیص و ردیابی اشیا برای این دو مورد استفاده اصلی بهینه شده است:

تشخیص و ردیابی زنده برجسته‌ترین شیء در منظره‌یاب دوربین
تشخیص چندین شیء از یک تصویر ثابت

برای پیکربندی API برای این موارد استفاده:

Java

// Live detection and tracking
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

Kotlin

// Live detection and tracking
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

یک نمونه از FirebaseVisionObjectDetector دریافت کنید:

Java

FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector();

// Or, to change the default settings:
FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector(options);

Kotlin

val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector()

// Or, to change the default settings:
val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)

۲. آشکارساز شیء را اجرا کنید

برای شناسایی و ردیابی اشیاء، تصاویر را به متد processImage() از نمونه FirebaseVisionObjectDetector ارسال کنید.

برای هر فریم از ویدیو یا تصویر در یک دنباله، موارد زیر را انجام دهید:

یک شیء FirebaseVisionImage از تصویر خود ایجاد کنید.

برای ایجاد یک شیء FirebaseVisionImage از یک شیء media.Image ، مانند زمانی که از دوربین دستگاه تصویر می‌گیرید، شیء media.Image و چرخش تصویر را به FirebaseVisionImage.fromMediaImage() ارسال کنید.

اگر از کتابخانه CameraX استفاده می‌کنید، کلاس‌های OnImageCapturedListener و ImageAnalysis.Analyzer مقدار چرخش را برای شما محاسبه می‌کنند، بنابراین فقط کافی است قبل از فراخوانی FirebaseVisionImage.fromMediaImage() ، چرخش را به یکی از ثابت‌های ROTATION_ در ML Kit تبدیل کنید:

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

اگر از کتابخانه دوربینی که چرخش تصویر را به شما می‌دهد استفاده نمی‌کنید، می‌توانید آن را از چرخش دستگاه و جهت‌گیری حسگر دوربین در دستگاه محاسبه کنید:

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}VisionImage.java

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}VisionImage.kt

سپس، شیء media.Image و مقدار rotation را به FirebaseVisionImage.fromMediaImage() ارسال کنید:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);VisionImage.java

Kotlin

val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)VisionImage.kt

برای ایجاد یک شیء FirebaseVisionImage از یک URI فایل، متن برنامه و URI فایل را به FirebaseVisionImage.fromFilePath() ارسال کنید. این زمانی مفید است که از یک ACTION_GET_CONTENT برای وادار کردن کاربر به انتخاب تصویر از برنامه گالری خود استفاده می‌کنید.
Java
```
FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}VisionImage.java
```
Kotlin
```
val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}VisionImage.kt
```

برای ایجاد یک شیء FirebaseVisionImage از یک ByteBuffer یا یک آرایه بایت، ابتدا چرخش تصویر را همانطور که در بالا برای ورودی media.Image توضیح داده شد، محاسبه کنید.

سپس، یک شیء FirebaseVisionImageMetadata ایجاد کنید که شامل ارتفاع، عرض، فرمت کدگذاری رنگ و چرخش تصویر باشد:

Java

FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();VisionImage.java

Kotlin

val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()VisionImage.kt

از بافر یا آرایه و شیء فراداده برای ایجاد یک شیء FirebaseVisionImage استفاده کنید:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);VisionImage.java

Kotlin

val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)VisionImage.kt

برای ایجاد یک شیء FirebaseVisionImage از یک شیء Bitmap :
Java
```
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);VisionImage.java
```
Kotlin
```
val image = FirebaseVisionImage.fromBitmap(bitmap)VisionImage.kt
```
تصویر نمایش داده شده توسط شیء Bitmap باید عمودی باشد و نیازی به چرخش اضافی نباشد.

تصویر را به متد processImage() ارسال کنید:

Java

objectDetector.processImage(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FirebaseVisionObject>>() {
                    @Override
                    public void onSuccess(List<FirebaseVisionObject> detectedObjects) {
                        // Task completed successfully
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Kotlin

objectDetector.processImage(image)
        .addOnSuccessListener { detectedObjects ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

اگر فراخوانی processImage() موفقیت‌آمیز باشد، فهرستی از FirebaseVisionObject ها به شنونده‌ی موفقیت ارسال می‌شود.

هر FirebaseVisionObject شامل ویژگی‌های زیر است:

جعبه محدود کننده	یک `Rect` که موقعیت شیء را در تصویر نشان می‌دهد.
شناسه ردیابی	یک عدد صحیح که شیء را در تصاویر مشخص می‌کند. در SINGLE_IMAGE_MODE مقدار null دارد.
دسته بندی	دسته بندی کلی شیء. اگر تشخیص دهنده شیء، طبقه بندی را فعال نکرده باشد، این همیشه `FirebaseVisionObject.CATEGORY_UNKNOWN` است.
اعتماد به نفس	مقدار اطمینان طبقه‌بندی شیء. اگر طبقه‌بندی در آشکارساز شیء فعال نباشد، یا شیء به عنوان ناشناخته طبقه‌بندی شود، این `null` است.

Java

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (FirebaseVisionObject obj : detectedObjects) {
    Integer id = obj.getTrackingId();
    Rect bounds = obj.getBoundingBox();

    // If classification was enabled:
    int category = obj.getClassificationCategory();
    Float confidence = obj.getClassificationConfidence();
}

Kotlin

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (obj in detectedObjects) {
    val id = obj.trackingId       // A number that identifies the object across images
    val bounds = obj.boundingBox  // The object's position in the image

    // If classification was enabled:
    val category = obj.classificationCategory
    val confidence = obj.classificationConfidence
}

بهبود قابلیت استفاده و عملکرد

برای بهترین تجربه کاربری، این دستورالعمل‌ها را در برنامه خود دنبال کنید:

تشخیص موفقیت‌آمیز اشیاء به پیچیدگی بصری شیء بستگی دارد. اشیاء با تعداد کمی از ویژگی‌های بصری ممکن است برای تشخیص، نیاز به اشغال بخش بزرگتری از تصویر داشته باشند. شما باید کاربران را در مورد دریافت ورودی که با نوع اشیاء مورد نظر شما مطابقت دارد، راهنمایی کنید.
هنگام استفاده از طبقه‌بندی، اگر می‌خواهید اشیایی را که به طور کامل در دسته‌های پشتیبانی‌شده قرار نمی‌گیرند، شناسایی کنید، برای اشیاء ناشناخته، روش‌های خاصی را پیاده‌سازی کنید.

همچنین، به [برنامه ویترین ML Kit Material Design][showcase-link]{: .external } و مجموعه ویژگی‌های Material Design Patterns for machine-powered را بررسی کنید.

هنگام استفاده از حالت پخش جریانی در یک برنامه‌ی بلادرنگ، برای دستیابی به بهترین نرخ فریم، این دستورالعمل‌ها را دنبال کنید:

از تشخیص چندین شیء در حالت پخش جریانی استفاده نکنید، زیرا اکثر دستگاه‌ها قادر به تولید فریم‌ریت کافی نخواهند بود.
اگر به دسته‌بندی نیازی ندارید، آن را غیرفعال کنید.
اگر در حین کار آشکارساز، فریم ویدیویی جدیدی در دسترس قرار گرفت، فریم را حذف کنید.
اگر از خروجی آشکارساز برای همپوشانی گرافیک روی تصویر ورودی استفاده می‌کنید، ابتدا نتیجه را از کیت ML دریافت کنید، سپس تصویر و همپوشانی را در یک مرحله رندر کنید. با انجام این کار، برای هر فریم ورودی فقط یک بار روی سطح نمایشگر رندر می‌کنید.
اگر از API دوربین ۲ استفاده می‌کنید، تصاویر را با فرمت ImageFormat.YUV_420_888 ثبت کنید.
اگر از API دوربین قدیمی‌تر استفاده می‌کنید، تصاویر را با فرمت ImageFormat.NV21 ضبط کنید.

شناسایی و ردیابی اشیاء با ML Kit در اندروید با مجموعه‌ها، منظم بمانید ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.

قبل از اینکه شروع کنی

۱. آشکارساز شیء را پیکربندی کنید

Java

Kotlin

Java

Kotlin

۲. آشکارساز شیء را اجرا کنید

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

بهبود قابلیت استفاده و عملکرد

شناسایی و ردیابی اشیاء با ML Kit در اندروید