Вы можете использовать ML Kit для обнаружения и отслеживания объектов на кадрах видео.
При передаче изображений в ML Kit, ML Kit возвращает для каждого изображения список из максимум пяти обнаруженных объектов и их положения на изображении. При обнаружении объектов в видеопотоках каждый объект получает идентификатор, который можно использовать для отслеживания объекта на изображениях. При желании можно включить грубую классификацию объектов, которая присваивает объектам общие описания категорий.
Прежде чем начать
- Если вы еще этого не сделали, добавьте Firebase в свой Android-проект .
- Добавьте зависимости для библиотек ML Kit Android в файл Gradle вашего модуля (уровня приложения) (обычно
app/build.gradle
):apply plugin: 'com.android.application' apply plugin: 'com.google.gms.google-services' dependencies { // ... implementation 'com.google.firebase:firebase-ml-vision:24.0.3' implementation 'com.google.firebase:firebase-ml-vision-object-detection-model:19.0.6' }
1. Настройте детектор объектов
Чтобы начать обнаружение и отслеживание объектов, сначала создайте экземпляр FirebaseVisionObjectDetector
, при желании указав любые настройки детектора, которые вы хотите изменить по сравнению со значениями по умолчанию.
Настройте детектор объектов для вашего варианта использования с помощью объекта
FirebaseVisionObjectDetectorOptions
. Вы можете изменить следующие параметры:Настройки детектора объектов Режим обнаружения STREAM_MODE
(по умолчанию) |SINGLE_IMAGE_MODE
В
STREAM_MODE
(по умолчанию) детектор объектов работает с малой задержкой, но может выдавать неполные результаты (например, неуказанные ограничивающие рамки или метки категорий) при первых нескольких вызовах детектора. Кроме того, вSTREAM_MODE
детектор присваивает объектам идентификаторы отслеживания, которые можно использовать для отслеживания объектов в кадрах. Используйте этот режим, если требуется отслеживать объекты или когда важна малая задержка, например, при обработке видеопотоков в реальном времени.В
SINGLE_IMAGE_MODE
детектор объектов ожидает, пока не будут доступны ограничивающая рамка обнаруженного объекта и (если включена классификация) метка категории, прежде чем вернуть результат. В результате задержка обнаружения потенциально выше. Кроме того, вSINGLE_IMAGE_MODE
идентификаторы отслеживания не назначаются. Используйте этот режим, если задержка не критична и вы не хотите иметь дело с частичными результатами.Обнаружение и отслеживание нескольких объектов false
(по умолчанию) |true
Обнаруживать и отслеживать до пяти объектов или только наиболее заметный объект (по умолчанию).
Классифицировать объекты false
(по умолчанию) |true
Классифицировать обнаруженные объекты по грубым категориям. При включении детектор объектов классифицирует объекты по следующим категориям: модные товары, продукты питания, товары для дома, места, растения и неизвестные объекты.
API обнаружения и отслеживания объектов оптимизирован для двух основных вариантов использования:
- Обнаружение и отслеживание в реальном времени наиболее заметного объекта в видоискателе камеры
- Обнаружение нескольких объектов на статическом изображении
Чтобы настроить API для этих вариантов использования:
Java
// Live detection and tracking FirebaseVisionObjectDetectorOptions options = new FirebaseVisionObjectDetectorOptions.Builder() .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build(); // Multiple object detection in static images FirebaseVisionObjectDetectorOptions options = new FirebaseVisionObjectDetectorOptions.Builder() .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build();
Kotlin
// Live detection and tracking val options = FirebaseVisionObjectDetectorOptions.Builder() .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE) .enableClassification() // Optional .build() // Multiple object detection in static images val options = FirebaseVisionObjectDetectorOptions.Builder() .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE) .enableMultipleObjects() .enableClassification() // Optional .build()
Получите экземпляр
FirebaseVisionObjectDetector
:Java
FirebaseVisionObjectDetector objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(); // Or, to change the default settings: FirebaseVisionObjectDetector objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options);
Kotlin
val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector() // Or, to change the default settings: val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)
2. Запустите детектор объектов.
Для обнаружения и отслеживания объектов передайте изображения в метод processImage()
экземпляра FirebaseVisionObjectDetector
.
Для каждого кадра видео или изображения в последовательности выполните следующие действия:
Создайте объект
FirebaseVisionImage
из вашего изображения.Чтобы создать объект
FirebaseVisionImage
из объектаmedia.Image
, например, при захвате изображения с камеры устройства, передайте объектmedia.Image
и поворот изображения вFirebaseVisionImage.fromMediaImage()
.Если вы используете библиотеку CameraX , классы
OnImageCapturedListener
иImageAnalysis.Analyzer
вычисляют значение поворота автоматически, поэтому вам просто нужно преобразовать поворот в одну из константROTATION_
ML Kit перед вызовомFirebaseVisionImage.fromMediaImage()
:Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { private int degreesToFirebaseRotation(int degrees) { switch (degrees) { case 0: return FirebaseVisionImageMetadata.ROTATION_0; case 90: return FirebaseVisionImageMetadata.ROTATION_90; case 180: return FirebaseVisionImageMetadata.ROTATION_180; case 270: return FirebaseVisionImageMetadata.ROTATION_270; default: throw new IllegalArgumentException( "Rotation must be 0, 90, 180, or 270."); } } @Override public void analyze(ImageProxy imageProxy, int degrees) { if (imageProxy == null || imageProxy.getImage() == null) { return; } Image mediaImage = imageProxy.getImage(); int rotation = degreesToFirebaseRotation(degrees); FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation); // Pass image to an ML Kit Vision API // ... } }
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) { 0 -> FirebaseVisionImageMetadata.ROTATION_0 90 -> FirebaseVisionImageMetadata.ROTATION_90 180 -> FirebaseVisionImageMetadata.ROTATION_180 270 -> FirebaseVisionImageMetadata.ROTATION_270 else -> throw Exception("Rotation must be 0, 90, 180, or 270.") } override fun analyze(imageProxy: ImageProxy?, degrees: Int) { val mediaImage = imageProxy?.image val imageRotation = degreesToFirebaseRotation(degrees) if (mediaImage != null) { val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation) // Pass image to an ML Kit Vision API // ... } } }
Если вы не используете библиотеку камеры, которая вычисляет угол поворота изображения, вы можете рассчитать его на основе угла поворота устройства и ориентации датчика камеры в устройстве:
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 90); ORIENTATIONS.append(Surface.ROTATION_90, 0); ORIENTATIONS.append(Surface.ROTATION_180, 270); ORIENTATIONS.append(Surface.ROTATION_270, 180); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, Context context) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360; // Return the corresponding FirebaseVisionImageMetadata rotation value. int result; switch (rotationCompensation) { case 0: result = FirebaseVisionImageMetadata.ROTATION_0; break; case 90: result = FirebaseVisionImageMetadata.ROTATION_90; break; case 180: result = FirebaseVisionImageMetadata.ROTATION_180; break; case 270: result = FirebaseVisionImageMetadata.ROTATION_270; break; default: result = FirebaseVisionImageMetadata.ROTATION_0; Log.e(TAG, "Bad rotation value: " + rotationCompensation); } return result; }
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 90) ORIENTATIONS.append(Surface.ROTATION_90, 0) ORIENTATIONS.append(Surface.ROTATION_180, 270) ORIENTATIONS.append(Surface.ROTATION_270, 180) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360 // Return the corresponding FirebaseVisionImageMetadata rotation value. val result: Int when (rotationCompensation) { 0 -> result = FirebaseVisionImageMetadata.ROTATION_0 90 -> result = FirebaseVisionImageMetadata.ROTATION_90 180 -> result = FirebaseVisionImageMetadata.ROTATION_180 270 -> result = FirebaseVisionImageMetadata.ROTATION_270 else -> { result = FirebaseVisionImageMetadata.ROTATION_0 Log.e(TAG, "Bad rotation value: $rotationCompensation") } } return result }
Затем передайте объект
media.Image
и значение поворота вFirebaseVisionImage.fromMediaImage()
:Java
FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
Kotlin
val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
- Чтобы создать объект
FirebaseVisionImage
из URI файла, передайте контекст приложения и URI файла вFirebaseVisionImage.fromFilePath()
. Это полезно при использовании намеренияACTION_GET_CONTENT
, чтобы предложить пользователю выбрать изображение из приложения-галереи.Java
FirebaseVisionImage image; try { image = FirebaseVisionImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Kotlin
val image: FirebaseVisionImage try { image = FirebaseVisionImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
- Чтобы создать объект
FirebaseVisionImage
изByteBuffer
или массива байтов, сначала рассчитайте поворот изображения, как описано выше для входных данныхmedia.Image
.Затем создайте объект
FirebaseVisionImageMetadata
, содержащий высоту, ширину, формат кодировки цвета и поворот изображения:Java
FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build();
Kotlin
val metadata = FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build()
Используйте буфер или массив и объект метаданных для создания объекта
FirebaseVisionImage
:Java
FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata); // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
Kotlin
val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata) // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
- Чтобы создать объект
FirebaseVisionImage
из объектаBitmap
:Изображение, представленное объектомJava
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
Kotlin
val image = FirebaseVisionImage.fromBitmap(bitmap)
Bitmap
, должно быть вертикальным, без необходимости дополнительного поворота.
Передайте изображение методу
processImage()
:Java
objectDetector.processImage(image) .addOnSuccessListener( new OnSuccessListener<List<FirebaseVisionObject>>() { @Override public void onSuccess(List<FirebaseVisionObject> detectedObjects) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
Kotlin
objectDetector.processImage(image) .addOnSuccessListener { detectedObjects -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Если вызов
processImage()
завершается успешно, список объектовFirebaseVisionObject
передается прослушивателю успешного вызова.Каждый объект
FirebaseVisionObject
содержит следующие свойства:Ограничительная рамка Rect
, указывающий положение объекта на изображении.Идентификатор отслеживания Целое число, идентифицирующее объект на изображениях. Значение NULL в SINGLE_IMAGE_MODE. Категория Грубая категория объекта. Если в детекторе объектов не включена классификация, это всегда FirebaseVisionObject.CATEGORY_UNKNOWN
.Уверенность Значение достоверности классификации объекта. Если детектор объектов не включил классификацию или объект классифицирован как неизвестный, это значение равно null
.Java
// The list of detected objects contains one item if multiple object detection wasn't enabled. for (FirebaseVisionObject obj : detectedObjects) { Integer id = obj.getTrackingId(); Rect bounds = obj.getBoundingBox(); // If classification was enabled: int category = obj.getClassificationCategory(); Float confidence = obj.getClassificationConfidence(); }
Kotlin
// The list of detected objects contains one item if multiple object detection wasn't enabled. for (obj in detectedObjects) { val id = obj.trackingId // A number that identifies the object across images val bounds = obj.boundingBox // The object's position in the image // If classification was enabled: val category = obj.classificationCategory val confidence = obj.classificationConfidence }
Повышение удобства использования и производительности
Для обеспечения наилучшего пользовательского опыта следуйте этим рекомендациям в своем приложении:
- Успешность обнаружения объектов зависит от их визуальной сложности. Для обнаружения объектов с небольшим количеством визуальных характеристик может потребоваться, чтобы они занимали большую часть изображения. Необходимо предоставить пользователям рекомендации по сбору входных данных, подходящих для детектируемых объектов.
- Если при использовании классификации вы хотите обнаружить объекты, которые не попадают однозначно в поддерживаемые категории, реализуйте специальную обработку для неизвестных объектов.
Также ознакомьтесь с [приложением ML Kit Material Design showcase] [showcase-link] {: .external } и коллекцией шаблонов Material Design для функций на базе машинного обучения .
При использовании потокового режима в приложении реального времени следуйте этим рекомендациям для достижения наилучшей частоты кадров:
Не используйте функцию обнаружения нескольких объектов в потоковом режиме, так как большинство устройств не смогут обеспечить адекватную частоту кадров.
Отключите классификацию, если она вам не нужна.
- Устраните вызовы детектора. Если во время работы детектора появляется новый видеокадр, отбросьте его.
- Если вы используете выходные данные детектора для наложения графики на входное изображение, сначала получите результат из ML Kit, а затем визуализируйте изображение и наложение за один шаг. Таким образом, визуализация на поверхности дисплея выполняется только один раз для каждого входного кадра.
Если вы используете API Camera2, снимайте изображения в формате
ImageFormat.YUV_420_888
.Если вы используете старый API камеры, снимайте изображения в формате
ImageFormat.NV21
.