Обнаружение объектов на изображениях с помощью модели, обученной AutoML на Android

После того, как вы дрессировать свою собственную модель с помощью AutoML видения Грани , вы можете использовать его в своем приложении для обнаружения объектов на изображениях.

Есть два способа интеграции моделей, обученных в AutoML Vision Edge: вы можете связать модель, поместив ее в папку ресурсов вашего приложения, или вы можете динамически загрузить ее из Firebase.

Варианты комплектации модели
В вашем приложении
  • Модель является частью APK-файла вашего приложения.
  • Модель доступна сразу, даже если Android-устройство отключено.
  • Нет необходимости в проекте Firebase
Размещено на Firebase
  • Хост модель, загрузив его в Firebase Machine Learning
  • Уменьшает размер APK
  • Модель скачивается по запросу
  • Отправляйте обновления модели без повторной публикации вашего приложения
  • Easy A / B тестирование с Firebase Remote Config
  • Требуется проект Firebase

Прежде чем вы начнете

  1. Если вы хотите , чтобы загрузить модель, убедитесь , что вы добавить Firebase в свой Android проекта , если вы еще не сделали этого. При комплектации модели этого не требуется.

  2. Добавьте зависимости для библиотеки TensorFlow Lite Task в файл приложение уровня Gradle вашего модуля, который обычно является app/build.gradle :

    Чтобы связать модель с вашим приложением:

    dependencies {
      // ...
      // Object detection with a bundled Auto ML model
      implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly-SNAPSHOT'
    }
    

    Для динамической загрузки модели из Firebase также добавьте зависимость Firebase ML:

    dependencies {
      // ...
      // Object detection with an Auto ML model deployed to Firebase
      implementation platform('com.google.firebase:firebase-bom:26.1.1')
      implementation 'com.google.firebase:firebase-ml-model-interpreter'
    
      implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly'
    }
    

1. Загрузите модель.

Настроить источник локальной модели

Чтобы связать модель с вашим приложением:

  1. Извлеките модель из zip-архива, который вы скачали из Google Cloud Console.
  2. Включите свою модель в пакет приложения:
    1. Если вы не имеете активов папку в вашем проекте, создать , щелкнув правой кнопкой мыши на app/ папку, затем щелкните Создать> Папка> Активы папки.
    2. Скопируйте tflite файл модели со встроенными метаданными в папку активов.
  3. Добавьте следующие строки в приложениях build.gradle файл , чтобы обеспечить Gradle не сжимает файл модель при создании приложения:

    android {
        // ...
        aaptOptions {
            noCompress "tflite"
        }
    }
    

    Файл модели будет включен в пакет приложения и доступен как необработанный актив.

Настройте источник модели, размещенный в Firebase

Для того, чтобы использовать дистанционно размещаемую модель, создать RemoteModel объект, указав имя присвоенного модель , когда вы опубликовали его:

Джава

// Specify the name you assigned when you deployed the model.
FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();

Котлин

// Specify the name you assigned when you deployed the model.
val remoteModel =
    FirebaseCustomRemoteModel.Builder("your_model_name").build()

Затем запустите задачу загрузки модели, указав условия, при которых вы хотите разрешить загрузку. Если модели нет на устройстве или доступна более новая версия модели, задача асинхронно загрузит модель из Firebase:

Джава

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener<Void>() {
            @Override
            public void onSuccess(@NonNull Task<Void> task) {
                // Success.
            }
        });

Котлин

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

Многие приложения запускают задачу загрузки в своем коде инициализации, но вы можете сделать это в любой момент, прежде чем вам понадобится использовать модель.

Создайте детектор объектов из вашей модели

После настройки источников модели, создать ObjectDetector объект из одного из них.

Если у вас есть только локально комплектация модели, просто создать детектор объекта из файла модели и настроить порог доверия оценки вы хотите требовать (см Оценивать вашу модель ):

Джава

// Initialization
ObjectDetectorOptions options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build();
ObjectDetector objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options);

Котлин

// Initialization
val options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build()
val objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options)

Если у вас есть удаленно размещенная модель, вам нужно будет убедиться, что она была загружена, прежде чем запускать ее. Вы можете проверить состояние задачи модели загрузки с использованием модели менеджер isModelDownloaded() метода.

Хотя вам нужно только подтвердить это перед запуском детектора объектов, если у вас есть как модель с удаленным размещением, так и модель с локальным пакетом, может иметь смысл выполнить эту проверку при создании экземпляра детектора объектов: создайте детектор объектов с удаленного устройства. модель, если она была загружена, и из локальной модели в противном случае.

Джава

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener<Boolean>() {
            @Override
            public void onSuccess(Boolean isDownloaded) {
            }
        });

Котлин

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener { success ->

        }

Если у вас есть только модель, размещенная на удаленном хосте, вам следует отключить связанные с моделью функции - например, выделение серым цветом или скрытие части вашего пользовательского интерфейса - до тех пор, пока вы не подтвердите, что модель была загружена. Вы можете сделать это путем присоединения слушателя к модельному менеджера download() метод.

Как только вы узнаете, что ваша модель загружена, создайте детектор объектов из файла модели:

Джава

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    ObjectDetectorOptions options = ObjectDetectorOptions.builder()
                            .setScoreThreshold(0)
                            .build();
                    objectDetector = ObjectDetector.createFromFileAndOptions(
                            getApplicationContext(), modelFile.getPath(), options);
                }
            }
        });

Котлин

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnSuccessListener { modelFile ->
            val options = ObjectDetectorOptions.builder()
                    .setScoreThreshold(0f)
                    .build()
            objectDetector = ObjectDetector.createFromFileAndOptions(
                    applicationContext, modelFile.path, options)
        }

2. Подготовьте входное изображение.

Затем для каждого изображения , которое вы хотите ярлык, создать TensorImage объект из изображения. Вы можете создать TensorImage объект из Bitmap с использованием fromBitmap методы:

Джава

TensorImage image = TensorImage.fromBitmap(bitmap);

Котлин

val image = TensorImage.fromBitmap(bitmap)

Если данные изображения не в Bitmap , вы можете загрузить матрицу пикселей , как показано в документации TensorFlow Lite .

3. Запустите детектор объектов.

Для того, чтобы обнаруживать объекты в изображении, передать TensorImage объект в ObjectDetector «S detect() метод.

Джава

List<Detection> results = objectDetector.detect(image);

Котлин

val results = objectDetector.detect(image)

4. Получите информацию о помеченных объектах.

Если операция обнаружения объекта успешно, она возвращает список Detection объектов. Каждый Detection объект представляет то , что было обнаружено в изображении. Вы можете получить ограничительную рамку каждого объекта и его метки.

Например:

Джава

for (Detection result : results) {
    RectF bounds = result.getBoundingBox();
    List<Category> labels = result.getCategories();
}

Котлин

for (result in results) {
    val bounds = result.getBoundingBox()
    val labels = result.getCategories()
}

Советы по повышению производительности в реальном времени

Если вы хотите маркировать изображения в приложении реального времени, следуйте этим рекомендациям для достижения наилучшей частоты кадров:
  • Дросселирует вызовы этикетировщика изображений. Если новый видеокадр становится доступным во время работы средства маркировки изображений, отбросьте этот кадр. Смотрите VisionProcessorBase класс в примере приложения для быстрого старта. Например ,
  • Если вы используете выходные данные средства этикетирования изображений для наложения графики на входное изображение, сначала получите результат, а затем визуализируйте изображение и наложение за один шаг. Таким образом вы визуализируете поверхность отображения только один раз для каждого входного кадра. См CameraSourcePreview и GraphicOverlay классов в приложении Quickstart образца для примера.
  • Если вы используете Camera2 API, захват изображения в ImageFormat.YUV_420_888 формате.

    Если вы используете старую API камеры, захватывать изображения в ImageFormat.NV21 формате.