Google 致力于为黑人社区推动种族平等。查看具体举措

在 Android 上使用 AutoML 训练的模型检测图像中的对象

你之后使用AutoML视觉边缘训练自己的模型,你可以用它在你的应用程序,以检测图像中的物体。

有两种方法可以集成从 AutoML Vision Edge 训练的模型:您可以将模型放在应用的资产文件夹中,或者您可以从 Firebase 动态下载它。

模型捆绑选项
捆绑在您的应用程序中
  • 该模型是您应用的 APK 的一部分
  • 该模型立即可用,即使 Android 设备处于离线状态
  • 不需要 Firebase 项目
使用 Firebase 托管

在你开始之前

  1. 如果你想下载的模式,确保您添加火力地堡到你的Android项目,如果你还没有这样做。当您捆绑模型时,这不是必需的。

  2. 添加的依赖关系为TensorFlow精简版任务库,以您的模块的应用级gradle这个文件,它通常是app/build.gradle

    将模型与您的应用程序捆绑在一起:

    dependencies {
      // ...
      // Object detection with a bundled Auto ML model
      implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly-SNAPSHOT'
    }
    

    要从 Firebase 动态下载模型,还需要添加 Firebase ML 依赖项:

    dependencies {
      // ...
      // Object detection with an Auto ML model deployed to Firebase
      implementation platform('com.google.firebase:firebase-bom:26.1.1')
      implementation 'com.google.firebase:firebase-ml-model-interpreter'
    
      implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly'
    }
    

1.加载模型

配置本地模型源

要将模型与您的应用程序捆绑在一起:

  1. 从您从 Google Cloud Console 下载的 zip 存档中提取模型。
  2. 将您的模型包含在您的应用程序包中:
    1. 如果你没有一个资产文件夹中的项目,创建一个通过右键单击该app/文件夹,然后单击新建>文件夹>资产文件夹
    2. 您复制tflite模型文件嵌入元数据资产的文件夹。
  3. 以下添加到您的应用build.gradle文件,以确保构建应用程序时,摇篮不会压缩模型文件:

    android {
        // ...
        aaptOptions {
            noCompress "tflite"
        }
    }
    

    模型文件将包含在应用程序包中并作为原始资产提供。

配置 Firebase 托管的模型源

要使用远程托管模式,创建一个RemoteModel对象,指定您分配模式,当你发布它的名字:

爪哇

// Specify the name you assigned when you deployed the model.
FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();

科特林

// Specify the name you assigned when you deployed the model.
val remoteModel =
    FirebaseCustomRemoteModel.Builder("your_model_name").build()

然后,启动模型下载任务,指定允许下载的条件。如果模型不在设备上,或者模型的更新版本可用,则任务将从 Firebase 异步下载模型:

爪哇

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener<Void>() {
            @Override
            public void onSuccess(@NonNull Task<Void> task) {
                // Success.
            }
        });

科特林

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

许多应用程序在其初始化代码中启动下载任务,但您可以在需要使用模型之前随时执行此操作。

从您的模型创建对象检测器

您配置模型的来源后,创建一个ObjectDetector从他们的目的之一。

如果你只有一个本地捆绑的模式,只是从你的模型文件创建一个对象检测器和配置要要求(见置信度阈值的评估模型):

爪哇

// Initialization
ObjectDetectorOptions options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build();
ObjectDetector objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options);

科特林

// Initialization
val options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build()
val objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options)

如果您有远程托管的模型,则必须在运行之前检查它是否已下载。您可以查看使用模型管理的模型下载任务的状态isModelDownloaded()方法。

尽管您只需在运行对象检测器之前确认这一点,但如果您同时拥有远程托管模型和本地捆绑模型,则在实例化对象检测器时执行此检查可能更有意义:从远程创建对象检测器如果已下载模型,则从本地模型下载。

爪哇

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener<Boolean>() {
            @Override
            public void onSuccess(Boolean isDownloaded) {
            }
        });

科特林

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener { success ->

        }

如果您只有远程托管的模型,则应禁用与模型相关的功能(例如,灰显或隐藏部分 UI),直到您确认模型已下载。您可以通过附加一个监听器模型管理的这样做download()方法。

一旦你知道你的模型已经下载,从模型文件创建一个对象检测器:

爪哇

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    ObjectDetectorOptions options = ObjectDetectorOptions.builder()
                            .setScoreThreshold(0)
                            .build();
                    objectDetector = ObjectDetector.createFromFileAndOptions(
                            getApplicationContext(), modelFile.getPath(), options);
                }
            }
        });

科特林

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnSuccessListener { modelFile ->
            val options = ObjectDetectorOptions.builder()
                    .setScoreThreshold(0f)
                    .build()
            objectDetector = ObjectDetector.createFromFileAndOptions(
                    applicationContext, modelFile.path, options)
        }

2. 准备输入图像

然后,你要每个标签的图像,创建一个TensorImage从图像中的对象。您可以创建一个TensorImage从对象Bitmap使用fromBitmap方法:

爪哇

TensorImage image = TensorImage.fromBitmap(bitmap);

科特林

val image = TensorImage.fromBitmap(bitmap)

如果图像数据是不是在一个Bitmap ,您可以加载像素阵列如图所示TensorFlow精简版文档

3. 运行物体检测器

以检测图像中的对象,通过TensorImage对象到ObjectDetectordetect()方法。

爪哇

List<Detection> results = objectDetector.detect(image);

科特林

val results = objectDetector.detect(image)

4. 获取标签对象的信息

如果对象检测操作成功,则返回列表Detection对象。每个Detection对象表示在图像中检测到的东西。您可以获得每个对象的边界框及其标签。

例如:

爪哇

for (Detection result : results) {
    RectF bounds = result.getBoundingBox();
    List<Category> labels = result.getCategories();
}

科特林

for (result in results) {
    val bounds = result.getBoundingBox()
    val labels = result.getCategories()
}

提高实时性能的技巧

如果您想在实时应用程序中标记图像,请遵循以下准则以获得最佳帧率:
  • 限制对图像标签器的调用。如果在图像标记器运行时有新的视频帧可用,则丢弃该帧。看到VisionProcessorBase在快速启动示例应用类的一个例子。
  • 如果您使用图像标注器的输出在输入图像上叠加图形,请先获取结果,然后一步渲染图像并叠加。通过这样做,您只需为每个输入帧渲染一次到显示表面。看到CameraSourcePreviewGraphicOverlay在快速启动示例应用程序的类的一个例子。
  • 如果您使用Camera2 API,捕获图像ImageFormat.YUV_420_888格式。

    如果您使用旧相机API,捕获图像ImageFormat.NV21格式。