Firebase Summit で発表されたすべての情報をご覧ください。Firebase を使用してアプリ開発を加速し、自信を持ってアプリを実行する方法を紹介しています。詳細

ML Kit を使用してバーコードをスキャンする(Android)

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

ML Kit を使用して、バーコードを認識してデコードできます。

あなたが始める前に

  1. まだ行っていない場合は、 Firebase を Android プロジェクトに追加します
  2. ML Kit Android ライブラリの依存関係をモジュール (アプリレベル) の Gradle ファイル (通常はapp/build.gradle ) に追加します:
    apply plugin: 'com.android.application'
    apply plugin: 'com.google.gms.google-services'
    
    dependencies {
      // ...
    
      implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
      implementation 'com.google.firebase:firebase-ml-vision-barcode-model:16.0.1'
    }
    

入力画像のガイドライン

  • ML Kit がバーコードを正確に読み取るには、十分なピクセル データで表されるバーコードが入力画像に含まれている必要があります。

    特定のピクセル データの要件は、バーコードの種類とそれにエンコードされているデータの量の両方に依存します (ほとんどのバーコードは可変長のペイロードをサポートしているため)。一般に、バーコードの意味のある最小単位は、少なくとも幅 2 ピクセル (2 次元コードの場合は高さ 2 ピクセル) である必要があります。

    たとえば、EAN-13 バーコードは 1、2、3、または 4 単位幅のバーとスペースで構成されているため、EAN-13 バーコード イメージには少なくとも 2、4、6、および8 ピクセル幅。 EAN-13 バーコードは合計で 95 単位の幅があるため、バーコードは少なくとも 190 ピクセル幅である必要があります。

    PDF417 などのより高密度の形式を ML Kit で確実に読み取るには、より大きなピクセル寸法が必要です。たとえば、PDF417 コードでは、1 行に最大 34 個の 17 単位幅の「単語」を含めることができます。これは、少なくとも 1156 ピクセル幅であることが理想的です。

  • 画像の焦点が合っていないと、スキャンの精度が低下する可能性があります。満足のいく結果が得られない場合は、ユーザーに画像を再キャプチャするように依頼してください。

  • 一般的なアプリケーションでは、より高い解像度の画像 (1280x720 または 1920x1080 など) を提供することをお勧めします。これにより、カメラから離れた距離からバーコードを検出できるようになります。

    ただし、待ち時間が重要なアプリケーションでは、より低い解像度で画像をキャプチャすることでパフォーマンスを向上させることができますが、バーコードが入力画像の大部分を占める必要があります。リアルタイム パフォーマンスを改善するためのヒントも参照してください。

1. バーコード検出器を構成する

読み取るバーコード形式がわかっている場合は、それらの形式のみを検出するように構成することで、バーコード検出器の速度を向上させることができます。

たとえば、Aztec コードと QR コードのみを検出するには、次の例のようにFirebaseVisionBarcodeDetectorOptionsオブジェクトを作成します。

Java

FirebaseVisionBarcodeDetectorOptions options =
        new FirebaseVisionBarcodeDetectorOptions.Builder()
        .setBarcodeFormats(
                FirebaseVisionBarcode.FORMAT_QR_CODE,
                FirebaseVisionBarcode.FORMAT_AZTEC)
        .build();

Kotlin+KTX

val options = FirebaseVisionBarcodeDetectorOptions.Builder()
        .setBarcodeFormats(
                FirebaseVisionBarcode.FORMAT_QR_CODE,
                FirebaseVisionBarcode.FORMAT_AZTEC)
        .build()

次の形式がサポートされています。

  • コード 128 ( FORMAT_CODE_128 )
  • コード 39 ( FORMAT_CODE_39 )
  • コード 93 ( FORMAT_CODE_93 )
  • コーダバー ( FORMAT_CODABAR )
  • EAN-13 ( FORMAT_EAN_13 )
  • EAN-8 ( FORMAT_EAN_8 )
  • ITF ( FORMAT_ITF )
  • UPC-A ( FORMAT_UPC_A )
  • UPC-E ( FORMAT_UPC_E )
  • QR コード ( FORMAT_QR_CODE )
  • PDF417 ( FORMAT_PDF417 )
  • アステカ ( FORMAT_AZTEC )
  • データマトリックス ( FORMAT_DATA_MATRIX )

2. バーコード検出器を実行する

画像内のバーコードを認識するには、 Bitmapmedia.ImageByteBuffer 、バイト配列、またはデバイス上のファイルからFirebaseVisionImageオブジェクトを作成します。次に、 FirebaseVisionImageオブジェクトをFirebaseVisionBarcodeDetectordetectInImageメソッドに渡します。

  1. 画像からFirebaseVisionImageオブジェクトを作成します。

    • デバイスのカメラから画像をキャプチャする場合など、 media.ImageオブジェクトからFirebaseVisionImageオブジェクトを作成するには、 media.Imageオブジェクトと画像の回転をFirebaseVisionImage.fromMediaImage()に渡します。

      CameraXライブラリを使用する場合、 OnImageCapturedListenerクラスとImageAnalysis.Analyzerクラスが回転値を計算するため、 FirebaseVisionImage.fromMediaImage()を呼び出す前に、回転を ML Kit のROTATION_定数の 1 つに変換するだけで済みます。

      Java

      private class YourAnalyzer implements ImageAnalysis.Analyzer {
      
          private int degreesToFirebaseRotation(int degrees) {
              switch (degrees) {
                  case 0:
                      return FirebaseVisionImageMetadata.ROTATION_0;
                  case 90:
                      return FirebaseVisionImageMetadata.ROTATION_90;
                  case 180:
                      return FirebaseVisionImageMetadata.ROTATION_180;
                  case 270:
                      return FirebaseVisionImageMetadata.ROTATION_270;
                  default:
                      throw new IllegalArgumentException(
                              "Rotation must be 0, 90, 180, or 270.");
              }
          }
      
          @Override
          public void analyze(ImageProxy imageProxy, int degrees) {
              if (imageProxy == null || imageProxy.getImage() == null) {
                  return;
              }
              Image mediaImage = imageProxy.getImage();
              int rotation = degreesToFirebaseRotation(degrees);
              FirebaseVisionImage image =
                      FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
              // Pass image to an ML Kit Vision API
              // ...
          }
      }
      

      Kotlin+KTX

      private class YourImageAnalyzer : ImageAnalysis.Analyzer {
          private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
              0 -> FirebaseVisionImageMetadata.ROTATION_0
              90 -> FirebaseVisionImageMetadata.ROTATION_90
              180 -> FirebaseVisionImageMetadata.ROTATION_180
              270 -> FirebaseVisionImageMetadata.ROTATION_270
              else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
          }
      
          override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
              val mediaImage = imageProxy?.image
              val imageRotation = degreesToFirebaseRotation(degrees)
              if (mediaImage != null) {
                  val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
                  // Pass image to an ML Kit Vision API
                  // ...
              }
          }
      }
      

      画像の回転を提供するカメラ ライブラリを使用しない場合は、デバイスの回転とデバイス内のカメラ センサーの向きから計算できます。

      Java

      private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
      static {
          ORIENTATIONS.append(Surface.ROTATION_0, 90);
          ORIENTATIONS.append(Surface.ROTATION_90, 0);
          ORIENTATIONS.append(Surface.ROTATION_180, 270);
          ORIENTATIONS.append(Surface.ROTATION_270, 180);
      }
      
      /**
       * Get the angle by which an image must be rotated given the device's current
       * orientation.
       */
      @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
      private int getRotationCompensation(String cameraId, Activity activity, Context context)
              throws CameraAccessException {
          // Get the device's current rotation relative to its "native" orientation.
          // Then, from the ORIENTATIONS table, look up the angle the image must be
          // rotated to compensate for the device's rotation.
          int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
          int rotationCompensation = ORIENTATIONS.get(deviceRotation);
      
          // On most devices, the sensor orientation is 90 degrees, but for some
          // devices it is 270 degrees. For devices with a sensor orientation of
          // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
          CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
          int sensorOrientation = cameraManager
                  .getCameraCharacteristics(cameraId)
                  .get(CameraCharacteristics.SENSOR_ORIENTATION);
          rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;
      
          // Return the corresponding FirebaseVisionImageMetadata rotation value.
          int result;
          switch (rotationCompensation) {
              case 0:
                  result = FirebaseVisionImageMetadata.ROTATION_0;
                  break;
              case 90:
                  result = FirebaseVisionImageMetadata.ROTATION_90;
                  break;
              case 180:
                  result = FirebaseVisionImageMetadata.ROTATION_180;
                  break;
              case 270:
                  result = FirebaseVisionImageMetadata.ROTATION_270;
                  break;
              default:
                  result = FirebaseVisionImageMetadata.ROTATION_0;
                  Log.e(TAG, "Bad rotation value: " + rotationCompensation);
          }
          return result;
      }

      Kotlin+KTX

      private val ORIENTATIONS = SparseIntArray()
      
      init {
          ORIENTATIONS.append(Surface.ROTATION_0, 90)
          ORIENTATIONS.append(Surface.ROTATION_90, 0)
          ORIENTATIONS.append(Surface.ROTATION_180, 270)
          ORIENTATIONS.append(Surface.ROTATION_270, 180)
      }
      /**
       * Get the angle by which an image must be rotated given the device's current
       * orientation.
       */
      @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
      @Throws(CameraAccessException::class)
      private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
          // Get the device's current rotation relative to its "native" orientation.
          // Then, from the ORIENTATIONS table, look up the angle the image must be
          // rotated to compensate for the device's rotation.
          val deviceRotation = activity.windowManager.defaultDisplay.rotation
          var rotationCompensation = ORIENTATIONS.get(deviceRotation)
      
          // On most devices, the sensor orientation is 90 degrees, but for some
          // devices it is 270 degrees. For devices with a sensor orientation of
          // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
          val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
          val sensorOrientation = cameraManager
                  .getCameraCharacteristics(cameraId)
                  .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
          rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360
      
          // Return the corresponding FirebaseVisionImageMetadata rotation value.
          val result: Int
          when (rotationCompensation) {
              0 -> result = FirebaseVisionImageMetadata.ROTATION_0
              90 -> result = FirebaseVisionImageMetadata.ROTATION_90
              180 -> result = FirebaseVisionImageMetadata.ROTATION_180
              270 -> result = FirebaseVisionImageMetadata.ROTATION_270
              else -> {
                  result = FirebaseVisionImageMetadata.ROTATION_0
                  Log.e(TAG, "Bad rotation value: $rotationCompensation")
              }
          }
          return result
      }

      次に、 media.Imageオブジェクトと回転値をFirebaseVisionImage.fromMediaImage()に渡します。

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);

      Kotlin+KTX

      val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
    • ファイル URI からFirebaseVisionImageオブジェクトを作成するには、アプリ コンテキストとファイル URI をFirebaseVisionImage.fromFilePath()に渡します。これは、 ACTION_GET_CONTENTインテントを使用して、ギャラリー アプリから画像を選択するようユーザーに促す場合に役立ちます。

      Java

      FirebaseVisionImage image;
      try {
          image = FirebaseVisionImage.fromFilePath(context, uri);
      } catch (IOException e) {
          e.printStackTrace();
      }

      Kotlin+KTX

      val image: FirebaseVisionImage
      try {
          image = FirebaseVisionImage.fromFilePath(context, uri)
      } catch (e: IOException) {
          e.printStackTrace()
      }
    • ByteBufferまたはバイト配列からFirebaseVisionImageオブジェクトを作成するには、まず、上記のmedia.Image入力の説明に従って画像の回転を計算します。

      次に、画像の高さ、幅、色のエンコード形式、および回転を含むFirebaseVisionImageMetadataオブジェクトを作成します。

      Java

      FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
              .setWidth(480)   // 480x360 is typically sufficient for
              .setHeight(360)  // image recognition
              .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
              .setRotation(rotation)
              .build();

      Kotlin+KTX

      val metadata = FirebaseVisionImageMetadata.Builder()
              .setWidth(480) // 480x360 is typically sufficient for
              .setHeight(360) // image recognition
              .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
              .setRotation(rotation)
              .build()

      バッファまたは配列とメタデータ オブジェクトを使用して、 FirebaseVisionImageオブジェクトを作成します。

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
      // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);

      Kotlin+KTX

      val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
      // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
    • BitmapオブジェクトからFirebaseVisionImageオブジェクトを作成するには:

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);

      Kotlin+KTX

      val image = FirebaseVisionImage.fromBitmap(bitmap)
      Bitmapオブジェクトによって表されるイメージは、追加の回転は必要なく、直立している必要があります。

  2. FirebaseVisionBarcodeDetectorのインスタンスを取得します。

    Java

    FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
            .getVisionBarcodeDetector();
    // Or, to specify the formats to recognize:
    // FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
    //        .getVisionBarcodeDetector(options);

    Kotlin+KTX

    val detector = FirebaseVision.getInstance()
            .visionBarcodeDetector
    // Or, to specify the formats to recognize:
    // val detector = FirebaseVision.getInstance()
    //        .getVisionBarcodeDetector(options)
  3. 最後に、画像をdetectInImageメソッドに渡します。

    Java

    Task<List<FirebaseVisionBarcode>> result = detector.detectInImage(image)
            .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionBarcode>>() {
                @Override
                public void onSuccess(List<FirebaseVisionBarcode> barcodes) {
                    // Task completed successfully
                    // ...
                }
            })
            .addOnFailureListener(new OnFailureListener() {
                @Override
                public void onFailure(@NonNull Exception e) {
                    // Task failed with an exception
                    // ...
                }
                    });

    Kotlin+KTX

    val result = detector.detectInImage(image)
            .addOnSuccessListener { barcodes ->
                // Task completed successfully
                // ...
            }
            .addOnFailureListener {
                // Task failed with an exception
                // ...
            }

3. バーコードから情報を取得する

バーコード認識操作が成功すると、 FirebaseVisionBarcodeオブジェクトのリストが成功リスナーに渡されます。各FirebaseVisionBarcodeオブジェクトは、画像で検出されたバーコードを表します。バーコードごとに、入力画像内の境界座標と、バーコードによってエンコードされた生データを取得できます。また、バーコード検出器がバーコードによってエンコードされたデータのタイプを判別できた場合は、解析されたデータを含むオブジェクトを取得できます。

例えば:

Java

for (FirebaseVisionBarcode barcode: barcodes) {
    Rect bounds = barcode.getBoundingBox();
    Point[] corners = barcode.getCornerPoints();

    String rawValue = barcode.getRawValue();

    int valueType = barcode.getValueType();
    // See API reference for complete list of supported types
    switch (valueType) {
        case FirebaseVisionBarcode.TYPE_WIFI:
            String ssid = barcode.getWifi().getSsid();
            String password = barcode.getWifi().getPassword();
            int type = barcode.getWifi().getEncryptionType();
            break;
        case FirebaseVisionBarcode.TYPE_URL:
            String title = barcode.getUrl().getTitle();
            String url = barcode.getUrl().getUrl();
            break;
    }
}

Kotlin+KTX

for (barcode in barcodes) {
    val bounds = barcode.boundingBox
    val corners = barcode.cornerPoints

    val rawValue = barcode.rawValue

    val valueType = barcode.valueType
    // See API reference for complete list of supported types
    when (valueType) {
        FirebaseVisionBarcode.TYPE_WIFI -> {
            val ssid = barcode.wifi!!.ssid
            val password = barcode.wifi!!.password
            val type = barcode.wifi!!.encryptionType
        }
        FirebaseVisionBarcode.TYPE_URL -> {
            val title = barcode.url!!.title
            val url = barcode.url!!.url
        }
    }
}

リアルタイム パフォーマンスを向上させるためのヒント

リアルタイム アプリケーションでバーコードをスキャンする場合は、次のガイドラインに従って最適なフレームレートを達成してください。

  • カメラのネイティブ解像度で入力をキャプチャしないでください。一部のデバイスでは、ネイティブ解像度で入力をキャプチャすると、非常に大きな (10 メガピクセル以上) 画像が生成されるため、遅延が非常に遅くなり、精度には何のメリットもありません。代わりに、バーコード検出に必要なサイズのみをカメラから要求します。通常は 2 メガピクセル以下です。

    スキャン速度が重要な場合は、画像キャプチャ解像度をさらに下げることができます。ただし、上記の最小バーコード サイズ要件に注意してください。

  • 検出器への呼び出しを抑制します。検出器の実行中に新しいビデオ フレームが利用可能になった場合は、フレームをドロップします。
  • 検出器の出力を使用して入力画像にグラフィックスをオーバーレイする場合は、まず ML Kit から結果を取得してから、画像とオーバーレイを 1 つのステップでレンダリングします。そうすることで、入力フレームごとに 1 回だけ表示面にレンダリングします。
  • Camera2 API を使用する場合は、 ImageFormat.YUV_420_888形式で画像をキャプチャします。

    古い Camera API を使用する場合は、 ImageFormat.NV21形式で画像をキャプチャします。