مسح الرموز الشريطية ضوئيًا باستخدام مجموعة أدوات تعلّم الآلة على Android

يمكنك استخدام ML Kit للتعرّف على الرموز الشريطية وفك ترميزها.

قبل البدء

  1. أضِف Firebase إلى مشروع Android، في حال لم يسبق لك إجراء ذلك.
  2. أضِف التبعيات لمكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle (على مستوى التطبيق) للوحدة (عادةً app/build.gradle): 
    apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-barcode-model:16.0.1'
}

إرشادات حول صور الإدخال

  • لكي تتمكّن حزمة ML Kit من قراءة الرموز الشريطية بدقة، يجب أن تحتوي صور الإدخال على رموز شريطية يتم تمثيلها ببيانات بكسل كافية.

    تعتمد متطلبات بيانات البكسل المحدّدة على نوع الرمز الشريطي ومقدار البيانات التي يتم تشفيرها فيه (لأنّ معظم الرموز الشريطية تسمح بحمولة ذات طول متغيّر). بشكل عام، يجب ألا يقل عرض أصغر وحدة مفيدة من الرمز الشريطي عن بكسلَين (وبالنسبة إلى الرموز ثنائية الأبعاد، يجب ألا يقل ارتفاعها عن بكسلَين).

    على سبيل المثال، تتألف رموز EAN-13 الشريطية من أشرطة ومسافات بعرض وحدة واحدة أو اثنتين أو ثلاث أو أربع، لذا من الأفضل أن تحتوي صورة رمز EAN-13 الشريطي على أشرطة ومسافات بعرض 2 أو 4 أو 6 أو 8 بكسل على الأقل. بما أنّ رمز EAN-13 الشريطي يبلغ عرضه 95 وحدة في المجمل، يجب ألا يقلّ عرض الرمز الشريطي عن 190 بكسل.

    تحتاج التنسيقات الأكثر كثافة، مثل PDF417، إلى أبعاد وحدات بكسل أكبر لكي تتمكّن أداة ML Kit من قراءتها بشكل موثوق. على سبيل المثال، يمكن أن يتضمّن رمز PDF417 ما يصل إلى 34 "كلمة" بعرض 17 وحدة في صف واحد، ويجب أن يكون عرضها في العادة 1156 بكسل على الأقل.

  • يمكن أن يؤدّي ضعف تركيز الصورة إلى تقليل دقة المسح الضوئي. إذا لم تحصل على نتائج مقبولة، حاوِل أن تطلب من المستخدم إعادة التقاط الصورة.

  • بالنسبة إلى التطبيقات العادية، ننصحك بتقديم صورة بدرجة دقة أعلى (مثل 1280x720 أو 1920x1080)، ما يجعل من الممكن رصد الرموز الشريطية من مسافة أكبر عن الكاميرا.

    ومع ذلك، في التطبيقات التي يكون فيها وقت الاستجابة مهمًا، يمكنك تحسين الأداء من خلال التقاط الصور بدرجة دقة أقل، ولكن مع اشتراط أن يشكّل الرمز الشريطي معظم صورة الإدخال. اطّلِع أيضًا على نصائح لتحسين الأداء في الوقت الفعلي.

1. ضبط أداة رصد الرموز الشريطية

إذا كنت تعرف تنسيقات الرموز الشريطية التي تتوقّع قراءتها، يمكنك تحسين سرعة كاشف الرموز الشريطية من خلال ضبطه لرصد هذه التنسيقات فقط.

على سبيل المثال، لرصد رموز Aztec وQR فقط، أنشئ عنصر FirebaseVisionBarcodeDetectorOptions كما هو موضّح في المثال التالي:

Java 

FirebaseVisionBarcodeDetectorOptions options =
        new FirebaseVisionBarcodeDetectorOptions.Builder()
        .setBarcodeFormats(
                FirebaseVisionBarcode.FORMAT_QR_CODE,
                FirebaseVisionBarcode.FORMAT_AZTEC)
        .build();

Kotlin 

val options = FirebaseVisionBarcodeDetectorOptions.Builder()
        .setBarcodeFormats(
                FirebaseVisionBarcode.FORMAT_QR_CODE,
                FirebaseVisionBarcode.FORMAT_AZTEC)
        .build()

تتوفّر التنسيقات التالية:

  • رمز 128 (FORMAT_CODE_128)
  • الرمز 39 (FORMAT_CODE_39)
  • الرمز 93 (FORMAT_CODE_93)
  • رمز Codabar (FORMAT_CODABAR)
  • ‫EAN-13 (FORMAT_EAN_13)
  • ‫EAN-8 (FORMAT_EAN_8)
  • ITF (FORMAT_ITF)
  • UPC-A ‏ (FORMAT_UPC_A)
  • UPC-E ‏ (FORMAT_UPC_E)
  • رمز الاستجابة السريعة (FORMAT_QR_CODE)
  • ‫PDF417 (FORMAT_PDF417)
  • الأزتك (FORMAT_AZTEC)
  • Data Matrix (FORMAT_DATA_MATRIX)

2- تشغيل أداة رصد الرموز الشريطية

للتعرّف على الرموز الشريطية في صورة، أنشئ عنصر FirebaseVisionImage من Bitmap أو media.Image أو ByteBuffer أو صفيف بايت أو ملف على الجهاز. بعد ذلك، نقْل عنصر FirebaseVisionImage إلى الطريقة detectInImage في FirebaseVisionBarcodeDetector.

  1. أنشئ عنصرًا FirebaseVisionImage من صورتك.

    • لإنشاء عنصر FirebaseVisionImage من media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، عليك تمرير عنصر media.Image ودرجة دوران الصورة إلى FirebaseVisionImage.fromMediaImage().

      إذا كنت تستخدِم مكتبة CameraX، تحتسِب فئة OnImageCapturedListener و ImageAnalysis.Analyzer قيمة التدوير نيابةً عنك، لذا ما عليك سوى تحويل التدوير إلى أحد ROTATION_ الثابتة في ML Kit قبل استدعاء FirebaseVisionImage.fromMediaImage():

      Java

      private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

      Kotlin

      private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

      إذا كنت لا تستخدم مكتبة كاميرا تمنحك معلومات عن دوران الصورة، يمكنك احتسابها من خلال دوران الجهاز واتجاه كاميرا الاستشعار في الجهاز:

      Java

      private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}
      VisionImage.java

      Kotlin

      private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}
      VisionImage.kt

      بعد ذلك، مرِّر العنصر media.Image وقيمة الدوران إلى FirebaseVisionImage.fromMediaImage():

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
      VisionImage.java

      Kotlin

      val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
      VisionImage.kt
    • لإنشاء عنصر FirebaseVisionImage من معرّف موارد منتظم لملف، عليك تمرير سياق التطبيق ومعرّف الموارد المنتظم للملف إلى FirebaseVisionImage.fromFilePath(). يكون ذلك مفيدًا عند استخدام نية ACTION_GET_CONTENT لطلب تحديد صورة من تطبيق معرض الصور.

      Java

      FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}
      VisionImage.java

      Kotlin

      val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
      VisionImage.kt
    • لإنشاء عنصر FirebaseVisionImage من ByteBuffer أو صفيف بايت، احتسِب أولاً عملية تدوير الصورة كما هو موضّح أعلاه لإدخال media.Image.

      بعد ذلك، أنشئ عنصرًا من النوع FirebaseVisionImageMetadata يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز اللون وتدويرها:

      Java

      FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();
      VisionImage.java

      Kotlin

      val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()
      VisionImage.kt

      استخدِم المخزن المؤقت أو الصفيف وعنصر البيانات الوصفية لإنشاء عنصر FirebaseVisionImage:

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
      VisionImage.java

      Kotlin

      val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
      VisionImage.kt
    • لإنشاء عنصر FirebaseVisionImage من عنصر Bitmap:

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
      VisionImage.java

      Kotlin

      val image = FirebaseVisionImage.fromBitmap(bitmap)
      VisionImage.kt
      يجب أن تكون الصورة التي يمثّلها عنصر Bitmap منتصبة، بدون الحاجة إلى إجراء أيّ دوران إضافي.

  2. الحصول على مثيل من FirebaseVisionBarcodeDetector:

    Java 

    FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
        .getVisionBarcodeDetector();
// Or, to specify the formats to recognize:
// FirebaseVisionBarcodeDetector detector = FirebaseVision.getInstance()
//        .getVisionBarcodeDetector(options);

    Kotlin 

    val detector = FirebaseVision.getInstance()
        .visionBarcodeDetector
// Or, to specify the formats to recognize:
// val detector = FirebaseVision.getInstance()
//        .getVisionBarcodeDetector(options)

  3. أخيرًا، نقْل الصورة إلى طريقة detectInImage:

    Java 

    Task<List<FirebaseVisionBarcode>> result = detector.detectInImage(image)
        .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionBarcode>>() {
            @Override
            public void onSuccess(List<FirebaseVisionBarcode> barcodes) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
                });

    Kotlin 

    val result = detector.detectInImage(image)
        .addOnSuccessListener { barcodes ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener {
            // Task failed with an exception
            // ...
        }

3- الحصول على معلومات من الرموز الشريطية

في حال نجاح عملية التعرّف على الرمز الشريطي، سيتم تمرير قائمة بعناصر FirebaseVisionBarcode إلى مستمع الحدث "النجاح". يمثّل كل عنصر FirebaseVisionBarcode رمزًا شريطيًا تم رصده في الصورة. لكل رمز شريطي، يمكنك الحصول على إحداثيات الحدود في الصورة المُدخلة، بالإضافة إلى البيانات الأولية التي تم ترميزها باستخدام الرمز الشريطي. بالإضافة إلى ذلك، إذا تمكّن أسلوب الكشف عن الرمز الشريطي من تحديد نوع البيانات المشفَّرة بالرمز الشريطي، يمكنك الحصول على عنصر يحتوي على بيانات تم تحليلها.

على سبيل المثال:

Java 

for (FirebaseVisionBarcode barcode: barcodes) {
    Rect bounds = barcode.getBoundingBox();
    Point[] corners = barcode.getCornerPoints();

    String rawValue = barcode.getRawValue();

    int valueType = barcode.getValueType();
    // See API reference for complete list of supported types
    switch (valueType) {
        case FirebaseVisionBarcode.TYPE_WIFI:
            String ssid = barcode.getWifi().getSsid();
            String password = barcode.getWifi().getPassword();
            int type = barcode.getWifi().getEncryptionType();
            break;
        case FirebaseVisionBarcode.TYPE_URL:
            String title = barcode.getUrl().getTitle();
            String url = barcode.getUrl().getUrl();
            break;
    }
}

Kotlin 

for (barcode in barcodes) {
    val bounds = barcode.boundingBox
    val corners = barcode.cornerPoints

    val rawValue = barcode.rawValue

    val valueType = barcode.valueType
    // See API reference for complete list of supported types
    when (valueType) {
        FirebaseVisionBarcode.TYPE_WIFI -> {
            val ssid = barcode.wifi!!.ssid
            val password = barcode.wifi!!.password
            val type = barcode.wifi!!.encryptionType
        }
        FirebaseVisionBarcode.TYPE_URL -> {
            val title = barcode.url!!.title
            val url = barcode.url!!.url
        }
    }
}

نصائح لتحسين الأداء في الوقت الفعلي

إذا كنت تريد مسح الرموز الشريطية ضوئيًا في تطبيق يعمل في الوقت الفعلي، اتّبِع خطوات هذه الإرشادات لتحقيق أفضل معدّلات لإطارات الفيديو:

  • لا تلتقط الإدخال بدقة الكاميرا الأصلية. على بعض الأجهزة، يؤدي التقاط الإدخال بدرجة الدقة الأصلية إلى إنشاء صور كبيرة جدًا (أكثر من 10 ميغابكسل)، ما يؤدي إلى وقت استجابة سيئ جدًا بدون أي فائدة من الدقة. بدلاً من ذلك، اطلب من الكاميرا فقط الحجم المطلوب لرصد الرمز الشريطي: عادةً ما لا يزيد عن 2 ميغابكسل.

    إذا كانت سرعة المسح الضوئي مهمة، يمكنك خفض درجة دقّة التقاط الصور. ومع ذلك، يُرجى مراعاة الحد الأدنى لمتطلبات حجم الرمز الشريطي الموضّحة أعلاه.

  • الحد من عدد المكالمات إلى الكاشف إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل أداة رصد المحتوى، يمكنك إسقاط الإطار.
  • إذا كنت تستخدِم ناتج أداة الكشف لوضع الرسومات فوق صورة الإدخال، احصل أولاً على النتيجة من ML Kit، ثم أعِد عرض الصورة وطبِّق الرسم عليها في خطوة واحدة. وبذلك، يتم عرض المحتوى على سطح العرض مرّة واحدة فقط لكل إطار إدخال.

  • إذا كنت تستخدم واجهة برمجة التطبيقات Camera2 API، يمكنك التقاط الصور بتنسيق ImageFormat.YUV_420_888.

    إذا كنت تستخدم الإصدار القديم من Camera API، يمكنك التقاط الصور بتنسيق ImageFormat.NV21.