Anda dapat menggunakan ML Kit untuk mengenali teks dalam gambar. ML Kit memiliki API serbaguna yang cocok untuk mengenali teks dalam gambar, seperti teks rambu jalan, dan API yang dioptimalkan untuk mengenali teks dalam dokumen. API serbaguna ini memiliki model pada perangkat dan model berbasis cloud. Pengenalan teks dokumen hanya tersedia pada model berbasis cloud. Lihat ringkasan untuk melihat perbandingan antara model berbasis cloud dan model pada perangkat.
Sebelum memulai
- Tambahkan Firebase ke project Android jika Anda belum melakukannya.
- Tambahkan dependensi untuk library Android ML Kit ke file Gradle modul (level aplikasi) Anda (biasanya
app/build.gradle):apply plugin: 'com.android.application' apply plugin: 'com.google.gms.google-services' dependencies { // ... implementation 'com.google.firebase:firebase-ml-vision:24.0.3' } -
Opsional tetapi direkomendasikan: Jika Anda menggunakan API di perangkat, konfigurasikan
aplikasi Anda untuk mendownload model ML secara otomatis ke perangkat
setelah aplikasi diinstal dari Play Store.
Untuk melakukannya, tambahkan deklarasi berikut ke file
AndroidManifest.xmlaplikasi Anda:<application ...> ... <meta-data android:name="com.google.firebase.ml.vision.DEPENDENCIES" android:value="ocr" /> <!-- To use multiple models: android:value="ocr,model2,model3" --> </application>Jika Anda tidak mengaktifkan download model waktu-instal, model ini akan didownload saat pertama kali Anda menjalankan detektor pada perangkat. Permintaan yang Anda buat sebelum download selesai tidak akan menghasilkan apa pun. -
Jika Anda ingin menggunakan model berbasis Cloud, dan Anda belum mengaktifkan API berbasis Cloud untuk project Anda, lakukan sekarang:
- Buka halaman ML Kit API dari Firebase console
-
Jika Anda belum mengupgrade project ke paket Blaze, klik Upgrade untuk melakukannya. (Anda akan diminta untuk mengupgrade hanya jika project tidak menggunakan paket Blaze.)
Hanya project level Blaze yang dapat menggunakan API berbasis Cloud.
- Jika API berbasis Cloud belum diaktifkan, klik Aktifkan API berbasis Cloud.
Jika hanya ingin menggunakan model pada perangkat, Anda dapat melewati langkah ini.
Kini Anda siap untuk mulai mengenali teks dalam gambar.
Input panduan gambar
-
Agar ML Kit dapat secara akurat mengenali teks, gambar input harus berisi teks yang diwakili oleh data piksel yang cukup. Idealnya, untuk teks Latin, setiap karakter harus setidaknya 16x16 piksel. Untuk teks China, Jepang, dan Korea (hanya didukung oleh API berbasis cloud), setiap karakter harus berukuran 24x24 piksel. Untuk semua bahasa, umumnya tidak ada manfaat akurasi untuk karakter yang lebih besar dari 24x24 piksel.
Jadi, misalnya, gambar 640x480 mungkin berfungsi baik untuk memindai kartu nama yang menempati lebar penuh gambar. Untuk memindai dokumen yang dicetak pada kertas berukuran letter, gambar 720x1280 piksel mungkin diperlukan.
-
Fokus gambar yang buruk dapat menurunkan akurasi pengenalan teks. Jika Anda tidak mendapatkan hasil yang dapat diterima, coba minta pengguna untuk mengambil ulang gambar.
-
Jika Anda mengenali teks dalam aplikasi real-time, Anda mungkin perlu mempertimbangkan dimensi keseluruhan dari gambar input. Gambar yang lebih kecil dapat diproses lebih cepat, sehingga mengurangi latensi, mengambil gambar dengan resolusi yang lebih rendah (mengingat persyaratan akurasi di atas) dan memastikan bahwa teks menempati gambar seluas mungkin Lihat juga Tips untuk meningkatkan performa real-time.
Mengenali teks dalam gambar
Untuk mengenali teks dalam gambar menggunakan model berbasis cloud atau model pada perangkat, jalankan pengenal teks seperti yang dijelaskan di bawah ini.
1. Menjalankan pengenal teks
Untuk mengenali teks dalam gambar, buat objekFirebaseVisionImage
dari Bitmap, media.Image, ByteBuffer, array byte, atau file di
perangkat. Lalu, teruskan objek FirebaseVisionImage ke metode processImage FirebaseVisionTextRecognizer.
Buat objek
FirebaseVisionImagedari gambar Anda.-
Untuk membuat objek
FirebaseVisionImagedari objekmedia.Image, seperti saat mengambil gambar dari kamera perangkat, teruskan objekmedia.Imagedan rotasi gambar keFirebaseVisionImage.fromMediaImage().Jika Anda menggunakan library CameraX, class
OnImageCapturedListenerdanImageAnalysis.Analyzermenghitung nilai rotasi untuk Anda, sehingga Anda hanya perlu mengonversi rotasi ke salah satu konstantaROTATION_ML Kit sebelum memanggilFirebaseVisionImage.fromMediaImage():Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { private int degreesToFirebaseRotation(int degrees) { switch (degrees) { case 0: return FirebaseVisionImageMetadata.ROTATION_0; case 90: return FirebaseVisionImageMetadata.ROTATION_90; case 180: return FirebaseVisionImageMetadata.ROTATION_180; case 270: return FirebaseVisionImageMetadata.ROTATION_270; default: throw new IllegalArgumentException( "Rotation must be 0, 90, 180, or 270."); } } @Override public void analyze(ImageProxy imageProxy, int degrees) { if (imageProxy == null || imageProxy.getImage() == null) { return; } Image mediaImage = imageProxy.getImage(); int rotation = degreesToFirebaseRotation(degrees); FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation); // Pass image to an ML Kit Vision API // ... } }Kotlin+KTX
private class YourImageAnalyzer : ImageAnalysis.Analyzer { private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) { 0 -> FirebaseVisionImageMetadata.ROTATION_0 90 -> FirebaseVisionImageMetadata.ROTATION_90 180 -> FirebaseVisionImageMetadata.ROTATION_180 270 -> FirebaseVisionImageMetadata.ROTATION_270 else -> throw Exception("Rotation must be 0, 90, 180, or 270.") } override fun analyze(imageProxy: ImageProxy?, degrees: Int) { val mediaImage = imageProxy?.image val imageRotation = degreesToFirebaseRotation(degrees) if (mediaImage != null) { val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation) // Pass image to an ML Kit Vision API // ... } } }Jika Anda tidak menggunakan library kamera yang memberi rotasi gambar, Anda dapat menghitungnya dari rotasi perangkat dan orientasi sensor kamera pada perangkat:
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 90); ORIENTATIONS.append(Surface.ROTATION_90, 0); ORIENTATIONS.append(Surface.ROTATION_180, 270); ORIENTATIONS.append(Surface.ROTATION_270, 180); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, Context context) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360; // Return the corresponding FirebaseVisionImageMetadata rotation value. int result; switch (rotationCompensation) { case 0: result = FirebaseVisionImageMetadata.ROTATION_0; break; case 90: result = FirebaseVisionImageMetadata.ROTATION_90; break; case 180: result = FirebaseVisionImageMetadata.ROTATION_180; break; case 270: result = FirebaseVisionImageMetadata.ROTATION_270; break; default: result = FirebaseVisionImageMetadata.ROTATION_0; Log.e(TAG, "Bad rotation value: " + rotationCompensation); } return result; }Kotlin+KTX
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 90) ORIENTATIONS.append(Surface.ROTATION_90, 0) ORIENTATIONS.append(Surface.ROTATION_180, 270) ORIENTATIONS.append(Surface.ROTATION_270, 180) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360 // Return the corresponding FirebaseVisionImageMetadata rotation value. val result: Int when (rotationCompensation) { 0 -> result = FirebaseVisionImageMetadata.ROTATION_0 90 -> result = FirebaseVisionImageMetadata.ROTATION_90 180 -> result = FirebaseVisionImageMetadata.ROTATION_180 270 -> result = FirebaseVisionImageMetadata.ROTATION_270 else -> { result = FirebaseVisionImageMetadata.ROTATION_0 Log.e(TAG, "Bad rotation value: $rotationCompensation") } } return result }Lalu, teruskan objek
media.Imagedan nilai rotasi keFirebaseVisionImage.fromMediaImage():Java
FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
Kotlin+KTX
val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
- Untuk membuat objek
FirebaseVisionImagedari URI file, teruskan konteks aplikasi dan URI file keFirebaseVisionImage.fromFilePath(). Hal ini berguna saat Anda menggunakan intentACTION_GET_CONTENTuntuk meminta pengguna memilih gambar dari aplikasi galeri mereka.Java
FirebaseVisionImage image; try { image = FirebaseVisionImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }Kotlin+KTX
val image: FirebaseVisionImage try { image = FirebaseVisionImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() } - Untuk membuat objek
FirebaseVisionImagedariByteBufferatau array byte, pertama-tama hitung rotasi gambar seperti yang dijelaskan di atas untuk inputmedia.Image.Lalu, buat objek
FirebaseVisionImageMetadatayang berisi tinggi, lebar, format encoding warna, dan rotasi gambar:Java
FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build();Kotlin+KTX
val metadata = FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build()Gunakan buffer atau array, dan objek metadata, untuk membuat objek
FirebaseVisionImage:Java
FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata); // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
Kotlin+KTX
val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata) // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
- Untuk membuat objek
FirebaseVisionImagedari objekBitmap:Gambar yang diwakili oleh objekJava
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
Kotlin+KTX
val image = FirebaseVisionImage.fromBitmap(bitmap)
Bitmapharus berposisi tegak, tanpa perlu rotasi tambahan.
-
Dapatkan instance
FirebaseVisionTextRecognizer.Untuk menggunakan model pada perangkat:
Java
FirebaseVisionTextRecognizer detector = FirebaseVision.getInstance() .getOnDeviceTextRecognizer();Kotlin+KTX
val detector = FirebaseVision.getInstance() .onDeviceTextRecognizerUntuk menggunakan model berbasis cloud:
Java
FirebaseVisionTextRecognizer detector = FirebaseVision.getInstance() .getCloudTextRecognizer(); // Or, to change the default settings: // FirebaseVisionTextRecognizer detector = FirebaseVision.getInstance() // .getCloudTextRecognizer(options);// Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FirebaseVisionCloudTextRecognizerOptions options = new FirebaseVisionCloudTextRecognizerOptions.Builder() .setLanguageHints(Arrays.asList("en", "hi")) .build();Kotlin+KTX
val detector = FirebaseVision.getInstance().cloudTextRecognizer // Or, to change the default settings: // val detector = FirebaseVision.getInstance().getCloudTextRecognizer(options)
// Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages val options = FirebaseVisionCloudTextRecognizerOptions.Builder() .setLanguageHints(listOf("en", "hi")) .build()Terakhir, teruskan gambar ke metode
processImage:Java
Task<FirebaseVisionText> result = detector.processImage(image) .addOnSuccessListener(new OnSuccessListener<FirebaseVisionText>() { @Override public void onSuccess(FirebaseVisionText firebaseVisionText) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });Kotlin+KTX
val result = detector.processImage(image) .addOnSuccessListener { firebaseVisionText -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
2. Mengekstrak teks dari blok teks yang dikenal
Jika operasi pengenalan teks berhasil, objekFirebaseVisionText akan diteruskan ke pemroses yang berhasil. Objek FirebaseVisionText berisi teks lengkap yang dikenali dalam gambar, serta berisi nol atau beberapa objek TextBlock.
Setiap TextBlock mewakili blok teks persegi panjang yang berisi nol atau beberapa objek Line. Setiap objek Line berisi nol atau beberapa objek
Element, yang mewakili kata dan entitas seperti
kata (tanggal, angka, dan sebagainya).
Untuk setiap objek TextBlock, Line, dan Element, Anda bisa mendapatkan teks yang dikenali di region dan koordinat pembatas
region tersebut.
Contoh:
Java
String resultText = result.getText();
for (FirebaseVisionText.TextBlock block: result.getTextBlocks()) {
String blockText = block.getText();
Float blockConfidence = block.getConfidence();
List<RecognizedLanguage> blockLanguages = block.getRecognizedLanguages();
Point[] blockCornerPoints = block.getCornerPoints();
Rect blockFrame = block.getBoundingBox();
for (FirebaseVisionText.Line line: block.getLines()) {
String lineText = line.getText();
Float lineConfidence = line.getConfidence();
List<RecognizedLanguage> lineLanguages = line.getRecognizedLanguages();
Point[] lineCornerPoints = line.getCornerPoints();
Rect lineFrame = line.getBoundingBox();
for (FirebaseVisionText.Element element: line.getElements()) {
String elementText = element.getText();
Float elementConfidence = element.getConfidence();
List<RecognizedLanguage> elementLanguages = element.getRecognizedLanguages();
Point[] elementCornerPoints = element.getCornerPoints();
Rect elementFrame = element.getBoundingBox();
}
}
}Kotlin+KTX
val resultText = result.text
for (block in result.textBlocks) {
val blockText = block.text
val blockConfidence = block.confidence
val blockLanguages = block.recognizedLanguages
val blockCornerPoints = block.cornerPoints
val blockFrame = block.boundingBox
for (line in block.lines) {
val lineText = line.text
val lineConfidence = line.confidence
val lineLanguages = line.recognizedLanguages
val lineCornerPoints = line.cornerPoints
val lineFrame = line.boundingBox
for (element in line.elements) {
val elementText = element.text
val elementConfidence = element.confidence
val elementLanguages = element.recognizedLanguages
val elementCornerPoints = element.cornerPoints
val elementFrame = element.boundingBox
}
}
}Tips untuk meningkatkan performa real-time
Jika Anda ingin menggunakan model di perangkat untuk mengenali teks dalam aplikasi real-time, ikuti panduan berikut ini untuk mencapai frekuensi gambar terbaik:
- Batasi panggilan ke pengenal teks. Jika bingkai video baru tersedia saat pengenal teks sedang berjalan, hapus bingkai tersebut.
- Jika Anda menggunakan output pengenal teks untuk menempatkan grafis pada gambar input, pertama-tama dapatkan hasil dari ML Kit, lalu render gambar dan tempatkan grafis dalam satu langkah. Dengan demikian, Anda hanya merender ke permukaan tampilan sekali untuk setiap frame input.
-
Jika Anda menggunakan Camera2 API, ambil gambar dalam format
ImageFormat.YUV_420_888.Jika Anda menggunakan Camera API versi lama, ambil gambar dalam format
ImageFormat.NV21. - Pertimbangkan untuk mengambil gambar dengan resolusi lebih rendah. Namun, perhatikan juga persyaratan dimensi gambar API ini.
Langkah berikutnya
- Sebelum men-deploy aplikasi yang menggunakan Cloud API ke fase produksi, Anda harus mengambil beberapa langkah tambahan untuk mencegah dan mengurangi dampak akses API tanpa izin.
Mengenali teks dalam gambar dokumen
Untuk mengenali teks dokumen, konfigurasikan dan jalankan pengenal teks dokumen berbasis cloud seperti yang dijelaskan di bawah ini.
API pengenalan teks dokumen, yang dijelaskan di bawah ini, menyediakan antarmuka yang ditujukan untuk memudahkan Anda bekerja dengan gambar dokumen. Namun,
jika Anda lebih menyukai antarmuka yang disediakan oleh
API FirebaseVisionTextRecognizer, Anda dapat menggunakannya untuk memindai dokumen dengan mengonfigurasi pengenal teks
cloud untuk menggunakan model teks padat.
Untuk menggunakan API pengenalan teks dokumen:
1. Menjalankan pengenal teks
Untuk mengenali teks dalam gambar, buat objekFirebaseVisionImage dari
Bitmap, media.Image, ByteBuffer, byte array, atau file di perangkat.
Lalu, teruskan objek FirebaseVisionImage ke metode processImage FirebaseVisionDocumentTextRecognizer.
Buat objek
FirebaseVisionImagedari gambar Anda.-
Untuk membuat objek
FirebaseVisionImagedari objekmedia.Image, seperti saat mengambil gambar dari kamera perangkat, teruskan objekmedia.Imagedan rotasi gambar keFirebaseVisionImage.fromMediaImage().Jika Anda menggunakan library CameraX, class
OnImageCapturedListenerdanImageAnalysis.Analyzermenghitung nilai rotasi untuk Anda, sehingga Anda hanya perlu mengonversi rotasi ke salah satu konstantaROTATION_ML Kit sebelum memanggilFirebaseVisionImage.fromMediaImage():Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { private int degreesToFirebaseRotation(int degrees) { switch (degrees) { case 0: return FirebaseVisionImageMetadata.ROTATION_0; case 90: return FirebaseVisionImageMetadata.ROTATION_90; case 180: return FirebaseVisionImageMetadata.ROTATION_180; case 270: return FirebaseVisionImageMetadata.ROTATION_270; default: throw new IllegalArgumentException( "Rotation must be 0, 90, 180, or 270."); } } @Override public void analyze(ImageProxy imageProxy, int degrees) { if (imageProxy == null || imageProxy.getImage() == null) { return; } Image mediaImage = imageProxy.getImage(); int rotation = degreesToFirebaseRotation(degrees); FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation); // Pass image to an ML Kit Vision API // ... } }Kotlin+KTX
private class YourImageAnalyzer : ImageAnalysis.Analyzer { private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) { 0 -> FirebaseVisionImageMetadata.ROTATION_0 90 -> FirebaseVisionImageMetadata.ROTATION_90 180 -> FirebaseVisionImageMetadata.ROTATION_180 270 -> FirebaseVisionImageMetadata.ROTATION_270 else -> throw Exception("Rotation must be 0, 90, 180, or 270.") } override fun analyze(imageProxy: ImageProxy?, degrees: Int) { val mediaImage = imageProxy?.image val imageRotation = degreesToFirebaseRotation(degrees) if (mediaImage != null) { val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation) // Pass image to an ML Kit Vision API // ... } } }Jika Anda tidak menggunakan library kamera yang memberi rotasi gambar, Anda dapat menghitungnya dari rotasi perangkat dan orientasi sensor kamera pada perangkat:
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 90); ORIENTATIONS.append(Surface.ROTATION_90, 0); ORIENTATIONS.append(Surface.ROTATION_180, 270); ORIENTATIONS.append(Surface.ROTATION_270, 180); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, Context context) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360; // Return the corresponding FirebaseVisionImageMetadata rotation value. int result; switch (rotationCompensation) { case 0: result = FirebaseVisionImageMetadata.ROTATION_0; break; case 90: result = FirebaseVisionImageMetadata.ROTATION_90; break; case 180: result = FirebaseVisionImageMetadata.ROTATION_180; break; case 270: result = FirebaseVisionImageMetadata.ROTATION_270; break; default: result = FirebaseVisionImageMetadata.ROTATION_0; Log.e(TAG, "Bad rotation value: " + rotationCompensation); } return result; }Kotlin+KTX
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 90) ORIENTATIONS.append(Surface.ROTATION_90, 0) ORIENTATIONS.append(Surface.ROTATION_180, 270) ORIENTATIONS.append(Surface.ROTATION_270, 180) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360 // Return the corresponding FirebaseVisionImageMetadata rotation value. val result: Int when (rotationCompensation) { 0 -> result = FirebaseVisionImageMetadata.ROTATION_0 90 -> result = FirebaseVisionImageMetadata.ROTATION_90 180 -> result = FirebaseVisionImageMetadata.ROTATION_180 270 -> result = FirebaseVisionImageMetadata.ROTATION_270 else -> { result = FirebaseVisionImageMetadata.ROTATION_0 Log.e(TAG, "Bad rotation value: $rotationCompensation") } } return result }Lalu, teruskan objek
media.Imagedan nilai rotasi keFirebaseVisionImage.fromMediaImage():Java
FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
Kotlin+KTX
val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
- Untuk membuat objek
FirebaseVisionImagedari URI file, teruskan konteks aplikasi dan URI file keFirebaseVisionImage.fromFilePath(). Hal ini berguna saat Anda menggunakan intentACTION_GET_CONTENTuntuk meminta pengguna memilih gambar dari aplikasi galeri mereka.Java
FirebaseVisionImage image; try { image = FirebaseVisionImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }Kotlin+KTX
val image: FirebaseVisionImage try { image = FirebaseVisionImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() } - Untuk membuat objek
FirebaseVisionImagedariByteBufferatau array byte, pertama-tama hitung rotasi gambar seperti yang dijelaskan di atas untuk inputmedia.Image.Lalu, buat objek
FirebaseVisionImageMetadatayang berisi tinggi, lebar, format encoding warna, dan rotasi gambar:Java
FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build();Kotlin+KTX
val metadata = FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build()Gunakan buffer atau array, dan objek metadata, untuk membuat objek
FirebaseVisionImage:Java
FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata); // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
Kotlin+KTX
val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata) // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
- Untuk membuat objek
FirebaseVisionImagedari objekBitmap:Gambar yang diwakili oleh objekJava
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
Kotlin+KTX
val image = FirebaseVisionImage.fromBitmap(bitmap)
Bitmapharus berposisi tegak, tanpa perlu rotasi tambahan.
-
Dapatkan instance
FirebaseVisionDocumentTextRecognizer:Java
FirebaseVisionDocumentTextRecognizer detector = FirebaseVision.getInstance() .getCloudDocumentTextRecognizer();// Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FirebaseVisionCloudDocumentRecognizerOptions options = new FirebaseVisionCloudDocumentRecognizerOptions.Builder() .setLanguageHints(Arrays.asList("en", "hi")) .build(); FirebaseVisionDocumentTextRecognizer detector = FirebaseVision.getInstance() .getCloudDocumentTextRecognizer(options);Kotlin+KTX
val detector = FirebaseVision.getInstance() .cloudDocumentTextRecognizer// Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages val options = FirebaseVisionCloudDocumentRecognizerOptions.Builder() .setLanguageHints(listOf("en", "hi")) .build() val detector = FirebaseVision.getInstance() .getCloudDocumentTextRecognizer(options)Terakhir, teruskan gambar ke metode
processImage:Java
detector.processImage(myImage) .addOnSuccessListener(new OnSuccessListener<FirebaseVisionDocumentText>() { @Override public void onSuccess(FirebaseVisionDocumentText result) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });Kotlin+KTX
detector.processImage(myImage) .addOnSuccessListener { firebaseVisionDocumentText -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
2. Mengekstrak teks dari blok teks yang dikenal
Jika operasi pengenalan teks berhasil, objek FirebaseVisionDocumentText akan ditampilkan. Objek FirebaseVisionDocumentText berisi teks lengkap yang dikenali dalam gambar, dan hierarki objek yang mencerminkan struktur dokumen yang dikenali:
FirebaseVisionDocumentText.BlockFirebaseVisionDocumentText.ParagraphFirebaseVisionDocumentText.WordFirebaseVisionDocumentText.Symbol
Untuk setiap objek Block, Paragraph, Word, dan Symbol, Anda bisa mendapatkan teks yang dikenali di region dan koordinat pembatas region tersebut.
Contoh:
Java
String resultText = result.getText();
for (FirebaseVisionDocumentText.Block block: result.getBlocks()) {
String blockText = block.getText();
Float blockConfidence = block.getConfidence();
List<RecognizedLanguage> blockRecognizedLanguages = block.getRecognizedLanguages();
Rect blockFrame = block.getBoundingBox();
for (FirebaseVisionDocumentText.Paragraph paragraph: block.getParagraphs()) {
String paragraphText = paragraph.getText();
Float paragraphConfidence = paragraph.getConfidence();
List<RecognizedLanguage> paragraphRecognizedLanguages = paragraph.getRecognizedLanguages();
Rect paragraphFrame = paragraph.getBoundingBox();
for (FirebaseVisionDocumentText.Word word: paragraph.getWords()) {
String wordText = word.getText();
Float wordConfidence = word.getConfidence();
List<RecognizedLanguage> wordRecognizedLanguages = word.getRecognizedLanguages();
Rect wordFrame = word.getBoundingBox();
for (FirebaseVisionDocumentText.Symbol symbol: word.getSymbols()) {
String symbolText = symbol.getText();
Float symbolConfidence = symbol.getConfidence();
List<RecognizedLanguage> symbolRecognizedLanguages = symbol.getRecognizedLanguages();
Rect symbolFrame = symbol.getBoundingBox();
}
}
}
}Kotlin+KTX
val resultText = result.text
for (block in result.blocks) {
val blockText = block.text
val blockConfidence = block.confidence
val blockRecognizedLanguages = block.recognizedLanguages
val blockFrame = block.boundingBox
for (paragraph in block.paragraphs) {
val paragraphText = paragraph.text
val paragraphConfidence = paragraph.confidence
val paragraphRecognizedLanguages = paragraph.recognizedLanguages
val paragraphFrame = paragraph.boundingBox
for (word in paragraph.words) {
val wordText = word.text
val wordConfidence = word.confidence
val wordRecognizedLanguages = word.recognizedLanguages
val wordFrame = word.boundingBox
for (symbol in word.symbols) {
val symbolText = symbol.text
val symbolConfidence = symbol.confidence
val symbolRecognizedLanguages = symbol.recognizedLanguages
val symbolFrame = symbol.boundingBox
}
}
}
}Langkah berikutnya
- Sebelum men-deploy aplikasi yang menggunakan Cloud API ke fase produksi, Anda harus mengambil beberapa langkah tambahan untuk mencegah dan mengurangi dampak akses API tanpa izin.