Dopo aver addestrato il tuo modello utilizzando AutoML Vision Edge , puoi usarlo nella tua app per etichettare le immagini.
Esistono due modi per integrare i modelli addestrati da AutoML Vision Edge: puoi raggruppare il modello inserendolo nella cartella delle risorse dell'app oppure puoi scaricarlo dinamicamente da Firebase.
Opzioni di raggruppamento del modello | |
---|---|
In bundle nella tua app |
|
Ospitato con Firebase |
|
Prima di iniziare
Aggiungi le dipendenze per le librerie ML Kit Android al file gradle a livello di app del tuo modulo, che di solito è
app/build.gradle
:Per raggruppare un modello con la tua app:
dependencies { // ... // Image labeling feature with bundled automl model implementation 'com.google.mlkit:image-labeling-custom:16.3.1' }
Per scaricare dinamicamente un modello da Firebase, aggiungi la dipendenza
linkFirebase
:dependencies { // ... // Image labeling feature with automl model downloaded // from firebase implementation 'com.google.mlkit:image-labeling-custom:16.3.1' implementation 'com.google.mlkit:linkfirebase:16.1.0' }
Se vuoi scaricare un modello , assicurati di aggiungere Firebase al tuo progetto Android , se non l'hai già fatto. Questo non è richiesto quando si raggruppa il modello.
1. Caricare il modello
Configura un'origine modello locale
Per raggruppare il modello con la tua app:
Estrai il modello e i relativi metadati dall'archivio zip scaricato dalla console Firebase. Ti consigliamo di utilizzare i file così come li hai scaricati, senza modifiche (compresi i nomi dei file).
Includi il tuo modello e i relativi file di metadati nel pacchetto dell'app:
- Se non disponi di una cartella delle risorse nel tuo progetto, creane una facendo clic con il pulsante destro del mouse
app/
cartella, quindi facendo clic su Nuovo > Cartella > Cartella delle risorse . - Creare una sottocartella nella cartella delle risorse per contenere i file del modello.
- Copia i file
model.tflite
,dict.txt
emanifest.json
nella sottocartella (tutti e tre i file devono trovarsi nella stessa cartella).
- Se non disponi di una cartella delle risorse nel tuo progetto, creane una facendo clic con il pulsante destro del mouse
Aggiungi quanto segue al file
build.gradle
della tua app per assicurarti che Gradle non comprima il file del modello durante la creazione dell'app:android { // ... aaptOptions { noCompress "tflite" } }
Il file del modello sarà incluso nel pacchetto dell'app e sarà disponibile per ML Kit come risorsa non elaborata.
Crea oggetto
LocalModel
, specificando il percorso del file manifest del modello:Giava
AutoMLImageLabelerLocalModel localModel = new AutoMLImageLabelerLocalModel.Builder() .setAssetFilePath("manifest.json") // or .setAbsoluteFilePath(absolute file path to manifest file) .build();
Kotlin
val localModel = LocalModel.Builder() .setAssetManifestFilePath("manifest.json") // or .setAbsoluteManifestFilePath(absolute file path to manifest file) .build()
Configura un'origine modello ospitata da Firebase
Per utilizzare il modello ospitato in remoto, crea un oggetto CustomRemoteModel
, specificando il nome che hai assegnato al modello quando lo hai pubblicato:
Giava
// Specify the name you assigned in the Firebase console.
FirebaseModelSource firebaseModelSource =
new FirebaseModelSource.Builder("your_model_name").build();
CustomRemoteModel remoteModel =
new CustomRemoteModel.Builder(firebaseModelSource).build();
Kotlin
// Specify the name you assigned in the Firebase console.
val firebaseModelSource = FirebaseModelSource.Builder("your_model_name")
.build()
val remoteModel = CustomRemoteModel.Builder(firebaseModelSource).build()
Quindi, avvia l'attività di download del modello, specificando le condizioni in base alle quali desideri consentire il download. Se il modello non è sul dispositivo o se è disponibile una versione più recente del modello, l'attività scaricherà il modello in modo asincrono da Firebase:
Giava
DownloadConditions downloadConditions = new DownloadConditions.Builder()
.requireWifi()
.build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
.addOnSuccessListener(new OnSuccessListener<Void>() {
@Override
public void onSuccess(@NonNull Task<Void> task) {
// Success.
}
});
Kotlin
val downloadConditions = DownloadConditions.Builder()
.requireWifi()
.build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
.addOnSuccessListener {
// Success.
}
Molte app avviano l'attività di download nel codice di inizializzazione, ma puoi farlo in qualsiasi momento prima di dover utilizzare il modello.
Crea un'etichettatrice di immagini dal tuo modello
Dopo aver configurato le origini del modello, crea un oggetto ImageLabeler
da una di esse.
Se hai solo un modello raggruppato localmente, crea un'etichettatrice dal tuo oggetto CustomImageLabelerOptions
e configura la soglia del punteggio di affidabilità che desideri richiedere (vedi Valuta il tuo modello ):
Giava
CustomImageLabelerOptions customImageLabelerOptions = new CustomImageLabelerOptions.Builder(localModel)
.setConfidenceThreshold(0.0f) // Evaluate your model in the Cloud console
// to determine an appropriate value.
.build();
ImageLabeler labeler = ImageLabeling.getClient(customImageLabelerOptions);
Kotlin
val customImageLabelerOptions = CustomImageLabelerOptions.Builder(localModel)
.setConfidenceThreshold(0.0f) // Evaluate your model in the Cloud console
// to determine an appropriate value.
.build()
val labeler = ImageLabeling.getClient(customImageLabelerOptions)
Se disponi di un modello ospitato in remoto, dovrai verificare che sia stato scaricato prima di eseguirlo. È possibile controllare lo stato dell'attività di download del modello utilizzando il metodo isModelDownloaded()
del gestore modelli.
Sebbene sia necessario solo confermarlo prima di eseguire l'etichettatrice, se si dispone sia di un modello ospitato in remoto che di un modello raggruppato in locale, potrebbe avere senso eseguire questo controllo quando si crea un'istanza dell'etichettatrice di immagini: creare un'etichettatrice dal modello remoto se è stato scaricato, altrimenti dal modello locale.
Giava
RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener(new OnSuccessListener<Boolean>() {
@Override
public void onSuccess(Boolean isDownloaded) {
CustomImageLabelerOptions.Builder optionsBuilder;
if (isDownloaded) {
optionsBuilder = new CustomImageLabelerOptions.Builder(remoteModel);
} else {
optionsBuilder = new CustomImageLabelerOptions.Builder(localModel);
}
CustomImageLabelerOptions options = optionsBuilder
.setConfidenceThreshold(0.0f) // Evaluate your model in the Cloud console
// to determine an appropriate threshold.
.build();
ImageLabeler labeler = ImageLabeling.getClient(options);
}
});
Kotlin
RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener { isDownloaded ->
val optionsBuilder =
if (isDownloaded) {
CustomImageLabelerOptions.Builder(remoteModel)
} else {
CustomImageLabelerOptions.Builder(localModel)
}
// Evaluate your model in the Cloud console to determine an appropriate threshold.
val options = optionsBuilder.setConfidenceThreshold(0.0f).build()
val labeler = ImageLabeling.getClient(options)
}
Se disponi solo di un modello ospitato in remoto, devi disabilitare la funzionalità relativa al modello, ad esempio oscurare o nascondere parte dell'interfaccia utente, fino a quando non confermi che il modello è stato scaricato. Puoi farlo collegando un listener al metodo download()
del gestore modelli:
Giava
RemoteModelManager.getInstance().download(remoteModel, conditions)
.addOnSuccessListener(new OnSuccessListener<Void>() {
@Override
public void onSuccess(Void v) {
// Download complete. Depending on your app, you could enable
// the ML feature, or switch from the local model to the remote
// model, etc.
}
});
Kotlin
RemoteModelManager.getInstance().download(remoteModel, conditions)
.addOnSuccessListener {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
}
2. Preparare l'immagine di input
Quindi, per ogni immagine che desideri etichettare, crea un oggetto InputImage
dalla tua immagine. L'etichettatrice di immagini viene eseguita più velocemente quando si utilizza una Bitmap
o, se si utilizza l'API camera2, un media.Image media.Image
, che sono consigliati quando possibile.
Puoi creare un InputImage
da diverse fonti, ognuna è spiegata di seguito.
Utilizzo di un'immagine media.Image
Per creare un oggetto InputImage
da un oggetto media.Image
, ad esempio quando acquisisci un'immagine dalla fotocamera di un dispositivo, passa l'oggetto media.Image
e la rotazione dell'immagine a InputImage.fromMediaImage()
.
Se utilizzi la libreria CameraX , le classi OnImageCapturedListener
e ImageAnalysis.Analyzer
calcolano il valore di rotazione per te.
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { if (imageProxy == null || imageProxy.getImage() == null) { return; } Image mediaImage = imageProxy.getImage(); InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees); // Pass image to an ML Kit Vision API // ... } }
Kotlin+KTX
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy?) { val mediaImage = imageProxy?.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Se non utilizzi una libreria della fotocamera che ti fornisce il grado di rotazione dell'immagine, puoi calcolarlo dal grado di rotazione del dispositivo e dall'orientamento del sensore della fotocamera nel dispositivo:
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 90); ORIENTATIONS.append(Surface.ROTATION_90, 0); ORIENTATIONS.append(Surface.ROTATION_180, 270); ORIENTATIONS.append(Surface.ROTATION_270, 180); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, Context context) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360; // Return the corresponding FirebaseVisionImageMetadata rotation value. int result; switch (rotationCompensation) { case 0: result = FirebaseVisionImageMetadata.ROTATION_0; break; case 90: result = FirebaseVisionImageMetadata.ROTATION_90; break; case 180: result = FirebaseVisionImageMetadata.ROTATION_180; break; case 270: result = FirebaseVisionImageMetadata.ROTATION_270; break; default: result = FirebaseVisionImageMetadata.ROTATION_0; Log.e(TAG, "Bad rotation value: " + rotationCompensation); } return result; }
Kotlin+KTX
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 90) ORIENTATIONS.append(Surface.ROTATION_90, 0) ORIENTATIONS.append(Surface.ROTATION_180, 270) ORIENTATIONS.append(Surface.ROTATION_270, 180) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360 // Return the corresponding FirebaseVisionImageMetadata rotation value. val result: Int when (rotationCompensation) { 0 -> result = FirebaseVisionImageMetadata.ROTATION_0 90 -> result = FirebaseVisionImageMetadata.ROTATION_90 180 -> result = FirebaseVisionImageMetadata.ROTATION_180 270 -> result = FirebaseVisionImageMetadata.ROTATION_270 else -> { result = FirebaseVisionImageMetadata.ROTATION_0 Log.e(TAG, "Bad rotation value: $rotationCompensation") } } return result }
Quindi, passa l'oggetto media.Image
e il valore del grado di rotazione a InputImage.fromMediaImage()
:
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Kotlin+KTX
val image = InputImage.fromMediaImage(mediaImage, rotation)
Utilizzo di un file URI
Per creare un oggetto InputImage
da un URI di file, passa il contesto dell'app e l'URI del file a InputImage.fromFilePath()
. Ciò è utile quando utilizzi un intento ACTION_GET_CONTENT
per richiedere all'utente di selezionare un'immagine dalla sua app galleria.
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Kotlin+KTX
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Utilizzando un ByteBuffer
o ByteArray
Per creare un oggetto InputImage
da un ByteBuffer
o un ByteArray
, calcola prima il grado di rotazione dell'immagine come descritto in precedenza per media.Image
input. Quindi, crea l'oggetto InputImage
con il buffer o l'array, insieme all'altezza, alla larghezza, al formato di codifica del colore e al grado di rotazione dell'immagine:
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Kotlin+KTX
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Utilizzo di una Bitmap
Per creare un oggetto InputImage
da un oggetto Bitmap
, fai la seguente dichiarazione:
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Kotlin+KTX
val image = InputImage.fromBitmap(bitmap, 0)
L'immagine è rappresentata da un oggetto Bitmap
insieme ai gradi di rotazione.
3. Eseguire l'etichettatrice di immagini
Per etichettare oggetti in un'immagine, passa l'oggetto image
al metodo process()
di ImageLabeler
.
Giava
labeler.process(image)
.addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
@Override
public void onSuccess(List<ImageLabel> labels) {
// Task completed successfully
// ...
}
})
.addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});
Kotlin
labeler.process(image)
.addOnSuccessListener { labels ->
// Task completed successfully
// ...
}
.addOnFailureListener { e ->
// Task failed with an exception
// ...
}
4. Ottieni informazioni sugli oggetti etichettati
Se l'operazione di etichettatura dell'immagine ha esito positivo, un elenco di oggetti ImageLabel
viene passato al listener di successo. Ogni oggetto ImageLabel
rappresenta qualcosa che è stato etichettato nell'immagine. Puoi ottenere la descrizione testuale di ciascuna etichetta, il punteggio di affidabilità della corrispondenza e l'indice della corrispondenza. Per esempio:
Giava
for (ImageLabel label : labels) {
String text = label.getText();
float confidence = label.getConfidence();
int index = label.getIndex();
}
Kotlin
for (label in labels) {
val text = label.text
val confidence = label.confidence
val index = label.index
}
Suggerimenti per migliorare le prestazioni in tempo reale
Se desideri etichettare le immagini in un'applicazione in tempo reale, segui queste linee guida per ottenere i framerate migliori:
- Riduci le chiamate all'etichettatrice di immagini. Se un nuovo fotogramma video diventa disponibile mentre l'etichettatrice di immagini è in esecuzione, rilascia il fotogramma. Per un esempio, vedere la classe
VisionProcessorBase
nell'app di esempio di avvio rapido. - Se si utilizza l'output dell'etichettatrice di immagini per sovrapporre la grafica all'immagine di input, ottenere prima il risultato, quindi eseguire il rendering dell'immagine e la sovrapposizione in un unico passaggio. In questo modo, si esegue il rendering sulla superficie di visualizzazione solo una volta per ciascun frame di input. Per un esempio, vedere le classi
CameraSourcePreview
eGraphicOverlay
nell'app di esempio di avvio rapido. Se utilizzi l'API Camera2, acquisisci immagini nel formato
ImageFormat.YUV_420_888
.Se utilizzi l'API della fotocamera precedente, acquisisci le immagini nel formato
ImageFormat.NV21
.