Dopo aver addestrato il tuo modello utilizzando AutoML Vision Edge , puoi utilizzarlo nella tua app per etichettare le immagini.
Esistono due modi per integrare i modelli addestrati da AutoML Vision Edge. Puoi raggruppare il modello copiando i file del modello nel tuo progetto Xcode oppure puoi scaricarlo dinamicamente da Firebase.
Opzioni di raggruppamento dei modelli | |
---|---|
In bundle nella tua app |
|
Ospitato con Firebase |
|
Prima di iniziare
Includi le librerie del kit ML nel tuo Podfile:
Per raggruppare un modello con la tua app:
pod 'GoogleMLKit/ImageLabelingCustom'
Per scaricare dinamicamente un modello da Firebase, aggiungi la dipendenza
LinkFirebase
:pod 'GoogleMLKit/ImageLabelingCustom' pod 'GoogleMLKit/LinkFirebase'
Dopo aver installato o aggiornato i pod del progetto, apri il progetto Xcode utilizzando il suo
.xcworkspace
. ML Kit è supportato in Xcode versione 12.2 o successiva.Se vuoi scaricare un modello , assicurati di aggiungere Firebase al tuo progetto Android , se non lo hai già fatto. Questo non è necessario quando si raggruppa il modello.
1. Caricare il modello
Configurare un'origine del modello locale
Per raggruppare il modello con la tua app:
Estrai il modello e i relativi metadati dall'archivio zip scaricato dalla console di Firebase in una cartella:
your_model_directory |____dict.txt |____manifest.json |____model.tflite
Tutti e tre i file devono trovarsi nella stessa cartella. Ti consigliamo di utilizzare i file così come li hai scaricati, senza modifiche (compresi i nomi dei file).
Copia la cartella nel tuo progetto Xcode, avendo cura di selezionare Crea riferimenti cartella quando lo fai. Il file del modello e i metadati saranno inclusi nell'app bundle e disponibili per ML Kit.
Crea l'oggetto
LocalModel
, specificando il percorso del file manifest del modello:Rapido
guard let manifestPath = Bundle.main.path( forResource: "manifest", ofType: "json", inDirectory: "your_model_directory" ) else { return true } let localModel = LocalModel(manifestPath: manifestPath)
Obiettivo-C
NSString *manifestPath = [NSBundle.mainBundle pathForResource:@"manifest" ofType:@"json" inDirectory:@"your_model_directory"]; MLKLocalModel *localModel = [[MLKLocalModel alloc] initWithManifestPath:manifestPath];
Configura un'origine modello ospitata da Firebase
Per utilizzare il modello ospitato in remoto, crea un oggetto CustomRemoteModel
, specificando il nome che hai assegnato al modello quando lo hai pubblicato:
Rapido
// Initialize the model source with the name you assigned in
// the Firebase console.
let remoteModelSource = FirebaseModelSource(name: "your_remote_model")
let remoteModel = CustomRemoteModel(remoteModelSource: remoteModelSource)
Obiettivo-C
// Initialize the model source with the name you assigned in
// the Firebase console.
MLKFirebaseModelSource *firebaseModelSource =
[[MLKFirebaseModelSource alloc] initWithName:@"your_remote_model"];
MLKCustomRemoteModel *remoteModel =
[[MLKCustomRemoteModel alloc] initWithRemoteModelSource:firebaseModelSource];
Quindi, avviare l'attività di download del modello, specificando le condizioni in base alle quali si desidera consentire il download. Se il modello non è sul dispositivo o se è disponibile una versione più recente del modello, l'attività scaricherà in modo asincrono il modello da Firebase:
Rapido
let downloadConditions = ModelDownloadConditions(
allowsCellularAccess: true,
allowsBackgroundDownloading: true
)
let downloadProgress = ModelManager.modelManager().download(
remoteModel,
conditions: downloadConditions
)
Obiettivo-C
MLKModelDownloadConditions *downloadConditions =
[[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
allowsBackgroundDownloading:YES];
NSProgress *downloadProgress =
[[MLKModelManager modelManager] downloadRemoteModel:remoteModel
conditions:downloadConditions];
Molte app avviano l'attività di download nel codice di inizializzazione, ma puoi farlo in qualsiasi momento prima di dover usare il modello.
Crea un'etichettatrice di immagini dal tuo modello
Dopo aver configurato le origini del modello, crea un oggetto ImageLabeler
da una di esse.
Se disponi solo di un modello in bundle localmente, crea semplicemente un etichettatore dal tuo oggetto LocalModel
e configura la soglia del punteggio di confidenza che desideri richiedere (vedi Valuta il tuo modello ):
Rapido
let options = CustomImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = NSNumber(value: 0.0) // Evaluate your model in the Cloud console
// to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options)
Obiettivo-C
CustomImageLabelerOptions *options =
[[CustomImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = @(0.0f); // Evaluate your model in the Cloud console
// to determine an appropriate value.
MLKImageLabeler *imageLabeler =
[MLKImageLabeler imageLabelerWithOptions:options];
Se disponi di un modello ospitato in remoto, dovrai verificare che sia stato scaricato prima di eseguirlo. È possibile verificare lo stato dell'attività di download del modello utilizzando il metodo isModelDownloaded(remoteModel:)
del gestore del modello.
Anche se devi solo confermare questo prima di eseguire l'etichettatrice, se hai sia un modello ospitato in remoto che un modello in bundle localmente, potrebbe avere senso eseguire questo controllo quando crei un'istanza di ImageLabeler
: crea un etichettatore dal modello remoto se è stato scaricato e altrimenti dal modello locale.
Rapido
var options: CustomImageLabelerOptions
if (ModelManager.modelManager().isModelDownloaded(remoteModel)) {
options = CustomImageLabelerOptions(remoteModel: remoteModel)
} else {
options = CustomImageLabelerOptions(localModel: localModel)
}
options.confidenceThreshold = NSNumber(value: 0.0) // Evaluate your model in the Firebase console
// to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options: options)
Obiettivo-C
MLKCustomImageLabelerOptions *options;
if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) {
options = [[MLKCustomImageLabelerOptions alloc] initWithRemoteModel:remoteModel];
} else {
options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
}
options.confidenceThreshold = @(0.0f); // Evaluate your model in the Firebase console
// to determine an appropriate value.
MLKImageLabeler *imageLabeler =
[MLKImageLabeler imageLabelerWithOptions:options];
Se disponi solo di un modello ospitato in remoto, devi disabilitare la funzionalità relativa al modello, ad esempio disattivare o nascondere parte dell'interfaccia utente, finché non confermi che il modello è stato scaricato.
È possibile ottenere lo stato di download del modello allegando gli osservatori al Centro notifiche predefinito. Assicurati di utilizzare un riferimento debole a self
nel blocco dell'osservatore, poiché i download possono richiedere del tempo e l'oggetto di origine può essere liberato al termine del download. Per esempio:
Rapido
NotificationCenter.default.addObserver(
forName: .mlkitMLModelDownloadDidSucceed,
object: nil,
queue: nil
) { [weak self] notification in
guard let strongSelf = self,
let userInfo = notification.userInfo,
let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
as? RemoteModel,
model.name == "your_remote_model"
else { return }
// The model was downloaded and is available on the device
}
NotificationCenter.default.addObserver(
forName: .mlkitMLModelDownloadDidFail,
object: nil,
queue: nil
) { [weak self] notification in
guard let strongSelf = self,
let userInfo = notification.userInfo,
let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
as? RemoteModel
else { return }
let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
// ...
}
Obiettivo-C
__weak typeof(self) weakSelf = self;
[NSNotificationCenter.defaultCenter
addObserverForName:MLKModelDownloadDidSucceedNotification
object:nil
queue:nil
usingBlock:^(NSNotification *_Nonnull note) {
if (weakSelf == nil | note.userInfo == nil) {
return;
}
__strong typeof(self) strongSelf = weakSelf;
MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel];
if ([model.name isEqualToString:@"your_remote_model"]) {
// The model was downloaded and is available on the device
}
}];
[NSNotificationCenter.defaultCenter
addObserverForName:MLKModelDownloadDidFailNotification
object:nil
queue:nil
usingBlock:^(NSNotification *_Nonnull note) {
if (weakSelf == nil | note.userInfo == nil) {
return;
}
__strong typeof(self) strongSelf = weakSelf;
NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError];
}];
2. Preparare l'immagine di input
Crea un oggetto VisionImage
usando un UIImage
o un CMSampleBufferRef
.
Se utilizzi un UIImage
, procedi nel seguente modo:
- Crea un oggetto
VisionImage
conUIImage
. Assicurati di specificare il corretto.orientation
.Rapido
let image = VisionImage(image: uiImage) visionImage.orientation = image.imageOrientation
Obiettivo-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Se utilizzi CMSampleBufferRef
, procedi nel seguente modo:
Specificare l'orientamento dei dati dell'immagine contenuti nel buffer
CMSampleBufferRef
.Per ottenere l'orientamento dell'immagine:
Rapido
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Obiettivo-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return position == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return position == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return position == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return position == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Crea un oggetto
VisionImage
utilizzando l'oggettoCMSampleBufferRef
e l'orientamento:Rapido
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Obiettivo-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Eseguire l'etichettatrice di immagini
In modo asincrono:
Rapido
imageLabeler.process(image) { labels, error in
guard error == nil, let labels = labels, !labels.isEmpty else {
// Handle the error.
return
}
// Show results.
}
Obiettivo-C
[imageLabeler
processImage:image
completion:^(NSArray<MLKImageLabel *> *_Nullable labels,
NSError *_Nullable error) {
if (label.count == 0) {
// Handle the error.
return;
}
// Show results.
}];
in modo sincrono:
Rapido
var labels: [ImageLabel]
do {
labels = try imageLabeler.results(in: image)
} catch let error {
// Handle the error.
return
}
// Show results.
Obiettivo-C
NSError *error;
NSArray<MLKImageLabel *> *labels =
[imageLabeler resultsInImage:image error:&error];
// Show results or handle the error.
4. Ottenere informazioni sugli oggetti etichettati
Se l'operazione di etichettatura dell'immagine ha esito positivo, restituisce un array di ImageLabel
. Ogni ImageLabel
rappresenta qualcosa che è stato etichettato nell'immagine. È possibile ottenere la descrizione del testo di ciascuna etichetta (se disponibile nei metadati del file del modello TensorFlow Lite), il punteggio di affidabilità e l'indice. Per esempio:
Rapido
for label in labels {
let labelText = label.text
let confidence = label.confidence
let index = label.index
}
Obiettivo-C
for (MLKImageLabel *label in labels) {
NSString *labelText = label.text;
float confidence = label.confidence;
NSInteger index = label.index;
}
Suggerimenti per migliorare le prestazioni in tempo reale
Se desideri etichettare le immagini in un'applicazione in tempo reale, segui queste linee guida per ottenere i migliori framerate:
- L'acceleratore chiama il rilevatore. Se un nuovo fotogramma video diventa disponibile mentre il rilevatore è in esecuzione, eliminare il fotogramma.
- Se si utilizza l'output del rilevatore per sovrapporre la grafica all'immagine di input, ottenere prima il risultato, quindi eseguire il rendering dell'immagine e sovrapporre in un unico passaggio. In questo modo, esegui il rendering sulla superficie di visualizzazione solo una volta per ogni fotogramma di input. Vedere le classi previewOverlayView e FIRDetectionOverlayView nell'app di esempio showcase per un esempio.