Version 22.0.2 der firebase-ml-model-interpreter-Bibliothek enthält eine neue getLatestModelFile()-Methode, mit der der Speicherort benutzerdefinierter Modelle auf dem Gerät abgerufen wird. Mit dieser Methode können Sie ein TensorFlow Lite-Interpreter-Objekt direkt instanziieren, das Sie anstelle des FirebaseModelInterpreter-Wrappers verwenden können.
Dies ist der bevorzugte Ansatz. Da die TensorFlow Lite-Interpreterversion nicht mehr mit der Firebase-Bibliotheksversion gekoppelt ist, können Sie bei Bedarf flexibler auf neue Versionen von TensorFlow Lite upgraden oder benutzerdefinierte TensorFlow Lite-Builds einfacher verwenden.
Auf dieser Seite wird beschrieben, wie Sie von FirebaseModelInterpreter zu TensorFlow Lite Interpreter migrieren.
1. Projektabhängigkeiten aktualisieren
Aktualisieren Sie die Abhängigkeiten Ihres Projekts, um Version 22.0.2 der firebase-ml-model-interpreter-Bibliothek (oder höher) und die tensorflow-lite-Bibliothek einzubeziehen:
Vorher
implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")
Nachher
implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")
2. Erstellen Sie einen TensorFlow Lite-Interpreter anstelle eines FirebaseModelInterpreter
Anstatt eine FirebaseModelInterpreter zu erstellen, können Sie mit getLatestModelFile() den Speicherort des Modells auf dem Gerät abrufen und damit eine TensorFlow Lite-Interpreter erstellen.
Vorher
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);
Nachher
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
.addOnCompleteListener { task ->
val modelFile = task.getResult()
if (modelFile != null) {
// Instantiate an org.tensorflow.lite.Interpreter object.
interpreter = Interpreter(modelFile)
}
}
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
.addOnCompleteListener(new OnCompleteListener<File>() {
@Override
public void onComplete(@NonNull Task<File> task) {
File modelFile = task.getResult();
if (modelFile != null) {
// Instantiate an org.tensorflow.lite.Interpreter object.
Interpreter interpreter = new Interpreter(modelFile);
}
}
});
3. Code für die Eingabe- und Ausgabevorbereitung aktualisieren
Mit FirebaseModelInterpreter geben Sie die Ein- und Ausgabeformen des Modells an. Dazu übergeben Sie bei der Ausführung ein FirebaseModelInputOutputOptions-Objekt an den Interpreter.
Für den TensorFlow Lite-Interpreter weisen Sie stattdessen ByteBuffer-Objekte mit der richtigen Größe für die Eingabe und Ausgabe Ihres Modells zu.
Wenn Ihr Modell beispielsweise die Eingabeform [1 224 224 3] float-Werte und eine Ausgabeform mit [1 1000] float-Werten hat, nehmen Sie diese Änderungen vor:
Vorher
Kotlin+KTX
val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
.build()
val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.
val inputs = FirebaseModelInputs.Builder()
.add(input)
.build()
interpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener { outputs ->
// ...
}
.addOnFailureListener {
// Task failed with an exception.
// ...
}
Java
FirebaseModelInputOutputOptions inputOutputOptions =
new FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
.build();
float[][][][] input = new float[1][224][224][3];
// Then populate with input data.
FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
.add(input)
.build();
interpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener(
new OnSuccessListener<FirebaseModelOutputs>() {
@Override
public void onSuccess(FirebaseModelOutputs result) {
// ...
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});
Nachher
Kotlin+KTX
val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.
val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())
interpreter.run(inputBuffer, outputBuffer)
Java
int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.
int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());
interpreter.run(inputBuffer, outputBuffer);
4. Verarbeitungscode für Ausgabe aktualisieren
Anstatt die Modellausgabe mit der Methode getOutput() des FirebaseModelOutputs-Objekts zu erhalten, konvertieren Sie die ByteBuffer-Ausgabe in eine für Ihren Anwendungsfall geeignete Struktur.
Wenn Sie beispielsweise eine Klassifizierung vornehmen, können Sie folgende Änderungen vornehmen:
Vorher
Kotlin+KTX
val output = result.getOutput(0)
val probabilities = output[0]
try {
val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
for (probability in probabilities) {
val label: String = reader.readLine()
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (float probability : probabilities) {
String label = reader.readLine();
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}
Nachher
Kotlin+KTX
modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
val reader = BufferedReader(
InputStreamReader(assets.open("custom_labels.txt")))
for (i in probabilities.capacity()) {
val label: String = reader.readLine()
val probability = probabilities.get(i)
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (int i = 0; i < probabilities.capacity(); i++) {
String label = reader.readLine();
float probability = probabilities.get(i);
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}