בגרסה 22.0.2 של ספריית firebase-ml-model-interpreter
נוספה השיטה החדשה getLatestModelFile()
, שמקבלת את המיקום במכשיר של מודלים מותאמים אישית. אפשר להשתמש בשיטה הזאת כדי ליצור ישירות את TensorFlow Lite
Interpreter
, שאפשר להשתמש בו במקום
wrapper של FirebaseModelInterpreter
.
זוהי הגישה המועדפת מעכשיו והלאה. כי TensorFlow Lite 'תרגום שיחה פעילה' כבר לא משולבת בגרסה של ספריית Firebase, תהיה לכם יותר גמישות בשדרוג לגרסאות חדשות של TensorFlow Lite שרוצים, או להשתמש בקלות בגרסאות build מותאמות אישית של TensorFlow Lite.
בדף הזה נסביר איך עוברים משימוש ב-FirebaseModelInterpreter
ל-Interpreter
של TensorFlow Lite.
1. עדכון יחסי התלות של פרויקט
מעדכנים את יחסי התלות של הפרויקט כך שיכללו את הגרסה 22.0.2 של ספריית firebase-ml-model-interpreter
(או גרסה חדשה יותר) ואת ספריית tensorflow-lite
:
לפני
implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")
אחרי
implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")
2. יצירת תרגום ב-TensorFlow Lite במקום תרגום ב-FirebaseModel Translate
במקום ליצור FirebaseModelInterpreter
, אפשר לקבל את המיקום של המודל במכשיר באמצעות getLatestModelFile()
ולהשתמש בו כדי ליצור Interpreter
של TensorFlow Lite.
לפני
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);
אחרי
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
.addOnCompleteListener { task ->
val modelFile = task.getResult()
if (modelFile != null) {
// Instantiate an org.tensorflow.lite.Interpreter object.
interpreter = Interpreter(modelFile)
}
}
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
.addOnCompleteListener(new OnCompleteListener<File>() {
@Override
public void onComplete(@NonNull Task<File> task) {
File modelFile = task.getResult();
if (modelFile != null) {
// Instantiate an org.tensorflow.lite.Interpreter object.
Interpreter interpreter = new Interpreter(modelFile);
}
}
});
3. עדכון הקוד להכנת הקלט והפלט
באמצעות FirebaseModelInterpreter
מציינים את צורות הקלט והפלט של המודל
על ידי העברת אובייקט FirebaseModelInputOutputOptions
למתרגם,
שמריצים אותו.
במקום זאת, למפרש של TensorFlow Lite מקצים אובייקטים מסוג ByteBuffer
בגודל המתאים לקלט ולפלט של המודל.
לדוגמה, אם צורת הקלט של המודל היא ערכים של float
[1 224 224 3]
וצורת הפלט היא ערכים של float
[1 1000], מבצעים את השינויים הבאים:
לפני
Kotlin+KTX
val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
.build()
val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.
val inputs = FirebaseModelInputs.Builder()
.add(input)
.build()
interpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener { outputs ->
// ...
}
.addOnFailureListener {
// Task failed with an exception.
// ...
}
Java
FirebaseModelInputOutputOptions inputOutputOptions =
new FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
.build();
float[][][][] input = new float[1][224][224][3];
// Then populate with input data.
FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
.add(input)
.build();
interpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener(
new OnSuccessListener<FirebaseModelOutputs>() {
@Override
public void onSuccess(FirebaseModelOutputs result) {
// ...
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});
אחרי
Kotlin+KTX
val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.
val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())
interpreter.run(inputBuffer, outputBuffer)
Java
int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.
int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());
interpreter.run(inputBuffer, outputBuffer);
4. עדכון קוד הטיפול בפלט
לבסוף, במקום לקבל את הפלט של המודל באמצעות הפונקציה FirebaseModelOutputs
באמצעות ה-method getOutput()
של האובייקט, ממירים את הפלט ByteBuffer
שהוא נוח לתרחיש לדוגמה שלכם.
לדוגמה, אם אתם מבצעים סיווג, תוכלו לבצע שינויים כמו הבאים:
לפני
Kotlin+KTX
val output = result.getOutput(0)
val probabilities = output[0]
try {
val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
for (probability in probabilities) {
val label: String = reader.readLine()
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (float probability : probabilities) {
String label = reader.readLine();
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}
אחרי
Kotlin+KTX
modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
val reader = BufferedReader(
InputStreamReader(assets.open("custom_labels.txt")))
for (i in probabilities.capacity()) {
val label: String = reader.readLine()
val probability = probabilities.get(i)
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (int i = 0; i < probabilities.capacity(); i++) {
String label = reader.readLine();
float probability = probabilities.get(i);
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}