מעבר מה-API הקודם של מודל מותאם אישית

בגרסה 22.0.2 של ספריית firebase-ml-model-interpreter מוצגת שיטה חדשה, getLatestModelFile(), שמאפשרת לקבל את המיקום במכשיר של מודלים בהתאמה אישית. אפשר להשתמש בשיטה הזו כדי ליצור ישירות מופע של אובייקט TensorFlow Lite‏ Interpreter, שאפשר להשתמש בו במקום העטיפה FirebaseModelInterpreter.

זו הגישה המועדפת מכאן והלאה. מכיוון שגרסת המפענח של TensorFlow Lite לא מקושרת יותר לגרסת ספריית Firebase, יש לכם יותר גמישות לשדרג לגרסאות חדשות של TensorFlow Lite מתי שתרצו, או להשתמש בקלות רבה יותר בגרסאות מותאמות אישית של TensorFlow Lite.

בדף הזה מוסבר איך אפשר לעבור משימוש ב-FirebaseModelInterpreter ל-TensorFlow Lite Interpreter.

1. עדכון התלות של הפרויקט במשאבים

מעדכנים את יחסי התלות של הפרויקט כך שיכללו את גרסה 22.0.2 של הספרייה firebase-ml-model-interpreter (או גרסה חדשה יותר) ואת הספרייה tensorflow-lite:

לפני

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

אחרי

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. יצירת TensorFlow Lite interpreter במקום FirebaseModelInterpreter

במקום ליצור FirebaseModelInterpreter, מקבלים את המיקום של המודל במכשיר באמצעות getLatestModelFile() ומשתמשים בו כדי ליצור Interpreter TensorFlow Lite.

לפני

Kotlin 

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

Java 

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

אחרי

Kotlin 

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

Java 

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. עדכון קוד ההכנה של הקלט והפלט

באמצעות FirebaseModelInterpreter, אתם מציינים את צורות הקלט והפלט של המודל על ידי העברת אובייקט FirebaseModelInputOutputOptions למתורגמן כשמריצים אותו.

במקום זאת, במפרש של TensorFlow Lite, מקצים אובייקטים ByteBuffer בגודל המתאים לקלט ולפלט של המודל.

לדוגמה, אם למודל יש צורת קלט של [1 224 224 3] float ערכים וצורת פלט של [1 1000] float ערכים, צריך לבצע את השינויים הבאים:

לפני

Kotlin 

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

Java 

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

אחרי

Kotlin 

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

Java 

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. עדכון קוד לטיפול בפלט

לבסוף, במקום לקבל את הפלט של המודל באמצעות השיטה FirebaseModelOutputs של האובייקט getOutput(), ממירים את הפלט ByteBuffer לכל מבנה שנוח לכם לשימוש בתרחיש לדוגמה.

לדוגמה, אם אתם מבצעים סיווג, יכול להיות שתבצעו שינויים כמו אלה:

לפני

Kotlin 

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java 

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

אחרי

Kotlin 

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java 

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}