Migracja ze starszej wersji interfejsu API modelu niestandardowego

Wersja 22.0.2 biblioteki firebase-ml-model-interpreter wprowadza nową metodę getLatestModelFile(), która pobiera lokalizację modeli niestandardowych na urządzeniu. Za pomocą tej metody możesz bezpośrednio utworzyć instancję obiektu TensorFlow Lite Interpreter, którego możesz używać zamiast otoki FirebaseModelInterpreter.

Od teraz jest to preferowane podejście. Ponieważ wersja interpretera TensorFlow Lite nie jest już powiązana z wersją biblioteki Firebase, masz większą swobodę w aktualizowaniu do nowych wersji TensorFlow Lite, kiedy chcesz, lub w łatwiejszym korzystaniu z niestandardowych kompilacji TensorFlow Lite.

Na tej stronie dowiesz się, jak przejść z używania FirebaseModelInterpreter na TensorFlow Lite Interpreter.

1. Aktualizowanie zależności projektu

Zaktualizuj zależności projektu, aby uwzględnić wersję 22.0.2 biblioteki firebase-ml-model-interpreter (lub nowszą) oraz bibliotekę tensorflow-lite:

Przed

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

Po

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. Tworzenie interpretera TensorFlow Lite zamiast FirebaseModelInterpreter

Zamiast tworzyć FirebaseModelInterpreter, pobierz lokalizację modelu na urządzeniu za pomocą getLatestModelFile() i użyj jej do utworzenia TensorFlow Lite Interpreter.

Przed

Kotlin 

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

Java 

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

Po

Kotlin 

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

Java 

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. Aktualizowanie kodu przygotowującego dane wejściowe i wyjściowe

W przypadku FirebaseModelInterpreter określasz kształty danych wejściowych i wyjściowych modelu, przekazując obiekt FirebaseModelInputOutputOptions do interpretera podczas jego stosowania.

W przypadku interpretera TensorFlow Lite zamiast tego przydzielasz obiekty ByteBuffer o odpowiednim rozmiarze dla danych wejściowych i wyjściowych modelu.

Jeśli np. model ma kształt danych wejściowych [1 224 224 3] wartości float i kształt danych wyjściowych [1 1000] wartości float, wprowadź te zmiany:

Przed

Kotlin 

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

Java 

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Po

Kotlin 

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

Java 

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. Aktualizowanie kodu obsługującego dane wyjściowe

Na koniec, zamiast pobierać dane wyjściowe modelu za pomocą metody getOutput() obiektu FirebaseModelOutputs, przekonwertuj dane wyjściowe ByteBuffer na dowolną strukturę, która jest wygodna w Twoim przypadku użycia.

Jeśli np. wykonujesz klasyfikację, możesz wprowadzić takie zmiany:

Przed

Kotlin 

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java 

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

Po

Kotlin 

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java 

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}