Migracja ze starszej wersji interfejsu API modelu niestandardowego

Wersja 22.0.2 biblioteki firebase-ml-model-interpreter wprowadza nową metodę getLatestModelFile(), która pobiera lokalizację na urządzeniu w przypadku modeli niestandardowych. Za pomocą tej metody możesz bezpośrednio utworzyć instancję obiektu TensorFlow Lite Interpreter, którego możesz użyć zamiast obudowy FirebaseModelInterpreter.

Od teraz jest to preferowane podejście. Wersja interpretera TensorFlow Lite nie jest już powiązana z wersją biblioteki Firebase, więc możesz łatwiej korzystać z niestandardowych kompilacji TensorFlow Lite lub w dowolnym momencie uaktualnić TensorFlow Lite do nowszej wersji.

Na tej stronie znajdziesz informacje o tym, jak przejść z użycia FirebaseModelInterpreter do TensorFlow Lite Interpreter.

1. Aktualizowanie zależności projektu

Zaktualizuj zależności projektu, aby uwzględnić wersję 22.0.2 biblioteki firebase-ml-model-interpreter (lub nowszą) i bibliotekę tensorflow-lite:

Przed

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

Po

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. Utwórz interpreter TensorFlow Lite zamiast FirebaseModelInterpreter

Zamiast tworzyć FirebaseModelInterpreter, możesz uzyskać lokalizację modelu na urządzeniu za pomocą getLatestModelFile() i użyć jej do utworzenia TensorFlow Lite Interpreter.

Przed

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

Po

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. Aktualizowanie kodu przygotowywania danych wejściowych i wyjściowych

Za pomocą funkcji FirebaseModelInterpreter możesz określić kształty wejść i wyjść modelu, przekazując obiekt FirebaseModelInputOutputOptions do interpretera podczas jego uruchamiania.

W przypadku interpretera TensorFlow Lite przydzielasz obiekty ByteBuffer o odpowiednim rozmiarze do danych wejściowych i wyjściowych modelu.

Jeśli np. Twój model ma kształt wejścia [1 224 224 3] floati kształt wyjścia [1 1000] float, wprowadź te zmiany:

Przed

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Po

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. Aktualizowanie kodu obsługi danych wyjściowych

Na koniec zamiast uzyskiwać dane wyjściowe modelu za pomocą metody FirebaseModelOutputs obiektu FirebaseModelOutputs, przekonwertuj dane wyjściowe ByteBuffer na dowolną strukturę, która jest wygodna w danym przypadku użycia.getOutput()

Jeśli na przykład wykonujesz podział na kategorie, możesz wprowadzić takie zmiany:

Przed

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

Po

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}