ย้ายข้อมูลจาก API รูปแบบที่กำหนดเองเดิม

เวอร์ชัน 22.0.2 ของไลบรารี firebase-ml-model-interpreter เปิดตัว getLatestModelFile() ซึ่งจะได้รับตำแหน่งในอุปกรณ์ที่กำหนดเอง คุณใช้เมธอดนี้เพื่อสร้างอินสแตนซ์ TensorFlow Lite ได้โดยตรง Interpreter ซึ่งคุณใช้แทนออบเจ็กต์ FirebaseModelInterpreter Wrapper

นับแต่นี้ไป เราแนะนำให้ใช้วิธีนี้ เนื่องจาก TensorFlow Lite เวอร์ชันล่ามไม่ได้จับคู่กับเวอร์ชันไลบรารี Firebase แล้ว มีความยืดหยุ่นมากขึ้นในการอัปเกรดเป็น TensorFlow Lite เวอร์ชันใหม่เมื่อคุณ หรือใช้บิลด์ TensorFlow Lite ที่กำหนดเองได้ง่ายยิ่งขึ้น

หน้านี้แสดงวิธีย้ายข้อมูลจากการใช้ FirebaseModelInterpreter ไปยัง TensorFlow Lite Interpreter

1. อัปเดตทรัพยากร Dependency ของโปรเจ็กต์

อัปเดตทรัพยากร Dependency ของโปรเจ็กต์ให้รวมเวอร์ชัน 22.0.2 ไลบรารี firebase-ml-model-interpreter (หรือใหม่กว่า) และ tensorflow-lite คลัง:

ก่อน

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

หลัง

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. สร้างอินเทอร์พรีเตอร์ของ TensorFlow Lite แทน FirebaseModelInterpreter

รับตำแหน่งโมเดลใน แทนการสร้าง FirebaseModelInterpreter อุปกรณ์ที่มี getLatestModelFile() และใช้เพื่อสร้าง TensorFlow Lite Interpreter

ก่อน

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

หลัง

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. อัปเดตโค้ดการเตรียมอินพุตและเอาต์พุต

เมื่อใช้ FirebaseModelInterpreter คุณจะระบุรูปร่างอินพุตและเอาต์พุตของโมเดลได้ โดยการส่งออบเจ็กต์ FirebaseModelInputOutputOptions ไปยังอินเทอร์พรีเตอร์เมื่อ ที่คุณเรียกใช้

สำหรับอินเทอร์พรีเตอร์ของ TensorFlow Lite คุณจะต้องจัดสรรออบเจ็กต์ ByteBuffer แทน ด้วยขนาดที่ถูกต้องสำหรับอินพุตและเอาต์พุตของโมเดล

เช่น หากโมเดลมีรูปร่างอินพุตเป็น [1 224 224 3] ค่า float และรูปร่างเอาต์พุตที่มีค่าเป็น [1 1000] float ให้ทำการเปลี่ยนแปลงต่อไปนี้

ก่อน

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

หลัง

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. อัปเดตโค้ดการจัดการเอาต์พุต

สุดท้ายนี้ แทนที่จะได้รับเอาต์พุตของโมเดลด้วย FirebaseModelOutputs เมธอด getOutput() ของออบเจ็กต์ ให้แปลงเอาต์พุต ByteBuffer เป็นค่าใดก็ได้ สะดวกต่อ Use Case ของคุณ

ตัวอย่างเช่น ถ้าคุณกำลังแยกประเภท คุณอาจทำการเปลี่ยนแปลง ดังต่อไปนี้:

ก่อน

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

หลัง

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}