您可以使用 ML Kit，在 TensorFlow Lite 模型上進行裝置端推論。
這個 API 需要 Android SDK 級別 16 (Jelly Bean) 以上版本。
事前準備
- 如果您尚未將 Firebase 新增至 Android 專案，請先完成這項操作。
- 將 ML Kit Android 程式庫的依附元件新增至模組 (應用程式層級) Gradle 檔案 (通常是
app/build.gradle)：apply plugin: 'com.android.application' apply plugin: 'com.google.gms.google-services' dependencies { // ... implementation 'com.google.firebase:firebase-ml-model-interpreter:22.0.3' } - 將您要使用的 TensorFlow 模型轉換為 TensorFlow Lite 格式。 請參閱「 TOCO：TensorFlow Lite 最佳化轉換器」。
託管或組合模型
您必須先將模型提供給 ML Kit，才能使用 TensorFlow Lite 模型在應用程式中進行推論。ML Kit 可以使用 Firebase 從遠端託管的 TensorFlow Lite 模型，搭配應用程式二進位檔，或是兩者並用。
在 Firebase 上託管模型之後，您就能在不發布新的應用程式版本的情況下更新模型，也能使用遠端設定和 A/B 測試功能，動態提供不同的模型給不同的使用者組。
如果您選擇只透過 Firebase 代管模型，不將其與應用程式組合在一起，可以縮減應用程式的初始下載大小。不過，請注意，如果應用程式未搭配應用程式，就無法使用任何模型相關功能，直到應用程式首次下載該模型為止。
透過整合模型與應用程式，確保在 Firebase 託管模型無法使用時，應用程式的機器學習功能仍可正常運作。
在 Firebase 上託管模型
如要在 Firebase 上託管 TensorFlow Lite 模型，請按照下列步驟操作：
- 在 Firebase 主控台的「ML Kit」區段中，按一下「Custom」分頁標籤。
- 按一下「新增自訂模式」或「新增其他模式」。
- 指定用於在 Firebase 專案中識別模型的名稱，然後上傳 TensorFlow Lite 模型檔案 (通常以
.tflite或.lite結尾)。 - 在應用程式的資訊清單中，宣告需要 INTERNET 權限：
<uses-permission android:name="android.permission.INTERNET" />
在 Firebase 專案中加入自訂模型後，您就能使用指定的名稱在應用程式中參照模型。您隨時可以上傳新的 TensorFlow Lite 模型，應用程式會下載新模型，並在應用程式下次重新啟動時開始使用。您可以定義應用程式更新模型所需的裝置條件 (詳見下文)。
將模型與應用程式組合
如要將 TensorFlow Lite 模型與應用程式組合，請將模型檔案 (通常結尾為 .tflite 或 .lite) 複製到應用程式的 assets/ 資料夾。(您可能需要先建立資料夾，方法是在 app/ 資料夾上按一下滑鼠右鍵，然後依序點選「New」>「Folder」>「Assets Folder」)。
接著，請將以下內容新增至應用程式的 build.gradle 檔案，確保 Gradle 不會在建構應用程式時壓縮模型：
android {
// ...
aaptOptions {
noCompress "tflite" // Your model's file extension: "tflite", "lite", etc.
}
}
模型檔案會包含在應用程式套件中，並以原始資產的形式提供給 ML Kit。
載入模型
如要在應用程式中使用 TensorFlow Lite 模型，請先在可使用模型的位置設定 ML Kit，例如使用 Firebase 遠端設定、在本機儲存空間中，或同時使用兩者。如果您同時指定本機和遠端模型，可以使用遠端模型 (如果有的話)。如果無法使用遠端模型，則可改回使用本機儲存的模型。設定 Firebase 託管的模型
如果您使用 Firebase 託管模型，請建立 FirebaseCustomRemoteModel 物件，並指定上傳模型時為其指派的名稱：
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
接著，開始模型下載工作，指定要允許下載的條件。如果裝置上沒有該模型，或者有較新版本的模型，這項工作就會以非同步方式從 Firebase 下載模型：
Java
FirebaseModelDownloadConditions conditions = new FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build();
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener(new OnCompleteListener<Void>() {
@Override
public void onComplete(@NonNull Task<Void> task) {
// Success.
}
});
Kotlin+KTX
val conditions = FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build()
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Success.
}
許多應用程式會在初始化程式碼中啟動下載工作，但在需要使用模型前，您可以隨時執行此操作。
設定本機模型
如果您隨附應用程式與模型，請建立 FirebaseCustomLocalModel 物件，並指定 TensorFlow Lite 模型的檔案名稱：
Java
FirebaseCustomLocalModel localModel = new FirebaseCustomLocalModel.Builder()
.setAssetFilePath("your_model.tflite")
.build();
Kotlin+KTX
val localModel = FirebaseCustomLocalModel.Builder()
.setAssetFilePath("your_model.tflite")
.build()
根據模型建立翻譯器
設定模型來源後，請透過其中一個模型建立 FirebaseModelInterpreter 物件。
如果您只有本機封裝模型，只需透過 FirebaseCustomLocalModel 物件建立解譯器即可：
Java
FirebaseModelInterpreter interpreter;
try {
FirebaseModelInterpreterOptions options =
new FirebaseModelInterpreterOptions.Builder(localModel).build();
interpreter = FirebaseModelInterpreter.getInstance(options);
} catch (FirebaseMLException e) {
// ...
}
Kotlin+KTX
val options = FirebaseModelInterpreterOptions.Builder(localModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)
如果您有遠端託管的模型，必須先檢查是否已下載過該模型，才能執行。您可以使用模型管理員的 isModelDownloaded() 方法，查看模型下載工作的狀態。
雖然您只需在執行翻譯前確認這點，但如果您同時擁有遠端託管的模型和本機組合模型，那麼在模型解譯器例項化時執行這項檢查的合理程度：從遠端模型建立解譯器 (如果已經下載)，如果是從本機模型建立解譯器，否則從本機模型建立解譯器。
Java
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener(new OnSuccessListener<Boolean>() {
@Override
public void onSuccess(Boolean isDownloaded) {
FirebaseModelInterpreterOptions options;
if (isDownloaded) {
options = new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
} else {
options = new FirebaseModelInterpreterOptions.Builder(localModel).build();
}
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);
// ...
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener { isDownloaded ->
val options =
if (isDownloaded) {
FirebaseModelInterpreterOptions.Builder(remoteModel).build()
} else {
FirebaseModelInterpreterOptions.Builder(localModel).build()
}
val interpreter = FirebaseModelInterpreter.getInstance(options)
}
如果您只有遠端託管的模型，請在確認已下載模型之前，停用模型相關功能，例如將 UI 內容顯示為灰色或隱藏。方法是將事件監聽器附加到模型管理員的 download() 方法：
Java
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnSuccessListener(new OnSuccessListener<Void>() {
@Override
public void onSuccess(Void v) {
// Download complete. Depending on your app, you could enable
// the ML feature, or switch from the local model to the remote
// model, etc.
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
}
指定模型的輸入和輸出內容
接下來，設定模型解譯器的輸入和輸出格式。
TensorFlow Lite 模型做為輸入並產生一或多個多維度陣列的輸出內容。這些陣列包含 byte、int、long 或 float 值。設定 ML Kit 時，您必須使用模型所用陣列的數量和維度 (「形狀」)。
如果您不知道模型輸入和輸出內容的形狀和資料類型，可以使用 TensorFlow Lite Python 解譯器檢查模型。例如：
import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="my_model.tflite") interpreter.allocate_tensors() # Print input shape and type print(interpreter.get_input_details()[0]['shape']) # Example: [1 224 224 3] print(interpreter.get_input_details()[0]['dtype']) # Example: <class 'numpy.float32'> # Print output shape and type print(interpreter.get_output_details()[0]['shape']) # Example: [1 1000] print(interpreter.get_output_details()[0]['dtype']) # Example: <class 'numpy.float32'>
決定模型的輸入和輸出格式後，您可以建立 FirebaseModelInputOutputOptions 物件，設定應用程式的模型解譯器。
舉例來說，浮點圖片分類模型可能會做為 float 值的 Nx224x224x3 陣列，代表一批 N 224 x 224 三聲道 (RGB) 圖像，並產出為 1000 float 值清單的輸出，每個清單都代表圖像是模型預測 1000 個類別中成員的機率。
針對這類模型，您可以設定模型解譯器的輸入和輸出內容，如下所示：
Java
FirebaseModelInputOutputOptions inputOutputOptions =
new FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 5})
.build();Kotlin+KTX
val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
.setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
.setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 5))
.build()對輸入資料執行推論
最後，如要使用模型進行推論，請取得輸入資料，然後對必要的資料執行轉換，藉此取得模型正確形狀的輸入陣列。舉例來說，假設圖片分類模型的輸入形狀為 [1 224 224 3] 浮點值，您可以從 Bitmap 物件產生輸入陣列，如以下範例所示：
Java
Bitmap bitmap = getYourInputImage();
bitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true);
int batchNum = 0;
float[][][][] input = new float[1][224][224][3];
for (int x = 0; x < 224; x++) {
for (int y = 0; y < 224; y++) {
int pixel = bitmap.getPixel(x, y);
// Normalize channel values to [-1.0, 1.0]. This requirement varies by
// model. For example, some models might require values to be normalized
// to the range [0.0, 1.0] instead.
input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f;
input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f;
input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f;
}
}Kotlin+KTX
val bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true)
val batchNum = 0
val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } }
for (x in 0..223) {
for (y in 0..223) {
val pixel = bitmap.getPixel(x, y)
// Normalize channel values to [-1.0, 1.0]. This requirement varies by
// model. For example, some models might require values to be normalized
// to the range [0.0, 1.0] instead.
input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 255.0f
input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 255.0f
input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 255.0f
}
}接著，使用輸入資料建立 FirebaseModelInputs 物件，並將該物件和模型的輸入和輸出規格傳送至模型解譯器的 run 方法：
Java
FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
.add(input) // add() as many input arrays as your model requires
.build();
firebaseInterpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener(
new OnSuccessListener<FirebaseModelOutputs>() {
@Override
public void onSuccess(FirebaseModelOutputs result) {
// ...
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});Kotlin+KTX
val inputs = FirebaseModelInputs.Builder()
.add(input) // add() as many input arrays as your model requires
.build()
firebaseInterpreter.run(inputs, inputOutputOptions)
.addOnSuccessListener { result ->
// ...
}
.addOnFailureListener { e ->
// Task failed with an exception
// ...
}如果呼叫成功，您可以呼叫傳遞至成功事件監聽器的物件 getOutput() 方法，藉此取得輸出內容。例如：
Java
float[][] output = result.getOutput(0); float[] probabilities = output[0];
Kotlin+KTX
val output = result.getOutput<Array<FloatArray>>(0) val probabilities = output[0]
您使用輸出內容的方式取決於您使用的模型。
舉例來說，如要執行分類作業，您可以將結果的索引對應到其代表的標籤：
Java
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("retrained_labels.txt")));
for (int i = 0; i < probabilities.length; i++) {
String label = reader.readLine();
Log.i("MLKit", String.format("%s: %1.4f", label, probabilities[i]));
}Kotlin+KTX
val reader = BufferedReader(
InputStreamReader(assets.open("retrained_labels.txt")))
for (i in probabilities.indices) {
val label = reader.readLine()
Log.i("MLKit", String.format("%s: %1.4f", label, probabilities[i]))
}附錄：模型安全性
無論您是以何種方式將 TensorFlow Lite 模型提供給 ML Kit，ML Kit 都會以標準序列化 protobuf 格式儲存本機儲存空間中的模型。
理論上，這代表任何人都可以複製您的模型但實際上，大多數的模型都是專為特定應用程式而設計，並且經由最佳化進行混淆。這類模型的風險與競爭對手拆解及重複使用程式碼類似。儘管如此，在應用程式中使用自訂模型之前，請務必注意此風險。
在 Android API 級別 21 (Lollipop) 以上版本中，模型會下載至 從自動備份中排除的目錄。
在 Android API 級別 20 及以下級別中，模型會下載至應用程式私人內部儲存空間中名為 com.google.firebase.ml.custom.models 的目錄。如果您使用 BackupAgent 啟用檔案備份功能，可以選擇排除這個目錄。