앱에서 커스텀 TensorFlow 라이트 모델의 경우 Firebase ML를 사용하여 모델을 배포할 수 있습니다. 기준 모델을 배포할 때 초기 다운로드 크기를 줄임으로써 새 버전의 앱을 출시하지 않고도 앱의 ML 모델을 있습니다. Remote Config 및 A/B Testing를 사용하면 동적으로 다양한 모델을 다양한 사용자 그룹에 제공할 수 있습니다
TensorFlow Lite 모델
TensorFlow Lite 모델은 휴대기기에서 실행되도록 최적화된 ML 모델입니다. TensorFlow Lite 모델을 가져오려면 다음 안내를 따르세요.
- 공식 TensorFlow Lite 모델과 같은 사전 빌드된 모델을 사용합니다.
- TensorFlow 모델, Keras 모델 또는 콘크리트 함수를 TensorFlow Lite로 변환합니다.
시작하기 전에
- 아직 추가하지 않았으면 Android 프로젝트에 Firebase를 추가합니다.
-
모듈 (앱 수준) Gradle 파일에서
(일반적으로
<project>/<app-module>/build.gradle.kts
또는<project>/<app-module>/build.gradle
), Android용 Firebase ML 모델 다운로더 라이브러리의 종속 항목을 추가합니다. 이때 Firebase Android BoM 드림 라이브러리 버전 관리를 제어할 수 있습니다.또한 Firebase ML 모델 다운로더를 설정하는 과정에서 앱에 TensorFlow Lite SDK를 추가합니다.
dependencies { // Import the BoM for the Firebase platform implementation(platform("com.google.firebase:firebase-bom:33.2.0")) // Add the dependency for the Firebase ML model downloader library // When using the BoM, you don't specify versions in Firebase library dependencies implementation("com.google.firebase:firebase-ml-modeldownloader")
// Also add the dependency for the TensorFlow Lite library and specify its version implementation("org.tensorflow:tensorflow-lite:2.3.0") }Firebase Android BoM를 사용하면 앱은 항상 호환되는 Firebase Android 라이브러리 버전만 사용합니다.
(대안) BoM를 사용하지 않고 Firebase 라이브러리 종속 항목을 추가합니다.
Firebase BoM를 사용하지 않도록 선택하는 경우 각 Firebase 라이브러리 버전을 지정해야 합니다. 를 사용해야 합니다.
앱에서 여러 Firebase 라이브러리를 사용하는 경우 BoM를 사용하여 라이브러리 버전을 관리하는 것이 좋습니다. 이렇게 하면 모든 버전이 지원합니다.
드림dependencies { // Add the dependency for the Firebase ML model downloader library // When NOT using the BoM, you must specify versions in Firebase library dependencies implementation("com.google.firebase:firebase-ml-modeldownloader:25.0.0")
// Also add the dependency for the TensorFlow Lite library and specify its version implementation("org.tensorflow:tensorflow-lite:2.3.0") } - 앱의 매니페스트에서 INTERNET 권한이 필요하다고 선언합니다.
<uses-permission android:name="android.permission.INTERNET" />
1. 모델 배포
Firebase 콘솔 또는 Firebase Admin Python 및 Node.js SDK 자세한 내용은 커스텀 모델 배포 및 관리
Firebase 프로젝트에 커스텀 모델을 추가한 후 지정한 이름을 사용하여 앱에서 모델을 참조할 수 있습니다. 언제든지 새 TensorFlow Lite 모델을 배포하고 getModel()
을 호출하여 새 모델을 사용자 기기에 다운로드할 수 있습니다(아래 참조).
2. 기기에 모델 다운로드 및 TensorFlow Lite 인터프리터 초기화
앱에서 TensorFlow Lite 모델을 사용하려면 먼저 Firebase ML SDK를 사용하세요. 최신 버전의 모델을 기기에 다운로드합니다. 그런 다음 모델을 사용하여 TensorFlow Lite 인터프리터를 인스턴스화합니다.모델 다운로드를 시작하려면 모델을 업로드할 때 할당한 이름, 항상 최신 모델을 다운로드할지 여부, 다운로드 허용 조건을 지정하여 모델 다운로더의 getModel()
메서드를 호출합니다.
다음 세 가지 다운로드 동작 중에서 선택할 수 있습니다.
다운로드 유형 | 설명 |
---|---|
LOCAL_MODEL | 기기에서 로컬 모델을 가져옵니다.
사용할 수 있는 로컬 모델이 없으면 LATEST_MODEL 처럼 작동합니다. 모델 업데이트를 확인하지 않아도 된다면 이 다운로드 유형을 사용하세요. 예를 들어 원격 구성을 사용하여 모델 이름을 검색하고 항상 새 이름으로 모델을 업로드하는 경우가 해당됩니다(권장). |
LOCAL_MODEL_UPDATE_IN_BACKGROUND | 기기에서 로컬 모델을 가져와 백그라운드에서 모델 업데이트를 시작합니다.
사용할 수 있는 로컬 모델이 없으면 LATEST_MODEL 처럼 작동합니다. |
LATEST_MODEL | 최신 모델을 가져옵니다. 로컬 모델이 최신 버전이면 로컬 모델을 반환합니다. 그렇지 않은 경우 최신 모델을 다운로드합니다. 이 동작은 최신 버전이 다운로드될 때까지 차단됩니다(권장하지 않음). 최신 버전이 명시적으로 필요한 경우에만 이 동작을 사용하세요. |
모델 다운로드 여부가 확인될 때까지 모델 관련 기능 사용을 중지해야 합니다(예: UI 비활성화 또는 숨김).
Kotlin+KTX
val conditions = CustomModelDownloadConditions.Builder()
.requireWifi() // Also possible: .requireCharging() and .requireDeviceIdle()
.build()
FirebaseModelDownloader.getInstance()
.getModel("your_model", DownloadType.LOCAL_MODEL_UPDATE_IN_BACKGROUND,
conditions)
.addOnSuccessListener { model: CustomModel? ->
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
// The CustomModel object contains the local path of the model file,
// which you can use to instantiate a TensorFlow Lite interpreter.
val modelFile = model?.file
if (modelFile != null) {
interpreter = Interpreter(modelFile)
}
}
Java
CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
.requireWifi() // Also possible: .requireCharging() and .requireDeviceIdle()
.build();
FirebaseModelDownloader.getInstance()
.getModel("your_model", DownloadType.LOCAL_MODEL_UPDATE_IN_BACKGROUND, conditions)
.addOnSuccessListener(new OnSuccessListener<CustomModel>() {
@Override
public void onSuccess(CustomModel model) {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
// The CustomModel object contains the local path of the model file,
// which you can use to instantiate a TensorFlow Lite interpreter.
File modelFile = model.getFile();
if (modelFile != null) {
interpreter = new Interpreter(modelFile);
}
}
});
대부분의 앱은 초기화 코드에서 다운로드 작업을 시작하지만 모델 사용이 필요한 시점 이전에 언제든지 다운로드할 수 있습니다.
3. 입력 데이터에 대한 추론 수행
모델의 입력 및 출력 모양 가져오기
TensorFlow Lite 모델 인터프리터는 하나 이상의 다차원 배열을 입력으로 받아 출력합니다. 이러한 배열은 byte
, int
, long
, float
값 중 하나를 포함합니다. 모델에 데이터를 전달하거나 결과를 사용하려면 먼저 모델에서 사용하는 배열의 수와 차원('모양')을 알아야 합니다.
모델을 직접 빌드했거나 모델의 입력 및 출력 형식이 문서화된 경우 이 정보를 이미 알고 있을 수 있습니다. 모델의 입출력 모양과 데이터 유형을 모르는 경우 TensorFlow Lite 인터프리터를 사용하여 모델을 검사할 수 있습니다. 예를 들면 다음과 같습니다.
Python
import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="your_model.tflite") interpreter.allocate_tensors() # Print input shape and type inputs = interpreter.get_input_details() print('{} input(s):'.format(len(inputs))) for i in range(0, len(inputs)): print('{} {}'.format(inputs[i]['shape'], inputs[i]['dtype'])) # Print output shape and type outputs = interpreter.get_output_details() print('\n{} output(s):'.format(len(outputs))) for i in range(0, len(outputs)): print('{} {}'.format(outputs[i]['shape'], outputs[i]['dtype']))
출력 예시:
1 input(s): [ 1 224 224 3] <class 'numpy.float32'> 1 output(s): [1 1000] <class 'numpy.float32'>
인터프리터 실행
모델의 입력과 출력 형식을 확인했으면 입력 데이터를 가져와 모델에 적합한 입력 모양을 만드는 데 필요한 데이터 변환을 수행합니다.예를 들어 입력 모양이 [1 224 224 3]
부동 소수점 값인 이미지 분류 모델이 있는 경우 다음 예시와 같이 Bitmap
객체에서 입력 ByteBuffer
를 생성할 수 있습니다.
Kotlin+KTX
val bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true)
val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
for (y in 0 until 224) {
for (x in 0 until 224) {
val px = bitmap.getPixel(x, y)
// Get channel values from the pixel value.
val r = Color.red(px)
val g = Color.green(px)
val b = Color.blue(px)
// Normalize channel values to [-1.0, 1.0]. This requirement depends on the model.
// For example, some models might require values to be normalized to the range
// [0.0, 1.0] instead.
val rf = (r - 127) / 255f
val gf = (g - 127) / 255f
val bf = (b - 127) / 255f
input.putFloat(rf)
input.putFloat(gf)
input.putFloat(bf)
}
}
Java
Bitmap bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true);
ByteBuffer input = ByteBuffer.allocateDirect(224 * 224 * 3 * 4).order(ByteOrder.nativeOrder());
for (int y = 0; y < 224; y++) {
for (int x = 0; x < 224; x++) {
int px = bitmap.getPixel(x, y);
// Get channel values from the pixel value.
int r = Color.red(px);
int g = Color.green(px);
int b = Color.blue(px);
// Normalize channel values to [-1.0, 1.0]. This requirement depends
// on the model. For example, some models might require values to be
// normalized to the range [0.0, 1.0] instead.
float rf = (r - 127) / 255.0f;
float gf = (g - 127) / 255.0f;
float bf = (b - 127) / 255.0f;
input.putFloat(rf);
input.putFloat(gf);
input.putFloat(bf);
}
}
그런 다음 모델의 출력을 포함할 수 있을 만큼 충분히 큰 ByteBuffer
를 할당하고 입력 버퍼와 출력 버퍼를 TensorFlow Lite 인터프리터의 run()
메서드에 전달합니다. 예를 들어 출력 모양이 [1 1000]
부동 소수점 값인 경우는 다음과 같습니다.
Kotlin+KTX
val bufferSize = 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val modelOutput = ByteBuffer.allocateDirect(bufferSize).order(ByteOrder.nativeOrder())
interpreter?.run(input, modelOutput)
Java
int bufferSize = 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer modelOutput = ByteBuffer.allocateDirect(bufferSize).order(ByteOrder.nativeOrder());
interpreter.run(input, modelOutput);
출력을 사용하는 방법은 사용 중인 모델에 따라 다릅니다.
예를 들어 분류를 수행하는 경우 그 다음 단계로 결과의 색인을 색인이 나타내는 라벨에 매핑할 수 있습니다.
Kotlin+KTX
modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
val reader = BufferedReader(
InputStreamReader(assets.open("custom_labels.txt")))
for (i in probabilities.capacity()) {
val label: String = reader.readLine()
val probability = probabilities.get(i)
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (int i = 0; i < probabilities.capacity(); i++) {
String label = reader.readLine();
float probability = probabilities.get(i);
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}
부록: 모델 보안
TensorFlow Lite 모델을 어떤 방식으로 제공하는지에 관계없이 Firebase ML, Firebase ML는 표준 직렬화 protobuf 형식으로 사용할 수 있습니다
즉, 이론적으로는 누구나 모델을 복사할 수 있습니다. 하지만 실제로는 대부분의 모델이 애플리케이션별로 너무나 다르며 최적화를 통해 난독화되므로 위험도는 경쟁업체가 내 코드를 분해해서 재사용하는 것과 비슷한 수준입니다. 그렇지만 앱에서 커스텀 모델을 사용하기 전에 이러한 위험성을 알고 있어야 합니다.
Android API 수준 21(Lollipop) 이상에서는 자동 백업에서 제외된 디렉터리에 모델이 다운로드됩니다.
Android API 수준 20 이하에서는 앱의 비공개 내부 저장소에 있는 com.google.firebase.ml.custom.models
라는 디렉터리에 모델이 다운로드됩니다. BackupAgent
를 사용하여 파일 백업을 사용 설정했다면 이 디렉터리를 제외하도록 선택할 수 있습니다.