Apple 플랫폼에서 맞춤형 TensorFlow Lite 모델 사용

앱에서 맞춤 TensorFlow Lite 모델을 사용하는 경우 Firebase ML을 사용하여 모델을 배포할 수 있습니다. Firebase를 사용하여 모델을 배포하면 앱의 새 버전을 출시하지 않고도 앱의 초기 다운로드 크기를 줄이고 앱의 ML 모델을 업데이트할 수 있습니다. 또한 원격 구성 및 A/B 테스팅을 통해 다양한 사용자 집합에 다양한 모델을 동적으로 제공할 수 있습니다.

전제 조건

  • MLModelDownloader 라이브러리는 Swift에서만 사용할 수 있습니다.
  • TensorFlow Lite는 iOS 9 이상을 사용하는 기기에서만 실행됩니다.

TensorFlow Lite 모델

TensorFlow Lite 모델은 모바일 장치에서 실행하도록 최적화된 ML 모델입니다. TensorFlow Lite 모델을 가져오려면:

시작하기 전에

TensorFlowLite는 현재 Swift Package Manager 설치를 지원하지 않으므로 Firebase와 함께 TensorFlowLite를 사용하려면 CocoaPods를 사용해야 합니다. MLModelDownloader 설치 방법에 대한 지침은 MLModelDownloader 설치 가이드 를 참조하십시오.

설치가 완료되면 Firebase와 TensorFlowLite를 가져와서 사용하세요.

빠른

import FirebaseMLModelDownloader
import TensorFlowLite

1. 모델 배포

Firebase 콘솔 또는 Firebase Admin Python 및 Node.js SDK를 사용하여 맞춤 TensorFlow 모델을 배포합니다. 사용자 지정 모델 배포 및 관리를 참조하십시오.

Firebase 프로젝트에 맞춤 모델을 추가한 후 지정한 이름을 사용하여 앱에서 모델을 참조할 수 있습니다. 언제든지 getModel() 을 호출하여 새 TensorFlow Lite 모델을 배포하고 새 모델을 사용자의 기기에 다운로드할 수 있습니다(아래 참조).

2. 모델을 기기에 다운로드하고 TensorFlow Lite 인터프리터를 초기화합니다.

앱에서 TensorFlow Lite 모델을 사용하려면 먼저 Firebase ML SDK를 사용하여 최신 버전의 모델을 기기에 다운로드하세요.

모델 다운로드를 시작하려면 모델 다운로더의 getModel() 메서드를 호출하여 모델을 업로드할 때 할당한 이름, 항상 최신 모델을 다운로드할지 여부, 다운로드를 허용할 조건을 지정합니다.

세 가지 다운로드 동작 중에서 선택할 수 있습니다.

다운로드 유형 설명
localModel 장치에서 로컬 모델을 가져옵니다. 사용 가능한 로컬 모델이 없는 경우 이는 latestModel 처럼 작동합니다. 모델 업데이트 확인에 관심이 없는 경우 이 다운로드 유형을 사용하십시오. 예를 들어 원격 구성을 사용하여 모델 이름을 검색하고 항상 새 이름으로 모델을 업로드합니다(권장).
localModelUpdateInBackground 장치에서 로컬 모델을 가져오고 백그라운드에서 모델 업데이트를 시작합니다. 사용 가능한 로컬 모델이 없는 경우 이는 latestModel 처럼 작동합니다.
latestModel 최신 모델을 받으십시오. 로컬 모델이 최신 버전이면 로컬 모델을 반환합니다. 그렇지 않으면 최신 모델을 다운로드하십시오. 이 동작은 최신 버전이 다운로드될 때까지 차단됩니다(권장하지 않음). 명시적으로 최신 버전이 필요한 경우에만 이 동작을 사용하십시오.

모델이 다운로드되었음을 확인할 때까지 모델 관련 기능(예: UI 일부를 회색으로 표시하거나 숨기기)을 비활성화해야 합니다.

빠른

let conditions = ModelDownloadConditions(allowsCellularAccess: false)
ModelDownloader.modelDownloader()
    .getModel(name: "your_model",
              downloadType: .localModelUpdateInBackground,
              conditions: conditions) { result in
        switch (result) {
        case .success(let customModel):
            do {
                // Download complete. Depending on your app, you could enable the ML
                // feature, or switch from the local model to the remote model, etc.

                // The CustomModel object contains the local path of the model file,
                // which you can use to instantiate a TensorFlow Lite interpreter.
                let interpreter = try Interpreter(modelPath: customModel.path)
            } catch {
                // Error. Bad model file?
            }
        case .failure(let error):
            // Download was unsuccessful. Don't enable ML features.
            print(error)
        }
}

많은 앱이 초기화 코드에서 다운로드 작업을 시작하지만 모델을 사용하기 전에 언제든지 시작할 수 있습니다.

3. 입력 데이터에 대한 추론 수행

모델의 입력 및 출력 모양 가져오기

TensorFlow Lite 모델 인터프리터는 입력으로 하나 이상의 다차원 배열을 출력으로 생성합니다. 이러한 배열에는 byte , int , long 또는 float 값이 포함됩니다. 데이터를 모델에 전달하거나 그 결과를 사용하려면 먼저 모델이 사용하는 배열의 수와 차원("모양")을 알아야 합니다.

모델을 직접 구축했거나 모델의 입력 및 출력 형식이 문서화되어 있는 경우 이 정보가 이미 있을 수 있습니다. 모델 입력 및 출력의 모양과 데이터 유형을 모르는 경우 TensorFlow Lite 인터프리터를 사용하여 모델을 검사할 수 있습니다. 예를 들어:

파이썬

import tensorflow as tf

interpreter = tf.lite.Interpreter(model_path="your_model.tflite")
interpreter.allocate_tensors()

# Print input shape and type
inputs = interpreter.get_input_details()
print('{} input(s):'.format(len(inputs)))
for i in range(0, len(inputs)):
    print('{} {}'.format(inputs[i]['shape'], inputs[i]['dtype']))

# Print output shape and type
outputs = interpreter.get_output_details()
print('\n{} output(s):'.format(len(outputs)))
for i in range(0, len(outputs)):
    print('{} {}'.format(outputs[i]['shape'], outputs[i]['dtype']))

출력 예:

1 input(s):
[  1 224 224   3] <class 'numpy.float32'>

1 output(s):
[1 1000] <class 'numpy.float32'>

인터프리터 실행

모델의 입력 및 출력 형식을 결정한 후 입력 데이터를 가져오고 모델에 적합한 모양의 입력을 얻는 데 필요한 데이터에 대한 변환을 수행합니다.

예를 들어, 모델이 이미지를 처리하고 모델에 [1, 224, 224, 3] 부동 소수점 값의 입력 치수가 있는 경우 다음 예와 같이 이미지의 색상 값을 부동 소수점 범위로 확장해야 할 수 있습니다. :

빠른

let image: CGImage = // Your input image
guard let context = CGContext(
  data: nil,
  width: image.width, height: image.height,
  bitsPerComponent: 8, bytesPerRow: image.width * 4,
  space: CGColorSpaceCreateDeviceRGB(),
  bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue
) else {
  return false
}

context.draw(image, in: CGRect(x: 0, y: 0, width: image.width, height: image.height))
guard let imageData = context.data else { return false }

var inputData = Data()
for row in 0 ..&lt; 224 {
  for col in 0 ..&lt; 224 {
    let offset = 4 * (row * context.width + col)
    // (Ignore offset 0, the unused alpha channel)
    let red = imageData.load(fromByteOffset: offset+1, as: UInt8.self)
    let green = imageData.load(fromByteOffset: offset+2, as: UInt8.self)
    let blue = imageData.load(fromByteOffset: offset+3, as: UInt8.self)

    // Normalize channel values to [0.0, 1.0]. This requirement varies
    // by model. For example, some models might require values to be
    // normalized to the range [-1.0, 1.0] instead, and others might
    // require fixed-point values or the original bytes.
    var normalizedRed = Float32(red) / 255.0
    var normalizedGreen = Float32(green) / 255.0
    var normalizedBlue = Float32(blue) / 255.0

    // Append normalized values to Data object in RGB order.
    let elementSize = MemoryLayout.size(ofValue: normalizedRed)
    var bytes = [UInt8](repeating: 0, count: elementSize)
    memcpy(&amp;bytes, &amp;normalizedRed, elementSize)
    inputData.append(&amp;bytes, count: elementSize)
    memcpy(&amp;bytes, &amp;normalizedGreen, elementSize)
    inputData.append(&amp;bytes, count: elementSize)
    memcpy(&ammp;bytes, &amp;normalizedBlue, elementSize)
    inputData.append(&amp;bytes, count: elementSize)
  }
}

그런 다음 입력 NSData 를 인터프리터에 복사하고 실행합니다.

빠른

try interpreter.allocateTensors()
try interpreter.copy(inputData, toInputAt: 0)
try interpreter.invoke()

인터프리터의 output(at:) 메서드를 호출하여 모델의 출력을 얻을 수 있습니다. 출력을 사용하는 방법은 사용 중인 모델에 따라 다릅니다.

예를 들어 분류를 수행하는 경우 다음 단계로 결과의 인덱스를 해당 레이블이 나타내는 레이블에 매핑할 수 있습니다.

빠른

let output = try interpreter.output(at: 0)
let probabilities =
        UnsafeMutableBufferPointer<Float32>.allocate(capacity: 1000)
output.data.copyBytes(to: probabilities)

guard let labelPath = Bundle.main.path(forResource: "retrained_labels", ofType: "txt") else { return }
let fileContents = try? String(contentsOfFile: labelPath)
guard let labels = fileContents?.components(separatedBy: "\n") else { return }

for i in labels.indices {
    print("\(labels[i]): \(probabilities[i])")
}

부록: 모델 보안

TensorFlow Lite 모델을 Firebase ML에 제공하는 방법에 관계없이 Firebase ML은 표준 직렬화된 protobuf 형식으로 로컬 저장소에 저장합니다.

이론적으로 이것은 누구나 모델을 복사할 수 있음을 의미합니다. 그러나 실제로 대부분의 모델은 애플리케이션에 따라 다르고 최적화로 인해 난독화되어 경쟁업체가 코드를 분해하고 재사용하는 것과 유사한 위험이 있습니다. 그럼에도 불구하고 앱에서 사용자 지정 모델을 사용하기 전에 이러한 위험을 알고 있어야 합니다.