از یک مدل سفارشی TensorFlow Lite در پلتفرم های اپل استفاده کنید

اگر برنامه شما از مدل‌های سفارشی TensorFlow Lite استفاده می‌کند، می‌توانید از Firebase ML برای استقرار مدل‌های خود استفاده کنید. با استقرار مدل‌ها با Firebase، می‌توانید حجم اولیه دانلود برنامه خود را کاهش داده و مدل‌های ML برنامه خود را بدون انتشار نسخه جدید برنامه خود به‌روزرسانی کنید. و با Remote Config و A/B Testing ، می‌توانید مدل‌های مختلف را به صورت پویا به مجموعه‌های مختلف کاربران ارائه دهید.

پیش‌نیازها

• کتابخانه MLModelDownloader فقط برای Swift در دسترس است.
• TensorFlow Lite فقط روی دستگاه‌هایی که از iOS 9 و جدیدتر استفاده می‌کنند، اجرا می‌شود.

مدل‌های TensorFlow Lite

مدل‌های TensorFlow Lite مدل‌های یادگیری ماشینی هستند که برای اجرا روی دستگاه‌های تلفن همراه بهینه شده‌اند. برای دریافت یک مدل TensorFlow Lite:

• از یک مدل از پیش ساخته شده، مانند یکی از مدل‌های رسمی TensorFlow Lite ، استفاده کنید.
• یک مدل TensorFlow، مدل Keras یا تابع عینی را به TensorFlow Lite تبدیل کنید.

قبل از اینکه شروع کنی

برای استفاده از TensorFlowLite با Firebase، باید از CocoaPods استفاده کنید زیرا TensorFlowLite در حال حاضر از نصب با Swift Package Manager پشتیبانی نمی‌کند. برای دستورالعمل‌های نحوه نصب MLModelDownloader به راهنمای نصب CocoaPods مراجعه کنید.

پس از نصب، Firebase و TensorFlowLite را برای استفاده وارد کنید.

import FirebaseMLModelDownloader
import TensorFlowLite

۱. مدل خود را مستقر کنید

مدل‌های سفارشی TensorFlow خود را با استفاده از کنسول Firebase یا Firebase Admin Python و Node.js SDK مستقر کنید. به بخش استقرار و مدیریت مدل‌های سفارشی مراجعه کنید.

پس از افزودن یک مدل سفارشی به پروژه Firebase خود، می‌توانید با استفاده از نامی که مشخص کرده‌اید، به مدل در برنامه‌های خود ارجاع دهید. در هر زمان، می‌توانید با فراخوانی getModel() (به پایین مراجعه کنید)، یک مدل جدید TensorFlow Lite را مستقر کرده و مدل جدید را روی دستگاه‌های کاربران دانلود کنید.

۲. مدل را روی دستگاه دانلود کنید و یک مفسر TensorFlow Lite راه‌اندازی کنید

برای شروع دانلود مدل، متد getModel() از دانلودکننده‌ی مدل را فراخوانی کنید و نامی را که هنگام آپلود مدل به آن اختصاص داده‌اید، اینکه آیا می‌خواهید همیشه آخرین مدل را دانلود کنید یا خیر، و شرایطی را که می‌خواهید تحت آن اجازه دانلود را بدهید، مشخص کنید.

شما می‌توانید از بین سه رفتار دانلود، یکی را انتخاب کنید:

شما باید عملکردهای مربوط به مدل را غیرفعال کنید - برای مثال، بخشی از رابط کاربری خود را خاکستری کنید یا پنهان کنید - تا زمانی که تأیید کنید مدل دانلود شده است.

let conditions = ModelDownloadConditions(allowsCellularAccess: false)
ModelDownloader.modelDownloader()
    .getModel(name: "your_model",
              downloadType: .localModelUpdateInBackground,
              conditions: conditions) { result in
        switch (result) {
        case .success(let customModel):
            do {
                // Download complete. Depending on your app, you could enable the ML
                // feature, or switch from the local model to the remote model, etc.

                // The CustomModel object contains the local path of the model file,
                // which you can use to instantiate a TensorFlow Lite interpreter.
                let interpreter = try Interpreter(modelPath: customModel.path)
            } catch {
                // Error. Bad model file?
            }
        case .failure(let error):
            // Download was unsuccessful. Don't enable ML features.
            print(error)
        }
}

بسیاری از برنامه‌ها وظیفه دانلود را در کد مقداردهی اولیه خود شروع می‌کنند، اما شما می‌توانید این کار را در هر زمانی قبل از نیاز به استفاده از مدل انجام دهید.

۳. انجام استنتاج روی داده‌های ورودی

شکل‌های ورودی و خروجی مدل خود را دریافت کنید

مفسر مدل TensorFlow Lite یک یا چند آرایه چندبعدی را به عنوان ورودی دریافت کرده و به عنوان خروجی تولید می‌کند. این آرایه‌ها حاوی مقادیر byte ، int ، long یا float هستند. قبل از اینکه بتوانید داده‌ها را به یک مدل منتقل کنید یا از نتیجه آن استفاده کنید، باید تعداد و ابعاد ("شکل") آرایه‌هایی را که مدل شما استفاده می‌کند، بدانید.

اگر خودتان مدل را ساخته‌اید، یا اگر فرمت ورودی و خروجی مدل مستند شده باشد، ممکن است از قبل این اطلاعات را داشته باشید. اگر شکل و نوع داده ورودی و خروجی مدل خود را نمی‌دانید، می‌توانید از مفسر TensorFlow Lite برای بررسی مدل خود استفاده کنید. به عنوان مثال:

import tensorflow as tf

interpreter = tf.lite.Interpreter(model_path="your_model.tflite")
interpreter.allocate_tensors()

# Print input shape and type
inputs = interpreter.get_input_details()
print('{} input(s):'.format(len(inputs)))
for i in range(0, len(inputs)):
    print('{} {}'.format(inputs[i]['shape'], inputs[i]['dtype']))

# Print output shape and type
outputs = interpreter.get_output_details()
print('\n{} output(s):'.format(len(outputs)))
for i in range(0, len(outputs)):
    print('{} {}'.format(outputs[i]['shape'], outputs[i]['dtype']))

1 input(s):
[  1 224 224   3] <class 'numpy.float32'>

1 output(s):
[1 1000] <class 'numpy.float32'>

مفسر را اجرا کنید

برای مثال، اگر مدل شما تصاویر را پردازش می‌کند و ابعاد ورودی مدل شما [1, 224, 224, 3] با مقادیر اعشاری است، ممکن است لازم باشد مقادیر رنگ تصویر را مانند مثال زیر به یک محدوده اعشاری مقیاس‌بندی کنید:

let image: CGImage = // Your input image
guard let context = CGContext(
  data: nil,
  width: image.width, height: image.height,
  bitsPerComponent: 8, bytesPerRow: image.width * 4,
  space: CGColorSpaceCreateDeviceRGB(),
  bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue
) else {
  return false
}

context.draw(image, in: CGRect(x: 0, y: 0, width: image.width, height: image.height))
guard let imageData = context.data else { return false }

var inputData = Data()
for row in 0 ..< 224 {
  for col in 0 ..< 224 {
    let offset = 4 * (row * context.width + col)
    // (Ignore offset 0, the unused alpha channel)
    let red = imageData.load(fromByteOffset: offset+1, as: UInt8.self)
    let green = imageData.load(fromByteOffset: offset+2, as: UInt8.self)
    let blue = imageData.load(fromByteOffset: offset+3, as: UInt8.self)

    // Normalize channel values to [0.0, 1.0]. This requirement varies
    // by model. For example, some models might require values to be
    // normalized to the range [-1.0, 1.0] instead, and others might
    // require fixed-point values or the original bytes.
    var normalizedRed = Float32(red) / 255.0
    var normalizedGreen = Float32(green) / 255.0
    var normalizedBlue = Float32(blue) / 255.0

    // Append normalized values to Data object in RGB order.
    let elementSize = MemoryLayout.size(ofValue: normalizedRed)
    var bytes = [UInt8](repeating: 0, count: elementSize)
    memcpy(&bytes, &normalizedRed, elementSize)
    inputData.append(&bytes, count: elementSize)
    memcpy(&bytes, &normalizedGreen, elementSize)
    inputData.append(&bytes, count: elementSize)
    memcpy(&ammp;bytes, &normalizedBlue, elementSize)
    inputData.append(&bytes, count: elementSize)
  }
}

سپس، ورودی NSData خود را در مفسر کپی کرده و آن را اجرا کنید:

try interpreter.allocateTensors()
try interpreter.copy(inputData, toInputAt: 0)
try interpreter.invoke()

شما می‌توانید خروجی مدل را با فراخوانی متد output(at:) مفسر دریافت کنید. نحوه‌ی استفاده از خروجی به مدلی که استفاده می‌کنید بستگی دارد.

برای مثال، اگر در حال انجام طبقه‌بندی هستید، به عنوان مرحله بعدی، می‌توانید اندیس‌های نتیجه را به برچسب‌هایی که نشان می‌دهند نگاشت کنید:

let output = try interpreter.output(at: 0)
let probabilities =
        UnsafeMutableBufferPointer<Float32>.allocate(capacity: 1000)
output.data.copyBytes(to: probabilities)

guard let labelPath = Bundle.main.path(forResource: "retrained_labels", ofType: "txt") else { return }
let fileContents = try? String(contentsOfFile: labelPath)
guard let labels = fileContents?.components(separatedBy: "\n") else { return }

for i in labels.indices {
    print("\(labels[i]): \(probabilities[i])")
}

پیوست: امنیت مدل

صرف نظر از اینکه چگونه مدل‌های TensorFlow Lite خود را در دسترس Firebase ML قرار می‌دهید، Firebase ML آنها را با فرمت استاندارد سریالیزه شده protobuf در حافظه محلی ذخیره می‌کند.

در تئوری، این بدان معناست که هر کسی می‌تواند مدل شما را کپی کند. با این حال، در عمل، اکثر مدل‌ها آنقدر مختص به یک برنامه هستند و با بهینه‌سازی‌ها مبهم شده‌اند که خطر آن مشابه خطر جداسازی و استفاده مجدد از کد شما توسط رقبا است. با این وجود، قبل از استفاده از یک مدل سفارشی در برنامه خود، باید از این خطر آگاه باشید.