Sử dụng mô hình TensorFlow Lite tuỳ chỉnh bằng Flutter

Nếu ứng dụng của bạn sử dụng các mô hình TensorFlow Lite tuỳ chỉnh, bạn có thể dùng Firebase ML để triển khai các mô hình đó. Bằng cách triển khai các mô hình bằng Firebase, bạn có thể giảm kích thước tải xuống ban đầu của ứng dụng và cập nhật các mô hình học máy của ứng dụng mà không cần phát hành phiên bản mới của ứng dụng. Ngoài ra, với Cấu hình từ xa và Thử nghiệm A/B, bạn có thể phân phát linh hoạt các mô hình khác nhau cho các nhóm người dùng khác nhau.

Mô hình TensorFlow Lite

Mô hình TensorFlow Lite là các mô hình học máy được tối ưu hoá để chạy trên thiết bị di động. Cách lấy mô hình TensorFlow Lite:

Xin lưu ý rằng nếu không có thư viện TensorFlow Lite được duy trì cho Dart, bạn sẽ cần tích hợp với thư viện TensorFlow Lite gốc cho các nền tảng của mình. Chế độ tích hợp này không được ghi lại ở đây.

Trước khi bắt đầu

  1. Cài đặt và khởi chạy Firebase SDK cho Flutter nếu bạn chưa làm.

  2. Trong thư mục gốc của dự án Flutter, hãy chạy lệnh sau để cài đặt trình bổ trợ trình tải mô hình ML:

    flutter pub add firebase_ml_model_downloader

  3. Tạo lại dự án:

    flutter run

1. Triển khai mô hình

Triển khai các mô hình TensorFlow tuỳ chỉnh bằng bảng điều khiển Firebase hoặc Firebase Admin Python và Node.js SDK. Xem phần Triển khai và quản lý mô hình tuỳ chỉnh.

Sau khi thêm một mô hình tuỳ chỉnh vào dự án Firebase, bạn có thể tham chiếu mô hình đó trong các ứng dụng bằng tên mà bạn đã chỉ định. Bất cứ lúc nào, bạn cũng có thể triển khai một mô hình TensorFlow Lite mới và tải mô hình mới xuống thiết bị của người dùng bằng cách gọi getModel() (xem bên dưới).

2. Tải mô hình xuống thiết bị và khởi động một trình thông dịch TensorFlow Lite

Để sử dụng mô hình TensorFlow Lite trong ứng dụng, trước tiên, hãy dùng trình tải mô hình xuống để tải phiên bản mới nhất của mô hình xuống thiết bị. Sau đó, hãy tạo một phiên bản trình thông dịch TensorFlow Lite bằng mô hình.

Để bắt đầu tải mô hình xuống, hãy gọi phương thức getModel() của trình tải mô hình xuống, chỉ định tên mà bạn đã gán cho mô hình khi tải mô hình lên, cho dù bạn có muốn luôn tải mô hình mới nhất xuống hay không và các điều kiện mà bạn muốn cho phép tải xuống.

Bạn có thể chọn trong số 3 chế độ tải xuống:

Loại tệp tải xuống Mô tả
localModel Lấy mô hình cục bộ từ thiết bị. Nếu không có mô hình cục bộ nào, thì phương thức này sẽ hoạt động như latestModel. Hãy sử dụng loại tải xuống này nếu bạn không muốn kiểm tra các bản cập nhật mô hình. Ví dụ: bạn đang sử dụng Cấu hình từ xa để truy xuất tên mô hình và bạn luôn tải các mô hình lên bằng tên mới (nên dùng).
localModelUpdateInBackground Lấy mô hình cục bộ từ thiết bị và bắt đầu cập nhật mô hình ở chế độ nền. Nếu không có mô hình cục bộ nào, thì phương thức này sẽ hoạt động như latestModel.
latestModel Tải mô hình mới nhất. Nếu mô hình cục bộ là phiên bản mới nhất, hãy trả về mô hình cục bộ. Nếu không, hãy tải mô hình mới nhất xuống. Hành vi này sẽ chặn cho đến khi phiên bản mới nhất được tải xuống (không nên). Chỉ sử dụng hành vi này trong trường hợp bạn cần phiên bản mới nhất một cách rõ ràng.

Bạn nên tắt chức năng liên quan đến mô hình (ví dụ: làm mờ hoặc ẩn một phần giao diện người dùng) cho đến khi xác nhận rằng mô hình đã được tải xuống.

FirebaseModelDownloader.instance
    .getModel(
        "yourModelName",
        FirebaseModelDownloadType.localModel,
        FirebaseModelDownloadConditions(
          iosAllowsCellularAccess: true,
          iosAllowsBackgroundDownloading: false,
          androidChargingRequired: false,
          androidWifiRequired: false,
          androidDeviceIdleRequired: false,
        )
    )
    .then((customModel) {
      // Download complete. Depending on your app, you could enable the ML
      // feature, or switch from the local model to the remote model, etc.

      // The CustomModel object contains the local path of the model file,
      // which you can use to instantiate a TensorFlow Lite interpreter.
      final localModelPath = customModel.file;

      // ...
    });

Nhiều ứng dụng bắt đầu tác vụ tải xuống trong mã khởi tạo, nhưng bạn có thể thực hiện việc này bất cứ lúc nào trước khi cần sử dụng mô hình.

3. Thực hiện suy luận trên dữ liệu đầu vào

Giờ đây, khi đã có tệp mô hình trên thiết bị, bạn có thể sử dụng tệp đó với trình thông dịch TensorFlow Lite để thực hiện suy luận. Nếu không có thư viện TensorFlow Lite được duy trì cho Dart, bạn sẽ cần tích hợp với các thư viện TensorFlow Lite gốc cho iOS và Android.

Phụ lục: Bảo mật mô hình

Bất kể bạn cung cấp mô hình TensorFlow Lite cho Firebase ML bằng cách nào, Firebase ML đều lưu trữ các mô hình đó ở định dạng protobuf được chuyển đổi tuần tự tiêu chuẩn trong bộ nhớ cục bộ.

Về lý thuyết, điều này có nghĩa là bất kỳ ai cũng có thể sao chép mô hình của bạn. Tuy nhiên, trên thực tế, hầu hết các mô hình đều quá dành riêng cho ứng dụng và bị làm rối mã nguồn bằng các quy trình tối ưu hoá đến mức rủi ro tương tự như việc đối thủ cạnh tranh tháo rời và sử dụng lại mã của bạn. Tuy nhiên, bạn nên biết về rủi ro này trước khi sử dụng một mô hình tuỳ chỉnh trong ứng dụng của mình.