Benutzerdefiniertes TensorFlow Lite-Modell mit Flutter verwenden

Wenn Ihre App benutzerdefinierte TensorFlow Lite-Modelle verwendet, können Sie sie mit Firebase ML bereitstellen. Wenn Sie Modelle mit Firebase bereitstellen, können Sie die anfängliche Downloadgröße Ihrer App reduzieren und die ML-Modelle Ihrer App aktualisieren, ohne eine neue Version Ihrer App zu veröffentlichen. Mit Remote Config und A/B-Tests können Sie verschiedenen Nutzergruppen dynamisch unterschiedliche Modelle bereitstellen.

TensorFlow Lite-Modelle

TensorFlow Lite-Modelle sind ML-Modelle, die für die Ausführung auf Mobilgeräten optimiert sind. So rufen Sie ein TensorFlow Lite-Modell ab:

Da es keine gepflegte TensorFlow Lite-Bibliothek für Dart gibt, müssen Sie die native TensorFlow Lite-Bibliothek für Ihre Plattformen einbinden. Diese Integration wird hier nicht dokumentiert.

Hinweis

  1. Installieren und initialisieren Sie die Firebase SDKs für Flutter, falls noch nicht geschehen.

  2. Führen Sie im Stammverzeichnis Ihres Flutter-Projekts den folgenden Befehl aus, um das Download-Plug-in für das ML-Modell zu installieren:

    flutter pub add firebase_ml_model_downloader

  3. Projekt neu erstellen:

    flutter run

1. Modell bereitstellen

Sie können Ihre benutzerdefinierten TensorFlow-Modelle entweder über die Firebase Console oder die Firebase Admin Python- und Node.js-SDKs bereitstellen. Siehe Benutzerdefinierte Modelle bereitstellen und verwalten.

Nachdem Sie Ihrem Firebase-Projekt ein benutzerdefiniertes Modell hinzugefügt haben, können Sie in Ihren Apps auf das Modell mit dem angegebenen Namen verweisen. Sie können jederzeit ein neues TensorFlow Lite-Modell bereitstellen und auf die Geräte der Nutzer herunterladen, indem Sie getModel() aufrufen (siehe unten).

2. Modell auf das Gerät herunterladen und einen TensorFlow Lite-Interpreter initialisieren

Wenn Sie Ihr TensorFlow Lite-Modell in Ihrer App verwenden möchten, laden Sie zuerst die neueste Version des Modells mit dem Modell-Downloader auf das Gerät herunter. Instanziieren Sie dann einen TensorFlow Lite-Interpreter mit dem Modell.

Rufen Sie zum Starten des Modelldownloads die getModel()-Methode des Modell-Downloaders auf und geben Sie den Namen an, den Sie dem Modell beim Upload zugewiesen haben, ob Sie immer das neueste Modell herunterladen möchten und unter welchen Bedingungen Sie den Download zulassen möchten.

Sie können zwischen drei Downloadvorgängen wählen:

Downloadtyp Beschreibung
localModel Holen Sie sich das lokale Modell vom Gerät. Wenn kein lokales Modell verfügbar ist, verhält sich das Modell wie latestModel. Verwenden Sie diesen Downloadtyp, wenn Sie nicht nach Modellaktualisierungen suchen möchten. Angenommen, Sie verwenden Remote Config, um Modellnamen abzurufen, und laden Modelle immer unter neuen Namen hoch (empfohlen).
localModelUpdateInBackground Rufen Sie das lokale Modell vom Gerät ab und beginnen Sie, das Modell im Hintergrund zu aktualisieren. Wenn kein lokales Modell verfügbar ist, verhält sich das wie latestModel.
latestModel Rufen Sie das aktuelle Modell ab. Wenn das lokale Modell die neueste Version ist, wird das lokale Modell zurückgegeben. Andernfalls laden Sie das neueste Modell herunter. Dadurch wird der Zugriff blockiert, bis die neueste Version heruntergeladen wurde. Wir raten davon ab. Verwenden Sie dieses Verhalten nur, wenn Sie ausdrücklich die neueste Version benötigen.

Sie sollten modellverwandte Funktionen deaktivieren, z. B. einen Teil der Benutzeroberfläche grau ausblenden oder ausblenden, bis Sie bestätigen, dass das Modell heruntergeladen wurde.

FirebaseModelDownloader.instance
    .getModel(
        "yourModelName",
        FirebaseModelDownloadType.localModel,
        FirebaseModelDownloadConditions(
          iosAllowsCellularAccess: true,
          iosAllowsBackgroundDownloading: false,
          androidChargingRequired: false,
          androidWifiRequired: false,
          androidDeviceIdleRequired: false,
        )
    )
    .then((customModel) {
      // Download complete. Depending on your app, you could enable the ML
      // feature, or switch from the local model to the remote model, etc.

      // The CustomModel object contains the local path of the model file,
      // which you can use to instantiate a TensorFlow Lite interpreter.
      final localModelPath = customModel.file;

      // ...
    });

Viele Anwendungen starten die Downloadaufgabe im Initialisierungscode. Sie können dies jedoch jederzeit tun, bevor Sie das Modell verwenden müssen.

3. Inferenzen auf Eingabedaten durchführen

Nachdem Sie die Modelldatei auf dem Gerät gespeichert haben, können Sie sie mit dem TensorFlow Lite-Interpreter verwenden, um Inferenzen durchzuführen. Da es keine gepflegte TensorFlow Lite-Bibliothek für Dart gibt, müssen Sie die nativen TensorFlow Lite-Bibliotheken für iOS und Android einbinden.

Anhang: Modellsicherheit

Unabhängig davon, wie Sie Ihre TensorFlow Lite-Modelle für Firebase ML verfügbar machen, werden sie im standardmäßigen serialisierten Protobuf-Format im lokalen Speicher gespeichert.

Theoretisch kann also jeder Ihr Modell kopieren. In der Praxis sind die meisten Modelle jedoch so anwendungsspezifisch und durch Optimierungen verschleiert, dass das Risiko ähnlich ist wie bei Mitbewerbern, die Ihren Code auseinandernehmen und wiederverwenden. Dennoch sollten Sie sich dieses Risikos bewusst sein, bevor Sie ein benutzerdefiniertes Modell in Ihrer App verwenden.