Verwenden Sie ein benutzerdefiniertes TensorFlow Lite-Modell mit Flutter

Wenn Ihre App benutzerdefinierte TensorFlow Lite- Modelle verwendet, können Sie Firebase ML zum Bereitstellen Ihrer Modelle verwenden. Durch die Bereitstellung von Modellen mit Firebase können Sie die anfängliche Downloadgröße Ihrer App reduzieren und die ML-Modelle Ihrer App aktualisieren, ohne eine neue Version Ihrer App zu veröffentlichen. Und mit Remote Config und A/B-Testing können Sie unterschiedliche Modelle dynamisch für verschiedene Benutzergruppen bereitstellen.

TensorFlow Lite-Modelle

TensorFlow Lite-Modelle sind ML-Modelle, die für die Ausführung auf Mobilgeräten optimiert sind. So erhalten Sie ein TensorFlow Lite-Modell:

Beachten Sie, dass Sie in Ermangelung einer verwalteten TensorFlow Lite-Bibliothek für Dart eine Integration in die native TensorFlow Lite-Bibliothek für Ihre Plattformen durchführen müssen. Diese Integration ist hier nicht dokumentiert.

Bevor Sie beginnen

  1. Installieren und initialisieren Sie die Firebase SDKs für Flutter, falls Sie dies noch nicht getan haben.

  2. Führen Sie im Stammverzeichnis Ihres Flutter-Projekts den folgenden Befehl aus, um das ML-Modell-Downloader-Plugin zu installieren:

    flutter pub add firebase_ml_model_downloader
    
  3. Erstellen Sie Ihr Projekt neu:

    flutter run
    

1. Stellen Sie Ihr Modell bereit

Stellen Sie Ihre benutzerdefinierten TensorFlow-Modelle entweder mit der Firebase-Konsole oder den Firebase Admin Python- und Node.js-SDKs bereit. Siehe Benutzerdefinierte Modelle bereitstellen und verwalten .

Nachdem Sie Ihrem Firebase-Projekt ein benutzerdefiniertes Modell hinzugefügt haben, können Sie in Ihren Apps unter dem von Ihnen angegebenen Namen auf das Modell verweisen. Sie können jederzeit ein neues TensorFlow Lite-Modell bereitstellen und das neue Modell auf die Geräte der Benutzer herunterladen, indem Sie getModel() aufrufen (siehe unten).

2. Laden Sie das Modell auf das Gerät herunter und initialisieren Sie einen TensorFlow Lite-Interpreter

Um Ihr TensorFlow Lite-Modell in Ihrer App zu verwenden, laden Sie zunächst mit dem Modell-Downloader die neueste Version des Modells auf das Gerät herunter. Instanziieren Sie dann einen TensorFlow Lite-Interpreter mit dem Modell.

Um den Modell-Download zu starten, rufen Sie die getModel() Methode des Modell-Downloaders auf. Geben Sie dabei den Namen an, den Sie dem Modell beim Hochladen zugewiesen haben, ob Sie immer das neueste Modell herunterladen möchten und die Bedingungen, unter denen Sie den Download zulassen möchten.

Sie können zwischen drei Download-Verhalten wählen:

Download-Typ Beschreibung
localModel Rufen Sie das lokale Modell vom Gerät ab. Wenn kein lokales Modell verfügbar ist, verhält sich dies wie latestModel . Verwenden Sie diesen Download-Typ, wenn Sie nicht daran interessiert sind, nach Modellaktualisierungen zu suchen. Sie verwenden beispielsweise Remote Config zum Abrufen von Modellnamen und laden Modelle immer unter neuen Namen hoch (empfohlen).
localModelUpdateInBackground Holen Sie sich das lokale Modell vom Gerät und beginnen Sie mit der Aktualisierung des Modells im Hintergrund. Wenn kein lokales Modell verfügbar ist, verhält sich dies wie latestModel .
latestModel Holen Sie sich das neueste Modell. Wenn das lokale Modell die neueste Version ist, wird das lokale Modell zurückgegeben. Andernfalls laden Sie das neueste Modell herunter. Dieses Verhalten wird blockiert, bis die neueste Version heruntergeladen wird (nicht empfohlen). Verwenden Sie dieses Verhalten nur in Fällen, in denen Sie ausdrücklich die neueste Version benötigen.

Sie sollten modellbezogene Funktionen deaktivieren – zum Beispiel einen Teil Ihrer Benutzeroberfläche ausgrauen oder ausblenden –, bis Sie bestätigen, dass das Modell heruntergeladen wurde.

FirebaseModelDownloader.instance
    .getModel(
        "yourModelName",
        FirebaseModelDownloadType.localModel,
        FirebaseModelDownloadConditions(
          iosAllowsCellularAccess: true,
          iosAllowsBackgroundDownloading: false,
          androidChargingRequired: false,
          androidWifiRequired: false,
          androidDeviceIdleRequired: false,
        )
    )
    .then((customModel) {
      // Download complete. Depending on your app, you could enable the ML
      // feature, or switch from the local model to the remote model, etc.

      // The CustomModel object contains the local path of the model file,
      // which you can use to instantiate a TensorFlow Lite interpreter.
      final localModelPath = customModel.file;

      // ...
    });

Viele Apps starten die Download-Aufgabe in ihrem Initialisierungscode, Sie können dies jedoch jederzeit tun, bevor Sie das Modell verwenden müssen.

3. Führen Sie eine Inferenz auf Eingabedaten durch

Nachdem Sie Ihre Modelldatei nun auf dem Gerät haben, können Sie sie mit dem TensorFlow Lite-Interpreter verwenden, um Inferenzen durchzuführen. Da keine gepflegte TensorFlow Lite-Bibliothek für Dart vorhanden ist, müssen Sie eine Integration mit den nativen TensorFlow Lite-Bibliotheken für iOS und Android durchführen.

Anhang: Modellsicherheit

Unabhängig davon, wie Sie Ihre TensorFlow Lite-Modelle für Firebase ML verfügbar machen, speichert Firebase ML sie im standardmäßigen serialisierten Protobuf-Format im lokalen Speicher.

Theoretisch bedeutet das, dass jeder Ihr Modell kopieren kann. In der Praxis sind die meisten Modelle jedoch so anwendungsspezifisch und durch Optimierungen verschleiert, dass das Risiko mit dem der Konkurrenz vergleichbar ist, die Ihren Code zerlegt und wiederverwendet. Dennoch sollten Sie sich dieses Risikos bewusst sein, bevor Sie ein benutzerdefiniertes Modell in Ihrer App verwenden.