A/B-Tests für zwei Versionen eines Modells durchführen

Nachdem Sie ein neues benutzerdefiniertes Modell oder AutoML Vision Edge-Modell trainiert haben, können Sie A/B Testing, um zu sehen, wie gut das neue Modell unter realen Bedingungen funktioniert, im Vergleich zu dem Modell, das Sie bereits verwenden. Nachdem Sie bestätigt haben, dass Ihr neues Modell können Sie das neue Modell ganz einfach für alle Nutzer einführen, ohne dass ein App-Update erforderlich ist.

Auf dieser Seite wird beschrieben, wie Sie einen A/B-Test durchführen können, bei dem zwei Versionen ausgewertet werden. eines Modells, das eine hypothetische visuelle Pflanzensuchfunktion unterstützt. Diese Funktion nutzt ein benutzerdefiniertes Modell zur Bildbeschriftung, um Nutzenden dabei zu helfen, Pflanzenarten in Bilder von ihnen.

Angenommen, Sie haben gerade ein neues Modell zur Beschriftung von Pflanzen plant_labeler_v2 und Sie möchten einen Test durchführen, um die Daten zu vergleichen durch Ihr aktuelles Modell plant_labeler_v1. Im Folgenden erfahren Sie, wie Sie den Test einrichten, ausführen und die Ergebnisse umsetzen.

1. Modell remote konfigurieren

Der erste Schritt für A/B-Tests Ihrer Modelle besteht darin, Ihre App für die Verwendung eines Parameter Remote Config, um zu bestimmen, welches Modell verwendet wird. Zunächst haben Sie legt den Standardwert dieses Parameters auf das Modell fest, das Ihre App bereits verwendet wird, aber da der Modellname von einem konfigurierbaren Parameter, mit dem Sie verschiedene Modelle ändern und mit ihnen experimentieren können. ohne jedes Mal App-Updates bereitstellen zu müssen.

Wenn Sie Ihr aktuelles Modell also unter dem Namen plant_labeler_v1 würden Sie im Initialisierungscode der App festlegen, plant_labeler_v1 als Standardwert des plant_labeler_model, wie im folgenden Beispiel:

val remoteConfig = FirebaseRemoteConfig.getInstance()

val remoteConfigDefaults = HashMap<String, Any>()
remoteConfigDefaults["plant_labeler_model"] = "plant_labeler_v1"
Tasks.await(remoteConfig.setDefaultsAsync(remoteConfigDefaults))

remoteConfig.fetchAndActivate().addOnSuccessListener { success ->
    if (success) {
      // Okay to get remote values.
      // ...
    }
}

final FirebaseRemoteConfig remoteConfig = FirebaseRemoteConfig.getInstance();

Map<String, Object> remoteConfigDefaults = new HashMap<>();
remoteConfigDefaults.put("plant_labeler_model", "plant_labeler_v1");
Tasks.await(remoteConfig.setDefaultsAsync(remoteConfigDefaults));

remoteConfig.fetchAndActivate().addOnSuccessListener(
        new OnSuccessListener<Boolean>() {
            @Override
            public void onSuccess(Boolean success) {
                if (success) {
                  // Okay to get remote values.
                  // ...
                }
            }
        });

Ändern Sie dann den Einrichtungscode für das Modell, um das von der plant_labeler_model-Parameter:

val rcValue = remoteConfig.getValue("plant_labeler_model")
val remoteModelName = rcValue.asString()

// ...

val remoteModel = FirebaseRemoteModel.Builder(remoteModelName)
        .enableModelUpdates(true)
        .setInitialDownloadConditions(initialConditions)
        .setUpdatesDownloadConditions(updateConditions)
        .build()
FirebaseModelManager.getInstance().registerRemoteModel(remoteModel)

// Optionally configure a local model:
// https://firebase.google.com/docs/ml-kit/android/label-images-with-automl#configure-a-local-model-source
// https://firebase.google.com/docs/ml-kit/android/use-custom-models#configure_a_local_model

FirebaseRemoteConfigValue rcValue = remoteConfig.getValue("plant_labeler_model");
String remoteModelName = rcValue.asString();

// ...

FirebaseRemoteModel remoteModel = new FirebaseRemoteModel.Builder(remoteModelName)
        .enableModelUpdates(true)
        .setInitialDownloadConditions(initialConditions)
        .setUpdatesDownloadConditions(updateConditions)
        .build();
FirebaseModelManager.getInstance().registerRemoteModel(remoteModel);

// Optionally configure a local model:
// https://firebase.google.com/docs/ml-kit/android/label-images-with-automl#configure-a-local-model-source
// https://firebase.google.com/docs/ml-kit/android/use-custom-models#configure_a_local_model

Da Ihre App nun einen Remote Config-Parameter verwendet, um zu bestimmen, welches Modell laden können, können Sie das Modell ändern, indem Sie ein neues Modell veröffentlichen und seine in den Parameter Remote Config ein. So kann A/B Testing verschiedenen Nutzern unterschiedliche Modelle zuweisen, um sie zu vergleichen.

Bevor Sie fortfahren, nehmen Sie außerdem folgende Ergänzung zum Download des Modells vor Code:

FirebaseModelManager.getInstance().downloadRemoteModelIfNeeded(remoteModel)
    .addOnSuccessListener {
        // If the model downloaded was specified by a remote parameter, log an
        // event, which will be our experiment's activation event.
        if (rcValue.source == FirebaseRemoteConfig.VALUE_SOURCE_REMOTE) {
            FirebaseAnalytics.getInstance(this).logEvent("nondefault_model_downloaded", null)
        }
    }

FirebaseModelManager.getInstance().downloadRemoteModelIfNeeded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener<Void>() {
            @Override
            public void onSuccess(Void aVoid) {
                // If the model downloaded was specified by a remote parameter, log an
                // event, which will be our experiment's activation event.
                if (rcValue.getSource() == FirebaseRemoteConfig.VALUE_SOURCE_REMOTE) {
                    FirebaseAnalytics.getInstance(YourActivity.this)
                            .logEvent("nondefault_model_downloaded", null);
                }
            }
        });

Mit dem Code oben wird ein benutzerdefiniertes Analytics-Ereignis protokolliert, das Sie später als Aktivierungsereignis des Tests. Ein Aktivierungsereignis ist ein Ereignis, das der Nutzer auslösen muss, bevor er am Test teilnimmt. Dieses wird sichergestellt, dass Nutzer erst dann im A/B-Test aufgezeichnet werden, wenn ihr Gerät das benutzerdefinierte ML Kit-Modell heruntergeladen haben.

2. Zielmesswert festlegen

Im nächsten Schritt müssen Sie entscheiden, wie Sie den Erfolg Ihres Modells messen möchten, und dafür sorgen, dass Ihre App die Daten erhebt, die erforderlich sind, um zu testen, wie gut verschiedene Versionen des Modells gemäß diesem Messwert abschneiden.

A/B Testing bietet mehrere integrierte Messwerte, darunter „Umsatz“, „Täglich“ und Nutzerbindung. Diese Messwerte sind häufig nützlich für Tests, unterschiedliche UX-Abläufe oder Parameter zur Feinabstimmung, aber für um Ihr Modell und Ihren Anwendungsfall zu bewerten. In diesem Fall können Sie stattdessen versuchen, für ein benutzerdefiniertes Analytics-Ereignis optimieren.

Angenommen, Sie präsentieren den Nutzern die Suchergebnisse in der Reihenfolge der Zuverlässigkeit des Modells für jedes Ergebnis. Eine Möglichkeit, die Genauigkeit Ihres Modells zu ermitteln, besteht darin, wie oft Nutzende das erste Suchergebnis geöffnet haben.

Wenn Sie testen möchten, mit welchem Modell die Anzahl der Klicks auf das Top-Suchergebnis am besten maximiert werden kann, protokollieren Sie ein benutzerdefiniertes Ereignis, wenn ein Nutzer auf das erste Element in der Ergebnisliste tippt.

FirebaseAnalytics.getInstance(this).logEvent("first_result_opened", null)

FirebaseAnalytics.getInstance(YourActivity.this).logEvent("first_result_opened", null);

Welchen Messwert Sie testen, hängt letztendlich davon ab, wie Ihre App modellieren.

Jetzt können Sie Ihre App im Play Store bereitstellen. Ihre App verwendet weiterhin Ihr ursprüngliches Modell, Sie können aber mit dem hinzugefügten Remote Config- und Analytics-Code experimentieren mit verschiedenen Modellen unter Verwendung der Firebase-Konsole.

3. A/B Testing-Test ausführen

Ihre App befindet sich nun im und sammelt Analysedaten. Erstellen Sie einen A/B Testing-Test, um die Auswirkungen der Verwendung Ihres neuen anstelle des aktuellen Modells.

So erstellen Sie den Test:

1. Klicken Sie auf der Seite Veranstaltungen Seite der Firebase-Konsole überprüfen, ob Sie die relevanten Analytics-Ereignisse: Aktivierungsereignis und Messwert für Zielvorhaben

   Ihre App muss jedes Ereignis mindestens einmal protokollieren, bevor es im Firebase-Konsole.

2. Öffnen Sie in der Firebase-Konsole den Abschnitt A/B Testing.

3. Neuen Test erstellen:

   1. Klicken Sie auf Test erstellen > Remote Config

   2. Im Bereich Targeting:

      • Wählen Sie Ihre App aus der Liste aus
      • Geben Sie an, wie viele Nutzer Sie in die Experiment
      • Wählen Sie das Aktivierungsereignis aus, das Sie mit der Protokollierung begonnen haben (in diesem Beispiel nondefault_model_downloaded) zurück

   3. Wählen Sie im Bereich Zielvorhaben den Zielvorhabenmesswert aus, den Sie festgelegt haben. vorherigen Abschnitt (in diesem Beispiel first_result_opened) in der Liste der Zielmesswerte und wählen Sie zusätzliche Messwerte aus, etwa den Umsatz durch Käufe oder Nutzer ohne Abstürze.

   4. Definieren Sie im Bereich Varianten zwei Varianten:

      • Kontrollgruppe (automatisch erstellt)
      • Experimenteller Labelersteller für Pflanzen

      Erstellen Sie für die Kontrollgruppe einen plant_labeler_model-Parameter und legen Sie ihn auf plant_labeler_v1. Nutzer, die der Kontrollgruppe zugewiesen sind das alte Modell verwendet. Setzen Sie den Parameter nicht auf (no change), da Sie in Ihrer App die Verwendung eines Remotewert.)

      Legen Sie für die Variante Experimentelles Labelersteller für Pflanzen Folgendes fest: plant_labeler_model-Parameter für plant_labeler_v2 (vorausgesetzt, Sie haben Ihr neues Modell veröffentlicht unter diesem Namen). Nutzer, die dieser Variante zugewiesen sind, verwenden das neue Modell.

   

Starten Sie den Test und lassen Sie ihn mehrere Tage oder länger laufen, bis A/B Testing bezeichnet eine führende Variante. Wenn durch den Test keine beste Variante ermittelt werden kann, müssen Sie möglicherweise den Test auf weitere Nutzer ausweiten.

4. Erfolgreiche Variante für alle Nutzer einführen

Nachdem A/B Testing genügend Informationen erfasst hat, um Folgendes zu deklarieren: beste Variante, in diesem Fall die Variante, die das beste Suchergebnis maximiert hat können Sie entscheiden, ob Sie die beste Variante (oder eine andere Variante) für alle Nutzer.

Öffnen Sie die Details in der Firebase-Konsole im Bereich A/B Testing. des abgeschlossenen Tests. In dieser Ansicht sehen Sie, wie sich die die entsprechend Ihrem Zielmesswert und etwaigen sekundären Messwerten, die Sie ausgewählt haben, ausgeführt wurde. Anhand dieser Informationen können Sie entscheiden, ob Sie die führende Variante oder eine andere Variante.

Wenn Sie eine Variante für alle Nutzer einführen möchten, klicken Sie auf more_vert > Variante für die auf der Detailseite des Tests. Danach erhöht sich der Wert des plant_labeler_model-Parameter wird plant_labeler_v2 für alle Nutzenden.

Bei einem zukünftigen App-Update sollten Sie den Standardwert des Parameters plant_labeler_model in plant_labeler_v2 ändern und das gebundelte Modell aktualisieren, falls Sie eines verwenden. Ihre Nutzer verwenden jedoch bereits das neueste Modell. können Sie dieses Update jederzeit als Teil der veröffentlichten App z. B. wenn Sie das nächste Mal ein Funktionsupdate durchführen.