Test A/B Firebase
Basato su Google Optimize , Firebase A/B Testing ti aiuta a ottimizzare l'esperienza dell'app semplificando l'esecuzione, l'analisi e la scalabilità di esperimenti su prodotti e marketing. Ti dà la possibilità di testare le modifiche all'interfaccia utente, alle funzionalità o alle campagne di coinvolgimento della tua app per vedere se effettivamente spostano l'ago sulle metriche chiave (come entrate e fidelizzazione) prima di implementarle ampiamente.
A/B Testing funziona con FCM in modo da poter testare diversi messaggi di marketing e con Remote Config in modo da poter testare le modifiche all'interno della tua app.
Capacità chiave
| Testa e migliora la tua esperienza con il prodotto | Crea esperimenti con Remote Config per apportare modifiche al comportamento e all'aspetto della tua app nelle varianti dell'esperimento e verifica quale esperienza di prodotto è più efficace per ottenere i risultati che ti interessano di più. |
| Trova modi per coinvolgere nuovamente i tuoi utenti utilizzando il compositore di notifiche | Utilizza A/B Testing per trovare le impostazioni di testo e messaggistica più efficaci per portare gli utenti nella tua app. |
| Implementa in sicurezza nuove funzionalità | Non implementare una nuova funzionalità senza prima assicurarti che soddisfi i tuoi obiettivi con un sottoinsieme più piccolo di utenti. Una volta che hai fiducia nei risultati dei test A/B, distribuisci la funzione a tutti i tuoi utenti. |
| Scegli come target i gruppi di utenti con i dati di Google Analytics | Esegui test A/B sui clienti a cui ti rivolgi utilizzando i dati di Google Analytics. Ad esempio, puoi scegliere come target un sottoinsieme di utenti che eseguono una specifica versione dell'app, piattaforma, lingua e dati demografici che corrispondono a una specifica proprietà utente di Google Analytics . |
Come funziona?
Quando crei un esperimento, provi una o più varianti di un'azione verificabile e misuri il rendimento delle varianti rispetto a un obiettivo che desideri raggiungere (come aumentare gli acquisti in-app). Il tuo gruppo di utenti target può essere definito da più criteri concatenati con la logica "AND"; ad esempio, potresti limitare il gruppo agli utenti di una particolare versione dell'app che appartengono a entrambi i segmenti di pubblico di Analytics, ad esempio "utenti in crash", che corrispondono a una proprietà utente di Google Analytics personalizzata impostata dal cliente.
Con Remote Config, puoi sperimentare modifiche a diversi parametri su più varianti per alterare il comportamento e l'aspetto della tua app in vari modi in ogni gruppo di varianti. Puoi usarlo per modifiche sottili come armeggiare con la migliore combinazione di colori e il posizionamento delle opzioni di menu, o per modifiche significative come testare una funzionalità completamente nuova o un design dell'interfaccia utente. Con il compositore di notifiche, puoi sperimentare per trovare la formulazione giusta per un messaggio di notifica.
Indipendentemente dal fatto che il tuo esperimento utilizzi Remote Config o il compositore di notifiche, puoi monitorare il tuo esperimento fino a quando non hai un set di risultati valido, quindi identificare il leader , la variante che meglio raggiunge il tuo obiettivo. Puoi iniziare l'esperimento con una piccola percentuale della tua base di utenti e quindi aumentare tale percentuale nel tempo. Se il tuo primo esperimento non rivela una variante che raggiunge il tuo obiettivo meglio di quanto non faccia attualmente la tua app, puoi iniziare un nuovo round di sperimentazione per trovare il modo migliore per migliorare la tua app.
Puoi anche tenere traccia di altre metriche (arresto anomalo dell'app, fidelizzazione e coinvolgimento) insieme al tuo obiettivo in modo da poter avere una migliore comprensione del risultato dell'esperimento e di come influisce sull'esperienza di utilizzo dell'app.
Percorso di attuazione
| Aggiungi Remote Config o Firebase Cloud Messaging alla tua app | Se la tua app utilizza già Remote Config o Cloud Messaging (o entrambi), puoi passare al passaggio successivo. | |
| Definisci le varianti che vuoi valutare con un test A/B. | Indipendentemente dal fatto che la modifica sia impercettibile o l'aggiunta di una nuova interfaccia utente o funzionalità, se puoi controllare tale modifica utilizzando Remote Config, puoi testare più varianti su quella modifica con A/B Testing. Puoi anche utilizzare A/B Testing con il compositore di notifiche per testare più varianti sulla tua campagna di re-engagement prima di distribuirla a tutti gli utenti. | |
| Definisci come misurerai il successo | Con un esperimento che utilizza il compositore di notifiche, puoi utilizzare un evento Analytics per definire l'obiettivo dell'esperimento e confrontare le varianti dell'esperimento. Con un esperimento di configurazione remota, puoi utilizzare un evento Analytics o una canalizzazione di conversione per definire l'obiettivo dell'esperimento. | |
| Monitora il tuo esperimento per trovare la variante vincente | Puoi iniziare l'esperimento con pochi utenti e poi distribuirlo a più utenti se i primi risultati sembrano buoni. Durante il monitoraggio dell'esperimento, vedrai se alcune varianti causano più arresti anomali dell'app o altri impatti sull'esperienza dell'app e puoi anche vedere quale variante fa più progressi verso il tuo obiettivo. |
Prossimi passi
- Rivedi la serie di video sui test A/B, che copre tutto, dalle basi agli argomenti avanzati.
- Inizia a creare esperimenti per Remote Config o il compositore di notifiche .
- Ulteriori informazioni sulle funzionalità Firebase che interagiscono con A/B Testing: Google Analytics , Firebase Remote Config , Messaggi di notifica , AdMob e personalizzazione Remote Config .
- Ulteriori informazioni su Optimize , che utilizza le stesse sofisticate statistiche bayesiane che alimentano i test A/B.