Questa guida fornisce informazioni sui concetti chiave relativi alle Remote Config implementazioni, in modo che tu possa:
- Comprendere come funziona l'iscrizione ai gruppi di implementazione.
- Sapere quando utilizzare un'implementazione e quando utilizzare un test A/B.
- Scoprire come interpretare i risultati dell'implementazione.
Comprendere l'iscrizione ai gruppi di implementazione
Quando crei una nuova implementazione e assegni una percentuale, Firebase inserisce una parte del pubblico di dimensioni uguali in un gruppo di controllo per ottenere risultati accurati quando confronti il rendimento della funzionalità abilitata, con i seguenti gruppi.
- Attivato: i dispositivi utente assegnati a questo gruppo ricevono il valore che configuri nell'implementazione.
- Controllo: i dispositivi utente assegnati a questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, non il valore di implementazione.
- Non assegnato: i dispositivi utente in questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, ma non vengono utilizzati nei risultati del confronto dell'implementazione.
Se esegui l'implementazione per il 2% degli utenti, questi vengono aggiunti al gruppo Attivato e un altro 2% degli utenti viene aggiunto al gruppo di controllo, che viene utilizzato per il confronto. Il 96% degli utenti rimane in Non assegnato.
Questo approccio garantisce un confronto equo tra il rendimento degli utenti e dei dispositivi che ricevono il valore di implementazione e quelli che non lo ricevono e ti consente di determinare in modo efficace il successo o il fallimento dell'implementazione nella pagina Risultati dell'implementazione.
L'assegnazione dei gruppi di implementazione è coerente in tutte le fasi di un'implementazione. Ciò significa che, all'interno della stessa implementazione, se riduci la percentuale allo 0%, tutti gli utenti torneranno a ricevere il valore parametro definito nel Remote Config modello. Se in un secondo momento decidi di aumentare la percentuale di implementazione, gli utenti che facevano parte dei gruppi Attivato o Controllo precedenti torneranno al gruppo a cui erano stati assegnati originariamente e riceveranno valori coerenti con questi gruppi.
Quando hai verificato che la release è andata a buon fine e decidi di lanciarla completamente per il 100% degli utenti target, Firebase non utilizza più il gruppo di controllo e tutti gli utenti e i dispositivi target ricevono il valore di implementazione.
Quando utilizzare un'implementazione anziché un test A/B?
Le implementazioni di Remote Config e A/B Testing sono appropriati per casi d'uso leggermente diversi e possono essere utilizzati in modo complementare.
Le implementazioni sono release graduali e vengono spesso utilizzate per rilasciare una nuova funzionalità a un gruppo selezionato di utenti. Potresti voler scegliere come target gli utenti di un paese specifico o che utilizzano una versione specifica della tua app. Utilizza le implementazioni per mitigare i rischi, testare nuove funzionalità in un ambiente reale, con controlli rigorosi, in modo da poter vedere il rendimento della funzionalità. Puoi anche monitorare il rendimento dei servizi di backend con il carico aggiuntivo della nuova funzionalità e approssimare l'utilizzo per assicurarti che la modifica sia scalabile prima di rilasciarla a un pubblico più ampio.
Le implementazioni sono strumenti eccellenti per le situazioni in cui implementi nuove funzionalità che modificano in modo significativo le funzionalità, modifiche che potrebbero comportare risultati imprevedibili o modifiche che potrebbero influire sull'infrastruttura, sui servizi o sulle API esterne di backend.
A/B Testing ti consentono di presentare più versioni di una funzionalità o di un elemento dell'app, ad esempio, aggiornando l'aspetto dell'interfaccia utente, modificando il testo pubblicitario, aggiornando la difficoltà del livello di gioco. Puoi quindi mostrare diverse varianti ai tuoi utenti per scoprire quale opzione genera risultati migliori in base alla metrica scelta (ad esempio coinvolgimento degli utenti, clic sugli annunci ed entrate).
Utilizza A/B Testing per prendere decisioni basate sui dati, ottimizzare e comprendere le preferenze degli utenti. Sono perfetti per le situazioni in cui hai più opzioni comparabili e obiettivi molto specifici. Ad esempio, A/B Testing sono appropriati per le modifiche in cui vuoi modificare l'app per migliorare una metrica specifica, ad esempio testare il posizionamento degli annunci banner che genera più clic.
È anche una buona idea combinare le implementazioni di Remote Config e i test A/B Testing all'interno di una strategia generale: innanzitutto, crea un test A/B con un insieme limitato di utenti per determinare la variante che produce i risultati ottimali per le tue metriche chiave. Poi, dopo che A/B Testing ha determinato un leader, crea un implementazione con la variante vincente. Monitora la stabilità e le metriche chiave man mano che aumenti il numero di utenti esposti e, dopo aver acquisito sicurezza nel suo rendimento, implementala al 100%.
Comprendere i risultati dell'implementazione
Dopo aver pubblicato un'implementazione, dovresti iniziare a vedere i risultati quasi immediatamente.
Puoi visualizzare i risultati in diversi modi:
- Dalla pagina Parametri, espandi il parametro configurato per l'implementazione e, sotto l'implementazione, fai clic su Visualizza risultati.
- Dalla pagina Implementazioni, fai clic sul nome dell'implementazione.
Il selettore dell'app nella parte superiore della pagina Risultati ti consente di selezionare le visualizzazioni per app specifiche. I risultati sono suddivisi in più sezioni:
- La sezione Riepilogo, che mostra la percentuale di implementazione configurata e consente di eseguire il rollback o modificare l'implementazione. Quando espansa, mostra una panoramica dei dettagli di configurazione dell'implementazione e la cronologia delle modifiche.
La sezione Utenti, che mostra il numero di installazioni uniche dell'app che hanno recuperato un modello di implementazione nei seguenti gruppi:
- Attivato:numero di istanze dell'app che corrispondono alla condizione di implementazione target e hanno recuperato il valore di implementazione.
- Controllo:numero di istanze dell'app che corrispondono alla condizione di implementazione target e hanno recuperato il valore invariato.
- Target: numero totale stimato di istanze che corrispondono alla condizione impostata nell'implementazione, che dovrebbe ricevere il valore di implementazione o un valore invariato.
Scopri di più in Comprendere l'iscrizione ai gruppi di implementazione.
Le sezioni Crashlytics e Analytics, che mostrano i dati di confronto per i gruppi Attivato e Controllo. Puoi filtrare i dati raccolti per le ultime 24 ore, dall'ultima pubblicazione o gli ultimi 7 giorni. La visualizzazione predefinita è Ultime 24 ore.
Crashlytics risultati per le implementazioni
Puoi visualizzare il numero totale di arresti anomali, errori non irreversibili e ANR che si sono verificati durante l'implementazione. Ogni categoria di risultati mostra un grafico a barre che confronta i totali non elaborati degli utenti Attivato e Controllo che soddisfano la condizione dell'implementazione.
- Arresti anomali:mostra il numero e la percentuale di arresti anomali e il numero di utenti unici che hanno riscontrato arresti anomali per i gruppi Attivato e Controllo.
- Errori non irreversibili:mostra il numero e la percentuale di errori non irreversibili, il numero di utenti unici che hanno riscontrato errori non irreversibili.
- ANR (solo app Android) : mostra il numero e la percentuale di eventi "L'applicazione non risponde", nonché il numero di utenti unici che hanno riscontrato uno o più eventi ANR.
Per informazioni più dettagliate sugli arresti anomali, puoi fare clic su Visualizza altro in Crashlytics. Si aprirà la pagina Crashlytics con un filtro attivo per l'implementazione di cui stavi esaminando i risultati. I risultati dell'implementazione nella pagina Crashlytics misurano tutti gli utenti che sono stati mai esposti alla rispettiva variante, Attivato o Controllo. Puoi scegliere di visualizzare gli arresti anomali del gruppo di controllo, gli arresti anomali del gruppo attivato o entrambi.
Google Analytics risultati per le implementazioni
La sezione dei risultati dell'implementazione Google Analytics confronta Analytics le metriche per tutti gli utenti che sono stati esposti ai gruppi Attivato o Controllo in dettaglio e nelle visualizzazioni dei grafici. Sono disponibili tre metriche:
- Entrate totali:mostra l'importo totale delle entrate, incluse le entrate pubblicitarie e le entrate derivanti dagli acquisti, in USD. Puoi filtrare i risultati in modo da visualizzare i risultati specificamente per le entrate pubblicitarie o le entrate derivanti dagli acquisti.
- Conversioni totali:mostra il conteggio non elaborato della somma di tutti gli eventi di conversione. Puoi filtrare i risultati in base alla conversione che vuoi mettere in evidenza.
- Durata totale del coinvolgimento:mostra la durata totale del coinvolgimento che gli utenti hanno trascorso con una delle varianti di implementazione. La durata totale del coinvolgimento viene visualizzata nel formato Ore:Minuti:Secondi. Ad esempio, 01:31:28. Il grafico mostra i dati del periodo di tempo selezionato sopra la Crashlytics sezione.