Teste A/B do Firebase

O Teste A/B do Firebase ajuda a otimizar seu app simplificando a maneira como você executa, analisa e dimensiona experimentos de produtos e marketing. Ele permite testar alterações na IU, nos recursos ou nas campanhas de engajamento do seu app para ver como elas afetam suas principais métricas (como receita e retenção) antes de implementá-las amplamente.

O teste A/B funciona com o FCM para testar diferentes mensagens de marketing e com a Configuração remota para testar as alterações no seu app.

Crie experimentos da Configuração remota Crie experimentos de mensagens

Principais recursos

Testar e melhorar sua experiência com o produto Use a Configuração remota para criar experimentos e fazer alterações no comportamento e na aparência do seu app em todas as variantes dele. Além disso, você pode testar qual experiência do produto é a mais eficaz para gerar os resultados mais relevantes.
Encontrar formas de envolver novamente seus usuários usando o Editor do Notificações Use o teste A/B para encontrar o texto e as configurações de mensagens mais eficazes para direcionar os usuários ao seu app.
Implantar novos recursos com segurança Antes de lançar um novo recurso, use um subconjunto menor de usuários para verificar se esse recurso é adequado às suas metas. Depois de analisar os resultados do Teste A/B, implante-o para todos os usuários.
Segmentar grupos de usuários Faça testes A/B segmentados usando dados sobre os usuários do seu app. Por exemplo, é possível segmentar um subconjunto de usuários que executam uma versão específica do app, plataforma, idioma ou selecionar usuários que correspondam a um valor de propriedade do usuário do Google Analytics.

Como funciona?

Ao criar um experimento, gere diversas variantes de uma experiência do usuário e meça o desempenho delas em relação a uma meta que você quer alcançar, como impulsionar as compras no app. Seu grupo de usuários segmentado pode ser definido por vários critérios encadeados com a lógica "AND". Por exemplo, você pode limitar o grupo a usuários de uma versão do app específica que pertença a um público do Google Analytics, como "usuários com falhas", que correspondem a uma propriedade personalizada do Google Analytics definida pelo cliente.

Os experimentos do Teste AB testam a Configuração remota e as ações das mensagens] usando o Google Analytics para segmentar usuários e medir os resultados.

Com a Configuração remota, você pode testar alterações em um ou mais parâmetros para alterar o comportamento e a aparência do seu app. Você pode usá-lo para mudanças sutis, como o ajuste do melhor esquema de cores e posicionamento das opções do menu, ou para mudanças mais significativas, como testar um recurso ou design de IU completamente novo. Com o Editor do Notificações, você pode criar experimentos se quiser encontrar o texto certo para uma mensagem de notificação.

Não importa se o experimento usa a Configuração remota ou o Editor do Notificações, você pode monitorá-lo até identificar um líder, a variante que melhor atinge sua meta. Você pode iniciar o experimento com uma pequena porcentagem de sua base de usuários e, em seguida, aumentá-la ao longo do tempo. Se o primeiro experimento não revelar uma variante que atinja a meta melhor do que o valor de referência, você poderá iniciar uma nova rodada de testes para encontrar a melhor maneira de melhorar seu app.

Além da meta, você também pode acompanhar outras métricas (falhas do app, retenção e receita) para ter uma compreensão mais abrangente do resultado do experimento e como ele afeta a experiência de uso do app.

Caminho de implementação

Adicionar a Configuração remota ou o Firebase Cloud Messaging ao seu app Se seu app já usa a Configuração remota ou o Cloud Messaging (ou ambos), você pode pular para a próxima etapa.
Definir as variantes que quer avaliar com um teste A/B Ao controlar essa alteração com a Configuração remota, seja ela sutil ou significativa, como a adição de uma nova IU ou recurso, você poderá testar múltiplas variantes dela com testes A/B.

Também é possível usar testes A/B com o Editor do Notificações para testar múltiplas variantes na campanha de reengajamento antes de implementá-la para todos os usuários.
Definir como você medirá o sucesso Com um experimento que usa o Editor do Notificações, você pode usar um evento do Analytics para definir o objetivo do experimento e comparar as variantes. Com um experimento da Configuração remota, você pode usar um evento do Analytics ou um acompanhamento de conversão para definir a meta do experimento.
Monitorar o experimento para encontrar a variante vencedora Você pode iniciar o experimento com apenas alguns usuários e, em seguida, implementá-lo para mais usuários se os resultados iniciais parecerem bons. Conforme você monitora o experimento, poderá ver se algumas variantes causam mais falhas de apps ou outros impactos na experiência do app, e também qual variante fez o maior progresso em direção à meta.

Próximas etapas