Este guia fornece informações sobre os principais conceitos relacionados a lançamentos da Configuração remota. Com ele, você consegue:
- Entender como funciona a associação a grupos.
- Saber quando usar um lançamento ou um teste A/B.
- Saber como interpretar os resultados do lançamento.
Entender a associação ao grupo de lançamento
Quando você cria um novo lançamento e atribui uma porcentagem, o Firebase coloca uma porção do mesmo tamanho de seu público em um grupo de controle para conseguir resultados precisos ao comparar o desempenho do recurso ativado, o que resulta nos grupos a seguir.
- Ativado: os dispositivos de usuários atribuídos a este grupo recebem o valor que você configurar na implementação.
- Controle: os dispositivos de usuários atribuídos a este grupo recebem o valor que receberiam na Configuração remota, e não no valor do lançamento.
- Não atribuído: os dispositivos dos usuários neste grupo recebem o valor que receberiam da Configuração remota, mas não são usados nos resultados de comparação de lançamento.
Ou seja, se o recurso for implementado para 2% dos usuários, eles serão adicionados ao grupo ativado e mais 2% dos usuários serão adicionados ao grupo de controle que é usado para comparação. 96% dos usuários continuam com status "Não atribuído".
Essa abordagem garante uma comparação justa entre o desempenho dos usuários e os dispositivos que recebem o valor de lançamento e os que não recebem, assim você pode determinar efetivamente o sucesso ou a falha do lançamento na página Resultados.
A atribuição do grupo de lançamento é consistente em todas as fases de um lançamento. Ou seja, no mesmo lançamento, se você reduzir a porcentagem para 0%, todos os usuários voltam a receber o valor de parâmetro definido no modelo da Configuração remota. Se mais tarde você decidir aumentar a porcentagem de lançamento, os usuários que faziam parte dos grupos ativado ou de controle anteriores vão retornar ao grupo a que foram atribuídos originalmente e vão receber valores consistentes com esses grupos.
Quando você confirmar que a versão foi concluída e decidir fazer o lançamento completo para 100% dos usuários segmentados, o Firebase deixará de usar o grupo de controle e todos os usuários e dispositivos segmentados receberão o valor do lançamento.
Quando usar um lançamento em vez de um teste A/B?
Os lançamentos da Configuração remota e o Teste A/B são apropriados para casos de uso ligeiramente diferentes e podem ser usados de forma complementar.
Os lançamentos são graduais e geralmente usados para lançar um novo recurso para um grupo seleto de usuários. É possível segmentar usuários em um país específico ou usando uma versão específica do seu app. Use os lançamentos para mitigar riscos e testar novos recursos em um ambiente do mundo real, com controles rígidos, para que seja possível conferir o desempenho do recurso. Também é possível monitorar o desempenho dos serviços de back-end com a carga adicional do novo recurso e o uso aproximado para garantir que a mudança seja escalável antes do lançamento para um público mais amplo.
Os lançamentos são ferramentas excelentes para situações em que você está implementando novos recursos que alteram significativamente a funcionalidade, alterações que podem resultar em resultados imprevisíveis ou mudanças que possam afetar sua infraestrutura de back-end, serviços ou APIs externas.
O Teste A/B permite que você apresente várias versões de um recurso ou elemento do app, por exemplo, atualizando a aparência da interface, mudando o texto do anúncio, atualizando a dificuldade do jogo. Assim, é possível expor diferentes variações aos usuários para descobrir qual opção gera melhores resultados com base na métrica escolhida (por exemplo, engajamento, cliques no anúncio e receita).
Use o Teste A/B na tomada de decisões, otimização e compreensão das preferências dos usuários. Ele é perfeito para situações em que você tem várias opções comparáveis e metas muito específicas. Por exemplo, o Teste A/B é adequado para mudanças em que você quer ajustar seu app para melhorar uma métrica específica, como testar qual posicionamento do anúncio de banner resulta em mais cliques.
Também é uma boa ideia combinar os lançamentos da Configuração remota e o Teste A/B em uma estratégia abrangente: primeiro, crie um Teste A/B com um conjunto restrito de usuários para determinar a variante que produz os melhores resultados para suas principais métricas. Então, depois que o Teste A/B determinar uma líder, crie um lançamento com a variante vencedora. Monitore a estabilidade e as principais métricas conforme aumenta gradualmente o número de usuários expostos e, quando estiver confiante em seu desempenho, faça o lançamento para 100%.
Entender os resultados do lançamento
Depois de publicar um lançamento, você vai começar a receber os resultados quase imediatamente.
É possível ver os resultados de várias maneiras:
- Na página Parâmetros, abra o parâmetro configurado para o lançamento e, abaixo dele, clique em Conferir resultados.
- Na página Lançamentos, clique no nome do lançamento.
Com o seletor de apps na parte de cima da página de resultados, você pode selecionar visualizações para apps específicos. Os resultados são divididos em várias seções:
- A seção Resumo, que mostra a Porcentagem do lançamento configurada e oferece a capacidade de reverter ou editar o lançamento. Quando aberta, ela mostra a Visão geral dos detalhes de configuração do lançamento e o histórico de alterações.
A seção Usuários, que mostra o número único de instalações do app que buscaram um modelo de implementação nos seguintes grupos:
- Ativado: número de instâncias do app que correspondem ao lançamento de destino e buscaram o valor de lançamento.
- Controle: número de instâncias do app que correspondem à condição de lançamento de destino e tiveram o valor inalterado.
- Destino: número total estimado de instâncias que correspondem ao que você definiu no seu lançamento, que receberá o lançamento ou um valor inalterado.
Saiba mais em Entender a associação ao grupo de lançamento.
O Crashlytics e o Analytics, que mostram dados de comparação para os grupos ativados e de controle. Você pode filtrar os dados coletados por: Últimas 24 horas, Desde a última publicação ou Últimos 7 dias. "Últimas 24 horas" é a visualização padrão.
Resultados do Crashlytics para lançamentos
É possível conferir o número total de Falhas, Não fatais e ANRs que aconteceram durante o lançamento. Cada categoria de resultado mostra um gráfico de barras que compara os totais brutos de usuários Ativados e Controle que atenderam à condição do lançamento.
- Falhas: mostra o número e a porcentagem de falhas, além do número de usuários únicos que tiveram falhas nos grupos "Ativado" e "Controle".
- Não fatais: mostra o número e a porcentagem de erros não fatais, o número de usuários únicos que tiveram erros não fatais.
- ANRs (somente apps Android): mostra o número e a porcentagem de eventos "O aplicativo não está respondendo" e o número de usuários únicos que tiveram um ou mais eventos ANR.
Para informações mais detalhadas sobre falhas, clique em Ver mais em Crashlytics. Isso abre a página do Crashlytics com um filtro ativo para o lançamento cujos resultados você estava inspecionando. Os resultados do lançamento na página do Crashlytics mede todos os usuários que já foram expostos à respectiva variante, Ativado ou Controle. É possível visualizar as falhas em grupos de controle, falhas em grupos ativados ou ambos.
Resultados do Google Analytics para lançamentos
A seção de resultados do lançamento do Google Analytics compara a métricas do Analytics para todos os usuários que já foram expostos aos grupos de controle e ativados em detalhes e gráficos. Três métricas são fornecidas:
- Receita total: mostra o valor total da receita, incluindo a receita de anúncios e de compra, em dólares americanos. Você pode filtrar para exibir resultados específicos de "Receita de publicidade" ou "Receita de compra".
- Total de conversões: mostra a contagem bruta da soma de todos os eventos de conversão. Você pode filtrar os resultados pela conversão que quiser destacar.
- Tempo total de engajamento: mostra o tempo total de engajamento dos usuários gasto com uma das variantes de lançamento. O tempo total de engajamento é exibido no formato Horas:Minutos:Segundos. Por exemplo, 01:31:28. O gráfico mostra os dados do período selecionado acima da seção do Crashlytics.