A/B Testing で Firebase Remote Config テストを作成する

Firebase Remote Config を使用してアクティブなユーザーベースに対してアプリケーションの設定をデプロイする際には、より良い設定をデプロイしたいとお考えでしょう。A/B Testing テストを使用すると、どの設定がベストかを判断できます。

  • ユーザー エクスペリエンスを最適化する機能を実装する最善の方法。アプリストアでアプリの評価が下がって初めて、新たなユーザー エクスペリエンスや新機能の評判が悪いことに気がついた、という話は珍しくありません。A/B テストを実施すれば、ユーザーがアプリの新しい機能バリアントを気に入るか、現状のままを望んでいるかを評価できます。また、大半のユーザーをベースライン グループに含めることで、テスト結果が出るまで、ユーザーベースの大半は動作や外観の変更による影響を受けることなくアプリを使い続けられます。
  • ビジネス目標のためにユーザー エクスペリエンスを最適化する最善の方法。収益や維持率などの指標を最大化するために、製品の変更を実装する場合があります。A/B テストでビジネス目標を設定することによって、Firebase は統計分析を実施し、選択した目標に対してバリアントのパフォーマンスがベースラインより優れているかどうかを判断します。

ベースラインを使って機能バリアントの A/B テストを実施するには:

  1. テストを作成します。
  2. テストデバイスでテストを検証します。
  3. テストを管理します。

テストを作成する

Remote Config のテストでは、1 つ以上の Remote Config パラメータの複数のバリアントを評価できます。

  1. Firebase コンソールにログインし、プロジェクトで Google アナリティクスが有効になっていることを確認します。Google アナリティクスを有効にすることによって、テストでアナリティクス データにアクセスできるようになります。

    プロジェクトの作成時に Google アナリティクスを有効にしなかった場合は、[統合] タブで有効にできます。このタブには、Firebase コンソールで [] > [プロジェクト設定] を選択してアクセスできます。

  2. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。

  3. [テストを作成] をクリックし、テストするサービスの選択を求めるメッセージが表示されたら [Remote Config] を選択します。

  4. テストの [名前] とオプションの [説明] を入力し、[次へ] をクリックします。

  5. [ターゲット設定] の各フィールドに入力します。最初に、そのテストを使用するアプリを選択します。また、[および] をクリックして次のリストのオプションを選択することで、テストに参加するユーザーのサブセットをターゲットに設定することもできます。

    • バージョン: アプリの 1 つ以上のバージョン
    • ビルド番号: アプリのバージョン コード
    • 言語: テスト対象のユーザーを選択するための 1 つ以上の言語とロケール
    • 国 / 地域: テスト対象のユーザーを選択するための 1 つ以上の国または地域
    • ユーザー オーディエンス: テスト対象のユーザーをターゲットとして設定するために使用する、アナリティクスのユーザー オーディエンス
    • ユーザー プロパティ: テスト対象とする可能性のあるユーザーを選択するための、1 つ以上のアナリティクス ユーザー プロパティ

    • 初回起動: アプリの初回起動に基づいてターゲットに設定するユーザー

      初回起動時間によるユーザー ターゲティングは、Android アプリまたは iOS アプリを選択した後に使用できます。現在、初回起動時間によるユーザー ターゲティングをサポートしている Remote Config SDK のバージョンは、Appleプラットフォーム SDK v9.0.0 以降、Android SDK v21.1.1 以降（Firebase BoM v30.3.0 以降）です。

      初回起動イベント中は、クライアントでアナリティクスが有効になっていることも必要です。

  6. [ターゲット ユーザーの割合] の設定: テストのベースラインと 1 つ以上のバリアントの間で均等に分散させる、[ターゲット ユーザー] で設定した条件に一致するアプリのユーザーベースの割合を入力します。これは 0.01～100% の任意のパーセント値にできます。ユーザーは、重複したテストを含む各テストにランダムに割り当てられます。

  7. アナリティクス イベントを最初にトリガーしたユーザーからのデータのみがテストでカウントされるようにアクティベーション イベントを設定します（省略可）。ターゲット設定パラメータに一致するすべてのユーザーが Remote Config テストの値を受け取りますが、テスト結果に含まれるのはアクティベーション イベントをトリガーしたユーザーのみです。

    有効なテストを行うために、選択したイベントは、取得した構成値をアプリがアクティブにした後で発生させるようにしてください。また、以下のイベントは、取得した値がアクティブになる前に常に発生するため、使用できません。

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. テストの目標については、追跡するメインの指標を選択し、プルダウン リストから追跡したいその他の指標を追加します。これには、組み込みの目標（購入、収益、定着、クラッシュの影響を受けていないユーザーなど）、アナリティクスのコンバージョン イベント、その他のアナリティクス イベントなどがあります。終了したら、[次へ] をクリックします。

  9. [バリアント] セクションでは、ベースラインと、テストで使用する 1 つ以上のバリアントを選択します。テストで使用するパラメータを [選択または新規作成] リストから 1 つ以上追加します。これまで Firebase コンソールで使用されていなかったパラメータを作成することもできますが、そのパラメータを適用するにはアプリに含める必要があります。この手順を繰り返すことで、複数のパラメータをテストに追加できます。

  10. （省略可）複数のバリアントをテストに追加するには、[別のバリアントを追加] をクリックします。

  11. 特定のバリアントのパラメータを変更します。未変更のパラメータは、テスト対象でないユーザーのパラメータと同じになります。

  12. [バリアントの重み付け] を開いて、テストのバリアントの重み付けを表示または変更します。デフォルトでは、各バリアントが均等に重み付けされます。重み付けが不均一な場合、データ収集時間が長くなることがあります。また、テスト開始後に重み付けを変更することはできません。

  13. [確認] をクリックしてテストを保存します。

プロジェクトあたり最大 300 個のテストを使用できます。その内訳は、実行中のテストが最大 24 個まで、残りはドラフトまたは完了済みのテストになります。

テストデバイスでテストを検証する

Firebase の各インストールに関連付けられているインストール認証トークンを取得できます。このトークンを使用して、アプリがインストールされているテストデバイス上の特定のテスト バリアントをテストできます。テストデバイスでテストを検証する方法を次に示します。

  1. 次のようにインストール認証トークンを取得します。

    Swift

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. Firebase コンソールのナビゲーション バーで [A/B Testing] をクリックします。
  3. [ドラフト]（Remote Config テストでは [実行中] の場合もあり）をクリックし、テストにカーソルを合わせてコンテキスト メニュー（）をクリックしてから、[テストデバイスを管理] をクリックします。
  4. テストデバイスのインストール認証トークンを入力して、そのテストデバイスに送信するテスト バリアントを選択します。
  5. アプリを実行して、選択したバリアントがテストデバイスで受信されていることを確認します。

Firebase インストールの詳細については、Firebase インストールの管理をご覧ください。

テストを管理する

テストの作成に Remote Config、Notifications Composer、Firebase In-App Messaging のいずれを使用しても、テストを検証して開始し、実行中のテストをモニタリングできます。また、実行中のテストの対象ユーザーを増やすこともできます。

テストが終わったら、最も有効なバリアントで使用された設定をメモして、その設定をすべてのユーザーに展開できます。または、別のテストを実行することもできます。

テストを開始する

  1. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。
  2. [ドラフト] をクリックしてから、テストのタイトルをクリックします。
  3. テストの対象とするユーザーがアプリに含まれていることを確認するには、下書きの詳細を展開して、[ターゲティングと配信] セクションで 0% を超える数値（たとえばユーザーの 1% が条件に一致しているなど）を確認します。
  4. テストを変更するには、[編集] をクリックします。
  5. テストを開始するには、[テストを開始] をクリックします。プロジェクトごとに一度に最大 24 個のテストを実行できます。

テストをモニタリングする

しばらくテストを実行したら進行状況をチェックして、これまでにテストに参加したユーザーに関する結果を確認できます。

  1. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。

  2. [実行中] をクリックし、テストのタイトルをクリックまたは検索します。このページでは、以下のような、実行中のテストに関するさまざまな観測統計やモデル化された統計を表示できます。

    • ベースラインとの差異（%）: ベースラインと比較した場合の、特定のバリアントに関する指標の改善の測定結果。バリアントの値の範囲をベースラインの値の範囲と比較することで計算されます。
    • ベースラインを上回る確率: 選択された指標のベースラインを特定のバリアントが上回る予想確率。
    • ユーザーあたりの observed_metric: テスト結果に基づき、時間の経過とともに指標の値が収まることが予測される範囲。
    • 合計 observed_metric: ベースラインまたはバリアントの観測累積値。この値は、各テスト バリアントがどれだけ適切に実行されているかの測定や、改善度、値の範囲、ベースラインを上回る確率、最善のバリアントである確率の計算に使用されます。測定される指標に応じて、この列には「ユーザーあたりの期間」、「ユーザーあたりの収益」、「維持率」、「コンバージョン率」と表示されます。

  3. テストを一定期間（FCM と In-App Messaging の場合は少なくとも 7 日間、Remote Config の場合は少なくとも 14 日間）実行すると、このページのデータによって、どのバリアントが「リーダー」であるかが示されます（存在する場合）。一部の測定には、データを視覚的に表現する棒グラフも表示されます。

すべてのユーザーにテストを展開する

目標指標に対する「リーダー」、つまり最良のバリアントを見つけるのに十分な期間テストを実行したら、次は全ユーザーにテストを展開します。これにより、すべてのユーザーを対象に公開するバリアントを選択できるようになります。実施したテストによって明確な候補が示されなかった場合でも、バリアントをすべてのユーザーに展開できます。

  1. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。
  2. [完了] または [実行中] をクリックしてから、すべてのユーザーに展開するテストをクリックし、コンテキスト メニュー（）、[バリアントを展開] の順にクリックします。

  3. 次のいずれかの手順に沿って、すべてのユーザーにテストを展開します。

    • Notifications Composer を使用するテストの場合は、[メッセージ送信] ダイアログを使用して、テストに参加しなかった残りのターゲット ユーザーにメッセージを送信します。
    • Remote Config テストの場合は、バリアントを選択し、更新する Remote Config パラメータ値を決定します。テストの作成時に定義するターゲティング条件は、新しい条件としてテンプレートに追加されます。これにより、展開の影響がテスト対象のユーザーにのみ及ぶようにすることができます。[Remote Config で確認] をクリックして変更を確認した後、[変更を公開] をクリックして展開を完了します。
    • In-App Messaging のテストの場合、ダイアログを使用して、スタンドアロンの In-App Messaging キャンペーンとして展開する必要があるバリアントを特定します。選択すると、FIAM 作成画面にリダイレクトされます。必要であれば、公開前に変更を行うことができます。

テストを拡大する

A/B Testing でリーダーが明確にならない理由が被験者の不足であると思われる場合は、テストの対象範囲を拡大し、アプリのユーザーベースに対する割合を増やすことができます。

  1. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。
  2. 編集する実施中のテストを選択します。
  3. [テストの概要] でコンテキスト メニュー（）をクリックし、[実行中のテストを編集] をクリックします。
  4. [ターゲット設定] ダイアログに、現在実行中のテストに参加しているユーザーの割合を増やすためのオプションが表示されます。現在の割合より大きい数を選択し、[公開] をクリックします。指定したユーザーの割合まで、テストが拡大されます。

テストを複製または停止する

  1. Firebase コンソールのナビゲーション バーの [エンゲージメント] セクションで [A/B Testing] をクリックします。
  2. [完了] または [実行中] をクリックし、テストにカーソルを合わせてコンテキスト メニュー（）をクリックしてから、[テストを複製] または [テストを停止] をクリックします。

ユーザー ターゲティング

次のユーザー ターゲティング条件を使用して、テストに含めるユーザーをターゲット設定します。

ターゲティング条件 演算子 値 メモ
バージョン 次を含む、
次を含まない、
完全に一致する、
正規表現を含む		 テストに含める 1 つ以上のアプリ バージョンの値を入力します。

[次を含む]、[次を含まない]、[完全に一致する] のいずれかの演算子を使用する場合は、カンマ区切りの値リストを指定できます。

[正規表現を含む] 演算子を使用する場合は、正規表現を RE2 形式で作成できます。正規表現は対象バージョン文字列の全部または一部に一致させることができます。また、対象文字列の先頭、末尾、または全体と一致させるために ^ と $ アンカーを使うこともできます。
ユーザー 以下をすべて含む、
以下を 1 つ以上含む、
以下をすべて含まない、
以下の少なくとも 1 つを含まない		 1 名以上のアナリティクス ユーザーを選択して、テスト対象とする可能性のあるユーザーをターゲット設定します。 Google アナリティクスのオーディエンスをターゲットとするテストの中には、アナリティクスのデータ処理においてレイテンシが発生するものがあるため、データの収集に数日かかることがあります。このレイテンシが発生する可能性が高いのは、対象オーディエンスを作成してから 24～48 時間以内に登録された新規ユーザー、または最近作成したオーディエンスです。

Remote Config の場合、技術的にオーディエンスの条件を満たしているユーザーであっても、「fetchAndActivate()」の実行時にオーディエンスに追加されていなければ、テストに含まれません。
ユーザー プロパティ テキスト:
次を含む、
次を含まない、
完全一致、
正規表現を含む

数字:
<、≤、=、≥、> 		アナリティクスのユーザー プロパティは、テスト対象とする可能性のあるユーザーを選択するために使用します。ユーザー プロパティ値の選択についてはさまざまなオプションがあります。

クライアントでは、ユーザー プロパティに関する文字列値のみを設定できます。数値演算子を使用する条件の場合、Remote Config サービスは、対応するユーザー プロパティの値を整数または浮動小数点の数値に変換します。		 [正規表現を含む] 演算子を使用する場合は、正規表現を RE2 形式で作成できます。正規表現は対象バージョン文字列の全部または一部に一致させることができます。また、対象文字列の先頭、末尾、または全体と一致させるために ^ と $ アンカーを使うこともできます。
国 / 地域 なし テスト対象とする可能性のあるユーザーを選択するための、1 つ以上の国またはリージョン。  
言語 なし テスト対象とする可能性のあるユーザーを選択するために使用する、1 つ以上の言語とロケール。
初回起動 前
後

ユーザーが最初にアプリを開いた日時に基づいてユーザーをターゲティングします。

  • 指定した将来の日時以降に初めてアプリを開いたユーザーをターゲティングするには、[新規ユーザー] を選択します。
  • 指定した日時の前または後の期間内に初めてアプリを開いたユーザーをターゲティングするには、[期間] を選択します。特定の期間内のユーザーをターゲティングするには、[前] 条件と [後] 条件を組み合わせます。

初回起動によるユーザー ターゲティングは、Android アプリまたは iOS アプリを選択した後に使用できます。現在、初回起動によるユーザー ターゲティングをサポートしている Remote Config SDK のバージョンは、Appleプラットフォーム SDK v9.0.0 以降、Android SDK v21.1.1 以降（Firebase BoM v30.3.0 以降）です。

初回起動イベント中は、クライアントでアナリティクスが有効になっていることも必要です。

A/B Testing の指標

テストを作成する際には、最も効果的なバリアントの判別に使用されるメイン指標（目標指標）を選択します。また、各テスト バリアントのパフォーマンスを詳しく把握し、各パターンで異なる重要な傾向（ユーザー維持率、アプリの安定性、アプリ内購入による収益など）を追跡できるように、他の指標も追跡する必要があります。テストでは、目標以外の指標を最大で 5 つまで追跡できます。

たとえば、Remote Config を使用してアプリ内で 2 つの異なるゲームフローをリリースしているとします。ここで、アプリ内購入と広告収入を最適化するために、各バリアントについて安定性とユーザー維持率を追跡します。このケースでは、アプリ内購入による収益と広告収益が含まれているため、目標指標として [収益の推定総額] を選択します。また、[追跡する他の指標] で、次のものを追加します。

  • 1 日および 1 週間のユーザー維持率を追跡するため、[定着（2～3 日）] と [定着（4～7 日）] を追加します。
  • 2 つのゲームフローの安定性を比較するため、[クラッシュの影響を受けていないユーザー] を追加します。
  • 収益タイプごとの詳細ビューを確認するため、[購入による収益] と [推定広告収益] を追加します。

次の表に、目標指標と他の指標の計算方法の詳細を示します。

目標指標

指標 説明
クラッシュの影響を受けていないユーザー テスト中に Firebase Crashlytics SDK によって検出されたアプリ内エラーが発生しなかったユーザーの割合。
推定広告収益 推定広告収益額
収益の推定総額 購入と広告の推定収益を合算した値。
購入による収益 すべての purchase イベントと in_app_purchase イベントを合算した値。
定着（1 日） アプリを毎日使用するユーザーの数。
定着（2～3 日） アプリの使用間隔が 2～3 日のユーザー数。
定着（4～7 日） アプリの使用間隔が 4～7 日のユーザー数。
定着（8～14 日） アプリの使用間隔が 8～14 日のユーザー数。
定着（15 日以上） アプリの使用間隔が 15 日以上のユーザー数。
first_open ユーザーがアプリをインストールまたは再インストールした後、最初にそのアプリを開くときにトリガーされるアナリティクス イベント。コンバージョン プロセスの一環として使用されます。

その他の指標

指標 説明
notification_dismiss Notifications Composer によって送信された通知が拒否されたときにトリガーされるアナリティクス イベント（Android のみ）。
notification_receive アプリがバックグラウンドで動作している場合に、Notifications Composer によって送信された通知が受信されたときにトリガーされるアナリティクス イベント（Android のみ）。
os_update デバイスのオペレーティング システムがいつ新しいバージョンに更新されるかを追跡するアナリティクス イベント。詳細は、自動的に収集されるイベントをご覧ください。
screen_view アプリ内で表示されるスクリーンを追跡するアナリティクス イベント。詳細については、スクリーン ビューの追跡をご覧ください。
session_start アプリ内のユーザー セッション数をカウントするアナリティクス イベント。詳細は、自動的に収集されるイベントをご覧ください。

BigQuery へのデータのエクスポート

BigQuery の A/B テストに関連するすべてのアナリティクス データにアクセスできます。BigQuery では、BigQuery SQL を使用してのデータ分析、別のクラウド プロバイダへのデータのエクスポート、カスタム ML モデルでのデータの使用が可能です。詳しくは、BigQuery を Firebase にリンクするをご覧ください。

BigQuery のデータ エクスポートを最大限に活用するには、Firebase プロジェクトでお支払いプランに Blaze を選択し、従量課金制を採用する必要があります。BigQuery では、データの保存、ストリーミング挿入、データのクエリは有料ですが、データの読み込みとエクスポートは無料です。詳細については、BigQuery の料金または BigQuery のサンドボックスをご覧ください。

使用を開始するには、Firebase プロジェクトが BigQuery にリンクされていることを確認してください。左側のナビゲーション バーで [設定] > [プロジェクト設定] を選択し、[統合] > [BigQuery] > [リンク] を選択します。このページには、プロジェクト内のすべてのアプリの BiqQuery アナリティクス データ エクスポートを行う場合のオプションが表示されます。

テストの分析データをクエリで取得するには:

  1. アクティブなテストのリストから目的のテストを選択して、テスト結果ページを開きます。

  2. [テストの概要] ペインの コンテキスト メニューから、[テストデータをクエリ] を選択します（無料枠のプロジェクトの場合、このオプションは使用できません）。

    BigQuery コンソールのクエリ コンポーザが開き、レビュー用にプリロードされたテストデータのクエリ例が自動的に生成され、表示されます。このクエリでは、テストがユーザー プロパティとしてエンコードされ、キーにテスト名、値にテスト バリアントが含まれます。

  3. クエリ コンポーザで [Run Query] を選択します。結果が下のペインに表示されます。

BigQuery の Firebase データは 1 日に 1 回しか更新されないため、テストページでは BigQuery コンソールで使用可能なデータよりも新しいデータが使用できる場合があります。