オンデバイス モデルとクラウドホスト モデルを使用してウェブアプリでハイブリッド エクスペリエンスを構築する

Firebase AI Logic を使用したハイブリッド推論により、AI を活用したウェブアプリや機能を構築します。ハイブリッド推論を使用すると、利用可能な場合はオンデバイス モデルを使用して推論を実行し、利用できない場合はクラウドホスト型モデルにシームレスにフォールバックできます（逆も同様）。

このページでは、クライアント SDK の使用を開始する方法について説明します。この標準設定を完了したら、追加の構成オプションと機能（構造化出力など）を確認してください。

オンデバイス推論は、パソコンの Chrome で実行されるウェブアプリでサポートされています。

コードサンプルに移動

推奨されるユースケースとサポートされている機能

推奨されるユースケース:

  • 推論にオンデバイス モデルを使用すると、次のメリットがあります。

    • プライバシーの強化
    • ローカル コンテキスト
    • 無料の推論
    • オフライン機能

  • ハイブリッド機能を使用すると、次のことが可能になります。

    • オンデバイス モデルの可用性やインターネット接続に関係なく、オーディエンスの 100% にリーチ

オンデバイス推論でサポートされている機能:

デバイス上の推論は、ストリーミング出力または非ストリーミング出力を使用したシングルターン テキスト生成（チャットではない）のみをサポートしています。次のテキスト生成機能をサポートしています。

JSON や列挙型などの構造化出力を生成することもできます。

始める前に

次の点に注目してください。

  • オンデバイス モデルを使用した推論では、Chrome の Prompt API が使用されます。一方、クラウドホスト型モデルを使用した推論では、選択した Gemini API プロバイダ（Gemini Developer API または Agent Platform Gemini API (formerly Vertex AI)）が使用されます。

  • このページでは、localhost を使用して開発を開始する方法について説明します（Chrome のドキュメントで localhost で API を使用する方法の詳細をご覧ください）。

    この標準設定を完了したら、追加の構成オプションと機能（構造化出力など）を確認してください。

localhost で始める

これらのスタートガイドの手順では、送信するサポートされているプロンプト リクエストに必要な一般的な設定について説明します。

ステップ 1: オンデバイス推論用に Chrome と Prompt API を設定する

  1. 最新バージョンの Chrome を使用していることを確認します。chrome://settings/help で更新します。
    オンデバイス推論は、Chrome v139 以降で利用できます。

  2. 次のフラグを [有効] に設定して、オンデバイス マルチモーダル モデルを有効にします。

    • chrome://flags/#prompt-api-for-gemini-nano-multimodal-input

  3. Chrome を再起動します。

  4. （省略可）最初のリクエストの前に、オンデバイス モデルをダウンロードします。

    Prompt API は Chrome に組み込まれていますが、オンデバイス モデルはデフォルトでは使用できません。オンデバイス推論の最初のリクエストの前にモデルをダウンロードしていない場合、リクエストはバックグラウンドでモデルのダウンロードを自動的に開始します。

ステップ 2: Firebase プロジェクトを設定し、アプリを Firebase に接続する

  1. Firebase コンソールにログインし、Firebase プロジェクトを選択します。

  2. Firebase コンソールで、[AI サービス] > [AI Logic] に移動します。

  3. [開始] をクリックして、プロジェクトの必要な API とリソースの設定に役立つガイド付きワークフローを起動します。

  4. プロンプトが表示されたら、画面上の手順に沿ってアプリを登録し、Firebase 構成をアプリに追加します。

  5. 「Gemini API プロバイダ」を選択するよう求められたら、Gemini Developer API を選択することをおすすめします。これにより、費用をかけずにすぐに利用を開始できます。

    後でいつでも、Agent Platform Gemini API (formerly Vertex AI) を設定できます（課金の要件も設定できます）。

  6. ワークフローを続行して、Firebase AI Logic に必要な API と関連サービスを設定します。

    ワークフローのこのステージでは、AI Logic の Firebase App Check が自動的に適用されます。これは、アプリから Gemini API に直接アクセスする際に Gemini API を保護する重要なサービスです。App Check が適用されると、開始手順の一環として（このガイドの後の手順を参照）、ローカル開発用に App Check デバッグ プロバイダを構成する必要があります。

  7. このガイドの次のステップに進み、必要な SDK をアプリに追加します。

ステップ 3: SDK を追加する

Firebase ライブラリを使用すると、生成モデルを操作するための API にアクセスできます。このライブラリは、ウェブ用の Firebase JavaScript SDK の一部として含まれています。

  1. npm を使用して、ウェブ用の Firebase JS SDK をインストールします。

    npm install firebase

  2. アプリで Firebase を初期化します。

    import { initializeApp } from "firebase/app";
import { initializeAppCheck } from "firebase/app-check";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

ステップ 4: ローカル開発用に App Check デバッグ プロバイダを構成する

コンソールの AI Logic のガイド付き設定ワークフローの一環として、Firebase App Check が自動的に適用され、Gemini API が保護されます。ローカル開発では、App Check の適用を維持しながら、App Check デバッグ プロバイダを構成して、証明書をバイパスする必要があります。

localhost からアプリをインタラクティブに実行しているとき（ローカル開発中など）にデバッグ プロバイダを使用する方法は次のとおりです。

  1. App Check を初期化する前に、デバッグビルドで self.FIREBASE_APPCHECK_DEBUG_TOKEN を true に設定して、デバッグモードを有効にします。例:

    self.FIREBASE_APPCHECK_DEBUG_TOKEN = true;
initializeAppCheck(firebaseApp, { /* App Check options */ });

  2. ウェブアプリをローカルで表示し、ブラウザのデベロッパー ツールを開きます。デバッグ コンソールに、デバッグ トークンが表示されます。

    AppCheck debug token: "123a4567-b89c-12d3-e456-789012345678".
You will need to safelist it in the Firebase console for it to work.

  3. デバッグ トークンを App Check に登録します。

    1. Firebase コンソールで、[セキュリティ] > [App Check] > [アプリ] タブに移動します。

    2. アプリを見つけて、オーバーフロー メニュー（）をクリックし、[デバッグ トークンを管理] を選択します。

    3. 画面上の手順に沿ってデバッグ トークンを登録します。

デバッグ プロバイダの詳細（新しいデバッグ トークンを取得する方法など）については、App Check の公式ドキュメントをご覧ください。

ステップ 5: サービスを初期化してモデル インスタンスを作成する

Gemini API プロバイダをクリックして、このページでプロバイダ固有のコンテンツとコードを表示します。

モデルにプロンプト リクエストを送信する前に、次の設定を行います。

  1. 選択した API プロバイダのサービスを初期化します。

  2. GenerativeModel インスタンスを作成します。mode は次のいずれかに設定してください。

    • PREFER_ON_DEVICE: オンデバイス モデルが利用可能な場合はそれを使用し、利用できない場合はクラウドホスト型モデルにフォールバックします。

    • ONLY_ON_DEVICE: オンデバイス モデルが利用可能な場合はそれを使用し、利用できない場合は例外をスローします。

    • PREFER_IN_CLOUD: クラウドホスト型モデルが利用可能な場合はそれを使用し、利用できない場合はオンデバイス モデルにフォールバックします。

    • ONLY_IN_CLOUD: クラウドホスト型モデルが利用可能な場合はそれを使用し、利用できない場合は例外をスローします。

import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

ステップ 6: オンデバイス モデルを初期化する

initializeDeviceModel() は、エンドユーザーのページ操作（ボタンのクリックなど）後または操作時、かつモデルにプロンプト リクエストを送信する前に呼び出す必要があります。ユーザー アクティベーションの要件について詳しくは、Chrome のドキュメントをご覧ください。

import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

// `initializeDeviceModel` must be called:
// (1) after or on an end-user page interaction such as a button click
// and
// (2) before any queries to the model (such as `generateContent()`)
// You may want to `await` this promise if using `ONLY_ON_DEVICE` (see note below).
model.initializeDeviceModel((val) =>
  // Example: "Download progress: 72.62%""
  console.log(`Download progress: ${Math.round(val*10000) / 100}%`)
);

ステップ 7: モデルにプロンプト リクエストを送信する

このセクションでは、さまざまな種類の入力を送信して、次のようなさまざまな種類の出力を生成する方法について説明します。

構造化出力（JSON や列挙型など）を生成する場合は、次の「生成されたテキスト」の例のいずれかを使用し、さらに指定されたスキーマに従ってレスポンスを返すようにモデルを構成します。

テキストのみの入力からテキストを生成する

このサンプルを試す前に、このガイドのスタートガイドのセクションを完了していることを確認してください。

generateContent() を使用すると、テキストを含むプロンプトからテキストを生成できます。

// Imports + initialization of FirebaseApp and backend service + creation of model instance

// Wrap in an async function so you can use await
async function run() {
  // Provide a prompt that contains text
  const prompt = "Write a story about a magic backpack."

  // To generate text output, call `generateContent` with the text input
  const result = await model.generateContent(prompt);

  const response = result.response;
  const text = response.text();
  console.log(text);
}

run();

Firebase AI Logic は、generateContent ではなく generateContentStream を使用したテキスト レスポンスのストリーミングもサポートしています。

テキストと画像の（マルチモーダル）入力からテキストを生成する

このサンプルを試す前に、このガイドのスタートガイドのセクションを完了していることを確認してください。

generateContent() を使用すると、テキスト ファイルと画像ファイルを含むプロンプトから生成されたテキストを生成できます。各入力ファイルの mimeType とファイル自体を指定します。

オンデバイス推論でサポートされている入力画像タイプは、PNG と JPEG です。

// Imports + initialization of FirebaseApp and backend service + creation of model instance

// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
  const base64EncodedDataPromise = new Promise((resolve) => {
    const reader = new FileReader();
    reader.onloadend = () => resolve(reader.result.split(',')[1]);
    reader.readAsDataURL(file);
  });
  return {
    type: "inlineData",
    inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
  };
}

async function run() {
  // Provide a text prompt to include with the image
  const prompt = "Write a poem about this picture:";

  const fileInputEl = document.querySelector("input[type=file]");
  const imagePart = await fileToGenerativePart(fileInputEl.files[0]);

  // To generate text output, call `generateContent` with the text and image
  const result = await model.generateContent([prompt, imagePart]);

  const response = result.response;
  const text = response.text();
  console.log(text);
}

run();

Firebase AI Logic は、generateContent ではなく generateContentStream を使用したテキスト レスポンスのストリーミングもサポートしています。

Google アシスタントの機能

ハイブリッド エクスペリエンスには、さまざまな追加の構成オプションと機能を使用できます。

オンデバイス推論でまだ利用できない機能

Web SDK のすべての機能がオンデバイス推論で使用できるわけではありません。次の機能は、オンデバイス推論ではまだサポートされていません（ただし、通常はクラウドベースの推論で使用できます）。

  • JPEG と PNG 以外の画像ファイル入力タイプからテキストを生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。

  • 音声、動画、ドキュメント（PDF など）の入力からテキストを生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。

  • Gemini Nano Banana モデルを使用して画像を生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。

  • マルチモーダル リクエストで URL を使用してファイルを提供する。オンデバイス モデルにインライン データとしてファイルを指定する必要があります。

  • マルチターン チャット

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。

  • Gemini Live API を使用した双方向ストリーミング

  • レスポンスの生成に役立つツールをモデルに提供する（関数呼び出し、コード実行、URL コンテキスト、Google Search によるグラウンディング、Google Maps によるグラウンディングなど）

  • トークンのカウント

    • 常にエラーをスローします。カウントはクラウドホスト型モデルとオンデバイス モデルで異なるため、直感的なフォールバックはありません。

  • Firebase コンソールでのオンデバイス推論の AI モニタリング。

    • クラウドホスト型モデルを使用した推論は、ウェブ用 Firebase AI Logic クライアント SDK を使用した他の推論と同様にモニタリングできます。


Firebase AI Logic の使用感に関するフィードバックを送信する