オンデバイス モデルとクラウドホスト モデルを使用してウェブアプリでハイブリッド エクスペリエンスを構築する

Firebase AI Logic を使用して、ハイブリッド推論を活用した AI 搭載のウェブアプリや機能を構築できます。ハイブリッド推論を使用すると、利用可能な場合はオンデバイス モデルを使用して推論を実行し、それ以外の場合はクラウドホスト型モデルにシームレスにフォールバックできます(逆も同様)。

このページでは、クライアント SDK の使用を開始する方法について説明します。この標準設定を完了したら、追加の構成オプションと機能を確認してください。

Firebase AI Logic を介したオンデバイス推論は、Firebase AI Logic SDK v12.5.0 以降を使用し、デスクトップ版 Chrome(バージョン 139 以降)で実行されているウェブアプリでサポートされています。

コードサンプルを表示する

ユースケースとサポートされている機能

アプリのユースケースに応じて、オンデバイス エクスペリエンスまたはハイブリッド エクスペリエンスのいくつかのメリットを活用できます。

  • 推論にオンデバイス モデルを使用するメリット:

    • プライバシーの強化
    • ローカル コンテキスト
    • 無料の推論
    • オフライン機能
  • ハイブリッド アプローチを使用するメリット:

    • エンドユーザーのデバイスに関係なく、同様のアプリ エクスペリエンスを提供する
    • インターネット接続、割り当て制限、デバイスの機能に関係なく、生成 AI 機能の可用性を向上させる

サポートされているオンデバイス推論機能

デバイス上の推論は、シングルターンのテキスト生成(チャットではない)(ストリーミング出力または非ストリーミング出力)のみをサポートしています。具体的には、次の機能がサポートされています。

このページの下部にある、ハイブリッド推論またはオンデバイス推論でまだサポートされていない機能のリストを確認してください。

サポートされている API とプラットフォーム

以降のセクションでは、サポートされている API、プラットフォーム、ブラウザについて説明します。

クラウド内推論とデバイス上推論でサポートされている API

  • クラウド内推論では、選択した Gemini API プロバイダ(Gemini Developer API または Agent Platform Gemini API (formerly Vertex AI))を使用します。

  • オンデバイス推論では、Chrome の Prompt API を使用します。

サポートされているプラットフォームとブラウザ

オンデバイス推論(Chrome の Prompt API を使用)の場合、アプリのエンドユーザーはデスクトップ版 Chrome(バージョン 139 以降)を実行している必要があります。詳しくは、Chrome のドキュメントをご覧ください。

localhost で始める

これらのスタートガイドの手順では、送信するサポートされているプロンプト リクエストに必要な一般的な設定について説明します。

localhost での API の使用について詳しくは、Chrome のドキュメントをご覧ください。

ステップ 1: オンデバイス推論用に Chrome と Prompt API を設定する

  1. 最新バージョンの Chrome を使用していることを確認します。chrome://settings/help で更新します。
    オンデバイス推論は、Chrome v139 以降で利用できます。

  2. 次のフラグを [有効] に設定して、オンデバイス マルチモーダル モデルを有効にします。

    • chrome://flags/#prompt-api-for-gemini-nano-multimodal-input
  3. Chrome を再起動します。

  4. (省略可)最初のリクエストの前に、オンデバイス モデルをダウンロードします。

    Prompt API は Chrome に組み込まれていますが、オンデバイス モデルはデフォルトでは使用できません。オンデバイス推論の最初のリクエストの前にモデルをダウンロードしていない場合、リクエストはバックグラウンドでモデルのダウンロードを自動的に開始します。

ステップ 2: Firebase プロジェクトを設定し、アプリを Firebase に接続する

  1. Firebase コンソールにログインし、Firebase プロジェクトを選択します。

  2. Firebase コンソールで、[AI サービス] > [AI Logic] に移動します。

  3. [開始] をクリックして、プロジェクトの必要な API とリソースの設定に役立つガイド付きワークフローを起動します。

  4. プロンプトが表示されたら、画面上の手順に沿ってアプリを登録し、Firebase 構成をアプリに追加します。

  5. 「Gemini API プロバイダ」の選択を求められた場合は、Gemini Developer API を選択することをおすすめします。この API を使用すると、費用をかけずにすぐに利用を開始できます。

    後でいつでも、Agent Platform Gemini API (formerly Vertex AI) を設定できます(課金の要件も設定できます)。

  6. ワークフローを続行して、Firebase AI Logic に必要な API と関連サービスを設定します。

    ワークフローのこのステージでは、AI Logic の Firebase App Check が自動的に適用されます。これは、アプリから直接アクセスされたときに Gemini API を保護するのに役立つ重要なサービスです。App Check が適用されると、開始手順の一環として(このガイドの後半の手順を参照)、ローカル開発用に App Check デバッグ プロバイダを構成する必要があります。

  7. このガイドの次のステップに進み、必要な SDK をアプリに追加します。

ステップ 3: SDK を追加する

Firebase ライブラリを使用すると、生成モデルを操作するための API にアクセスできます。このライブラリは、ウェブ用の Firebase JavaScript SDK の一部として含まれています。

  1. npm を使用して、ウェブ用の Firebase JS SDK をインストールします。

    npm install firebase
    
  2. アプリで Firebase を初期化します。

    import { initializeApp } from "firebase/app";
    import { initializeAppCheck } from "firebase/app-check";
    
    // TODO(developer) Replace the following with your app's Firebase configuration
    // See: https://firebase.google.com/docs/web/learn-more#config-object
    const firebaseConfig = {
      // ...
    };
    
    // Initialize FirebaseApp
    const firebaseApp = initializeApp(firebaseConfig);
    

ステップ 4: ローカル開発用に App Check デバッグ プロバイダを構成する

コンソールの AI Logic のガイド付き設定ワークフローの一環として、Firebase App Check が自動的に適用され、Gemini API が保護されます。ローカル開発では、App Check の適用を維持しながら、App Check デバッグ プロバイダを構成して、証明書をバイパスする必要があります。

localhost からアプリをインタラクティブに実行しているとき(ローカル開発中など)にデバッグ プロバイダを使用する方法は次のとおりです。

  1. App Check を初期化する前に、デバッグビルドで self.FIREBASE_APPCHECK_DEBUG_TOKEN を true に設定して、デバッグモードを有効にします。例:

    self.FIREBASE_APPCHECK_DEBUG_TOKEN = true;
    initializeAppCheck(firebaseApp, { /* App Check options */ });
    
  2. ウェブアプリをローカルで表示し、ブラウザのデベロッパー ツールを開きます。デバッグ コンソールに、デバッグ トークンが表示されます。

    AppCheck debug token: "123a4567-b89c-12d3-e456-789012345678".
    You will need to safelist it in the Firebase console for it to work.
    
  3. デバッグ トークンを App Check に登録します。

    1. Firebase コンソールで、[セキュリティ] > [App Check] > [アプリ] タブに移動します。

    2. アプリを見つけて、オーバーフロー メニュー()をクリックし、[デバッグ トークンを管理] を選択します。

    3. 画面上の手順に沿ってデバッグ トークンを登録します。

デバッグ プロバイダの詳細(新しいデバッグ トークンを取得する方法など)については、App Check の公式ドキュメントをご覧ください。

ステップ 5: サービスを初期化してモデル インスタンスを作成する

Gemini API プロバイダをクリックして、このページでプロバイダ固有のコンテンツとコードを表示します。

モデルにプロンプト リクエストを送信する前に、次の設定を行います。

  1. 選択した API プロバイダのサービスを初期化します。

  2. GenerativeModel インスタンスを作成します。mode は次のいずれかに設定してください。

    • PREFER_ON_DEVICE: オンデバイス モデルが利用可能な場合はそれを使用し、利用できない場合はクラウドホスト型モデルにフォールバックします。

    • ONLY_ON_DEVICE: オンデバイス モデルが利用可能な場合はそれを使用し、利用できない場合は例外をスローします。

    • PREFER_IN_CLOUD: クラウドホスト型モデルが利用可能な場合はそれを使用し、利用できない場合はオンデバイス モデルにフォールバックします。

    • ONLY_IN_CLOUD: クラウドホスト型モデルが利用可能な場合はそれを使用し、利用できない場合は例外をスローします。

import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

ステップ 6: オンデバイス モデルを初期化する

initializeDeviceModel() は、エンドユーザーのページ操作(ボタンのクリックなど)後または操作時、かつモデルにプロンプト リクエストを送信する前に呼び出す必要があります。ユーザー アクティベーションの要件について詳しくは、Chrome のドキュメントをご覧ください。

import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

// `initializeDeviceModel` must be called:
// (1) after or on an end-user page interaction such as a button click
// and
// (2) before any queries to the model (such as `generateContent()`)
// You may want to `await` this promise if using `ONLY_ON_DEVICE` (see note below).
model.initializeDeviceModel((val) =>
  // Example: "Download progress: 72.62%""
  console.log(`Download progress: ${Math.round(val*10000) / 100}%`)
);

ステップ 7: モデルにプロンプト リクエストを送信する

このセクションでは、さまざまな種類の入力を送信して、次のようなさまざまな種類の出力を生成する方法について説明します。

構造化出力(JSON や列挙型など)を生成する場合は、次の「生成されたテキスト」の例のいずれかを使用し、さらに指定されたスキーマに従ってレスポンスを返すようにモデルを構成します。

テキストのみの入力からテキストを生成する

このサンプルを試す前に、このガイドのスタートガイドのセクションを完了していることを確認してください。

generateContent() を使用すると、テキストを含むプロンプトからテキストを生成できます。

// Imports + initialization of FirebaseApp and backend service + creation of model instance

// Wrap in an async function so you can use await
async function run() {
  // Provide a prompt that contains text
  const prompt = "Write a story about a magic backpack."

  // To generate text output, call `generateContent` with the text input
  const result = await model.generateContent(prompt);

  const response = result.response;
  const text = response.text();
  console.log(text);
}

run();

Firebase AI Logic は、generateContent ではなく generateContentStream を使用したテキスト レスポンスのストリーミングもサポートしています。

テキストと画像の(マルチモーダル)入力からテキストを生成する

このサンプルを試す前に、このガイドのスタートガイドのセクションを完了していることを確認してください。

generateContent() を使用すると、テキスト ファイルと画像ファイルを含むプロンプトから生成されたテキストを生成できます。各入力ファイルの mimeType とファイル自体を指定します。

オンデバイス推論でサポートされている入力画像タイプは、PNG と JPEG です。

// Imports + initialization of FirebaseApp and backend service + creation of model instance

// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
  const base64EncodedDataPromise = new Promise((resolve) => {
    const reader = new FileReader();
    reader.onloadend = () => resolve(reader.result.split(',')[1]);
    reader.readAsDataURL(file);
  });
  return {
    type: "inlineData",
    inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
  };
}

async function run() {
  // Provide a text prompt to include with the image
  const prompt = "Write a poem about this picture:";

  const fileInputEl = document.querySelector("input[type=file]");
  const imagePart = await fileToGenerativePart(fileInputEl.files[0]);

  // To generate text output, call `generateContent` with the text and image
  const result = await model.generateContent([prompt, imagePart]);

  const response = result.response;
  const text = response.text();
  console.log(text);
}

run();

Firebase AI Logic は、generateContent ではなく generateContentStream を使用したテキスト レスポンスのストリーミングもサポートしています。

Google アシスタントの機能

ハイブリッド エクスペリエンスには、さまざまな追加の構成オプションと機能を使用できます。

まだサポートされていない機能

Web SDK またはクラウドホスト型モデルのすべての機能が、ハイブリッド推論またはオンデバイス推論で使用できるわけではありません。

ハイブリッド実装でまだサポートされていない機能

次の機能は、ハイブリッド実装(オンデバイスでもクラウド フォールバック経由でも)では使用できません。

  • Gemini Live API: 双方向のリアルタイム ストリーミングはサポートされていません。

  • サーバー プロンプト テンプレート: マネージド サーバー プロンプト テンプレートはサポートされていません。

  • トークンをカウントする: トークンのカウントは、クラウドホスト型モデルとオンデバイス モデルで異なるため、カウントに依存しないでください。直感的なフォールバックはありません。

オンデバイス推論でまだサポートされていない機能

次の機能はオンデバイス推論ではまだサポートされていませんが、クラウドホスト型モデルでは利用できます。

  • Gemini Nano Banana モデルを使用して画像を生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。
  • JPEG と PNG 以外の画像ファイル入力タイプからテキストを生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。
  • 音声、動画、ドキュメント(PDF)のマルチモーダル入力からテキストを生成する

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。
  • マルチモーダル リクエストで URL を使用してファイルを提供する。オンデバイス モデルにインライン データとしてファイルを指定する必要があります。

  • マルチターン チャット

    • クラウドホスト型モデルにフォールバックできますが、ONLY_ON_DEVICE モードではエラーがスローされます。
  • レスポンスの生成に役立つツールをモデルに提供する(関数呼び出し、コード実行、URL コンテキスト、Google Search によるグラウンディング、Google Maps によるグラウンディングなど)

  • Firebase コンソールの AI モニタリングには、オンデバイス推論(オンデバイス ログを含む)のデータは表示されません。ただし、クラウドでホストされているモデルを使用する推論は、Firebase AI Logic を介して他の推論と同様にモニタリングできます。

その他の制限

上記に加えて、オンデバイス推論には次の制限があります。

  • アプリのエンドユーザーは、必要なフラグを有効にしたパソコン版 Chrome(バージョン 139 以降)を実行している必要があります。

  • オンデバイス モデルでは、最初のモデルのダウンロードに、ユーザーのデバイスに十分なストレージ容量が必要です。


Firebase AI Logic の使用感に関するフィードバックを送信する