Vertex AI in Firebase SDK を使用してアプリから Gemini API を呼び出すと、マルチモーダル入力に基づいてテキストを生成するように Gemini モデルにプロンプトを出すことができます。マルチモーダル プロンプトには、テキスト、画像、PDF、動画、音声など、複数のモダリティ（または入力タイプ）を含めることができます。
入力のテキスト以外の部分（メディア ファイルなど）については、必要に応じて Cloud Storage for Firebase を使用してリクエストにファイルを含めることができます。この機能について知っておくべきことは次のとおりです。
Cloud Storage for Firebase は、任意のマルチモーダル リクエスト（テキスト生成とチャットの両方など）で使用できます。このガイドの例では、基本的なテキストと画像の入力を示しています。
ファイルの MIME タイプと Cloud Storage for Firebase URL（常に
gs://で始まる）をリクエスト入力で指定します。これらの値は、Cloud Storage バケットにアップロードされたファイルに自動的に割り当てられるメタデータです。サポートされているファイル形式と URL を使用する必要があります。
このソリューション ガイドでは、Cloud Storage for Firebase を設定し、アプリから Cloud Storage for Firebase バケットにファイルをアップロードし、Gemini API へのマルチモーダル リクエストにファイルの MIME タイプと Cloud Storage for Firebase URL を含める方法について説明します。
コードサンプルを確認するには、または、Cloud Storage for Firebase をすでに設定していて、マルチモーダル リクエストで使用できる状態ですか？
アプリで Cloud Storage for Firebase を使用する理由
Cloud Storage for Firebase は、Google Cloud Storage と同じ高速で安全かつスケーラブルなインフラストラクチャを使用して blob とファイルを保存します。また、そのクライアント SDK は、モバイルアプリとウェブアプリ用に特別に構築されています。
Vertex AI in Firebase SDK の場合、リクエストの最大サイズは 20 MB です。リクエストが大きすぎると、HTTP 413 エラーが発生します。ファイルのサイズが原因でリクエストの合計サイズが 20 MB を超える場合は、Cloud Storage for Firebase URL を使用してマルチモーダル リクエストにファイルを含めます。ただし、ファイルが小さい場合は、多くの場合、そのファイルをインライン データとして直接渡すことができます（ただし、インライン データとして提供されたファイルは転送中に Base64 にエンコードされるため、リクエストのサイズが大きくなります）。
Cloud Storage for Firebase を使用するメリットは次のとおりです。
エンドユーザーがアプリから Cloud Storage for Firebase バケットに画像を直接アップロードできるようにし、ファイルの MIME タイプと Cloud Storage for Firebase URL（ファイルの識別子）を指定するだけで、それらの画像をマルチモーダル プロンプトに含めることができます。
エンドユーザーが画像を提供する必要が生じた場合、特にネットワークの品質が低い場合や不安定な場合は、エンドユーザーの時間を節約し、帯域幅を削減できます。
- ファイルのアップロードまたはダウンロードが中断された場合、Cloud Storage for Firebase SDK は中断したところからオペレーションを自動的に再開します。
- アップロードした同じファイルを複数回使用できます。エンドユーザーは、アプリで必要なたびに（新しいマルチモーダル リクエストの場合など）同じファイルをアップロードする必要はありません。
Firebase Security Rules を使用して、Cloud Storage for Firebase に保存されているファイルへのエンドユーザーのアクセスを制限できます。これにより、許可されたユーザーのみがファイルをアップロード、ダウンロード、削除できるようになります。
バケット内のファイルには、Firebase または Google Cloud からアクセスできます。これにより、Google Cloud Storage API を使用して、画像のフィルタリングや動画のコード変換などのサーバーサイド処理を柔軟に行うことができます。
サポートされているファイルと URL の種類
Vertex AI in Firebase SDK で Cloud Storage for Firebase URL を使用する場合のファイルと URL の要件は次のとおりです。
Vertex AI in Firebase SDK を使用する場合は、ファイルがマルチモーダル リクエストの入力ファイルの要件を満たしている必要があります。これには、MIME タイプやファイルサイズなどの要件が含まれます。
ファイルは Cloud Storage for Firebase バケットに保存する必要があります（つまり、バケットに Firebase Security Rules などの Firebase サービスがアクセスできる必要があります）。Firebase コンソールでバケットを表示できる場合は、Cloud Storage for Firebase バケットです。
Cloud Storage for Firebase バケットは、アプリを登録した Firebase プロジェクトと同じである必要があります。
ファイルの Cloud Storage for Firebase URL は
gs://で始まる必要があります。これは、すべての Google Cloud Storage URL が作成される方法です。ファイルの URL は「ブラウザ」の URL（インターネットで見つかった画像の URL など）にすることはできません。
また、バケットの Firebase Security Rules で、ファイルへの適切なアクセスを許可する必要があります。例:
公開ルールがある場合、すべてのユーザーまたはクライアントがファイルにアクセスし、Vertex AI in Firebase SDK を使用して呼び出しで URL を指定できます。このようなタイプのルールは、開始時と初期のプロトタイピング中にのみ使用してください（ファイルが実際に一般公開されるファイルである場合を除きます）。
堅牢なルール （強く推奨）がある場合、Firebase は、ログインしたユーザーまたはクライアントがファイルに十分なアクセス権を持っていることを確認してから、指定された URL で呼び出しを許可します。
Vertex AI in Firebase で Cloud Storage for Firebase URL を使用する
ステップ 1: Cloud Storage for Firebase を設定する
必要な大まかなタスクは次のとおりです。
Firebase プロジェクトに Cloud Storage for Firebase バケットを作成します。
このバケットに Firebase Security Rules を適用します。Firebase Security Rules は、承認されたエンドユーザーへのアクセスを制限することで、ファイルを保護します。
Cloud Storage for Firebase のクライアント ライブラリをアプリに追加します。
このタスクはスキップできますが、その場合はマルチモーダル リクエストに MIME タイプと Cloud Storage for Firebase URL 値を明示的に含める必要があります。常に
ステップ 2: バケットにファイルをアップロードする
ファイルをバケットにアップロードすると、Cloud Storage は次の 2 つの情報を自動的にファイルに適用します。これらの値は、マルチモーダル リクエストに含める必要があります（このガイドの次のステップを参照）。
MIME タイプ: ファイルのメディアタイプ（
image/pngなど）。Cloud Storage for Firebase は、アップロード時に MIME タイプを自動的に検出し、そのメタデータをバケット内のオブジェクトに適用します。ただし、必要に応じてアップロード時に MIME タイプを指定できます。Cloud Storage for Firebase URL: ファイルの一意の識別子。先頭は
gs://でなければなりません。
ステップ 3: マルチモーダル リクエストにファイルの MIME タイプと URL を含める
ファイルを Cloud Storage for Firebase バケットに保存したら、その MIME タイプと Cloud Storage for Firebase URL をマルチモーダル リクエストに含めることができます。これらの例ではストリーミング以外の generateContent リクエストを示していますが、ストリーミングとチャットで Cloud Storage for Firebase URL を使用することもできます。
リクエストにファイルを含めるには、次のいずれかのオプションを使用します。
オプション 1: ストレージ リファレンスを使用して MIME タイプと URL を含める
オプション 2: MIME タイプと URL を明示的に含める
オプション 1: Storage 参照を使用して MIME タイプと URL を含める
ファイルをバケットにアップロードしたばかりで、そのファイルを（Storage 参照を介して）マルチモーダル リクエストにすぐに含める場合は、このオプションを使用します。この呼び出しには、MIME タイプと Cloud Storage for Firebase URL の両方が必要です。
オプション 2: MIME タイプと URL を明示的に含める
MIME タイプと Cloud Storage for Firebase URL の値がわかっていて、それらをマルチモーダル リクエストに明示的に含める場合は、このオプションを使用します。この呼び出しには、MIME タイプと URL の両方が必要です。