Vertex AI in Firebase SDK を使用してアプリから Gemini API を呼び出すときに、マルチモーダル入力に基づいてテキストを生成するように Gemini モデルにプロンプトを出すことができます。マルチモーダル プロンプトには、テキスト、画像、PDF、動画、音声など、複数のモダリティ（または入力タイプ）を含めることができます。
マルチモーダル プロンプトのテストと反復処理には、Vertex AI Studio を使用することをおすすめします。
始める前に
まだ行っていない場合は、Vertex AI in Firebase SDK のスタートガイドを完了してください。以下の手順をすべて完了していることを確認します。
Blaze お支払いプランの使用や必要な API の有効化など、新規または既存の Firebase プロジェクトを設定します。
アプリを Firebase に接続します。アプリの登録や Firebase 構成のアプリへの追加などを行います。
SDK を追加し、アプリで Vertex AI サービスと生成モデルを初期化します。
アプリを Firebase に接続し、SDK を追加して、Vertex AI サービスと生成モデルを初期化したら、Gemini API を呼び出す準備が整います。
テキストと 1 つの画像からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと単一のファイル（この例の画像など）の両方を含むマルチモーダル プロンプトで呼び出すことができます。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
サポートされているファイルには、画像、PDF、動画、音声などがあります。入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングする（generateContentStream）か、結果全体が生成されるまでレスポンスを待機する（generateContent）かを選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングするのではなく、結果全体が返されるのを待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと複数の画像からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと複数のファイル（この例の画像など）の両方を含むマルチモーダル プロンプトで呼び出すことができます。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
サポートされているファイルには、画像、PDF、動画、音声などがあります。入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングする（generateContentStream）か、結果全体が生成されるまでレスポンスを待機する（generateContent）かを選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
ストリーミングする代わりに、結果全体が返されるまで待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと動画からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと 1 つの動画の両方を含むマルチモーダル プロンプトを使用して呼び出すことができます（この例を参照）。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングする（generateContentStream）か、結果全体が生成されるまでレスポンスを待機する（generateContent）かを選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングするのではなく、結果全体が返されるのを待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
入力ファイルの要件と推奨事項
サポートされているファイル形式、MIME タイプの指定方法、ファイルとマルチモーダル リクエストが要件を満たしていることを確認する方法、ベスト プラクティスに従う方法については、Vertex AI Gemini API でサポートされている入力ファイルと要件をご覧ください。
Google アシスタントの機能
- 長いプロンプトをモデルに送信する前に、トークンをカウントする方法を学びます。
- Cloud Storage URL を使用してマルチモーダル リクエストに大きなファイルを含められるように、Cloud Storage for Firebase を設定します。ファイルには、画像、PDF、動画、音声を含めることができます。
- 不正なクライアントによる Gemini API の不正使用から保護するために Firebase App Check を設定するなど、本番環境の準備を検討します。
Gemini API の他の機能を試す
- マルチターンの会話（チャット）を構築します。
- テキストのみのプロンプトからテキストを生成する。
- テキストとマルチモーダル プロンプトの両方から構造化出力（JSON など）を生成します。
- 関数呼び出しを使用して、生成モデルを外部システムと情報に接続します。
コンテンツ生成を制御する方法
- プロンプトの設計を理解する。ベスト プラクティス、戦略、プロンプトの例などをご覧ください。
- 温度や最大出力トークンなどのモデル パラメータを構成します。
- 安全性設定を使用すると、有害と見なされる可能性のある回答が生成される可能性を調整できます。
Gemini モデルの詳細
さまざまなユースケースで使用可能なモデルと、その割り当てと料金について学びます。Vertex AI in Firebase の使用感に関するフィードバックを送信する