Vertex AI in Firebase SDK を使用してアプリから Gemini API を呼び出すと、マルチモーダル入力に基づいてテキストを生成するように Gemini モデルにプロンプトを出すことができます。マルチモーダル プロンプトには、テキスト、画像、PDF、動画、音声など、複数のモダリティ（または入力タイプ）を含めることができます。
マルチモーダル プロンプトのテストと反復処理には、Vertex AI Studio を使用することをおすすめします。
始める前に
まだ行っていない場合は、Vertex AI in Firebase SDK のスタートガイドの手順を完了してください。以下の手順をすべて完了していることを確認します。
Blaze お支払いプランの使用や必要な API の有効化など、新規または既存の Firebase プロジェクトを設定します。
アプリを Firebase に接続して、アプリの登録や Firebase 構成のアプリへの追加などを行います。
SDK を追加し、アプリで Vertex AI サービスと生成モデルを初期化します。
アプリを Firebase に接続し、SDK を追加して、Vertex AI サービスと生成モデルを初期化したら、Gemini API を呼び出す準備が整います。
テキストと 1 つの画像からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと単一のファイル（この例の画像など）の両方を含むマルチモーダル プロンプトで呼び出すことができます。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
サポートされているファイルには、画像、PDF、動画、音声などがあります。入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングするか（generateContentStream）、結果全体が生成されるまでレスポンスを待つか（generateContent）を選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングするのではなく、結果全体が返されるのを待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと複数の画像からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと複数のファイル（この例の画像など）の両方を含むマルチモーダル プロンプトで呼び出すことができます。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
サポートされているファイルには、画像、PDF、動画、音声などがあります。入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングするか（generateContentStream）、結果全体が生成されるまでレスポンスを待つか（generateContent）を選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
ストリーミングする代わりに、結果全体が返されるまで待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
テキストと動画からテキストを生成する
このサンプルを試す前に、このガイドの始める前にセクションを完了してください。
Gemini API は、テキストと 1 つの動画の両方を含むマルチモーダル プロンプトを使用して呼び出すことができます（この例を参照）。これらの呼び出しでは、マルチモーダル プロンプトをサポートするモデル（Gemini 1.5 Pro など）を使用する必要があります。
入力ファイルの要件と推奨事項を確認してください。
レスポンスをストリーミングするか（generateContentStream）、結果全体が生成されるまでレスポンスを待つか（generateContent）を選択します。
ストリーミング
モデル生成の結果全体を待たずに、ストリーミングを使用して部分的な結果を処理することで、インタラクションを高速化できます。
ストリーミングなし
または、ストリーミングするのではなく、結果全体が返されるのを待つこともできます。結果は、モデルが生成プロセス全体を完了した後にのみ返されます。
ユースケースとアプリに適した Gemini モデルと、必要に応じてロケーションを選択する方法を学びます。
入力ファイルの要件と推奨事項
以下については、Vertex AI Gemini API のサポートされている入力ファイルと要件をご覧ください。
- リクエストでファイルを提供するさまざまな方法
- サポートされているファイル形式
- サポートされている MIME タイプとその指定方法
- ファイルとマルチモーダル リクエストの要件とベスト プラクティス
Google アシスタントの機能
- 長いプロンプトをモデルに送信する前に、トークンをカウントする方法を学びます。
- Cloud Storage for Firebase を設定して、マルチモーダル リクエストに大きなファイルを含め、プロンプトでファイルを提供するより管理されたソリューションを利用できるようにします。ファイルには、画像、PDF、動画、音声を含めることができます。
- 本番環境の準備を開始します。たとえば、Gemini API を不正なクライアントによる不正使用から保護するために Firebase App Check を設定するなどです。
Gemini API のその他の機能を試す
- マルチターンの会話（チャット）を構築します。
- テキストのみのプロンプトからテキストを生成する。
- テキストとマルチモーダル プロンプトの両方から構造化出力（JSON など）を生成します。
- 関数呼び出しを使用して、生成モデルを外部システムと情報に接続します。
コンテンツ生成を制御する方法
- プロンプトの設計を理解する。ベスト プラクティス、戦略、プロンプトの例などをご覧ください。
- 温度や最大出力トークンなどのモデル パラメータを構成します。
- 安全性設定を使用すると、有害と見なされる可能性のある回答が生成される可能性を調整できます。
Gemini モデルの詳細
さまざまなユースケースで使用できるモデルと、その割り当てと料金について学びます。Vertex AI in Firebase の使用感に関するフィードバックを送信する