使用 Vertex AI for Firebase SDK 從應用程式呼叫 Vertex AI Gemini API 時,您可以提示 Gemini 模型根據多模態輸入內容生成文字。多模態提示可以包含多個模式 (或輸入內容類型),例如文字、圖片、PDF、影片和音訊。
對於輸入的非文字部分 (例如媒體檔案),您需要使用支援的檔案類型、指定支援的 MIME 類型,並確保您的檔案和多模態要求符合要求和遵循最佳做法。
支援的輸入檔案會因模型而異,且可包含圖片、PDF、影片和音訊。
- 請注意,支援的視訊輸入功能也會因模型而異,且可能包含僅影格或有音訊的影格。
輸入檔案和多模態要求的規定和最佳做法:
在「瞭解 Gemini 模型」中,您可以簡述以模型為依據的支援檔案相關規定,例如檔案數量上限和檔案大小上限。
您可以參閱 Google Cloud 說明文件,瞭解有關輸入檔案和多模態要求的需求詳細資訊和最佳做法 (例如支援的 MIME 類型,以及在要求中提供輸入檔案的時機)。
Vertex AI for Firebase SDK 的具體規定
在 Vertex AI for Firebase SDK 中,要求大小上限為 20 MB。如果要求過大,您會收到 HTTP 413 錯誤。
如果檔案大小會導致要求總大小超過 20 MB,請使用 Cloud Storage for Firebase 網址在多模態要求中加入檔案。
如果檔案很小,您通常可以直接以內嵌資料的形式傳遞檔案。不過請注意,以內嵌資料的形式提供的檔案會編碼為 Base64 編碼,因此會增加要求的大小。如需瞭解如何將檔案納入內嵌資料的範例,請參閱「使用 Gemini API 透過多模態提示生成文字」一文。