При вызове Gemini API из вашего приложения с помощью Vertex AI in Firebase SDK вы можете предложить модели Gemini сгенерировать текст на основе мультимодальных входных данных. Мультимодальные подсказки могут включать в себя несколько модальностей (или типов ввода), например текст, изображения, PDF-файлы, видео и аудио.
Для тестирования и итерации мультимодальных подсказок мы рекомендуем использовать Vertex AI Studio .
При желании поэкспериментируйте с альтернативной версией Gemini API « Google AI ».
Получите бесплатный доступ (в пределах ограничений и там, где это возможно) с помощью Google AI Studio и клиентских SDK Google AI . Эти SDK следует использовать для прототипирования только в мобильных и веб-приложениях.После того, как вы ознакомитесь с тем, как работает Gemini API , перейдите на наши Vertex AI in Firebase SDK (эта документация), которые имеют множество дополнительных функций, важных для мобильных и веб-приложений, таких как защита API от злоупотреблений с помощью Firebase App Check и поддержка большие медиафайлы в запросах .
При необходимости вызовите серверный Vertex AI Gemini API (например, с помощью Python, Node.js или Go).
Используйте серверные Vertex AI SDK , Firebase Genkit или Firebase Extensions для Gemini API .
Прежде чем начать
Если вы еще этого не сделали, прочтите руководство по началу работы с Vertex AI in Firebase SDK . Убедитесь, что вы выполнили все следующее:
Настройте новый или существующий проект Firebase, включая использование тарифного плана Blaze и включение необходимых API.
Подключите свое приложение к Firebase, включая регистрацию вашего приложения и добавление конфигурации Firebase в ваше приложение.
Добавьте SDK и инициализируйте службу Vertex AI и генеративную модель в своем приложении.
После того как вы подключили свое приложение к Firebase, добавили SDK и инициализировали службу Vertex AI и генеративную модель, вы готовы вызвать Gemini API .
- Генерация текста из текста и одного изображения
- Генерация текста из текста и нескольких изображений
- Генерация текста из текста и видео
Генерация текста из текста и одного изображения
Прежде чем приступать к работе с этим примером, убедитесь, что вы завершили раздел «Перед началом работы» данного руководства.
Вы можете вызвать Gemini API с помощью мультимодальных приглашений, которые включают как текст, так и один файл (например, изображение, как показано в этом примере). Для этих вызовов вам необходимо использовать модель, поддерживающую мультимодальные подсказки (например, Gemini 1.5 Pro).
Поддерживаемые файлы включают изображения, PDF-файлы, видео, аудио и многое другое. Обязательно ознакомьтесь с требованиями и рекомендациями для входных файлов .
Выберите, хотите ли вы передать ответ в потоковом режиме ( generateContentStream ) или дождаться ответа, пока не будет сгенерирован весь результат ( generateContent ).
Потоковое вещание
Вы можете добиться более быстрого взаимодействия, не дожидаясь получения всего результата от создания модели, а вместо этого используйте потоковую передачу для обработки частичных результатов.
Без потоковой передачи
Альтернативно, вы можете дождаться всего результата вместо потоковой передачи; результат возвращается только после того, как модель завершит весь процесс генерации.
Узнайте, как выбрать модель Gemini и, при необходимости, местоположение, подходящее для вашего варианта использования и приложения.
Генерация текста из текста и нескольких изображений
Прежде чем приступать к работе с этим примером, убедитесь, что вы завершили раздел «Перед началом работы» данного руководства.
Вы можете вызвать Gemini API с помощью мультимодальных приглашений, которые включают как текст, так и несколько файлов (например, изображений, как показано в этом примере). Для этих вызовов вам необходимо использовать модель, поддерживающую мультимодальные подсказки (например, Gemini 1.5 Pro).
Поддерживаемые файлы включают изображения, PDF-файлы, видео, аудио и многое другое. Обязательно ознакомьтесь с требованиями и рекомендациями для входных файлов .
Выберите, хотите ли вы передать ответ в потоковом режиме ( generateContentStream ) или дождаться ответа, пока не будет сгенерирован весь результат ( generateContent ).
Потоковое вещание
Вы можете добиться более быстрого взаимодействия, не дожидаясь получения всего результата от создания модели, а вместо этого используйте потоковую передачу для обработки частичных результатов.
Без потоковой передачи
В качестве альтернативы вы можете дождаться всего результата вместо потоковой передачи; результат возвращается только после того, как модель завершит весь процесс генерации.
Узнайте, как выбрать модель Gemini и, при необходимости, местоположение, подходящее для вашего варианта использования и приложения.
Генерация текста из текста и видео
Прежде чем приступать к работе с этим примером, убедитесь, что вы завершили раздел «Перед началом работы» данного руководства.
Вы можете вызвать Gemini API с помощью мультимодальных подсказок, включающих как текст, так и одно видео (как показано в этом примере). Для этих вызовов вам необходимо использовать модель, поддерживающую мультимодальные подсказки (например, Gemini 1.5 Pro).
Обязательно ознакомьтесь с требованиями и рекомендациями для входных файлов .
Выберите, хотите ли вы передать ответ в потоковом режиме ( generateContentStream ) или дождаться ответа, пока не будет сгенерирован весь результат ( generateContent ).
Потоковое вещание
Вы можете добиться более быстрого взаимодействия, не дожидаясь получения всего результата от создания модели, а вместо этого используйте потоковую передачу для обработки частичных результатов.
Без потоковой передачи
Альтернативно, вы можете дождаться всего результата вместо потоковой передачи; результат возвращается только после того, как модель завершит весь процесс генерации.
Узнайте, как выбрать модель Gemini и, при необходимости, местоположение, подходящее для вашего варианта использования и приложения.
Требования и рекомендации к входным файлам
См. раздел Поддерживаемые входные файлы и требования для Vertex AI Gemini API чтобы узнать следующее:
- Различные варианты предоставления файла в запросе
- Поддерживаемые типы файлов
- Поддерживаемые типы MIME и способы их указания
- Требования и рекомендации для файлов и мультимодальных запросов
Что еще вы можете сделать?
- Узнайте, как подсчитывать токены , прежде чем отправлять модели длинные запросы.
- Настройте Cloud Storage for Firebase , чтобы вы могли включать большие файлы в свои мультимодальные запросы и иметь более управляемое решение для предоставления файлов в приглашениях. Файлы могут включать изображения, PDF-файлы, видео и аудио.
- Начните думать о подготовке к работе, включая настройку Firebase App Check для защиты Gemini API от злоупотреблений со стороны неавторизованных клиентов.
Попробуйте другие возможности Gemini API
- Стройте многоходовые разговоры (чат) .
- Генерация текста из текстовых подсказок .
- Генерируйте структурированный вывод (например, JSON) как из текстовых, так и из мультимодальных подсказок.
- Используйте вызов функций для подключения генеративных моделей к внешним системам и информации.
Узнайте, как контролировать создание контента
- Понимание структуры подсказок , включая лучшие практики, стратегии и примеры подсказок.
- Настройте параметры модели , такие как токены температуры и максимальной мощности.
- Используйте настройки безопасности , чтобы настроить вероятность получения ответов, которые могут быть расценены как вредные.
Узнайте больше о моделях Gemini
Узнайте о моделях, доступных для различных вариантов использования , а также об их квотах и ценах .Оставьте отзыв о своем опыте использования Vertex AI in Firebase