Создавайте гибридные приложения для устройств Apple с помощью моделей, размещенных на устройстве и в облаке

Вы можете создавать приложения и функции для устройств Apple на основе ИИ с гибридным выводом, используя Firebase AI Logic. Гибридный инференс позволяет выполнять инференс с помощью моделей на устройстве (в частности, фреймворка Apple Foundation Models), когда они доступны, и плавно переключаться на облачные модели Google в противном случае (и наоборот).

На этой странице рассказывается, как начать работу с клиентским SDK. После завершения стандартной настройки ознакомьтесь с дополнительными возможностями и параметрами конфигурации.

Firebase AI Logic поддерживает вывод на устройстве для приложений Apple, использующих SDK Firebase AI Logic версии 12.13.0 или более поздней и работающих на устройствах с включенной функцией Apple Intelligence. Она регулируется требованиями к допустимому использованию фреймворка Foundation Models от Apple.

Перейти к примерам кода

Варианты использования и поддерживаемые возможности

В зависимости от сценариев использования приложения вы можете воспользоваться несколькими преимуществами локальных или гибридных решений:

  • Преимущества использования модели на устройстве для вывода:

    • Повышенная конфиденциальность
    • Локальный контекст
    • Бесплатный вывод
    • Офлайн-функции
  • Преимущества гибридного подхода:

    • Обеспечить одинаковое удобство использования приложения независимо от устройства конечного пользователя
    • Улучшить доступность функций на основе генеративного ИИ независимо от подключения к интернету, ограничений квот и возможностей устройства.

Поддерживаемые возможности вывода на устройстве

Вывод на устройстве поддерживает только генерацию текста, а именно следующие возможности:

Обязательно ознакомьтесь со списком функций, которые пока не поддерживаются при гибридном выводе и выводе на устройстве, внизу этой страницы.

Поддерживаемые API и устройства

В следующих разделах описаны поддерживаемые API, а также поддерживаемые устройства (и их модели на устройстве).

Поддерживаемые API для вывода в облаке и на устройстве

Поддерживаемые устройства Apple и их локальные модели

Список устройств с поддержкой Apple Intelligence, на которых можно выполнять инференс на устройстве с помощью фреймворка Foundation Models, приведен в документации Apple.

Начать

В этом разделе описаны общие действия, которые нужно выполнить, чтобы отправить любой поддерживаемый запрос.

Шаг 1. Настройте проект Firebase и подключите к нему приложение

  1. Войдите в консоль Firebase и выберите проект Firebase.

  2. В консоли Firebase выберите AI Services (Сервисы ИИ) > AI Logic (Логика ИИ).

  3. Нажмите Начать, чтобы запустить пошаговый рабочий процесс, который поможет вам настроить необходимые API и ресурсы для проекта.

  4. Если появится запрос, следуйте инструкциям на экране, чтобы зарегистрировать приложение и добавить в него конфигурацию Firebase.

  5. Когда вам будет предложено выбрать поставщика Gemini API, рекомендуем выбрать Gemini Developer API. Это позволит вам быстро начать работу без дополнительных затрат.

    Вы можете в любой момент настроить Agent Platform Gemini API (formerly Vertex AI) (и платежные данные, если они требуются).

  6. Продолжите настройку необходимых API и связанных сервисов для Firebase AI Logic.

    На этом этапе автоматически включается Firebase App Check для AI Logic. Это критически важный сервис, который помогает защитить Gemini API при прямом доступе из приложения. В рамках начала работы (см. шаги далее в этом руководстве) вам нужно будет настроить отладочный поставщик App Check для локальной разработки, когда включена App Check.

  7. Перейдите к следующему шагу этого руководства, чтобы добавить в приложение необходимые SDK.

Шаг 2. Добавьте все необходимые SDK

Для установки зависимостей Xcode и управления ими используйте Swift Package Manager (SPM). Гибридная поддержка доступна только при использовании SPM.

Библиотека Firebase AI Logic предоставляет доступ к API для взаимодействия с генеративными моделями. Библиотека входит в состав Firebase SDK для платформ Apple (firebase-ios-sdk).

Если вы уже используете Firebase, убедитесь, что у вас установлена версия 12.13.0 или более поздняя.

  1. Откройте проект приложения в Xcode и перейдите в меню File (Файл) > Add Package Dependencies (Добавить зависимости пакетов).

  2. Когда появится запрос, добавьте хранилище Firebase SDK для платформ Apple:

    https://github.com/firebase/firebase-ios-sdk
    
  3. Выберите последнюю версию SDK.

  4. Выберите библиотеки FirebaseAILogic и FirebaseAppCheck.

После этого Xcode автоматически начнет распознавать и скачивать зависимости в фоновом режиме.

Шаг 3. Настройте отладочный поставщик App Check для локальной разработки

В рамках пошаговой настройки AI Logic в консоли автоматически применяется Firebase App Check для защиты Gemini API. Для локальной разработки необходимо настроить App Check отладочный поставщик, чтобы обходить проверку, сохраняя при этом принудительное применение App Check.

Вот как использовать отладочный поставщик при интерактивном запуске приложения в симуляторе (например, во время локальной разработки):

  1. В проекте Xcode импортируйте FirebaseAppCheck и инициализируйте App Check с помощью фабрики отладочных поставщиков до настройки Firebase.

    import SwiftUI
    import FirebaseCore
    import FirebaseAppCheck
    
    @main
    struct YourApp: App {
      init() {
        let providerFactory = AppCheckDebugProviderFactory()
        AppCheck.setAppCheckProviderFactory(providerFactory)
        FirebaseApp.configure()
      }
    
      var body: some Scene {
        WindowGroup {
          NavigationView {
            ContentView()
          }
        }
      }
    }
    
  2. Получите токен отладки:

    1. Запустите приложение в симуляторе или на тестовом устройстве.

    2. Откройте консоль Xcode и найдите токен отладки App Check. Пример:

      <Warning> [AppCheckCore][I-GAC004001] App Check debug token: '123a4567-b89c-12d3-e456-789012345678'.
      
    3. Скопируйте токен (например, 123a4567-b89c-12d3-e456-789012345678).

  3. Зарегистрируйте токен отладки в App Check:

    1. В консоли Firebase перейдите в раздел Security (Безопасность) > App Check (Проверка приложений) > Apps (Приложения).

    2. Найдите приложение, нажмите на значок дополнительного меню () и выберите Управление токенами отладки.

    3. Зарегистрируйте токен отладки, следуя инструкциям на экране.

Подробную информацию об отладочном поставщике, в том числе о том, как получить новый отладочный токен, можно найти в официальной документации App Check.

Шаг 4. Инициализируйте сервис и создайте экземпляр сеанса модели

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Прежде чем отправлять запрос модели, настройте следующее:

  1. Инициализируйте сервис для выбранного поставщика Gemini API.

  2. Создайте экземпляр GenerativeModelSession с HybridModel.

  3. Задайте модели primary и secondary в соответствии со своими предпочтениями. Вы можете задать порядок, в котором будут выполняться попытки вывода:

    • Попытаться сначала выполнить вывод на устройстве, но разрешить резервный вариант в облаке. Задайте для primary системную модель, а для secondary – облачную.

    • Сначала попытаться выполнить вывод в облаке, но разрешить резервный вывод на устройстве. Задайте для primary облачную модель, а для secondary – системную.

    Обратите внимание, что SDK поддерживает настройку только одного model. Это означает, что SDK будет пытаться выполнить инференс только на устройстве или в облаке. Однако для гибридного режима нужно создать HybridModel и задать модели primary и secondary.

    Подробнее о том, как работают режимы инференса (порядок попыток инференса), рассказывается в разделе Настройки.

В следующем примере показано, как сначала попытаться выполнить инференс на устройстве, но разрешить возврат к модели, размещенной в облаке:

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case.
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case.
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model.
// Provide your preferred model as `primary` and your fallback model as `secondary`.
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Шаг 5. Отправьте запрос модели

В этом разделе рассказывается, как:

Генерировать текст на основе текстового запроса

Прежде чем использовать этот пример, убедитесь, что вы выполнили инструкции из раздела Начало работы этого руководства.

Чтобы сгенерировать текст на основе запроса, содержащего текст, используйте respond(to:) следующим образом:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Сгенерированный текст в потоковом режиме на основе текстового запроса

Прежде чем использовать этот пример, убедитесь, что вы выполнили инструкции из раздела Начало работы этого руководства.

Чтобы ускорить взаимодействие, вы можете не ждать, пока модель сгенерирует весь результат, а использовать потоковую передачу для обработки частичных результатов. Чтобы транслировать сгенерированный текст из запроса, содержащего текст, используйте streamResponse(to:), как показано ниже.

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Что ещё ты умеешь делать?

Для гибридных экспериментов доступны различные дополнительные параметры и возможности:

Функции, которые пока не поддерживаются

Поскольку это экспериментальный выпуск, не все возможности облачных моделей или Firebase AI Logic SDK доступны для гибридного вывода или вывода на устройстве.

Функции, которые пока не поддерживаются в гибридных реализациях

Следующие функции нельзя использовать в гибридных реализациях (ни на устройстве, ни через облако):

  • Gemini Live API Двунаправленная потоковая передача в реальном времени не поддерживается.

  • Шаблоны запросов к серверу. Управляемые шаблоны запросов к серверу не поддерживаются.

  • Подсчет токенов. Не полагайтесь на подсчет токенов, так как их количество будет отличаться в облачных моделях и моделях на устройстве. Поэтому интуитивно понятного резервного варианта нет.

Функции, которые пока не поддерживаются для инференса на устройстве

Следующие функции пока не поддерживаются для локального вывода, но доступны для облачных моделей:

  • Генерировать медиаконтент, например изображения, аудио или видео.

  • Генерировать текст на основе мультимодальных входных данных, таких как изображения, аудио, видео и документы (PDF).

  • Отправка запросов, содержащих более 4096 токенов (примерно 3000 слов на английском языке).

  • Предоставление локальной модели встроенных инструментов, которые помогают ей генерировать ответы (например, выполнение кода, URL-контекст, обоснование с помощью Google Search и обоснование с помощью Google Maps). Однако вы можете предоставить собственные инструменты, используя вызов функций.

  • ИИ-мониторинг в консоли Firebase не показывает данные о выводе на устройстве (включая журналы на устройстве). Однако любой инференс, в котором используется модель, размещенная в облаке, можно отслеживать так же, как и другие инференсы, с помощью Firebase AI Logic.

Дополнительные ограничения

Помимо перечисленного выше, у вывода на устройстве есть следующие ограничения:


Оставьте отзыв о работе с Firebase AI Logic