Параметры конфигурации для гибридных интерфейсов в веб-приложениях


На этой странице описаны следующие параметры конфигурации:

Вы также можете генерировать структурированный вывод , включая JSON и перечисления.

Прежде чем начать

Убедитесь, что вы завершили руководство по началу работы с созданием гибридных приложений .

Установить режим вывода

В примерах руководства по началу работы используется режим PREFER_ON_DEVICE , но это лишь один из четырех доступных режимов вывода .

  • PREFER_ON_DEVICE : Использовать модель, размещенную на устройстве, если она доступна; в противном случае, вернуться к модели, размещенной в облаке .

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE : Использовать модель, указанную на устройстве, если она доступна; в противном случае сгенерировать исключение .

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD : Использовать облачную модель, если она доступна; в противном случае, вернуться к модели, размещенной на устройстве .

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD : Используйте облачную модель, если она доступна; в противном случае выбросьте исключение .

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

Определите, использовался ли вывод данных на устройстве или в облаке.

Если вы используете режимы вывода PREFER_ON_DEVICE или PREFER_IN_CLOUD , то может быть полезно знать, какой режим использовался для конкретных запросов. Эта информация предоставляется свойством inferenceSource каждого ответа (доступно начиная с JS SDK версии 12.5.0).

При обращении к этому свойству возвращаемое значение будет либо ON_DEVICE , либо IN_CLOUD .

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Переопределить модель резервного копирования по умолчанию

Модель размещения в облаке по умолчанию — gemini-2.5-flash-lite (начиная с JS SDK v12.8.0).

Эта модель является резервной облачной моделью при использовании режима PREFER_ON_DEVICE . Она также является моделью по умолчанию при использовании режима ONLY_IN_CLOUD или режима PREFER_IN_CLOUD .

С помощью параметра конфигурации inCloudParams можно указать альтернативную модель размещения в облаке по умолчанию.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Найдите названия моделей для всех поддерживаемых моделей Gemini .

Используйте конфигурацию модели для управления ответами.

В каждом запросе к модели можно передать конфигурацию модели, чтобы управлять тем, как модель генерирует ответ. Модели, размещенные в облаке, и модели, установленные на устройстве, предлагают разные варианты конфигурации.

Данная конфигурация сохраняется на протяжении всего срока службы экземпляра. Если вы хотите использовать другую конфигурацию, создайте новый экземпляр GenerativeModel с этой конфигурацией.

Настройка облачной модели

Используйте параметр inCloudParams для настройки модели Gemini , размещенной в облаке. Узнайте о доступных параметрах .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Настройка модели устройства

Обратите внимание, что при выводе данных с использованием модели, установленной на устройстве, применяется API Prompt из Chrome .

Используйте параметр onDeviceParams для настройки модели устройства. Узнайте о доступных параметрах .

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});