Варианты конфигурации гибридных приложений для Android


На этой странице описаны следующие варианты конфигурации для гибридных решений:

Убедитесь, что вы выполнили все инструкции из руководства по началу работы с гибридными приложениями.

Как настроить режим инференса

В примерах из руководства по началу работы используется режим PREFER_ON_DEVICE, но это лишь один из четырех доступных режимов инференса.

Доступны следующие режимы инференса:

  • PREFER_ON_DEVICE – попытка использовать модель на устройстве, если она доступна и поддерживает тип запроса. В противном случае зарегистрируйте ошибку на устройстве и автоматически переключитесь на облачную модель.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.PREFER_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_ON_DEVICE – попытка использовать модель на устройстве, если она доступна и поддерживает тип запроса. В противном случае выдается исключение.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.ONLY_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • PREFER_IN_CLOUD: попытаться использовать облачную модель, если устройство подключено к интернету и модель доступна. Если устройство офлайн, используйте модель на устройстве. Во всех остальных случаях вызовите исключение.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.PREFER_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_IN_CLOUD: попытаться использовать облачную модель, если устройство подключено к интернету и модель доступна. В противном случае выдается исключение.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.ONLY_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

Определите, где выполнялся вывод: на устройстве или в облаке.

Если вы используете режим инференса PREFER_ON_DEVICE или PREFER_IN_CLOUD, вам может быть полезно знать, какой режим использовался для определенных запросов. Эта информация предоставляется свойством inferenceSource каждого ответа.

При обращении к этому свойству возвращается значение ON_DEVICE или IN_CLOUD.

Kotlin 

// ...

print("You used: ${result.response.inferenceSource}")

print(result.response.text)

Java 

// ...

System.out.println("You used: " + result.getResponse().getInferenceSource());

System.out.println(result.getResponse().getText());

Укажите модель, которую нужно использовать

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Вы можете указать модель, которая будет использоваться при создании экземпляра generativeModel (Kotlin | Java).

  • Укажите модель, размещенную в облаке:

    • Если вы используете режим инференса PREFER_ON_DEVICE, PREFER_IN_CLOUD или ONLY_IN_CLOUD, то должны явно указать модель, размещенную в облаке. В SDK нет модели по умолчанию, размещенной в облаке.

    • Найдите названия моделей для всех поддерживаемых облачных моделей Gemini.

  • Укажите локальную модель:

    • Если вы используете режим инференса PREFER_ON_DEVICE, PREFER_IN_CLOUD или ONLY_ON_DEVICE, то можете при необходимости указать в onDeviceConfig категорию локальной модели. Категории определяются сочетанием этапа выпуска и характеристик производительности.

    • Поддерживаемые значения категорий перечислены ниже.
      AICore автоматически выбирает модель на устройстве, которая соответствует условиям указанной категории и поддерживается устройством. Например, если вы укажете PREVIEW, а устройство – Pixel 9, то, скорее всего, будет автоматически выбрана модель Gemini Nano 4 Full [Preview] (nano-v4-full).

      • STABLE – последняя стабильная модель на устройстве.

        • Полностью протестировано и доступно на устройствах пользователей.

        • Например, Gemini Nano 3 (nano-v3) или Gemini Nano 2 (nano-v2).

        • Настройка по умолчанию для модели на устройстве, если не указано значение OnDeviceModelOption.

      • PREVIEW – последняя предварительная версия локальной модели с полной производительностью.

        • Разработана для сложных задач, требующих продвинутых рассуждений.

        • Например, Gemini Nano 4 Full [Preview] (nano-v4-full, основанная на Gemma 4 E4B).

      • PREVIEW_FAST – последняя предварительная версия модели на устройстве, которая отличается высокой скоростью.

        • Оптимизировано для максимальной скорости и минимальной задержки.

        • Например, Gemini Nano 4 Fast [предварительная версия] (nano-v4-fast, основанная на Gemma 4 E2B).

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        modelName = "CLOUD_MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(
            mode = InferenceMode.INFERENCE_MODE,
            // (Optional) Specify an on-device model category.
            // AICore will auto-select an on-device model based on this category.
            // If not specified, AICore will auto-select the default stable on-device model.
            modelOption = OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    )

Java 

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        "CLOUD_MODEL_NAME",
        /* config = */ null,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        new OnDeviceConfig(
                /* mode = */ InferenceMode.INFERENCE_MODE,
                /* maxOutputTokens = */ null,
                /* temperature = */ null,
                /* topK = */ null,
                /* seed = */ null,
                /* candidateCount = */ 1,
                // (Optional) Specify an on-device model category.
                // AICore will auto-select an on-device model based on this category.
                // If not specified, AICore will auto-select the default stable on-device model.
                /* modelOption = */ OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);

Как управлять ответами с помощью конфигурации модели

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

В каждом запросе к модели вы можете отправить конфигурацию модели, чтобы управлять тем, как модель генерирует ответ. Облачные и локальные модели настраиваются по-разному и предлагают разные варианты конфигурации:

  • Модели, размещенные в облаке. Задайте конфигурацию с помощью generationConfig (Kotlin | Java). Подробнее о доступных параметрах…

  • Модели на устройстве. Задайте конфигурацию с помощью onDeviceConfig (Kotlin | Java). Подробнее о доступных параметрах (Kotlin | Java)…

Конфигурация сохраняется в течение всего времени существования экземпляра. Если вы хотите использовать другую конфигурацию, создайте новый экземпляр GenerativeModel с этой конфигурацией.

Ниже приведен пример, в котором задаются конфигурации для моделей в облаке и на устройстве, которые можно использовать, если задан режим инференса PREFER_ON_DEVICE.

Kotlin 

// Config for cloud-hosted model
val generationConfig = generationConfig {
    maxOutputTokens = 200
    stopSequences = listOf("red")
}

// Config for on-device model
val onDeviceConfig = OnDeviceConfig(
    mode = InferenceMode.PREFER_ON_DEVICE,
    maxOutputTokens = 200
)

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "CLOUD_MODEL_NAME",
        generationConfig = generationConfig,
        onDeviceConfig = onDeviceConfig
    )

Java 

// Config for cloud-hosted model
GenerationConfig generationConfig = new GenerationConfig.Builder()
    .setMaxOutputTokens(200)
    .setStopSequences(List.of("red"))
    .build();

// Config for on-device model
OnDeviceConfig onDeviceConfig = new OnDeviceConfig(
    /* mode = */ InferenceMode.PREFER_ON_DEVICE,
    /* maxOutputTokens = */ 200,
    /* temperature = */ null,
    /* topK = */ null,
    /* seed = */ null,
    /* candidateCount = */ 1,
    /* modelOption = */ null
);

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "CLOUD_MODEL_NAME",
        generationConfig,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        onDeviceConfig
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);


Оставить отзыв о работе с Firebase AI Logic