Android 앱의 하이브리드 환경 구성 옵션


이 페이지에서는 하이브리드 환경의 다음 구성 옵션을 설명합니다.

하이브리드 환경 구축 시작 가이드를 완료했는지 확인합니다.

추론 모드 설정

시작 가이드의 예시에서는 PREFER_ON_DEVICE 모드를 사용하지만 이는 사용 가능한 4가지 추론 모드 중 하나일 뿐입니다.

사용 가능한 추론 모드는 다음과 같습니다.

  • PREFER_ON_DEVICE: 기기 내 모델을 사용할 수 있고 요청 유형을 지원하는 경우 기기 내 모델을 사용하려고 시도합니다. 그렇지 않으면 기기에 오류를 로깅한 후 자동으로 클라우드 호스팅 모델로 대체합니다.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.PREFER_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_ON_DEVICE: 기기 내 모델을 사용할 수 있고 요청 유형을 지원하는 경우 기기 내 모델을 사용하려고 시도합니다. 그렇지 않으면 예외가 발생합니다.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.ONLY_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • PREFER_IN_CLOUD: 기기가 온라인 상태이고 모델을 사용할 수 있는 경우 클라우드 호스팅 모델을 사용하려고 시도합니다. 기기가 오프라인 상태인 경우 기기 내 모델로 대체합니다. 다른 모든 실패 사례에서는 예외를 발생시킵니다.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.PREFER_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_IN_CLOUD: 기기가 온라인 상태이고 모델을 사용할 수 있는 경우 클라우드 호스팅 모델을 사용하려고 시도합니다. 그렇지 않으면 예외가 발생합니다.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.ONLY_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

기기 내 추론 또는 클라우드 내 추론이 사용되었는지 확인

추론 모드가 PREFER_ON_DEVICE 또는 PREFER_IN_CLOUD인 경우 지정된 요청에 사용된 모드를 알면 도움이 될 수 있습니다. 이 정보는 각 응답의 inferenceSource 속성에서 제공됩니다.

이 속성에 액세스하면 반환되는 값은 ON_DEVICE 또는 IN_CLOUD입니다.

Kotlin 

// ...

print("You used: ${result.response.inferenceSource}")

print(result.response.text)

Java 

// ...

System.out.println("You used: " + result.getResponse().getInferenceSource());

System.out.println(result.getResponse().getText());

사용할 모델 지정

Gemini API 제공업체를 클릭하여 이 페이지에서 제공업체별 콘텐츠와 코드를 확인합니다.

generativeModel 인스턴스(Kotlin | Java)를 만들 때 사용할 모델을 지정할 수 있습니다.

  • 클라우드 호스팅 모델 지정:

    • 추론 모드가 PREFER_ON_DEVICE, PREFER_IN_CLOUD 또는 ONLY_IN_CLOUD인 경우 사용할 클라우드 호스팅 모델을 명시적으로 지정해야 합니다. SDK에는 기본 클라우드 호스팅 모델이 없습니다.

    • 지원되는 모든 클라우드 호스팅 Gemini 모델의 모델 이름을 찾습니다.

  • 기기 내 모델 지정:

    • 추론 모드가 PREFER_ON_DEVICE, PREFER_IN_CLOUD 또는 ONLY_ON_DEVICE인 경우 onDeviceConfig에서 사용할 기기 내 모델의 '카테고리'를 선택적으로 지정할 수 있습니다. 카테고리는 출시 단계와 성능 특성의 조합입니다.

    • 지원되는 카테고리 값은 다음과 같습니다.
      AICore는 지정된 카테고리의 조건을 충족하고 기기에서 지원하는 온디바이스 모델을 자동으로 선택합니다. 예를 들어 PREVIEW를 지정하고 기기가 Pixel 9인 경우 Gemini Nano 4 Full [Preview] (nano-v4-full)가 자동 선택될 수 있습니다.

      • STABLE: 최신 안정화 버전 온디바이스 모델입니다.

        • 완전히 테스트되었으며 소비자 기기에 적용되었습니다.

        • 예를 들어 Gemini Nano 3 (nano-v3) 또는 Gemini Nano 2 (nano-v2)입니다.

        • OnDeviceModelOption가 지정되지 않은 경우 기기 내 모델의 기본 설정입니다.

      • PREVIEW: 전체 성능 기능을 갖춘 최신 미리보기 기기 내 모델입니다.

        • 더 높은 추론 능력과 복잡한 작업을 위해 설계되었습니다.

        • 예를 들어 Gemini Nano 4 Full [프리뷰] (nano-v4-full, Gemma 4 E4B 기반)입니다.

      • PREVIEW_FAST: 빠른 최신 프리뷰 온디바이스 모델입니다.

        • 최대 속도와 짧은 지연 시간에 최적화되어 있습니다.

        • 예를 들어 Gemini Nano 4 Fast [프리뷰] (nano-v4-fast, Gemma 4 E2B 기반)입니다.

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        modelName = "CLOUD_MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(
            mode = InferenceMode.INFERENCE_MODE,
            // (Optional) Specify an on-device model category.
            // AICore will auto-select an on-device model based on this category.
            // If not specified, AICore will auto-select the default stable on-device model.
            modelOption = OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    )

Java 

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        "CLOUD_MODEL_NAME",
        /* config = */ null,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        new OnDeviceConfig(
                /* mode = */ InferenceMode.INFERENCE_MODE,
                /* maxOutputTokens = */ null,
                /* temperature = */ null,
                /* topK = */ null,
                /* seed = */ null,
                /* candidateCount = */ 1,
                // (Optional) Specify an on-device model category.
                // AICore will auto-select an on-device model based on this category.
                // If not specified, AICore will auto-select the default stable on-device model.
                /* modelOption = */ OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);

모델 구성을 사용하여 대답 제어

Gemini API 제공업체를 클릭하여 이 페이지에서 제공업체별 콘텐츠와 코드를 확인합니다.

모델에 대한 각 요청에서 모델 구성과 함께 모델의 대답 생성 방식을 제어할 수 있습니다. 클라우드 호스팅 모델과 기기 내 모델은 다르게 구성되며 서로 다른 구성 옵션을 제공합니다.

  • 클라우드 호스팅 모델: generationConfig(Kotlin | Java)를 사용하여 구성을 설정합니다. 사용 가능한 매개변수 알아보기

  • 기기 내 모델: onDeviceConfig(Kotlin | Java)를 사용하여 구성을 설정합니다. 사용 가능한 매개변수(Kotlin | Java)에 대해 알아보세요.

구성은 인스턴스의 전체 기간 동안 유지됩니다. 다른 구성을 사용하려면 해당 구성으로 새 GenerativeModel 인스턴스를 만듭니다.

다음은 PREFER_ON_DEVICE 추론 모드가 설정된 경우 사용할 수 있는 클라우드 호스팅 모델과 기기 내 모델의 구성을 설정하는 예입니다.

Kotlin 

// Config for cloud-hosted model
val generationConfig = generationConfig {
    maxOutputTokens = 200
    stopSequences = listOf("red")
}

// Config for on-device model
val onDeviceConfig = OnDeviceConfig(
    mode = InferenceMode.PREFER_ON_DEVICE,
    maxOutputTokens = 200
)

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "CLOUD_MODEL_NAME",
        generationConfig = generationConfig,
        onDeviceConfig = onDeviceConfig
    )

Java 

// Config for cloud-hosted model
GenerationConfig generationConfig = new GenerationConfig.Builder()
    .setMaxOutputTokens(200)
    .setStopSequences(List.of("red"))
    .build();

// Config for on-device model
OnDeviceConfig onDeviceConfig = new OnDeviceConfig(
    /* mode = */ InferenceMode.PREFER_ON_DEVICE,
    /* maxOutputTokens = */ 200,
    /* temperature = */ null,
    /* topK = */ null,
    /* seed = */ null,
    /* candidateCount = */ 1,
    /* modelOption = */ null
);

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "CLOUD_MODEL_NAME",
        generationConfig,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        onDeviceConfig
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);


Firebase AI Logic 사용 경험에 관한 의견 보내기