웹 앱의 하이브리드 환경 구성 옵션


이 페이지에서는 다음 구성 옵션을 설명합니다.

JSON 및 enum을 비롯한 구조화된 출력을 생성할 수도 있습니다.

시작하기 전에

하이브리드 환경 빌드 시작 가이드를 완료했는지 확인하세요.

추론 모드 설정

시작 가이드의 예에서는 PREFER_ON_DEVICE 모드를 사용하지만 이는 사용 가능한 네 가지 추론 모드 중 하나일 뿐입니다.

  • PREFER_ON_DEVICE: 온디바이스 모델이 있으면 사용하고, 그렇지 않으면 클라우드 호스팅 모델로 대체합니다.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: 온디바이스 모델이 있으면 사용하고, 그렇지 않으면 예외를 발생시킵니다.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: 클라우드 호스팅 모델을 사용할 수 있으면 사용하고, 그렇지 않으면 온디바이스 모델로 대체합니다.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: 클라우드 호스팅 모델이 있으면 사용하고, 그렇지 않으면 예외를 발생시킵니다.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

온디바이스 추론 또는 클라우드 내 추론 사용 여부 확인

PREFER_ON_DEVICE 또는 PREFER_IN_CLOUD 추론 모드를 사용하는 경우 특정 요청에 사용된 모드를 알면 유용할 수 있습니다. 이 정보는 각 응답의 inferenceSource 속성에서 제공합니다(JS SDK v12.5.0부터 사용 가능).

이 속성에 액세스하면 ON_DEVICE 또는 IN_CLOUD 값이 반환됩니다.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

기본 대체 모델 재정의

기본 클라우드 호스팅 모델은 gemini-2.5-flash-lite입니다(JS SDK v12.8.0부터).

이 모델은 PREFER_ON_DEVICE 모드를 사용할 때 대체 클라우드 호스팅 모델입니다. ONLY_IN_CLOUD 모드 또는 PREFER_IN_CLOUD 모드를 사용하는 경우에도 기본 모델입니다.

inCloudParams 구성 옵션을 사용하여 대체 기본 클라우드 호스팅 모델을 지정할 수 있습니다.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

지원되는 모든 Gemini 모델의 모델 이름을 찾습니다.

모델 구성을 사용하여 대답 제어

모델에 대한 각 요청에서 모델 구성을 함께 전송하여 모델의 대답 생성 방식을 제어할 수 있습니다. 클라우드 호스팅 모델과 온디바이스 모델은 다양한 구성 옵션을 제공합니다.

구성은 인스턴스의 수명 동안 유지됩니다. 다른 구성을 사용하려면 해당 구성으로 새 GenerativeModel 인스턴스를 만드세요.

클라우드 호스팅 모델 구성

inCloudParams 옵션을 사용하여 클라우드 호스팅 Gemini 모델을 구성합니다. 사용 가능한 매개변수에 대해 알아봅니다.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

온디바이스 모델 구성

온디바이스 모델을 사용한 추론은 Chrome의 프롬프트 API를 사용합니다.

onDeviceParams 옵션을 사용하여 기기 내 모델을 구성합니다. 사용 가능한 매개변수에 대해 알아봅니다.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});