אפשרויות הגדרה של חוויות היברידיות באפליקציות אינטרנט

בדף הזה נתאר את אפשרויות ההגדרה הבאות:

• הגדרת מצב הסקה

• שינוי מודל ברירת המחדל של גיבוי בענן

• שימוש בהגדרת מודל כדי לשלוט בתשובות, כמו טמפרטורה

אפשר גם ליצור פלט מובנה, כולל JSON ו-enums.

לפני שמתחילים

חשוב לוודא שהשלמתם את מדריך תחילת העבודה ליצירת חוויות היברידיות.

הגדרת מצב הסקה

הדוגמאות במדריך לתחילת העבודה משתמשות במצב PREFER_ON_DEVICE, אבל זה רק אחד מארבעת מצבי ההסקה שזמינים.

• ‫PREFER_ON_DEVICE: שימוש במודל במכשיר אם הוא זמין, אחרת מעבר למודל שמתארח בענן.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ‫ONLY_ON_DEVICE: שימוש במודל במכשיר אם הוא זמין, אחרת מוצג חריג.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• ‫PREFER_IN_CLOUD: אם המודל מתארח בענן, צריך להשתמש בו. אחרת, צריך לחזור למודל במכשיר.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ‫ONLY_IN_CLOUD: אם המודל מתארח בענן, צריך להשתמש בו. אחרת, צריך להפעיל חריגה.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

קביעה אם נעשה שימוש בהסקת מסקנות במכשיר או בענן

אם משתמשים במצבי ההסקה PREFER_ON_DEVICE או PREFER_IN_CLOUD, כדאי לדעת באיזה מצב נעשה שימוש בבקשות מסוימות. המידע הזה מסופק על ידי המאפיין inferenceSource של כל תגובה (זמין החל מ-JS SDK v12.5.0).

כשניגשים למאפיין הזה, הערך שמוחזר יהיה ON_DEVICE או IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

שינוי מודל ברירת המחדל של הגיבוי

מודל ברירת המחדל שמתארח בענן הוא gemini-2.5-flash-lite (החל מ-JS SDK v12.8.0).

המודל הזה הוא מודל חלופי שמתארח בענן כשמשתמשים במצב PREFER_ON_DEVICE. זה גם המודל שמוגדר כברירת מחדל כשמשתמשים במצב ONLY_IN_CLOUD או במצב PREFER_IN_CLOUD.

אפשר להשתמש באפשרות ההגדרה inCloudParams כדי לציין מודל חלופי שמתארח בענן כברירת מחדל.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

שמות המודלים של Gemini שנתמכים

שימוש בהגדרות המודל כדי לשלוט בתשובות

בכל בקשה למודל, אפשר לשלוח הגדרת מודל כדי לשלוט באופן שבו המודל יוצר תשובה. מודלים שמארחים בענן ומודלים במכשיר מציעים אפשרויות שונות להגדרה.

ההגדרה נשמרת למשך מחזור החיים של המופע. אם רוצים להשתמש בהגדרה אחרת, צריך ליצור מופע חדש של GenerativeModel עם ההגדרה הזו.

הגדרת מודל שמתארח בענן

משתמשים באפשרות inCloudParams כדי להגדיר מודל Gemini שמתארח בענן. מידע על הפרמטרים הזמינים

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

הגדרת מודל במכשיר

שימו לב: כדי להסיק מסקנות באמצעות מודל במכשיר, נעשה שימוש ב-Prompt API מ-Chrome.

משתמשים באפשרות onDeviceParams כדי להגדיר מודל במכשיר. מידע על הפרמטרים הזמינים

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});