אפשרויות הגדרה של חוויות היברידיות באפליקציות אינטרנט

בדף הזה נתאר את אפשרויות ההגדרה הבאות:

• הגדרת מצב הסקה

• שינוי מודל ברירת המחדל של גיבוי בענן

• שימוש בהגדרות המודל כדי לשלוט בתשובות, כמו רמת אקראיות

אפשר גם ליצור פלט מובנה, כולל JSON ו-enums.

לפני שמתחילים

חשוב לוודא שהשלמתם את מדריך תחילת העבודה ליצירת חוויות היברידיות.

הגדרת מצב הסקה

הדוגמאות במדריך לתחילת העבודה משתמשות במצב PREFER_ON_DEVICE, אבל זה רק אחד מארבעת מצבי ההסקה הזמינים.

• ‫PREFER_ON_DEVICE: שימוש במודל במכשיר אם הוא זמין, אחרת מעבר למודל שמתארח בענן.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ‫ONLY_ON_DEVICE: שימוש במודל במכשיר אם הוא זמין, אחרת הפעלת חריגה.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• ‫PREFER_IN_CLOUD: אם המודל מתארח בענן, צריך להשתמש בו. אחרת, המערכת תעבור למודל במכשיר.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ‫ONLY_IN_CLOUD: אם המודל מתארח בענן, צריך להשתמש בו. אחרת, צריך להפעיל חריגה.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

איך בודקים אם נעשה שימוש בהסקת מסקנות במכשיר או בענן

אם אתם משתמשים במצבי ההסקה PREFER_ON_DEVICE או PREFER_IN_CLOUD, יכול להיות שיהיה לכם שימושי לדעת באיזה מצב נעשה שימוש עבור בקשות מסוימות. המידע הזה מסופק על ידי המאפיין inferenceSource של כל תגובה (זמין החל מ-JS SDK v12.5.0).

כשניגשים למאפיין הזה, הערך שמוחזר יהיה ON_DEVICE או IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

שינוי מודל ברירת המחדל של הגיבוי

מודל ברירת המחדל שמתארח בענן הוא gemini-2.5-flash-lite (החל מגרסה JS SDK v12.8.0).

המודל הזה הוא מודל חלופי שמתארח בענן כשמשתמשים במצב PREFER_ON_DEVICE. זה גם המודל שמוגדר כברירת מחדל כשמשתמשים במצב ONLY_IN_CLOUD או במצב PREFER_IN_CLOUD.

אפשר להשתמש באפשרות ההגדרה inCloudParams כדי לציין מודל חלופי שמתארח בענן כברירת מחדל.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

שמות המודלים של Gemini שנתמכים

שימוש בהגדרות המודל כדי לשלוט בתשובות

בכל בקשה למודל, אפשר לשלוח הגדרת מודל כדי לשלוט באופן שבו המודל יוצר תשובה. מודלים שמתארחים בענן ומודלים במכשיר מציעים אפשרויות שונות להגדרה.

ההגדרה נשמרת למשך כל חיי המופע. אם רוצים להשתמש בהגדרה אחרת, צריך ליצור מופע GenerativeModel חדש עם ההגדרה הזו.

הגדרת מודל שמתארח בענן

משתמשים באפשרות inCloudParams כדי להגדיר מודל Gemini שמתארח בענן. מידע על הפרמטרים הזמינים

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

הגדרת מודל במכשיר

הערה: כדי להסיק מסקנות באמצעות מודל במכשיר, צריך להשתמש ב-Prompt API מ-Chrome.

משתמשים באפשרות onDeviceParams כדי להגדיר מודל במכשיר. מידע על הפרמטרים הזמינים

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});