מעקב אחרי עלויות, שימוש ומדדים אחרים

מעקב אחרי העלויות, השימוש ומדדים אחרים של תכונות ה-AI הוא חלק חשוב בהפעלת אפליקציה בייצור. אתם צריכים לדעת מהם דפוסי השימוש הרגילים באפליקציה שלכם ולוודא שאתם לא חורגים מספי השימוש שחשובים לכם.

בדף הזה מפורטות כמה אפשרויות מומלצות למעקב אחרי העלויות, השימוש ומדדים אחרים במסוף Firebase ובמסוף Google Cloud.

מעקב אחרי העלויות

בלוח הבקרה Usage and Billing במסוף Firebase אפשר לראות את העלויות של הפרויקט על קריאה ל-Agent Platform Gemini API (formerly Vertex AI) ול-Gemini Developer API (אם אתם משתמשים במינוי Blaze בתשלום לפי שימוש).

העלויות שמוצגות בלוח הבקרה לא בהכרח ספציפיות לשיחות באמצעות ערכות ה-SDK של לקוח Firebase AI Logic. העלויות שמוצגות משויכות לכל הקריאות ל'ממשקי Gemini API', בין אם נעשה שימוש ב-Firebase AI Logic client SDKs, ב-Google GenAI server SDKs, ב-Genkit, ב-Firebase Extensions ל-Gemini API, בקריאות REST, באחד מ-AI Studios או בלקוחות API אחרים.

מידע נוסף על תמחור של מוצרים שמשויכים לשימוש שלכם ב-Firebase AI Logic

הגדרת התראות לגבי תקציב ומגבלות הוצאה

אם אתם משתמשים במינוי Blaze בתשלום לפי שימוש, כדאי להגדיר התראות לגבי תקציב ותקציב מקסימלי כדי למנוע חיובים לא צפויים.

חשוב לזכור שהתראות לגבי תקציב אינן תקציבים מקסימליים. התראה תשלח לכם אימיילים עם אזהרה כשההוצאות יגיעו לספים מסוימים בתקציב, כדי שתוכלו ליצור קמפיינים באפליקציה או בפרויקט. אם רוצים שהשירות יושהה כשמגיעים לתקציב, צריך להגדיר תקציב עם תקרת הוצאות.

צפייה בנתוני השימוש בתכונות ה-AI במסוף Firebase

אתם יכולים להפעיל את התכונה 'מעקב אחרי שימוש בתכונות AI' בדף Firebase AI Logic במסוף Firebase כדי לעקוב אחרי מדדים שונים ברמת האפליקציה ונתוני שימוש, ולקבל תמונה מקיפה של הבקשות מ-SDKs של לקוח Firebase AI Logic. לוחות הבקרה האלה מציגים נתונים מפורטים יותר מספירת האסימונים הבסיסית שמתקבלת מקריאה ל-Count Tokens API.

היכולות העיקריות של מעקב אחרי AI במסוף Firebase כוללות:

  • הצגת מדדים כמותיים כמו נפח הבקשות, זמן האחזור, שגיאות ושימוש בטוקנים לכל מצב לכל אחת מהאפליקציות שלכם.

  • בדיקת עקבות כדי לראות את המאפיינים, הקלט והפלט של הבקשות, מה שיכול לעזור בניפוי באגים ובשיפור האיכות.

  • פילוח הנתונים לפי מאפיינים כמו סטטוס הבקשה, זמן האחזור המינימלי, שם המודל ועוד.

כל התכונות האלה מבוססות על Google Cloud Observability Suite (מידע מפורט על המוצר מופיע בהמשך).

הפעלת מעקב מבוסס-AI

אלה הדרכים להפעלת מעקב אחרי שימוש בתכונות AI במסוף Firebase:

הדרישות להפעלה ולשימוש במעקב מבוסס-AI:

  • צריך להיות לכם תפקיד Project Owner, עורך או אדמין של Firebase Vertex AI בפרויקט.

  • באפליקציה צריך להשתמש לפחות בגרסאות הבאות של ספריות Firebase:
    ‫iOS+‎: גרסה 11.13.0 ואילך | ‫Android: גרסה 16.0.0 ואילך (BoM: גרסה 33.14.0 ואילך) | ‫Web: גרסה 11.8.0 ואילך | ‫Flutter: גרסה 2.0.0 ואילך (BoM: גרסה 3.11.0 ואילך) | ‫Unity: גרסה 12.9.0 ואילך

  • באפליקציה שלכם צריך להפעיל את איסוף הנתונים בהסכמה (האפשרות הזו מופעלת כברירת מחדל).

אחרי שהאפליקציה עומדת בדרישות האלה ומפעילים את התכונה 'מעקב אחרי שימוש בתכונות AI' במסוף, לא צריך לעשות שום דבר נוסף באפליקציה או במסוף כדי שהנתונים יתחילו להופיע בלוחות הבקרה בכרטיסייה שירותי AI > לוגיקת AI > מעקב אחרי שימוש בתכונות AI. יכול להיות שיהיה עיכוב קל (לפעמים עד 5 דקות) עד שהטלמטריה מבקשה תהיה זמינה במסוף Firebase.

שימוש מתקדם

בקטע הזה מתואר ההגדרה של תדירות הדגימה, וגם אפשרויות שונות לצפייה בנתונים ולעבודה איתם.

תדירות הדגימה

אם אתם שולחים מספר גדול של בקשות, מומלץ להשתמש בהגדרת תדירות הדגימה. תדירות הדגימה מציינת את שיעור הבקשות שעבורן נאספים בפועל פרטי מעקב.

בכרטיסייה הגדרות של AI Logic > AI Services במסוף Firebase, אפשר להגדיר את תדירות הדגימה של הפרויקט לערך בין 1 ל-100%. ערך של 100% אומר שמעקב אחרי שימוש בתכונות AI יאסוף יומני מעקב מכל תעבורת הנתונים. ברירת המחדל היא 100%. איסוף של פחות עקבות יפחית את העלויות, אבל גם יפחית את מספר העקבות שתוכלו לעקוב אחריהן. הערה: ללא קשר לתדירות הדגימה, הגרפים שמוצגים בלוח הבקרה של המעקב תמיד ישקפו את נפח התנועה האמיתי.

אפשרויות נוספות מחוץ למסוף Firebase

בנוסף למעקב אחרי שימוש בתכונות AI שזמין במסוף Firebase, כדאי לשקול את האפשרויות הבאות:

  • כדאי לעיין ב-Vertex AI Model Garden.
    לוחות הבקרה האלה מספקים תובנות נוספות לגבי מגמות של זמן האחזור ותפוקה של המודלים המנוהלים, בנוסף לתובנות שמתקבלות ממעקב אחרי שימוש בתכונות AI במסוף Firebase.

  • אפשר לעיין בנתונים ולהשתמש בהם באמצעות Google Cloud Observability Suite
    . נתוני הטלמטריה למעקב אחרי שימוש בתכונות AI מאוחסנים ב-Google Cloud Observability Suite שמשויך לפרויקט שלכם. לכן, אתם יכולים לעיין בנתונים בלוחות הבקרה שלו, כולל Trace Explorer ו-Logs Explorer, שמקושרים לזמן שבו אתם בודקים את העקבות האישיים במסוף Firebase. אפשר גם להשתמש בנתונים כדי ליצור מרכזי בקרה בהתאמה אישית, להגדיר התראות ועוד.

מידע מפורט על מוצרים שמשמשים למעקב אחרי שימוש בתכונות AI

הנתונים הטלמטריים שלכם מניטור ה-AI נשמרים במוצרים שונים שזמינים ב-Google Cloud Observability Suite, כולל Cloud Monitoring,‏ Cloud Trace ו-Cloud Logging.

  • ‫Cloud Monitoring: אחסון מדדים, כולל מספר הבקשות, שיעור ההצלחה וזמן האחזור של הבקשות.

  • ‫Cloud Trace: מאחסן עקבות של כל אחת מהבקשות, כדי שתוכלו לראות את הפרטים בנפרד ולא בצורה מצטברת. בדרך כלל, מעקב משויך ליומנים כדי שתוכלו לבדוק את התוכן והתזמון של כל אינטראקציה.

  • ‫Cloud Logging: מתעד מטא-נתונים של קלט, פלט והגדרות כדי לספק פרטים עשירים על כל חלק בבקשת ה-AI.

הנתונים הטלמטריים שלכם מאוחסנים במוצרים האלה, ולכן אתם יכולים לציין את הגדרות השמירה והגישה ישירות בכל מוצר (מידע נוסף זמין במסמכי התיעוד של Cloud Monitoring, Cloud Trace ו-Cloud Logging).

שימו לב: התכונה 'מעקב אחרי שימוש בתכונות AI' מאחסנת את הפרומפטים הממשיים ואת הפלט שנוצר מכל בקשה שנדגמה ב-Cloud Logging, כדי שהנתונים האלה יהיו נגישים במסוף Firebase. אפשר גם להשבית את האפשרות לשמור פרומפטים ותשובות.

תמחור

  • פרויקטים בתוכנית התמחור Spark ללא עלות (זמינה רק כשמשתמשים ב-Gemini Developer API): השימוש בשירותים הבסיסיים לצורך מעקב אחרי AI הוא ללא עלות.

  • פרויקטים במינוי Blaze בתשלום לפי שימוש: תחויבו על השימוש במוצרי Google Cloud Observability Suite הבסיס שמשמשים למעקב אחרי שימוש בתכונות AI (לא משנה מי ספק Gemini API שבחרתם). עם זאת, לכל מוצר של Google Cloud Observability Suite יש רמות שימוש נדיבות ללא עלות. מידע נוסף מופיע בGoogle Cloud Observability Suiteמאמרי העזרה בנושא תמחור.

(אופציונלי) השבתת השמירה של הנחיות ותשובות

כברירת מחדל, מעקב אחרי שימוש בתכונות AI מתעד את הפרומפטים האמיתיים שנשלחים למודל ואת התשובות שהמודל יוצר, כולל מידע רגיש (כמו פרטים אישיים מזהים (PII)) בפרומפטים ובתשובות האלה. כל הנתונים האלה מאוחסנים ב-Cloud Logging כדי שאפשר יהיה לגשת אליהם במסוף Firebase.

כדי להשבית את האחסון של ההנחיות והתשובות, מוסיפים את מסנן ההחרגה הבא ליעד Cloud Logging (בדרך כלל היעד _Default): resource.type="firebasevertexai.googleapis.com/Model".

הצגת מדדי API ברמת הפרויקט במסוף Google Cloud

לכל API אפשר לראות מדדים ברמת הפרויקט, כמו שימוש, בGoogle Cloudמסוף.

שימו לב שדפי המסוף Google Cloud שמתוארים בקטע הזה לא כוללים מידע כמו תוכן הבקשה והתגובה ומספר האסימונים. כדי לעקוב אחרי סוג המידע הזה, כדאי להשתמש במעקב אחרי שימוש בתכונות AI במסוף Firebase (ראו את הקטע הקודם).

  1. במסוף Google Cloud, עוברים לדף Metrics של ה-API שרוצים להציג:

    • ‫Agent Platform API: צפייה בשימוש שמשויך לכל בקשה אל Agent Platform Gemini API (formerly Vertex AI).

      • כולל בקשות באמצעות Firebase AI Logic ערכות SDK של לקוח, ערכות SDK של שרת Google AI גנרטיבי, ‏ Genkit, ‏ Firebase Extensions, ‏ Gemini API, API בארכיטקטורת REST, ‏ Agent  Studio וכו'.

    • ‫Gemini Developer API: צפייה בנתוני השימוש שמשויכים לכל בקשה אל Gemini Developer API.

      • כולל בקשות באמצעות Firebase AI Logic ערכות SDK של לקוחות, ערכות SDK של שרתים של Google GenAI, ‏ Genkit, ‏ Firebase Extensions, ‏ Gemini API, ‏ API בארכיטקטורת REST, ‏ Google AI Studio וכו'.
      • השם המוצג של ה-API הזה במסוף Google Cloud הוא Generative Language API.

    אם מגיעים לדף סקירה כללית של ה-API, לוחצים על ניהול ואז על הכרטיסייה מדדים.

    .

  2. משתמשים בתפריטים הנפתחים כדי לראות את המדדים שמעניינים אתכם, כמו תנועה לפי קוד תגובה, שגיאות לפי method של API, חביון כולל וחביון לפי method של API.