צפייה בתובנות של Knowledge Catalog

אתם יכולים לחפש ולנהל את המשאבים של Cloud Firestore באמצעות Knowledge Catalog, פלטפורמה לאחסון, לניהול ולגישה למטא-נתונים. אתם יכולים להשתמש ב-Knowledge Catalog כדי לנתח את המטא-נתונים של Cloud Firestore ולעזור לכם במשימות כמו:

  • ניתוח, כולל תלות והתאמה לתרחיש שימוש
  • ניהול שינויים
  • התפתחות הסכימה

התכונה Knowledge Catalog מופעלת כברירת מחדל במסדי נתונים חדשים וקיימים של Cloud Firestore, והיא מאחזרת באופן אוטומטי את המטא-נתונים הבאים:

משאב סוג שדות
מסד נתונים מישור הבקרה
  • מהדורה
  • מצבים
  • מיקום (כולל מספר אזורים)
  • מזהה פרויקט
  • שם מסד הנתונים
  • שעת יצירה
סכימת מסד נתונים מישור הנתונים
  • שם
  • איסוף
  • שדה – סוגי נתונים
  • סכימה

לפני שמתחילים

מפעילים את Knowledge Catalog API ‏ (dataplex.googleapis.com).
  • כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' roles/serviceusage.serviceUsageAdmin, שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים
  • הוראות להפעלת API מופיעות במאמר הפעלת ממשקי API.

כדי להשתמש בתובנות של Knowledge Catalog עם Cloud Firestore, צריך קודם ליצור מסד נתונים של Cloud Firestore. מידע נוסף זמין במאמר בנושא יצירה וניהול של מסדי נתונים.

התפקידים שנדרשים כדי לגשת לתוצאות החיפוש

כדי לחפש ולהציג מטא-נתונים של Cloud Firestore ב-Knowledge Catalog, ישויות מורשות צריכות להיות בעלות הרשאות להצגת משאבים של Cloud Firestore, כולל ההרשאה dataplex.projects.search.

כדי להעניק את ההרשאות האלה לחשבונות – כמו של משתמשים, קבוצות או שירותים – צריך להקצות להם את תפקיד ה-IAM‏ Cloud Datastore Viewer (roles/datastore.viewer) בפרויקט שמכיל את המשאבים Cloud Firestore.

פעולה ב-Knowledge Catalog משאב Cloud Firestore תפקידים או הרשאות נדרשים
חיפוש משאבים ב-Cloud Firestore מסד נתונים datastore.databases.getMetadata
סכימת מסד נתונים datastore.schemas.get

מידע נוסף על מתן תפקידים מופיע במאמר ניהול הגישה. מידע נוסף על Cloud Firestore תפקידים ב-IAM זמין במאמר Cloud Firestore תפקידים והרשאות.

התפקידים שנדרשים כדי לחפש רשומות

כדי לחפש רשומות, צריך להיות לכם לפחות אחד מתפקידי ה-IAM הבאים בפרויקט שמשמש לחיפוש:

ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר. מידע נוסף זמין במאמר בנושא חיפוש נכסי נתונים באמצעות Knowledge Catalog.

סוגים של גילוי מטא-נתונים

גילוי המטא-נתונים של Knowledge Catalog הוא תהליך אוטומטי שסורק מקורות נתונים מקושרים – כמו Cloud Firestore – כדי לזהות נכסי נתונים (כמו אוספים ומסדי נתונים) ולחלץ את המטא-נתונים הטכניים שלהם, כמו סכימות, תיאורים ומיקומים, אל הקטלוג של Knowledge Catalog. התהליך הזה מופעל מדי פעם כדי לשמור על סנכרון הקטלוג עם מערכות המקור.

ב-Knowledge Catalog יש תמיכה בחיפושים לפי מילות מפתח ובחיפושים בשפה טבעית.

  • חיפוש מילות מפתח מאפשר לכם למצוא משאבים באמצעות מילות מפתח ספציפיות, מסננים ותחביר מוגדר. לדוגמה, אפשר להזין system=Firestore AND type=Database כדי לראות את כל מסדי הנתונים של Cloud Firestore.
  • חיפוש בשפה טבעית (גרסת Preview) משתמש ב-AI כדי להבין שאילתות סמנטיות. הוא מאפשר לכם למצוא משאבים באמצעות שפה יומיומית, בלי שתצטרכו להשתמש בתחביר מורכב. לדוגמה, אפשר להזין שאילתות כמו List all Firestore databases related to sales.

מידע נוסף זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

דוגמה: גילוי סכימה של קבוצת אוספים Cloud Firestore

כדי להבין את תהליך גילוי המטא-נתונים, נתייחס למסד נתונים Cloud Firestore בשם user-firestore-database. במסד הנתונים הזה יש סכימת קבוצת אוספים בשם user-schema.

אחרי שהגילוי מסתיים, אפשר לחפש את הנכסים האלה – user-firestore-database ו-user-schema – בדף Knowledge Catalog במסוף Google Cloud או באמצעות Knowledge Catalog API. לאחר מכן תוכלו לראות פרטים על הנכסים ולהוסיף להם מטא נתונים עסקיים או תפעוליים.

העשרת המטא-נתונים באמצעות היבטים

סוגי היבטים הם משאבים לשימוש חוזר שאפשר להשתמש בהם כתבניות להיבטים. סוגי ההיבטים עוזרים לכם להימנע מכפילויות בעבודה וממקרים שבהם ההיבטים לא הושלמו. אתם יכולים להשתמש ב-Knowledge Catalog כדי ליצור את סוגי ה-aspect שאתם צריכים.

אחרי שיוצרים סוגי היבטים בהתאמה אישית, אפשר לצרף היבטים למשאבי Cloud Firestore. כשמצרפים היבטים למשאבים, אפשר לבצע את הפעולות הבאות:

  • הוספת מטא-נתונים של העסק לנכסים
  • חיפוש נכסים לפי מטא-נתונים עסקיים ומטא-נתונים מותאמים אישית אחרים

מידע נוסף על יצירת סוגי היבטים וצירוף היבטים ל-Cloud Firestore זמין במאמר ניהול היבטים והעשרת מטא-נתונים.

חיפוש נכסי Cloud Firestore

בדף החיפוש של Knowledge Catalog במסוף Google Cloud, מחפשים נכסי Cloud Firestore.

  1. עוברים לדף חיפוש ב-Knowledge Catalog.

    מעבר אל חיפוש

  2. בחלונית Filters, לוחצים על Systems ואז על Firestore.

  3. זה שינוי אופציונלי. בקטע Type aliases, אפשר לסנן את תוצאות החיפוש לפי סוג מסוים של נכס Cloud Firestore על ידי בחירה של אחד או יותר מהכינויים הבאים:

    • מסד נתונים
    • סכימת מסד נתונים
    • אחר

אתם יכולים להשתמש בשדה החיפוש ב-Knowledge Catalog כדי להריץ שאילתות של חיפוש מילות מפתח. לדוגמה, אפשר להזין system=Firestore AND type=Database כדי לראות את כל מסדי הנתונים של Cloud Firestore.

מידע נוסף זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

כדי להציג את כל הנכסים Cloud Firestore, מזינים system=Firestore. אפשר להזין מילות מפתח ספציפיות. לדוגמה, כדי לראות את כל מסדי הנתונים של Cloud Firestore:

system=Firestore AND type=Database

אפשר גם להשתמש בסוגריים ובאופרטורים הלוגיים AND ו-OR לביטויים מורכבים. כדי לקרוא מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש, ראו תחביר חיפוש עבור Knowledge Catalog.

אפשר להזין ישירות שאילתות חיפוש של נכסי Cloud Firestore ספציפיים בשדה החיפוש. הפורמט של מחרוזת השאילתה הוא:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

מחליפים את מה שכתוב בשדות הבאים:

  • QUERY_STRING: משתמשים ברשימה הבאה כדי לזהות מחרוזת שאילתה על סמך סוג נכס Cloud Firestore שרוצים לשלוח לגביו שאילתה:

    • firestore-database
    • firestore-schema

דוגמה לשאילתה:

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

חיפוש לפי סוג ההיבט

‫Knowledge Catalog כולל כמה סוגים מובנים של היבטים שבהם אפשר להשתמש כדי לבצע חיפושים.

כדי לחפש לפי סוג היבט:

  1. בחלונית מאפיינים, לוחצים על התפריט הוספת סוגי מאפיינים נוספים.
  2. מזינים Firestore ואז בוחרים סוג אחד או יותר של היבטים כדי לצמצם את תוצאות החיפוש לסוג הזה.
    • Cloud Firestore מסד נתונים
    • Cloud Firestore סכימה
  3. לוחצים על אישור.
  4. בטבלת התוצאות, לוחצים על שם הנכס כדי לראות את המטא-נתונים שלו.
  5. אופציונלי: משפרים את הנכסים או צופים בהם. אפשר לבצע את הפעולות הבאות:
    • כדי להוסיף תיאור בפורמט טקסט עשיר לנכס, לוחצים על הוספה בדף סקירה כללית .
    • כדי לצרף היבט לנכס, בקטע היבטים, לוחצים על הוספה .
    • כדי להציג מסדי נתונים של חברים במופע, לוחצים על הכרטיסייה רשימת רשומות ואז על הצגת כל רשומות הצאצא בחיפוש.
    • בקטע פרטי הרשומה, אפשר לראות את הפרטים המלאים של הנכס. לוחצים על שם הרשומה כדי להציג רשומות נוספות.

חיפוש בשפה טבעית ב-Cloud Firestore

חיפוש בשפה טבעית (גרסת Preview) משתמש ב-AI כדי להבין שאילתות סמנטיות. הוא מאפשר לכם למצוא משאבים באמצעות שפה יומיומית, בלי שתצטרכו להשתמש בתחביר מורכב. לדוגמה, אפשר להזין שאילתות כמו List all Firestore collections related to sales.

מידע נוסף זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

חיפוש תחביר בCloud Firestore

חיפוש מילות מפתח מאפשר לכם למצוא משאבים באמצעות מילות מפתח ספציפיות, מסננים ותחביר מוגדר. לדוגמה, אפשר להזין system=Firestore AND type=Database כדי לראות את כל מסדי הנתונים של Cloud Firestore.

מידע נוסף זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

דוגמה לתהליך עבודה: פירוט ממאגר נתונים לסכימה

כדי לבצע פירוט יתר ממסד נתונים לסכימה:

  1. עוברים לדף חיפוש ב-Knowledge Catalog.

    מעבר אל חיפוש

  2. בחלונית המסננים, בוחרים באפשרות Systems ואז באפשרות Firestore. אפשרות נוספת היא להזין system=Firestore בשדה החיפוש.

  3. בוחרים מסד נתונים.

  4. בדף Firestore details, לוחצים על הכרטיסייה Entry list ואז על Show all children entries in search.

  5. בדף Firestore database details, לוחצים על הכרטיסייה Entry list ואז על Show all children entries in search. ב-Knowledge Catalog מוצגות קבוצות האוספים במסד הנתונים.

  6. בוחרים שם של קבוצת אוספים, ואז בדף פרטים של קבוצת אוספים לוחצים על סכימה כדי לראות את הסכימה.

  7. אופציונלי: כדי להוסיף סוג מאפיין למסד נתונים, לוחצים על הלחצן הוספת מאפיין.

תמחור

אין חיוב על אחסון של Cloud Firestore מטא-נתונים טכניים ב-Knowledge Catalog. התמחור הרגיל של Knowledge Catalog חל על קריאות ל-API ועל העשרה נוספת של מטא-נתונים עסקיים. מידע נוסף מופיע בדף המחירון של Knowledge Catalog.

מגבלות

  • תוצאות השאילתה נחתכות אחרי ש-10,000 קבוצות של נתונים נבלעו.
  • במהלך הטמעת נתונים באצווה, יכולות לעבור עד 48 שעות עד שהעדכונים במסד הנתונים יבואו לידי ביטוי ב-Knowledge Catalog.
  • במהלך הטמעה בזמן אמת, יכול להיות שיעברו עד 5 דקות עד שהעדכונים במסד הנתונים יופיעו ב-Knowledge Catalog.
  • קבוצות האוספים לא מתעדכנות במהלך ההעלאה בזמן אמת.
  • סכימות של קבוצות אוספים מתעדכנות במהלך הטמעה בזמן אמת, אבל העדכון הזה כולל רק את 100 השדות הפרימיטיביים הראשונים ברמה העליונה בסדר אלפביתי. שאר פרטי הסכימה מתעדכנים 24 עד 48 שעות אחרי ההטמעה הפעילה.
  • תהליך החילוץ עשוי להימשך כמה דקות.

המאמרים הבאים