ביצוע חיפוש דמיון וקטורי באמצעות Vertex AI

ברוכים הבאים לחיפוש לפי דמיון וקטורי של Firebase SQL Connect – הטמעה של חיפוש סמנטי ב-Firebase שמשולבת עם Google Vertex AI.

בבסיס התכונה הזו נמצאים הטמעות וקטוריות, שהן מערכים של מספרים ממשיים שמייצגים את המשמעות הסמנטית של טקסט או מדיה. על ידי הפעלת חיפוש של השכן הקרוב ביותר באמצעות הטמעת וקטור קלט, אפשר למצוא את כל התוכן שדומה מבחינה סמנטית. ‫SQL Connect משתמשת בתוסף pgvector של PostgreSQL כדי להפעיל את היכולת הזו.

החיפוש הסמנטי המתקדם הזה יכול להניב תרחישי שימוש כמו מנועי המלצות ומנועי חיפוש. הוא גם רכיב מרכזי ביצירה משופרת באמצעות אחזור בתהליכי עבודה של AI גנרטיבי. במאמרי העזרה של Vertex AI אפשר לקבל מידע נוסף.

אתם יכולים להסתמך על התמיכה המובנית של SQL Connect ביצירת הטמעות וקטוריות באופן אוטומטי באמצעות Vertex AI Embeddings API, או להשתמש ב-API הזה כדי ליצור אותן באופן ידני.

דרישות מוקדמות

• הגדרה של SQL Connect לפרויקט.

• מפעילים את Vertex AI APIs.

הגדרה

אפשר לבחור בין תהליך פיתוח מקומי (אם אתם מפתחי אתרים, Kotlin Android או iOS) לבין תהליך IDX (למפתחי אתרים). אתם יכולים להשתמש במסד נתונים מקומי או בפרויקט SQL Connect שלכם בסביבת הייצור ובמופע Cloud SQL שלו ב-PostgreSQL לצורך פיתוח.

במסגרת ההוראות האלה, אנחנו מניחים שיצרתם SQL Connect פרויקט לפי המדריך למתחילים.

שילוב עם PostgreSQL מקומי

1. מגדירים מכונת PostgreSQL מקומית.

2. מעניקים לעצמכם את התפקיד 'משתמש Vertex AI' ב-IAM.

3. בסביבה שלכם, מגדירים Google Cloud Application Default Credentials.

4. במכונת PostgreSQL המקומית, מתקינים את התוסף pgvector.

5. מפעילים את התוסף באמצעות CREATE EXTENSION vector בהתאם להוראות במאגר pgvector המידע.

שילוב עם IDX

1. מגדירים את סביבת העבודה ב-IDX באמצעות התבנית SQL Connect.

2. מעניקים לעצמכם את התפקיד 'משתמש Vertex AI' ב-IAM.

3. מפעילים את התוסף באמצעות CREATE EXTENSION vector בהתאם להוראות במאגר pgvector המידע.

עיצוב הסכימה

כדי לבצע חיפוש וקטורי, מוסיפים שדה חדש מסוג Vector לסכימה. לדוגמה, אם רוצים לבצע חיפוש סמנטי באמצעות תיאורי סרטים, מוסיפים שדה להחזקת הטמעות הווקטור שמשויכות לתיאור הסרט. בסכימה הזו, descriptionEmbedding נוסף כדי לאחסן הטמעות וקטוריות בשדה description.

type Movie @table {
 id: ID! @col(name: "movie_id") @default(id: ID! @col(name: "movie_id") @default(expr: "uuidV4()")
 title: String!
 description: String
 descriptionEmbedding: Vector! @col(size:768)
 // ...
}

יצירה ואחזור של הטמעות

‫SQL Connect כולל תמיכה משולבת בהטמעות וקטוריות עם ערך השרת _embed. הפעולה הזו מנחה את SQL Connect ליצור הטמעות וקטורים באמצעות קריאה פנימית לממשקי ה-API של הטמעות ב-Vertex AI. _embed אפשר להשתמש בערך השרת גם במוטציות וגם בשאילתות.

מוטציות

יצירה ושמירה של הטמעה באמצעות SQL Connect

באפליקציה לחיפוש וקטורי, כדאי לבקש שההטמעות ייווצרו ברגע שמוסיפים רשומות למסד הנתונים. בדוגמה הבאה createMovie מוטציה מוסיפה רשומה של סרט לטבלת Movie ומעבירה גם תיאור של הסרט עם הטמעה מוגדרת model.

mutation createMovie($title: String!, $description: String!) {
  movie_insert(data: {
    title: $title,
    description: $description,
    descriptionEmbedding_embed: {model: "textembedding-gecko@003", text: $description}
  })
}

במקרים מסוימים, יכול להיות שתרצו לעדכן את תיאור הסרט ואת ההטמעה שלו.

mutation updateDescription($id: String!, $description: String!) {
  movie_update(id: $id, data: {
    description: $description,
    descriptionEmbedding_embed: {model: "textembedding-gecko@003", text: $description}
  })
}

כדי להתקשר למוטציה האחרונה מלקוח:

import { updateMovieDescription } from 'lib/dataconnect-sdk/';

await updateMovieDescription({ id: movieId, description: description});

// Use the response

שאילתות

מאחזרים הטמעות וקטוריות באמצעות שאילתה כמו זו שבהמשך. שימו לב שהערך descriptionEmbedding שמוחזר על ידי השאילתה הוא מערך של מספרים עשרוניים, שבדרך כלל לא קל לקרוא אותו. לכן, ערך ה-ID הזה לא מוחזר ישירות על ידי ערכות ה-SDK שנוצרות באופן אוטומטי.SQL Connect

אפשר להשתמש בהטמעות וקטוריות שמוחזרות כדי לבצע חיפוש דמיון, כמו שמתואר בקטע הבא.

query getMovieDescription($id: String!) @auth(level: PUBLIC) {
 movie(id: $id)
   id
   description
   descriptionEmbedding
}

ביצוע חיפוש דמיון

עכשיו אפשר לבצע חיפוש של תמונות דומות.

לכל שדה Vector, ‏ SQL Connect יוצר פונקציית GraphQL שמיישמת את חיפוש הדמיון. השם של הפונקציה שנוצרה הוא ${pluralType}_${vectorFieldName}_similarity. הוא תומך בכמה פרמטרים כמו שמוצג בדוגמאות הבאות וברשימת ההפניות.

אפשר להגדיר פונקציית GraphQL שמפעילה את חיפוש הדמיון. כמו שצוין למעלה, ערך השרת _embed מכוון את SQL Connect ליצור הטמעות וקטורים באמצעות ממשקי ה-API להטמעה של Vertex AI. במקרה הזה, ליצור הטמעות למחרוזת החיפוש שמשמשת להשוואה עם הטמעות של תיאורי סרטים.

בדוגמה הזו, חיפוש הדמיון יחזיר עד 5 סרטים שהתיאור שלהם הכי קרוב מבחינה סמנטית לשאילתת הקלט. קבוצת התוצאות ממוינת בסדר עולה לפי המרחק – מהקרוב ביותר לרחוק ביותר.

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
      }
  }

שינוי שאילתת הדמיון

ערכי ברירת המחדל של פרמטרים לחיפוש כמו method ו-within מתאימים לרוב תרחישי השימוש. עם זאת, אם אתם מבחינים שהשאילתה מחזירה תוצאות שדומות מדי או שחסרות תוצאות שאתם רוצים לכלול, נסו לשנות את הפרמטרים האלה.

כדי למצוא ערך מתאים ל-within, אפשר להוסיף את _metadata.distance לשדות שנבחרו כדי לראות את המרחק של כל תוצאה מוקטור השאילתה. על סמך הערכים של distance שמוחזרים, אפשר להגדיר את הפרמטר within. רק תוצאות עם מרחק קטן מהערך של within ייכללו:

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      within: 2,
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
        _metadata {
          distance
        }
      }
  }

אפשר גם להתנסות בפונקציות שונות של מרחק על ידי הגדרת הפרמטר method.

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      within: .5,
      method: COSINE,
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
        _metadata {
          distance
        }
      }
  }

שימו לב: שיטות שונות מחזירות ערכים שונים מאוד למרחק. אם הגדרתם within, תצטרכו לשנות את הערך הזה שוב אחרי שתשנו את method.

הפעלת שאילתת הדמיון

כדי להתקשר לחיפוש דמיון מקוד לקוח:

import { searchMovieDescriptionUsingL2similarity} from 'lib/dataconnect-sdk';

const response = await searchMovieDescriptionUsingL2similarity({ query });

// Use the response

שימוש בהטמעות בהתאמה אישית

‫SQL Connect מאפשר גם לעבוד עם הטמעות ישירות כ-Vectors במקום להשתמש בערך השרת _embed כדי ליצור אותן.

שמירת הטמעה בהתאמה אישית

באמצעות Vertex Embeddings API, מציינים מודל התאמה ומבקשים תוצאות הטמעה של המאפיין הנכון.

לאחר מכן, מבצעים המרה של מערך המספרים הממשיים שמוחזר ל-Vector כדי להעביר אותו לפעולת העדכון לצורך אחסון.

mutation updateDescription($id: String!, $description: String!, $descriptionEmbedding: Vector!) {
  movie_update(id: $id, data: {
    // title, genre...
    description: $description,
    descriptionEmbedding: $descriptionEmbedding
  })
}

ביצוע חיפוש דמיון באמצעות הטמעות בהתאמה אישית

מבצעים את אותה פעולה כדי לאחזר הטמעות של מונחי חיפוש ומבצעים המרה (cast) שלהם ל-Vectors.

לאחר מכן, קוראים לשאילתת _similarity כדי לבצע כל חיפוש.

query searchMovieDescriptionUsingL2Similarity($compare: Vector!, $within: Float, $excludesContent: String, $limit: Int) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare: $compare,
      method: L2,
      within: $within,
      where: {content: {ne: $excludesContent}}, limit: $limit)
      {
        id
        title
        description
      }
  }

פריסה בסביבת הייצור

פריסת הסכימה והמחבר

השלב האחרון בSQL Connect איטרציה טיפוסית הוא פריסת הנכסים בסביבת הייצור.

כשפורסים סכימה שמכילה סוגים של Vector ב-Cloud SQL באמצעות הפקודה firebase deploy, ה-CLI של Firebase מבצע את הפעולות הנדרשות כדי להפעיל יצירת הטמעה מבוססת-Vertex AI במופע Cloud SQL.

firebase deploy --only dataconnect

אם רוצים להפעיל תמיכה בהטמעה במופע Cloud SQL באופן ידני, או אם נתקלים בשגיאה ב-CLI, פועלים לפי ההוראות האלה.

תחביר של חיפוש וקטורי

תוספי סכימה

סוג הנתונים SQL Connect's Vector ממופה לסוג vector ב-PostgreSQL, כפי שמוגדר על ידי התוסף pgvector. הסוג vector של pgvector מאוחסן כמערך של מספרים צפים עם דיוק יחיד ב-PostgreSQL.

ב-SQL Connect, הסוג Vector מיוצג כמערך של מספרי JSON. הקלט מומר למערך של ערכי float32. אם ההמרה נכשלת, נוצרת שגיאה.

משתמשים בפרמטר size של התגית @col כדי להגדיר את המימדים של הווקטור.

type Question @table {
    text: String!
    category: String!
    textEmbedding: Vector! @col(size: 768)
}

האופרטור size נתמך רק בסוגי הערכים Vector. פעולות Vector, כמו חיפוש דמיון, מחייבות שכל ה-Vector יהיו בעלי אותו מספר ממדים.

directive @col(
  # … existing args
  """
  Defines a fixed column size for certain scalar types.

  - For Vector, size is required.
  - For all other types, size is currently unsupported and hence supplying it will result in a schema error.
  """
  size: Int
) on FIELD_DEFINITION

_embed ערך השרת לשאילתות ולשינויים

_embed

ערך השרת הזה מנחה את שירות SQL Connect ליצור ולאחסן הטמעות באמצעות Vertex AI Embedding APIs. אפשר להשתמש בערך השרת הזה גם בשאילתות וגם במוטציות.

פרמטרים לחיפוש דומים

method: COSINE|INNER_PRODUCT|L2

פונקציית המרחק שמשמשת לחיפוש שכנים קרובים. האלגוריתמים שנתמכים כרגע הם קבוצת משנה של אלגוריתמים לחיפוש pgvector.

within: float

מגבלה על המרחק שבו מתבצע חיפוש השכן הקרוב ביותר.

where: FDC filter condition

אפשר לעיין במדריך בנושא סכימות, שאילתות ומוטציות.

limit: int

מספר התוצאות שיוחזרו.