הוספת נתונים ראשוניים וביצוע פעולות על נתונים בכמות גדולה

ב-Firebase SQL Connect, אתם יכולים לבצע טעינות ועדכונים של נתונים בכמות גדולה בדרכים שונות, בהתאם לתהליכי העבודה ולסביבות שלכם:

  • ביצירת אב טיפוס מקומי, כשמנסים סכימות חלופיות, אפשר ליצור מוטציות של הטמעת נתונים ולקרוא להן בסביבת פיתוח מקומית באמצעות התוסף SQL Connect VS Code, האמולטור של SQL Connect ומכונה של מסד נתונים מקומי.

  • בפיתוח בסביבת ייצור, עם סכימה יציבה, כשמבצעים תהליכי CI/CD גדולים יותר ומנהלים נתוני ייצור, יש שתי אפשרויות:

    • הגישה המועדפת היא להשתמש ב-Firebase Admin SDK, קבוצה של ספריות שפועלות בסביבות עם הרשאות.

    • אתם יכולים גם להשתמש בכלי SQL במכונה של Cloud SQL כדי לבצע טעינות ועדכונים בכמות גדולה, כל עוד אתם משנים את הנתונים ולא את סכימת מסד הנתונים. שינוי הסכימה של מסד הנתונים ישירות באמצעות כלי SQL עלול לשבש את הסכימה והמחברים של SQL Connect.

יצירת אב טיפוס מקומי: נתוני seed במופעים מקומיים

במדריך לתחילת הדרך הגדרתם אפליקציה להוספת רשומה אחת לטבלה אחת באמצעות מוטציית הוספה אד-הוק.

כדי שאפשר יהיה להשתמש באפליקציה לביקורות על סרטים, צריך נתונים על סרטים, ביקורות ומשתמשים, כדי ליצור אב טיפוס של שאילתות ומוטציות שמשתמשות בצירופים ובפעולות אחרות בכמה טבלאות עם נתונים מציאותיים. אתם יכולים להרחיב את הסכימה ולהזין נתונים במסד הנתונים.

סביבת אב הטיפוס שלכם צריכה קוד כדי לבצע הזנת נתונים. במדריך הזה יש כמה דוגמאות שממחישות:

  • שימוש ב-_insertMany וב-_upsertMany בטבלאות ספציפיות
  • שימוש ב-_insertMany בטבלאות קשורות

עדכון הסכימה של אפליקציית הביקורות על סרטים

אפשר להשתמש במוטציות _insertMany ו-_upsertMany כדי לעדכן טבלאות מסד נתונים בודדות, אחת בכל פעם, או לעדכן כמה טבלאות שקשורות ביחסי צירוף. בהמשך מוצגת סכימה מורחבת של אפליקציה לביקורת סרטים, שממחישה את התרחישים לדוגמה האלה. הוא מרחיב את schema.gql מעבר לסוג Movie ההתחלתי, וכולל את הסוגים Actor ו-MovieActor, כדי שנוכל ליצור אב טיפוס של שאילתות מורכבות יותר.

# Actors
# Suppose an actor can participate in multiple movies and movies can have multiple actors
# Movie - Actors (or vice versa) is a many to many relationship
type Actor @table {
  id: UUID!
  imageUrl: String! 
  name: String! @col(name: "name", dataType: "varchar(30)")
}

# Join table for many-to-many relationship for movies and actors
# The 'key' param signifies the primary key(s) of this table
# In this case, the keys are [movieId, actorId], the generated fields of the reference types [movie, actor]
type MovieActor @table(key: ["movie", "actor"]) {
  # @ref creates a field in the current table (MovieActor) that holds the primary key of the referenced type
  # In this case, @ref(fields: "movieId", references: "id") is implied
  movie: Movie!
  # movieId: UUID! <- this is created by the implied @ref
  actor: Actor!
  # actorId: UUID! <- this is created by the implied @ref
  role: String! # "main" or "supporting"
}

כתיבת מוטציות כדי להזין נתונים במצב אפס

במהלך יצירת אב טיפוס, כשצריך לבדוק את השאילתות והמוטציות מול מגוון ערכים נפרדים, אפשר לאכלס נתונים עם כמה רשומות. לדוגמה, יכול להיות שתרצו להוסיף כמה רשומות של סרטים עם סוגים שונים של ז'אנרים ודירוגים כדי לבדוק השוואות וסינון.

הזנת נתונים בטבלאות Movie ו-Actor

בהתאם לשלב של אב הטיפוס, אתם יכולים להשתמש באותה שיטה שמוצגת במדריך לתחילת העבודה כדי להוסיף רשומה אחת או שתיים: כלומר, אתם יכולים להשתמש ב-CodeLenses בתוסף SQL Connect VS Code כדי ליצור מוטציות של _insert, להוסיף נתונים בתוך הקוד ולהריץ את המוטציות האלה ב-VS Code.

בסופו של דבר, הגיוני יותר להוסיף רשומות רבות לטבלה באמצעות פעולת _insertMany. בדוגמה של האפליקציה לביקורת סרטים, הפעולה הזו מוסיפה קבוצה ראשונית של נתונים ב-Movie וב-Actor.

כדי לבצע את השינויים הבאים, באמצעות התוסף SQL Connect VS Code, בתצוגת עורך הקבצים המתאימה, לוחצים על הלחצנים Run (Production)‎ או Run (Local)‎ של CodeLens, בהתאם לשאלה אם אתם יוצרים אב טיפוס עם שירות הייצור או עם מסד נתונים מקומי.

# insertMany for Movie
# 2 records shown
mutation {
  movie_insertMany(data: [
    {
      id: "550e8400-e29b-41d4-a716-446655440000",
      title: "Inception",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Finception.jpg?alt=media&token=07b09781-b302-4623-a5c3-1956d0143168",
      genre: "sci-fi",
    },
    {
      id: "550e8400-e29b-41d4-a716-446655440001",
      title: "The Matrix",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Fthe_matrix.jpg?alt=media&token=4975645d-fef8-409e-84a5-bcc1046e2059",
      genre: "action",
    }
  ])
}
# insertMany for Actor
# 2 records shown
mutation {
  actor_insertMany(data: [
    {
      id: "123e4567-e89b-12d3-a456-426614174000",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/actors%2Fdicaprio.jpeg?alt=media&token=452e030a-efa5-4ef4-bb81-502b23241316",
      name: "Leonardo DiCaprio"
    },
    {
      id: "123e4567-e89b-12d3-a456-426614174001",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/actors%2Fkeanu.jpg?alt=media&token=6056520c-ef3e-4823-aad0-108aab163115",
      name: "Keanu Reeves"
    }
   ])
}

הוספת נתונים לטבלת הצירוף MovieActor

כדי לבדוק שאילתות ומוטציות באמצעות איחודים ופעולות מורכבות אחרות, אפשר להוסיף כמה רשומות לטבלה MovieActor.

כאן, כשמעדכנים כמה טבלאות ביחס כזה, אפשר להוסיף את ההוראה @transaction כדי לוודא שהעדכון יושלם כמו שצריך.

mutation @transaction {
  movie_insertMany(data: [
    {
      id: "550e8400-e29b-41d4-a716-446655440000",
      title: "Inception",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Finception.jpg?alt=media&token=07b09781-b302-4623-a5c3-1956d0143168",
      genre: "sci-fi",
    },
    {
      id: "550e8400-e29b-41d4-a716-446655440001",
      title: "The Matrix",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Fthe_matrix.jpg?alt=media&token=4975645d-fef8-409e-84a5-bcc1046e2059",
      genre: "action",
    }
  ])

  actor_insertMany(data: [
    {
      id: "123e4567-e89b-12d3-a456-426614174000",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/actors%2Fdicaprio.jpeg?alt=media&token=452e030a-efa5-4ef4-bb81-502b23241316",
      name: "Leonardo DiCaprio"
    },
    {
      id: "123e4567-e89b-12d3-a456-426614174001",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/actors%2Fkeanu.jpg?alt=media&token=6056520c-ef3e-4823-aad0-108aab163115",
      name: "Keanu Reeves"
    }
  ])
}

כדי להזין נתונים בטבלאות קשורות באופן אטומי, אפשר לבצע הוספה יחסית בתצוגת עץ באמצעות מטען ייעודי (payload) מילולי. כך נוצרת רשומת ההורה והרשומות המשויכות לה, בפעולה אחת בלי צורך בהתאמה ידנית של מפתח זר.

בקשרים של אחד לרבים, צריך לספק מערך של רשומות צאצא בתצוגת עץ. בקשרים של אחד לאחד, אתם מספקים אובייקט צאצא אחד בתצוגת עץ.

# Nested insert for Movie and Review (one-to-many)
# 1 movie and 2 reviews shown
mutation {
  movie_insert(data: {
    id: "550e8400-e29b-41d4-a716-446655440000",
    title: "Inception",
    imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Finception.jpg?alt=media&token=07b09781-b302-4623-a5c3-1956d0143168",
    genre: "sci-fi",
    reviews_on_movie: [
      {
        id: "123e4567-e89b-12d3-a456-426614174002",
        rating: 5,
        reviewText: "Amazing concept!",
        user: { id: "user-uuid-123" }
      },
      {
        id: "123e4567-e89b-12d3-a456-426614174003",
        rating: 4,
        reviewText: "A bit confusing, but great.",
        user: { id: "user-uuid-456" }
      }
    ]
  })
}
# Nested insert for User and Profile (one-to-one)
mutation {
  user_insert(data: {
    id: "user-uuid-123",
    name: "Alice",
    profile_on_user: {
      bio: "Avid moviegoer and critic."
    }
  })
}

כתיבת מוטציה לאיפוס נתוני ה-seed

כשמפתחים אב טיפוס ומבצעים CI/CD, יכול להיות שימושי לאפס את הנתונים למצב אפס כדי להריץ סדרה חדשה של בדיקות על קבוצה חדשה של נתונים.

כדי לעשות את זה, אם קוד האבטיפוס לא מוסיף רשומות לטבלאות, משתמשים במוטציה _upsertMany שסופקה על ידי SQL Connect.

בדוגמה הבאה, הפונקציה movie_upsertMany נקראת עם הערכים הראשוניים כדי לעדכן את רשומות הסרטים למצב המקורי שלהן.

mutation {
  # Execute an upsertMany operation to update the Movie table
  movie_upsertMany(data: [
    {
      id: "550e8400-e29b-41d4-a716-446655440000",
      title: "Inception",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Finception.jpg?alt=media&token=07b09781-b302-4623-a5c3-1956d0143168",
      genre: "sci-fi",
    },
    {
      id: "550e8400-e29b-41d4-a716-446655440001",
      title: "The Matrix",
      imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Fthe_matrix.jpg?alt=media&token=4975645d-fef8-409e-84a5-bcc1046e2059",
      genre: "action",
    }
   …
}

פיתוח מוצרים: משתמשים ב-Admin SDK כדי לאכלס ולעדכן

ה-Firebase Admin SDK זמין כשרוצים לעבוד מסביבות עם הרשאות. זהו תרחיש שימוש חשוב כשרוצים לטעון אלפי רשומות, בהתחשב באופי הקריטי של פעולות בנתונים בכמות גדולה בנתוני הייצור.

התקנת Firebase Admin SDK

גם אם אתם עובדים בעיקר באופן מקומי, ב-Firebase מומלץ להגדיר את Admin SDK כדי שתוכלו להשתמש ב-Firebase SQL Connect מסביבה עם הרשאות, כולל הסביבה המקומית שלכם. צריך להגדיר את Admin SDK ל-Node.js.

מידע נוסף על השימוש ב-SDK לאדמינים בתרחישים אחרים של SQL Connect

טעינה ועדכון של נתוני ייצור בכמות גדולה

ה-API לניהול נתונים בכמות גדולה יוצר מוטציות של GraphQL בשבילכם, במקום לבקש מכם ליצור מחרוזות mutation {...} באמצעות ה-API של executeGraphQL שמתואר למעלה כדי להוסיף כמה שורות פה ושם באופן מקומי.

יתרון משמעותי של ה-API לניהול הוא היכולת לנהל בנפרד מערכים של נתונים ולהשתמש בהם שוב בתהליכי CI/CD, או להגדיר קובצי נתונים גדולים של נתוני ייצור.

בקטעי הקוד הבאים אפשר לראות איך מגדירים סקריפט של נתונים בכמות גדולה.

import { initializeApp } from 'firebase-admin/app';
import { getDataConnect } from 'firebase-admin/data-connect';

const app = initializeApp();

const dc = getDataConnect({ location: "us-west2", serviceId: "my-service" });

const data = [
  {
    id: "550e8400-e29b-41d4-a716-446655440000",
    title: "Inception",
    imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Finception.jpg?alt=media&token=07b09781-b302-4623-a5c3-1956d0143168",
    genre: "sci-fi",
    // Nested reviews can be inserted atomically along with the movie
    reviews_on_movie: [
      {
        rating: 5,
        reviewText: "Amazing concept!",
        user: { id: "user-123" } // Link to existing user
      }
    ]
  },
  {
    id: "550e8400-e29b-41d4-a716-446655440001",
    title: "The Matrix",
    imageUrl: "https://firebasestorage.googleapis.com/v0/b/fdc-quickstart-web.appspot.com/o/movies%2Fthe_matrix.jpg?alt=media&token=4975645d-fef8-409e-84a5-bcc1046e2059",
    genre: "action",
    reviews_on_movie: [
      {
        rating: 5,
        reviewText: "A masterpiece of sci-fi action.",
        user: { id: "user-456" }
      }
    ]
  }
];

// Methods of the bulk operations API
const resp = await dc.insert("movie" /*table name*/, data[0]);
// Or
const resp = await dc.insertMany("movie" /*table name*/, data);

// Or
const resp = await dc.upsert("movie" /*table name*/, data[0]);
// Or
const resp = await dc.upsertMany("movie" /*table name*/, data);

פיתוח בסביבת ייצור: שימוש ב-SQL לעדכוני נתונים בכמות גדולה

כשעובדים עם סכימה יציבה בסביבת הייצור ולא משנים את הסכימה, אפשר לעבוד במכונה של Cloud SQL כדי לנהל את טעינת הנתונים והעדכונים.

במדריך של Cloud SQL ל-PostgreSQL מוסבר איך לייבא נתונים.

מה השלב הבא?