Join us in person and online for Firebase Summit on October 18, 2022. Learn how Firebase can help you accelerate app development, release your app with confidence, and scale with ease. Register now

זיהוי ציוני דרך בצורה מאובטחת עם Cloud Vision באמצעות Firebase Auth ופונקציות בפלטפורמות Apple

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

כדי להתקשר ל-Google Cloud API מהאפליקציה שלך, עליך ליצור REST API ביניים שמטפל בהרשאה ומגן על ערכים סודיים כגון מפתחות API. לאחר מכן עליך לכתוב קוד באפליקציה לנייד שלך כדי לאמת ולתקשר עם שירות הביניים הזה.

אחת הדרכים ליצור REST API זה היא באמצעות Firebase Authentication and Functions, המעניק לך שער מנוהל ללא שרת אל ממשקי Google Cloud API שמטפל באימות וניתן להתקשר אליו מהאפליקציה לנייד שלך עם ערכות SDK מובנות מראש.

מדריך זה מדגים כיצד להשתמש בטכניקה זו כדי לקרוא ל-Cloud Vision API מהאפליקציה שלך. שיטה זו תאפשר לכל המשתמשים המאומתים לגשת לשירותי החיוב של Cloud Vision דרך פרויקט הענן שלך, אז שקול אם מנגנון אימות זה מספיק למקרה השימוש שלך לפני שתמשיך.

לפני שאתה מתחיל

הגדר את הפרויקט שלך

אם עדיין לא הוספת את Firebase לאפליקציה שלך, עשה זאת על ידי ביצוע השלבים במדריך לתחילת העבודה .

השתמש ב- Swift Package Manager כדי להתקין ולנהל תלות ב-Firebase.

  1. ב-Xcode, כשפרויקט האפליקציה שלך פתוח, נווט אל קובץ > הוסף חבילות .
  2. כשתתבקש, הוסף את מאגר Firebase Apple platforms SDK:
  3.   https://github.com/firebase/firebase-ios-sdk
  4. בחר את ספריית Firebase ML.
  5. בסיום, Xcode יתחיל באופן אוטומטי לפתור ולהוריד את התלות שלך ברקע.

לאחר מכן, בצע כמה הגדרות בתוך האפליקציה:

  1. באפליקציה שלך, ייבא את Firebase:

    מָהִיר

    import FirebaseMLModelDownloader

    Objective-C

    @import FirebaseMLModelDownloader;

עוד כמה שלבי תצורה, ואנחנו מוכנים לצאת לדרך:

  1. אם עדיין לא הפעלת ממשקי API מבוססי ענן עבור הפרויקט שלך, עשה זאת כעת:

    1. פתח את הדף Firebase ML APIs של מסוף Firebase.
    2. אם עדיין לא שדרגת את הפרויקט שלך לתוכנית התמחור של Blaze, לחץ על שדרג כדי לעשות זאת. (תתבקש לשדרג רק אם הפרויקט שלך אינו בתוכנית Blaze.)

      רק פרויקטים ברמת Blaze יכולים להשתמש בממשקי API מבוססי ענן.

    3. אם ממשקי API מבוססי ענן עדיין לא מופעלים, לחץ על הפעל ממשקי API מבוססי ענן .
  2. הגדר את מפתחות ה-API הקיימים של Firebase כדי לא לאפשר גישה ל-Cloud Vision API:
    1. פתח את דף האישורים של מסוף הענן.
    2. עבור כל מפתח API ברשימה, פתח את תצוגת העריכה, ובקטע מגבלות מפתח, הוסף לרשימה את כל ממשקי ה-API הזמינים מלבד Cloud Vision API.

פרוס את הפונקציה הניתנת להתקשרות

לאחר מכן, פרוס את פונקציית הענן שבה תשתמש כדי לגשר בין האפליקציה שלך לבין Cloud Vision API. מאגר functions-samples מכיל דוגמה שתוכל להשתמש בה.

כברירת מחדל, גישה ל-Cloud Vision API באמצעות פונקציה זו תאפשר רק למשתמשים מאומתים של האפליקציה שלך גישה ל-Cloud Vision API. אתה יכול לשנות את הפונקציה לדרישות שונות.

כדי לפרוס את הפונקציה:

  1. שכפל או הורד את ה- functions-samples repo ושנה לספריית vision-annotate-image :
    git clone https://github.com/firebase/functions-samples
    cd vision-annotate-image
    
  2. תלות בהתקנה:
    cd functions
    npm install
    cd ..
    
  3. אם אין לך את Firebase CLI, התקן אותו .
  4. אתחול פרויקט Firebase בספריית vision-annotate-image . כאשר תתבקש, בחר את הפרויקט שלך ברשימה.
    firebase init
  5. פרוס את הפונקציה:
    firebase deploy --only functions:annotateImage

הוסף Firebase Auth לאפליקציה שלך

הפונקציה הניתנת להתקשרות שנפרסה למעלה תדחה כל בקשה ממשתמשים לא מאומתים של האפליקציה שלך. אם עדיין לא עשית זאת, תצטרך להוסיף Firebase Auth לאפליקציה שלך.

הוסף תלות נחוצה לאפליקציה שלך

השתמש ב- Swift Package Manager כדי להתקין את ספריית Cloud Functions for Firebase.

1. הכן את תמונת הקלט

כדי לקרוא ל-Cloud Vision, התמונה חייבת להיות בפורמט כמחרוזת מקודדת base64. כדי לעבד תמונת UIImage :

מָהִיר

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. הפעל את הפונקציה הניתנת להתקשרות כדי לזהות ציוני דרך

כדי לזהות ציוני דרך בתמונה, הפעל את הפונקציה הניתנת להתקשרות המעביר בקשת JSON Cloud Vision .

  1. ראשית, אתחל מופע של פונקציות ענן:

    מָהִיר

    lazy var functions = Functions.functions()
    

    Objective-C

    @property(strong, nonatomic) FIRFunctions *functions;
    
  2. צור בקשה עם סוג מוגדר ל- LANDMARK_DETECTION :

    מָהִיר

    let requestData = [
      "image": ["content": base64encodedImage],
      "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
    ]
    

    Objective-C

    NSDictionary *requestData = @{
      @"image": @{@"content": base64encodedImage},
      @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
    };
    
  3. לבסוף, הפעל את הפונקציה:

    מָהִיר

    functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
      if let error = error as NSError? {
        if error.domain == FunctionsErrorDomain {
          let code = FunctionsErrorCode(rawValue: error.code)
          let message = error.localizedDescription
          let details = error.userInfo[FunctionsErrorDetailsKey]
        }
        // ...
      }
      // Function completed succesfully
    }
    

    Objective-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                              callWithObject:requestData
                                  completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
            if (error) {
              if (error.domain == FIRFunctionsErrorDomain) {
                FIRFunctionsErrorCode code = error.code;
                NSString *message = error.localizedDescription;
                NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
              }
              // ...
            }
            // Function completed succesfully
            // Get information about labeled objects
    
          }];
    

3. קבל מידע על ציוני הדרך המוכרים

אם פעולת זיהוי ציון הדרך תצליח, תגובת JSON של BatchAnnotateImagesResponse תוחזר בתוצאת המשימה. כל אובייקט במערך ה- landmarkAnnotations מייצג ציון דרך שזוהה בתמונה. עבור כל ציון דרך, אתה יכול לקבל את הקואורדינטות התוחמות שלו בתמונת הקלט, שם ציון הדרך, קו הרוחב והאורך שלו, מזהה הישות של גרף הידע שלו (אם זמין), וציון הביטחון של ההתאמה. לדוגמה:

מָהִיר

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Objective-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}