כדי לשלוח קריאה ל-Google Cloud API מהאפליקציה, צריך ליצור API בארכיטקטורת REST שמשמש כמתווך, מטפל בהרשאות ומגן על ערכים סודיים כמו מפתחות API. לאחר מכן, צריך לכתוב קוד באפליקציה לנייד כדי לאמת את השירות המתווך הזה ולתקשר איתו.
אחת מהדרכים ליצור את ה-API בארכיטקטורת REST היא באמצעות אימות ב-Firebase ו-Functions, שמספקים שער מנוהל ללא שרת (serverless) ל-Cloud APIs של Google שמטפל באימות, ואפשר לקרוא לו מהאפליקציה לנייד באמצעות ערכות SDK מובנות מראש.
במדריך הזה נסביר איך להשתמש בשיטה הזו כדי לשלוח קריאה ל-Cloud Vision API מהאפליקציה. השיטה הזו תאפשר לכל המשתמשים המאומתים לגשת לשירותים בתשלום של Cloud Vision דרך הפרויקט שלכם ב-Cloud, אז לפני שתמשיכו, כדאי שתשקלו אם מנגנון האימות הזה מספיק לתרחיש לדוגמה שלכם.
לפני שמתחילים
הגדרת הפרויקט
אם עדיין לא הוספתם את Firebase לאפליקציה, אתם צריכים לפעול לפי השלבים במדריך לתחילת העבודה.משתמשים ב-Swift Package Manager כדי להתקין ולנהל את יחסי התלות של Firebase.
- ב-Xcode, כשהפרויקט של האפליקציה פתוח, עוברים אל File > Add Packages (קובץ > הוספת חבילות).
- כשמוצגת בקשה, מוסיפים את מאגר ה-SDK של Firebase לפלטפורמות של אפל:
- בוחרים בספרייה Firebase ML.
- מוסיפים את הדגל
-ObjCלקטע Other Linker Flags (דגלים אחרים של מקשרים) בהגדרות ה-build של היעד. - אחרי שתסיימו, פלטפורמת Xcode תתחיל לטפל ביחסי התלות ולהוריד אותם באופן אוטומטי ברקע.
https://github.com/firebase/firebase-ios-sdk.git
עכשיו צריך לבצע כמה הגדרות באפליקציה:
- באפליקציה, מייבאים את Firebase:
Swift
import FirebaseMLModelDownloader
Objective-C
@import FirebaseMLModelDownloader;
עוד כמה שלבי הגדרה, ואנחנו מוכנים:
-
אם עדיין לא הפעלתם ממשקי API מבוססי-ענן בפרויקט, עשו זאת עכשיו:
- פותחים את דף ממשקי ה-API של Firebase ML במסוף Firebase.
-
אם עדיין לא שדרגתם את הפרויקט לתוכנית התמחור Blaze בתשלום לפי שימוש, לחצו על Upgrade כדי לעשות זאת. (תתבקשו לשדרג רק אם הפרויקט שלכם לא נמצא בתוכנית התמחור Blaze).
רק פרויקטים במינוי Blaze בתשלום לפי שימוש יכולים להשתמש בממשקי API מבוססי-ענן.
- אם ממשקי ה-API מבוססי-הענן עדיין לא מופעלים, לוחצים על Enable Cloud-based APIs.
- מגדירים את מפתחות ה-API הקיימים של Firebase כך שלא תהיה גישה ל-Cloud Vision API:
- פותחים את הדף Credentials במסוף Cloud.
- לכל מפתח API ברשימה, פותחים את תצוגת העריכה, ובקטע Key Restrictions מוסיפים לרשימה את כל ממשקי ה-API הזמינים חוץ מ-Cloud Vision API.
פריסת הפונקציה שניתנת לקריאה
בשלב הבא, פורסים את הפונקציה של Cloud Functions שתשמש כגשר בין האפליקציה לבין Cloud Vision API. המאגר functions-samples מכיל דוגמה שאפשר להשתמש בה.
כברירת מחדל, הגישה ל-Cloud Vision API דרך הפונקציה הזו תאפשר רק למשתמשים מאומתים של האפליקציה לגשת ל-Cloud Vision API. אפשר לשנות את הפונקציה בהתאם לדרישות שונות.
כדי לפרוס את הפונקציה:
- משכפלים או מורידים את מאגר functions-samples ועוברים לספרייה
Node-1st-gen/vision-annotate-image:git clone https://github.com/firebase/functions-samplescd Node-1st-gen/vision-annotate-image - יחסי תלות של התקנות:
cd functionsnpm installcd .. - אם אין לכם את ה-CLI של Firebase, התקינו אותו.
- מאתחלים פרויקט Firebase בספרייה
vision-annotate-image. כשמופיעה בקשה, בוחרים את הפרויקט מהרשימה.firebase init
- פורסים את הפונקציה:
firebase deploy --only functions:annotateImage
הוספת Firebase Auth לאפליקציה
הפונקציה שניתנת להפעלה שנפרסה למעלה תדחה כל בקשה ממשתמשים לא מאומתים באפליקציה. אם עדיין לא עשיתם זאת, תצטרכו להוסיף את Firebase Auth לאפליקציה.
הוספת יחסי התלות הנדרשים לאפליקציה
משתמשים ב-Swift Package Manager כדי להתקין את הספרייה Cloud Functions for Firebase.
עכשיו אפשר לתייג תמונות.
1. הכנת התמונה שרוצים להעלות
כדי לשלוח קריאה ל-Cloud Vision, התמונה צריכה להיות בפורמט של מחרוזת בקידוד base64. כדי לעבדUIImage:
Swift
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
2. הפעלת הפונקציה הניתנת לקריאה כדי לתייג את התמונה
כדי לתייג אובייקטים בתמונה, מפעילים את הפונקציה שניתנת לקריאה ומעבירים בקשת JSON Cloud Vision.קודם כל, מפעילים מכונה של Cloud Functions:
Swift
lazy var functions = Functions.functions()Objective-C
@property(strong, nonatomic) FIRFunctions *functions;יוצרים בקשה שבה הערך של Type הוא
LABEL_DETECTION:Swift
let requestData = [ "image": ["content": base64encodedImage], "features": ["maxResults": 5, "type": "LABEL_DETECTION"] ]Objective-C
NSDictionary *requestData = @{ @"image": @{@"content": base64encodedImage}, @"features": @{@"maxResults": @5, @"type": @"LABEL_DETECTION"} };לבסוף, מפעילים את הפונקציה:
Swift
do { let result = try await functions.httpsCallable("annotateImage").call(requestData) print(result) } catch { if let error = error as NSError? { if error.domain == FunctionsErrorDomain { let code = FunctionsErrorCode(rawValue: error.code) let message = error.localizedDescription let details = error.userInfo[FunctionsErrorDetailsKey] } // ... } }Objective-C
[[_functions HTTPSCallableWithName:@"annotateImage"] callWithObject:requestData completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) { if (error) { if ([error.domain isEqualToString:@"com.firebase.functions"]) { FIRFunctionsErrorCode code = error.code; NSString *message = error.localizedDescription; NSObject *details = error.userInfo[@"details"]; } // ... } // Function completed succesfully // Get information about labeled objects }];
3. קבלת מידע על אובייקטים מתויגים
אם פעולת תיוג התמונות תצליח, תגובת JSON של BatchAnnotateImagesResponse תוחזר בתוצאת המשימה. כל אובייקט במערךlabelAnnotations מייצג משהו שסומן בתמונה. לכל תווית אפשר לקבל את תיאור הטקסט של התווית, את מזהה הישות של Knowledge Graph (אם זמין) ואת ציון הסמך של ההתאמה. לדוגמה:
Swift
if let labelArray = (result?.data as? [String: Any])?["labelAnnotations"] as? [[String:Any]] {
for labelObj in labelArray {
let text = labelObj["description"]
let entityId = labelObj["mid"]
let confidence = labelObj["score"]
}
}
Objective-C
NSArray *labelArray = result.data[@"labelAnnotations"];
for (NSDictionary *labelObj in labelArray) {
NSString *text = labelObj[@"description"];
NSString *entityId = labelObj[@"mid"];
NSNumber *confidence = labelObj[@"score"];
}