זיהוי ציוני דרך באופן מאובטח באמצעות Cloud Vision באמצעות אימות ופונקציות של Firebase ב-Android

כדי לשלוח קריאה ל-Google Cloud API מהאפליקציה, צריך ליצור אמצעי ביניים API ל-REST שמטפל בהרשאות ומגן על ערכים סודיים, כמו מפתחות API. לאחר מכן צריך לכתוב קוד באפליקציה לנייד כדי לבצע אימות של השירות המתווך הזה ולתקשר איתו.

אחת הדרכים ליצור את ממשק ה-API ל-REST היא באמצעות Firebase Authentication and Functions, שמספק שער מנוהל ללא שרת לממשקי Google Cloud API שמטפל באימות, ואפשר לקרוא אליו מהאפליקציה לנייד באמצעות ערכות SDK מוכנות מראש.

במדריך הזה נסביר איך להשתמש בשיטה הזו כדי לבצע קריאה ל-Cloud Vision API מהאפליקציה. השיטה הזו תאפשר לכל המשתמשים המאומתים לגשת לשירותים של Cloud Vision שמוגדרים לחיוב דרך הפרויקט שלכם ב-Cloud. לכן, לפני שממשיכים, כדאי לבדוק אם מנגנון האימות הזה מספיק לתרחיש לדוגמה שלכם.

לפני שמתחילים

הגדרת הפרויקט

1. אם עדיין לא עשיתם זאת, מוסיפים את Firebase לפרויקט Android.

2. אם עדיין לא הפעלתם ממשקי API מבוססי-Cloud בפרויקט, עליכם לעשות זאת עכשיו:

   1. פותחים את דף ממשקי ה-API של Firebase ML במסוף Firebase.

   2. אם עדיין לא שדרגתם את הפרויקט לתוכנית התמחור Blaze, לוחצים על שדרוג. (הבקשה לשדרוג תוצג רק אם הפרויקט לא בתוכנית Blaze).

      רק בפרויקטים ברמת Blaze אפשר להשתמש בממשקי API מבוססי-ענן.

   3. אם ממשקי API מבוססי-ענן עדיין לא מופעלים, לוחצים על Enable Cloud-based APIs. ממשקי API.
3. מגדירים את מפתחות ה-API הקיימים של Firebase כך שלא יאפשרו גישה ל-Cloud Vision API:
   1. פותחים את הדף Credentials במסוף Cloud.
   2. עבור כל מפתח API ברשימה, פותחים את תצוגת העריכה ובקטע 'מפתח' בקטע 'הגבלות', מוסיפים את כל ממשקי ה-API הזמינים מלבד Cloud Vision API אל הרשימה.

פריסת הפונקציה שניתן להפעיל

בשלב הבא, פורסים את הפונקציה של Cloud Functions שתשמש לגשר בין האפליקציה לבין Cloud Vision API המאגר functions-samples מכיל דוגמה שאפשר להשתמש בהם.

כברירת מחדל, הגישה ל-Cloud Vision API דרך הפונקציה הזו תאפשר רק משתמשים מאומתים של האפליקציה שלכם יכולים לגשת ל-Cloud Vision API. אפשר לשנות את הפונקציה בהתאם לדרישות שונות.

כדי לפרוס את הפונקציה:

1. שכפול או הורדה של מאגר פונקציות-דוגמאות ומשנים לספרייה Node-1st-gen/vision-annotate-image:

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. מתקינים את שאר הספריות הדרושות לצורך יצירת ספריות הלקוח:

   cd functions
   npm install
   cd ..
   

3. אם ה-CLI של Firebase לא מותקן, מתקינים אותו.
4. מפעילים פרויקט Firebase ב-vision-annotate-image כשמופיעה בקשה, בוחרים את הפרויקט מהרשימה.

   firebase init

5. פורסים את הפונקציה:

   firebase deploy --only functions:annotateImage

הוספת אימות מ-Firebase לאפליקציה

הפונקציה הניתנת לקריאה שפרוסה למעלה תדחה כל בקשה ממשתמשים לא מאומתים באפליקציה. אם עדיין לא עשיתם זאת, תצטרכו להוסיף את Firebase Auth לאפליקציה.

הוספת יחסי התלות הנדרשים לאפליקציה

implementation("com.google.firebase:firebase-functions:21.1.0")
implementation("com.google.code.gson:gson:2.8.6")

1. הכנת תמונת הקלט

1. אחזור התמונה כאובייקט Bitmap:

   Kotlin+KTX

   var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)
   

   Java

   Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);

2. ניתן גם להקטין את גודל התמונה כדי לחסוך ברוחב הפס. גדלים מומלצים של תמונות ב-Cloud Vision.

   Kotlin+KTX

   private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
       val originalWidth = bitmap.width
       val originalHeight = bitmap.height
       var resizedWidth = maxDimension
       var resizedHeight = maxDimension
       if (originalHeight > originalWidth) {
           resizedHeight = maxDimension
           resizedWidth =
               (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
       } else if (originalWidth > originalHeight) {
           resizedWidth = maxDimension
           resizedHeight =
               (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
       } else if (originalHeight == originalWidth) {
           resizedHeight = maxDimension
           resizedWidth = maxDimension
       }
       return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
   }

   Java

   private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
       int originalWidth = bitmap.getWidth();
       int originalHeight = bitmap.getHeight();
       int resizedWidth = maxDimension;
       int resizedHeight = maxDimension;
   
       if (originalHeight > originalWidth) {
           resizedHeight = maxDimension;
           resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
       } else if (originalWidth > originalHeight) {
           resizedWidth = maxDimension;
           resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
       } else if (originalHeight == originalWidth) {
           resizedHeight = maxDimension;
           resizedWidth = maxDimension;
       }
       return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
   }

   Kotlin+KTX

   // Scale down bitmap size
   bitmap = scaleBitmapDown(bitmap, 640)

   Java

   // Scale down bitmap size
   bitmap = scaleBitmapDown(bitmap, 640);

3. ממירים את אובייקט מפת הסיביות למחרוזת בקידוד base64:

   Kotlin+KTX

   // Convert bitmap to base64 encoded string
   val byteArrayOutputStream = ByteArrayOutputStream()
   bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
   val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
   val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

   Java

   // Convert bitmap to base64 encoded string
   ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
   bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
   byte[] imageBytes = byteArrayOutputStream.toByteArray();
   String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);

התמונה שמיוצגת על ידי האובייקט Bitmap חייבת להיות מוצבת בצורה זקופה, ללא צורך בסיבוב נוסף.

2. קריאה לפונקציה הניתנת לקריאה כדי לזהות ציוני דרך

1. קודם כול, מאתחלים מכונה של Cloud Functions:

   Kotlin+KTX

   private lateinit var functions: FirebaseFunctions
   // ...
   functions = Firebase.functions
   

   Java

   private FirebaseFunctions mFunctions;
   // ...
   mFunctions = FirebaseFunctions.getInstance();
   

2. מגדירים שיטה להפעלת הפונקציה:

   Kotlin+KTX

   private fun annotateImage(requestJson: String): Task<JsonElement> {
       return functions
           .getHttpsCallable("annotateImage")
           .call(requestJson)
           .continueWith { task ->
               // This continuation runs on either success or failure, but if the task
               // has failed then result will throw an Exception which will be
               // propagated down.
               val result = task.result?.data
               JsonParser.parseString(Gson().toJson(result))
           }
   }
   

   Java

   private Task<JsonElement> annotateImage(String requestJson) {
       return mFunctions
               .getHttpsCallable("annotateImage")
               .call(requestJson)
               .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                   @Override
                   public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                       // This continuation runs on either success or failure, but if the task
                       // has failed then getResult() will throw an Exception which will be
                       // propagated down.
                       return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                   }
               });
   }
   

3. יוצרים בקשת JSON עם Type LANDMARK_DETECTION:

   Kotlin+KTX

   // Create json request to cloud vision
   val request = JsonObject()
   // Add image to request
   val image = JsonObject()
   image.add("content", JsonPrimitive(base64encoded))
   request.add("image", image)
   // Add features to the request
   val feature = JsonObject()
   feature.add("maxResults", JsonPrimitive(5))
   feature.add("type", JsonPrimitive("LANDMARK_DETECTION"))
   val features = JsonArray()
   features.add(feature)
   request.add("features", features)
   

   Java

   // Create json request to cloud vision
   JsonObject request = new JsonObject();
   // Add image to request
   JsonObject image = new JsonObject();
   image.add("content", new JsonPrimitive(base64encoded));
   request.add("image", image);
   //Add features to the request
   JsonObject feature = new JsonObject();
   feature.add("maxResults", new JsonPrimitive(5));
   feature.add("type", new JsonPrimitive("LANDMARK_DETECTION"));
   JsonArray features = new JsonArray();
   features.add(feature);
   request.add("features", features);
   

4. לבסוף, מפעילים את הפונקציה:

   Kotlin+KTX

   annotateImage(request.toString())
       .addOnCompleteListener { task ->
           if (!task.isSuccessful) {
               // Task failed with an exception
               // ...
           } else {
               // Task completed successfully
               // ...
           }
       }
   

   Java

   annotateImage(request.toString())
           .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
               @Override
               public void onComplete(@NonNull Task<JsonElement> task) {
                   if (!task.isSuccessful()) {
                       // Task failed with an exception
                       // ...
                   } else {
                       // Task completed successfully
                       // ...
                   }
               }
           });
   

3. לקבל מידע על הסמנים המוכרים

for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
    val labelObj = label.asJsonObject
    val landmarkName = labelObj["description"]
    val entityId = labelObj["mid"]
    val score = labelObj["score"]
    val bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (loc in labelObj["locations"].asJsonArray) {
        val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
        val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
    }
}

for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
    JsonObject labelObj = label.getAsJsonObject();
    String landmarkName = labelObj.get("description").getAsString();
    String entityId = labelObj.get("mid").getAsString();
    float score = labelObj.get("score").getAsFloat();
    JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
        JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
        double latitude = latLng.get("latitude").getAsDouble();
        double longitude = latLng.get("longitude").getAsDouble();
    }
}