כדי להתקשר ל-Google Cloud API מהאפליקציה שלך, עליך ליצור REST API ביניים שמטפל בהרשאה ומגן על ערכים סודיים כגון מפתחות API. לאחר מכן עליך לכתוב קוד באפליקציה לנייד שלך כדי לאמת ולתקשר עם שירות הביניים הזה.
אחת הדרכים ליצור REST API זה היא באמצעות Firebase Authentication and Functions, המעניק לך שער מנוהל ללא שרת אל ממשקי Google Cloud API שמטפל באימות וניתן להתקשר אליו מהאפליקציה לנייד שלך עם ערכות SDK מובנות מראש.
מדריך זה מדגים כיצד להשתמש בטכניקה זו כדי לקרוא ל-Cloud Vision API מהאפליקציה שלך. שיטה זו תאפשר לכל המשתמשים המאומתים לגשת לשירותי החיוב של Cloud Vision דרך פרויקט הענן שלך, אז שקול אם מנגנון אימות זה מספיק למקרה השימוש שלך לפני שתמשיך.
לפני שאתה מתחיל
הגדר את הפרויקט שלך
- אם עדיין לא עשית זאת, הוסף את Firebase לפרויקט Android שלך .
אם עדיין לא הפעלת ממשקי API מבוססי ענן עבור הפרויקט שלך, עשה זאת כעת:
- פתח את הדף Firebase ML APIs של מסוף Firebase.
אם עדיין לא שדרגת את הפרויקט שלך לתוכנית התמחור של Blaze, לחץ על שדרג כדי לעשות זאת. (תתבקש לשדרג רק אם הפרויקט שלך אינו בתוכנית Blaze.)
רק פרויקטים ברמת Blaze יכולים להשתמש בממשקי API מבוססי ענן.
- אם ממשקי API מבוססי ענן עדיין לא מופעלים, לחץ על הפעל ממשקי API מבוססי ענן .
- הגדר את מפתחות ה-API הקיימים של Firebase כדי לא לאפשר גישה ל-Cloud Vision API:
- פתח את דף האישורים של מסוף הענן.
- עבור כל מפתח API ברשימה, פתח את תצוגת העריכה ובקטע מגבלות מפתח, הוסף לרשימה את כל ממשקי ה-API הזמינים מלבד Cloud Vision API.
פרוס את הפונקציה הניתנת להתקשרות
לאחר מכן, פרוס את פונקציית הענן שבה תשתמש כדי לגשר בין האפליקציה שלך לבין Cloud Vision API. מאגר functions-samples
מכיל דוגמה שתוכל להשתמש בה.
כברירת מחדל, גישה ל-Cloud Vision API באמצעות פונקציה זו תאפשר רק למשתמשים מאומתים של האפליקציה שלך גישה ל-Cloud Vision API. אתה יכול לשנות את הפונקציה לדרישות שונות.
כדי לפרוס את הפונקציה:
- שכפל או הורד את המאגר של functions-samples ושנה לספריית
vision-annotate-image
:git clone https://github.com/firebase/functions-samples
cd vision-annotate-image
- תלות בהתקנה:
cd functions
npm install
cd ..
- אם אין לך את Firebase CLI, התקן אותו .
- אתחול פרויקט Firebase בספריית
vision-annotate-image
. כאשר תתבקש, בחר את הפרויקט שלך ברשימה.firebase init
- פרוס את הפונקציה:
firebase deploy --only functions:annotateImage
הוסף Firebase Auth לאפליקציה שלך
הפונקציה הניתנת להתקשרות שנפרסה למעלה תדחה כל בקשה ממשתמשים לא מאומתים של האפליקציה שלך. אם עדיין לא עשית זאת, תצטרך להוסיף Firebase Auth לאפליקציה שלך.
הוסף תלות נחוצה לאפליקציה שלך
implementation 'com.google.firebase:firebase-functions:20.3.1' implementation 'com.google.code.gson:gson:2.8.6'
עכשיו אתה מוכן לסמן תמונות.
1. הכן את תמונת הקלט
כדי לקרוא ל-Cloud Vision, התמונה חייבת להיות בפורמט כמחרוזת מקודדת base64. כדי לעבד תמונה מ-URI של קובץ שמור:- קבל את התמונה כאובייקט
Bitmap
:Kotlin+KTX
var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)
Java
Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);
- לחלופין, הקטנת התמונה כדי לחסוך ברוחב הפס. ראה את גדלי התמונות המומלצים של Cloud Vision.
Kotlin+KTX
private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap { val originalWidth = bitmap.width val originalHeight = bitmap.height var resizedWidth = maxDimension var resizedHeight = maxDimension if (originalHeight > originalWidth) { resizedHeight = maxDimension resizedWidth = (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt() } else if (originalWidth > originalHeight) { resizedWidth = maxDimension resizedHeight = (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt() } else if (originalHeight == originalWidth) { resizedHeight = maxDimension resizedWidth = maxDimension } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false) }
Java
private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) { int originalWidth = bitmap.getWidth(); int originalHeight = bitmap.getHeight(); int resizedWidth = maxDimension; int resizedHeight = maxDimension; if (originalHeight > originalWidth) { resizedHeight = maxDimension; resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight); } else if (originalWidth > originalHeight) { resizedWidth = maxDimension; resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth); } else if (originalHeight == originalWidth) { resizedHeight = maxDimension; resizedWidth = maxDimension; } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false); }
Kotlin+KTX
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640)
Java
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640);
- המר את אובייקט מפת הסיביות למחרוזת מקודדת base64:
Kotlin+KTX
// Convert bitmap to base64 encoded string val byteArrayOutputStream = ByteArrayOutputStream() bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream) val imageBytes: ByteArray = byteArrayOutputStream.toByteArray() val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)
Java
// Convert bitmap to base64 encoded string ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(); bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream); byte[] imageBytes = byteArrayOutputStream.toByteArray(); String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);
התמונה המיוצגת על ידי אובייקט
Bitmap
חייבת להיות זקופה, ללא צורך בסיבוב נוסף.2. הפעל את הפונקציה הניתנת להתקשרות כדי לתייג את התמונה
כדי לתייג אובייקטים בתמונה, הפעל את הפונקציה הניתנת להתקשרות העוברת בקשת JSON Cloud Vision .ראשית, אתחל מופע של פונקציות ענן:
Kotlin+KTX
private lateinit var functions: FirebaseFunctions // ... functions = Firebase.functions
Java
private FirebaseFunctions mFunctions; // ... mFunctions = FirebaseFunctions.getInstance();
הגדר שיטה להפעלת הפונקציה:
Kotlin+KTX
private fun annotateImage(requestJson: String): Task<JsonElement> { return functions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith { task -> // This continuation runs on either success or failure, but if the task // has failed then result will throw an Exception which will be // propagated down. val result = task.result?.data JsonParser.parseString(Gson().toJson(result)) } }
Java
private Task<JsonElement> annotateImage(String requestJson) { return mFunctions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith(new Continuation<HttpsCallableResult, JsonElement>() { @Override public JsonElement then(@NonNull Task<HttpsCallableResult> task) { // This continuation runs on either success or failure, but if the task // has failed then getResult() will throw an Exception which will be // propagated down. return JsonParser.parseString(new Gson().toJson(task.getResult().getData())); } }); }
צור את בקשת ה-JSON
LABEL_DETECTION
:Kotlin+KTX
// Create json request to cloud vision val request = JsonObject() // Add image to request val image = JsonObject() image.add("content", JsonPrimitive(base64encoded)) request.add("image", image) // Add features to the request val feature = JsonObject() feature.add("maxResults", JsonPrimitive(5)) feature.add("type", JsonPrimitive("LABEL_DETECTION")) val features = JsonArray() features.add(feature) request.add("features", features)
Java
// Create json request to cloud vision JsonObject request = new JsonObject(); // Add image to request JsonObject image = new JsonObject(); image.add("content", new JsonPrimitive(base64encoded)); request.add("image", image); //Add features to the request JsonObject feature = new JsonObject(); feature.add("maxResults", new JsonPrimitive(5)); feature.add("type", new JsonPrimitive("LABEL_DETECTION")); JsonArray features = new JsonArray(); features.add(feature); request.add("features", features);
לבסוף, הפעל את הפונקציה:
Kotlin+KTX
annotateImage(request.toString()) .addOnCompleteListener { task -> if (!task.isSuccessful) { // Task failed with an exception // ... } else { // Task completed successfully // ... } }
Java
annotateImage(request.toString()) .addOnCompleteListener(new OnCompleteListener<JsonElement>() { @Override public void onComplete(@NonNull Task<JsonElement> task) { if (!task.isSuccessful()) { // Task failed with an exception // ... } else { // Task completed successfully // ... } } });
3. קבל מידע על אובייקטים מסומנים
אם פעולת תיוג התמונה תצליח, תגובת JSON של BatchAnnotateImagesResponse תוחזר בתוצאת המשימה. כל אובייקט במערךlabelAnnotations
מייצג משהו שסומן בתמונה. עבור כל תווית, תוכל לקבל את תיאור הטקסט של התווית, מזהה הישות של גרף הידע שלה (אם זמין), ואת ציון הביטחון של ההתאמה. לדוגמה: Kotlin+KTX
for (label in task.result!!.asJsonArray[0].asJsonObject["labelAnnotations"].asJsonArray) {
val labelObj = label.asJsonObject
val text = labelObj["description"]
val entityId = labelObj["mid"]
val confidence = labelObj["score"]
}
Java
for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("labelAnnotations").getAsJsonArray()) {
JsonObject labelObj = label.getAsJsonObject();
String text = labelObj.get("description").getAsString();
String entityId = labelObj.get("mid").getAsString();
float score = labelObj.get("score").getAsFloat();
}