با استفاده از Firebase Auth و توابع در Android، نقاط دیدنی را به طور ایمن با Cloud Vision شناسایی کنید

برای فراخوانی Google Cloud API از برنامه خود، باید یک REST API میانی ایجاد کنید که مجوزها را کنترل می کند و از مقادیر مخفی مانند کلیدهای API محافظت می کند. سپس برای احراز هویت و برقراری ارتباط با این سرویس میانی، باید کدی را در اپلیکیشن موبایل خود بنویسید.

یکی از راه‌های ایجاد این API REST استفاده از احراز هویت و توابع Firebase است که یک دروازه مدیریت‌شده و بدون سرور به APIهای Google Cloud ارائه می‌کند که احراز هویت را مدیریت می‌کند و می‌تواند از برنامه تلفن همراه شما با SDK‌های از پیش ساخته شده فراخوانی شود.

این راهنما نشان می دهد که چگونه از این تکنیک برای فراخوانی Cloud Vision API از برنامه خود استفاده کنید. این روش به همه کاربران احراز هویت شده اجازه می‌دهد از طریق پروژه Cloud شما به خدمات صورت‌حساب Cloud Vision دسترسی داشته باشند، بنابراین قبل از ادامه، بررسی کنید که آیا این مکانیسم تأیید برای مورد استفاده شما کافی است یا خیر.

قبل از شروع

پروژه خود را پیکربندی کنید

1. اگر قبلاً این کار را نکرده‌اید، Firebase را به پروژه Android خود اضافه کنید .

2. اگر قبلاً API های مبتنی بر Cloud را برای پروژه خود فعال نکرده اید، اکنون این کار را انجام دهید:

   1. صفحه Firebase ML APIs کنسول Firebase را باز کنید.

   2. اگر قبلاً پروژه خود را به طرح قیمت گذاری Blaze ارتقا نداده اید، برای انجام این کار روی Upgrade کلیک کنید. (فقط اگر پروژه شما در طرح Blaze نباشد، از شما خواسته می شود که ارتقا دهید.)

      فقط پروژه های سطح Blaze می توانند از API های مبتنی بر ابر استفاده کنند.

   3. اگر APIهای مبتنی بر Cloud قبلاً فعال نشده‌اند، روی Enable Cloud-based APIs کلیک کنید.
3. کلیدهای Firebase API موجود خود را برای جلوگیری از دسترسی به Cloud Vision API پیکربندی کنید:
   1. صفحه Credentials کنسول Cloud را باز کنید.
   2. برای هر کلید API در لیست، نمای ویرایش را باز کنید و در قسمت Key Restrictions، همه API های موجود به جز Cloud Vision API را به لیست اضافه کنید.

تابع فراخوانی را اجرا کنید

در مرحله بعد، Cloud Function را که برای پل زدن برنامه خود و Cloud Vision API استفاده خواهید کرد، مستقر کنید. مخزن functions-samples حاوی مثالی است که می توانید از آن استفاده کنید.

به‌طور پیش‌فرض، دسترسی به Cloud Vision API از طریق این تابع به کاربران تأیید شده برنامه شما اجازه می‌دهد به Cloud Vision API دسترسی داشته باشند. شما می توانید عملکرد را برای نیازهای مختلف تغییر دهید.

برای استقرار تابع:

1. مخزن functions-samples را کلون یا دانلود کنید و به دایرکتوری Node-1st-gen/vision-annotate-image تغییر دهید:

   git clone https://github.com/firebase/functions-samples
   cd Node-1st-gen/vision-annotate-image
   

2. نصب وابستگی ها:

   cd functions
   npm install
   cd ..

3. اگر Firebase CLI را ندارید، آن را نصب کنید .
4. یک پروژه Firebase را در دایرکتوری vision-annotate-image راه اندازی کنید. وقتی از شما خواسته شد، پروژه خود را در لیست انتخاب کنید.

   firebase init

5. استقرار تابع:

   firebase deploy --only functions:annotateImage

Firebase Auth را به برنامه خود اضافه کنید

تابع قابل فراخوانی که در بالا مستقر شده است، هر درخواستی را که از سوی کاربران احراز هویت نشده برنامه شما انجام شود رد می کند. اگر قبلاً این کار را نکرده‌اید، باید Firebase Auth را به برنامه خود اضافه کنید.

وابستگی های لازم را به برنامه خود اضافه کنید

implementation("com.google.firebase:firebase-functions:21.0.0")
implementation("com.google.code.gson:gson:2.8.6")

1. تصویر ورودی را آماده کنید

1. دریافت تصویر به عنوان یک شی Bitmap :

   Kotlin+KTX

   var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)

   Java

   Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);

2. در صورت تمایل، تصویر را کوچک کنید تا در پهنای باند صرفه جویی شود. اندازه های توصیه شده تصویر Cloud Vision را ببینید.

   Kotlin+KTX

   private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
       val originalWidth = bitmap.width
       val originalHeight = bitmap.height
       var resizedWidth = maxDimension
       var resizedHeight = maxDimension
       if (originalHeight > originalWidth) {
           resizedHeight = maxDimension
           resizedWidth =
               (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
       } else if (originalWidth > originalHeight) {
           resizedWidth = maxDimension
           resizedHeight =
               (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
       } else if (originalHeight == originalWidth) {
           resizedHeight = maxDimension
           resizedWidth = maxDimension
       }
       return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
   }

   Java

   private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
       int originalWidth = bitmap.getWidth();
       int originalHeight = bitmap.getHeight();
       int resizedWidth = maxDimension;
       int resizedHeight = maxDimension;
   
       if (originalHeight > originalWidth) {
           resizedHeight = maxDimension;
           resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
       } else if (originalWidth > originalHeight) {
           resizedWidth = maxDimension;
           resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
       } else if (originalHeight == originalWidth) {
           resizedHeight = maxDimension;
           resizedWidth = maxDimension;
       }
       return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
   }

   Kotlin+KTX

   // Scale down bitmap size
   bitmap = scaleBitmapDown(bitmap, 640)

   Java

   // Scale down bitmap size
   bitmap = scaleBitmapDown(bitmap, 640);

3. شی بیت مپ را به رشته کدگذاری شده base64 تبدیل کنید:

   Kotlin+KTX

   // Convert bitmap to base64 encoded string
   val byteArrayOutputStream = ByteArrayOutputStream()
   bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
   val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
   val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

   Java

   // Convert bitmap to base64 encoded string
   ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
   bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
   byte[] imageBytes = byteArrayOutputStream.toByteArray();
   String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);

تصویر نمایش داده شده توسط شی Bitmap باید عمودی باشد، بدون نیاز به چرخش اضافی.

2. برای تشخیص نشانه ها، تابع قابل فراخوانی را فراخوانی کنید

1. ابتدا یک نمونه از توابع ابری را مقداردهی اولیه کنید:

   Kotlin+KTX

   private lateinit var functions: FirebaseFunctions
   // ...
   functions = Firebase.functions
   

   Java

   private FirebaseFunctions mFunctions;
   // ...
   mFunctions = FirebaseFunctions.getInstance();
   

2. یک روش برای فراخوانی تابع تعریف کنید:

   Kotlin+KTX

   private fun annotateImage(requestJson: String): Task<JsonElement> {
       return functions
           .getHttpsCallable("annotateImage")
           .call(requestJson)
           .continueWith { task ->
               // This continuation runs on either success or failure, but if the task
               // has failed then result will throw an Exception which will be
               // propagated down.
               val result = task.result?.data
               JsonParser.parseString(Gson().toJson(result))
           }
   }
   

   Java

   private Task<JsonElement> annotateImage(String requestJson) {
       return mFunctions
               .getHttpsCallable("annotateImage")
               .call(requestJson)
               .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                   @Override
                   public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                       // This continuation runs on either success or failure, but if the task
                       // has failed then getResult() will throw an Exception which will be
                       // propagated down.
                       return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                   }
               });
   }
   

3. یک درخواست JSON با نوع LANDMARK_DETECTION ایجاد کنید:

   Kotlin+KTX

   // Create json request to cloud vision
   val request = JsonObject()
   // Add image to request
   val image = JsonObject()
   image.add("content", JsonPrimitive(base64encoded))
   request.add("image", image)
   // Add features to the request
   val feature = JsonObject()
   feature.add("maxResults", JsonPrimitive(5))
   feature.add("type", JsonPrimitive("LANDMARK_DETECTION"))
   val features = JsonArray()
   features.add(feature)
   request.add("features", features)
   

   Java

   // Create json request to cloud vision
   JsonObject request = new JsonObject();
   // Add image to request
   JsonObject image = new JsonObject();
   image.add("content", new JsonPrimitive(base64encoded));
   request.add("image", image);
   //Add features to the request
   JsonObject feature = new JsonObject();
   feature.add("maxResults", new JsonPrimitive(5));
   feature.add("type", new JsonPrimitive("LANDMARK_DETECTION"));
   JsonArray features = new JsonArray();
   features.add(feature);
   request.add("features", features);
   

4. در نهایت تابع را فراخوانی کنید:

   Kotlin+KTX

   annotateImage(request.toString())
       .addOnCompleteListener { task ->
           if (!task.isSuccessful) {
               // Task failed with an exception
               // ...
           } else {
               // Task completed successfully
               // ...
           }
       }
   

   Java

   annotateImage(request.toString())
           .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
               @Override
               public void onComplete(@NonNull Task<JsonElement> task) {
                   if (!task.isSuccessful()) {
                       // Task failed with an exception
                       // ...
                   } else {
                       // Task completed successfully
                       // ...
                   }
               }
           });
   

3. اطلاعاتی در مورد نشانه های شناخته شده دریافت کنید

for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
    val labelObj = label.asJsonObject
    val landmarkName = labelObj["description"]
    val entityId = labelObj["mid"]
    val score = labelObj["score"]
    val bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (loc in labelObj["locations"].asJsonArray) {
        val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
        val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
    }
}

for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
    JsonObject labelObj = label.getAsJsonObject();
    String landmarkName = labelObj.get("description").getAsString();
    String entityId = labelObj.get("mid").getAsString();
    float score = labelObj.get("score").getAsFloat();
    JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
        JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
        double latitude = latLng.get("latitude").getAsDouble();
        double longitude = latLng.get("longitude").getAsDouble();
    }
}