با استفاده از Firebase Auth و توابع در Android، نقاط دیدنی را به طور ایمن با Cloud Vision شناسایی کنید

برای فراخوانی Google Cloud API از برنامه خود، باید یک REST API میانی ایجاد کنید که مجوزها را کنترل می کند و از مقادیر مخفی مانند کلیدهای API محافظت می کند. سپس برای احراز هویت و برقراری ارتباط با این سرویس میانی، باید کدی را در اپلیکیشن موبایل خود بنویسید.

یکی از راه‌های ایجاد این API REST استفاده از احراز هویت و توابع Firebase است که یک دروازه مدیریت‌شده و بدون سرور به APIهای Google Cloud ارائه می‌کند که احراز هویت را مدیریت می‌کند و می‌تواند از برنامه تلفن همراه شما با SDK‌های از پیش ساخته شده فراخوانی شود.

این راهنما نشان می دهد که چگونه از این تکنیک برای فراخوانی Cloud Vision API از برنامه خود استفاده کنید. این روش به همه کاربران احراز هویت شده اجازه می‌دهد از طریق پروژه Cloud شما به خدمات صورت‌حساب Cloud Vision دسترسی داشته باشند، بنابراین قبل از ادامه، بررسی کنید که آیا این مکانیسم تأیید برای مورد استفاده شما کافی است یا خیر.

قبل از شروع

پروژه خود را پیکربندی کنید

  1. اگر قبلاً این کار را نکرده‌اید، Firebase را به پروژه Android خود اضافه کنید .

  2. اگر قبلاً API های مبتنی بر Cloud را برای پروژه خود فعال نکرده اید، اکنون این کار را انجام دهید:

    1. صفحه Firebase ML APIs کنسول Firebase را باز کنید.

    2. اگر قبلاً پروژه خود را به طرح قیمت گذاری Blaze ارتقا نداده اید، برای انجام این کار روی Upgrade کلیک کنید. (فقط اگر پروژه شما در طرح Blaze نباشد، از شما خواسته می شود که ارتقا دهید.)

      فقط پروژه های سطح Blaze می توانند از API های مبتنی بر ابر استفاده کنند.

    3. اگر APIهای مبتنی بر Cloud قبلاً فعال نشده‌اند، روی Enable Cloud-based APIs کلیک کنید.
  3. کلیدهای Firebase API موجود خود را برای جلوگیری از دسترسی به Cloud Vision API پیکربندی کنید:
    1. صفحه Credentials کنسول Cloud را باز کنید.
    2. برای هر کلید API در لیست، نمای ویرایش را باز کنید و در قسمت Key Restrictions، همه API های موجود به جز Cloud Vision API را به لیست اضافه کنید.

تابع فراخوانی را اجرا کنید

در مرحله بعد، Cloud Function را که برای پل زدن برنامه خود و Cloud Vision API استفاده خواهید کرد، مستقر کنید. مخزن functions-samples حاوی مثالی است که می توانید از آن استفاده کنید.

به‌طور پیش‌فرض، دسترسی به Cloud Vision API از طریق این تابع به کاربران تأیید شده برنامه شما اجازه می‌دهد به Cloud Vision API دسترسی داشته باشند. شما می توانید عملکرد را برای نیازهای مختلف تغییر دهید.

برای استقرار تابع:

  1. مخزن functions-samples را کلون یا دانلود کنید و به دایرکتوری Node-1st-gen/vision-annotate-image تغییر دهید: 
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. نصب وابستگی ها: 
    cd functions
npm install
cd ..
  3. اگر Firebase CLI را ندارید، آن را نصب کنید .
  4. یک پروژه Firebase را در دایرکتوری vision-annotate-image راه اندازی کنید. وقتی از شما خواسته شد، پروژه خود را در لیست انتخاب کنید. 
    firebase init
  5. استقرار تابع: 
    firebase deploy --only functions:annotateImage

Firebase Auth را به برنامه خود اضافه کنید

تابع قابل فراخوانی که در بالا مستقر شده است، هر درخواستی را که از سوی کاربران احراز هویت نشده برنامه شما انجام شود رد می کند. اگر قبلاً این کار را نکرده‌اید، باید Firebase Auth را به برنامه خود اضافه کنید.

وابستگی های لازم را به برنامه خود اضافه کنید

  • وابستگی‌های مربوط به توابع Cloud برای Firebase (مشتری) و کتابخانه‌های اندروید gson را به فایل Gradle ماژول (سطح برنامه) خود اضافه کنید (معمولا <project>/<app-module>/build.gradle.kts یا <project>/<app-module>/build.gradle ): 
    implementation("com.google.firebase:firebase-functions:21.1.0")
implementation("com.google.code.gson:gson:2.8.6")

    • 1. تصویر ورودی را آماده کنید

    برای فراخوانی Cloud Vision، تصویر باید به عنوان یک رشته کدگذاری شده با base64 فرمت شود. برای پردازش یک تصویر از یک فایل URI ذخیره شده:
    1. تصویر را به عنوان یک شی Bitmap دریافت کنید:

      Kotlin 

      var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)

      Java 

      Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);
    2. در صورت تمایل، تصویر را کوچک کنید تا در پهنای باند صرفه جویی شود. اندازه های توصیه شده تصویر Cloud Vision را ببینید.

      Kotlin 

      private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
    val originalWidth = bitmap.width
    val originalHeight = bitmap.height
    var resizedWidth = maxDimension
    var resizedHeight = maxDimension
    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension
        resizedWidth =
            (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension
        resizedHeight =
            (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension
        resizedWidth = maxDimension
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
}

      Java 

      private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
    int originalWidth = bitmap.getWidth();
    int originalHeight = bitmap.getHeight();
    int resizedWidth = maxDimension;
    int resizedHeight = maxDimension;

    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension;
        resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = maxDimension;
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
}

      Kotlin 

      // Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640)

      Java 

      // Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640);
    3. شی بیت مپ را به رشته کدگذاری شده base64 تبدیل کنید:

      Kotlin 

      // Convert bitmap to base64 encoded string
val byteArrayOutputStream = ByteArrayOutputStream()
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

      Java 

      // Convert bitmap to base64 encoded string
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
byte[] imageBytes = byteArrayOutputStream.toByteArray();
String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);
      4. تصویر نمایش داده شده توسط شی Bitmap باید عمودی باشد، بدون نیاز به چرخش اضافی.

    2. برای تشخیص نشانه ها، تابع قابل فراخوانی را فراخوانی کنید

    برای تشخیص نشانه‌ها در یک تصویر، با ارسال یک درخواست JSON Cloud Vision ، تابع قابل فراخوانی را فراخوانی کنید.

    1. ابتدا یک نمونه از توابع ابری را مقداردهی اولیه کنید:

      Kotlin

      private lateinit var functions: FirebaseFunctions
// ...
functions = Firebase.functions

      Java

      private FirebaseFunctions mFunctions;
// ...
mFunctions = FirebaseFunctions.getInstance();

    2. یک روش برای فراخوانی تابع تعریف کنید:

      Kotlin

      private fun annotateImage(requestJson: String): Task<JsonElement> {
    return functions
        .getHttpsCallable("annotateImage")
        .call(requestJson)
        .continueWith { task ->
            // This continuation runs on either success or failure, but if the task
            // has failed then result will throw an Exception which will be
            // propagated down.
            val result = task.result?.data
            JsonParser.parseString(Gson().toJson(result))
        }
}

      Java

      private Task<JsonElement> annotateImage(String requestJson) {
    return mFunctions
            .getHttpsCallable("annotateImage")
            .call(requestJson)
            .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                @Override
                public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                    // This continuation runs on either success or failure, but if the task
                    // has failed then getResult() will throw an Exception which will be
                    // propagated down.
                    return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                }
            });
}

    3. یک درخواست JSON با نوع LANDMARK_DETECTION ایجاد کنید:

      Kotlin

      // Create json request to cloud vision
val request = JsonObject()
// Add image to request
val image = JsonObject()
image.add("content", JsonPrimitive(base64encoded))
request.add("image", image)
// Add features to the request
val feature = JsonObject()
feature.add("maxResults", JsonPrimitive(5))
feature.add("type", JsonPrimitive("LANDMARK_DETECTION"))
val features = JsonArray()
features.add(feature)
request.add("features", features)

      Java

      // Create json request to cloud vision
JsonObject request = new JsonObject();
// Add image to request
JsonObject image = new JsonObject();
image.add("content", new JsonPrimitive(base64encoded));
request.add("image", image);
//Add features to the request
JsonObject feature = new JsonObject();
feature.add("maxResults", new JsonPrimitive(5));
feature.add("type", new JsonPrimitive("LANDMARK_DETECTION"));
JsonArray features = new JsonArray();
features.add(feature);
request.add("features", features);

    4. در نهایت تابع را فراخوانی کنید:

      Kotlin

      annotateImage(request.toString())
    .addOnCompleteListener { task ->
        if (!task.isSuccessful) {
            // Task failed with an exception
            // ...
        } else {
            // Task completed successfully
            // ...
        }
    }

      Java

      annotateImage(request.toString())
        .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
            @Override
            public void onComplete(@NonNull Task<JsonElement> task) {
                if (!task.isSuccessful()) {
                    // Task failed with an exception
                    // ...
                } else {
                    // Task completed successfully
                    // ...
                }
            }
        });

    3. اطلاعاتی در مورد نشانه های شناخته شده دریافت کنید

    اگر عملیات تشخیص نقطه عطف موفقیت آمیز باشد، پاسخ JSON BatchAnnotateImagesResponse در نتیجه کار برگردانده می شود. هر شی در آرایه landmarkAnnotations نشان دهنده نقطه عطفی است که در تصویر شناسایی شده است. برای هر نقطه عطف، می‌توانید مختصات مرزی آن را در تصویر ورودی، نام نقطه عطف، طول و عرض جغرافیایی، شناسه موجودیت نمودار دانش (در صورت موجود بودن)، و امتیاز اطمینان از مسابقه را دریافت کنید. به عنوان مثال:

    Kotlin

    for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
    val labelObj = label.asJsonObject
    val landmarkName = labelObj["description"]
    val entityId = labelObj["mid"]
    val score = labelObj["score"]
    val bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (loc in labelObj["locations"].asJsonArray) {
        val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
        val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
    }
}

    Java

    for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
    JsonObject labelObj = label.getAsJsonObject();
    String landmarkName = labelObj.get("description").getAsString();
    String entityId = labelObj.get("mid").getAsString();
    float score = labelObj.get("score").getAsFloat();
    JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
        JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
        double latitude = latLng.get("latitude").getAsDouble();
        double longitude = latLng.get("longitude").getAsDouble();
    }
}