Gắn nhãn hình ảnh một cách an toàn bằng Tầm nhìn đám mây bằng tính năng Xác thực và Hàm trong Firebase trên Android

Để gọi một API Google Cloud từ ứng dụng của mình, bạn cần tạo một API REST trung gian xử lý việc uỷ quyền và bảo vệ các giá trị bí mật như khoá API. Sau đó, bạn cần viết mã trong ứng dụng di động để xác thực và giao tiếp với dịch vụ trung gian này.

Một cách để tạo API REST này là sử dụng Xác thực và Functions Firebase. Cách này cung cấp cho bạn một cổng không máy chủ được quản lý cho Cloud APIs của Google, xử lý việc xác thực và có thể được gọi từ ứng dụng di động của bạn bằng các SDK được tạo sẵn.

Hướng dẫn này minh hoạ cách sử dụng kỹ thuật này để gọi Cloud Vision API từ ứng dụng của bạn. Phương thức này sẽ cho phép tất cả người dùng đã xác thực truy cập vào các dịch vụ có tính phí của Cloud Vision thông qua dự án trên đám mây của bạn. Vì vậy, hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.

Trước khi bắt đầu

Định cấu hình dự án

Nếu bạn chưa thực hiện, hãy thêm Firebase vào dự án Android.
Nếu bạn chưa bật API dựa trên đám mây cho dự án của mình, hãy bật ngay:
1. Mở trang Firebase ML API trong bảng điều khiển Firebase.
2. Nếu chưa nâng cấp dự án lên gói giá Blaze, hãy nhấp vào Nâng cấp để nâng cấp. (Bạn sẽ chỉ được nhắc nâng cấp nếu dự án của bạn không sử dụng gói giá Blaze.)
  
  Chỉ những dự án sử dụng gói giá Blaze mới có thể dùng các API trên đám mây.
3. Nếu bạn chưa bật API dựa trên đám mây, hãy nhấp vào Bật API dựa trên đám mây.
Định cấu hình các khoá API Firebase hiện có để không cho phép truy cập vào Cloud Vision API:
1. Mở trang Thông tin đăng nhập của bảng điều khiển Cloud.
2. Đối với mỗi khoá API trong danh sách, hãy mở chế độ chỉnh sửa và trong phần Key Restrictions (Quy tắc hạn chế đối với khoá), hãy thêm tất cả các API có sẵn ngoại trừ Cloud Vision API vào danh sách.

Triển khai hàm có thể gọi

Tiếp theo, hãy triển khai Hàm Cloud mà bạn sẽ dùng để kết nối ứng dụng của mình với Cloud Vision API. Kho lưu trữ functions-samples chứa một ví dụ mà bạn có thể sử dụng.

Theo mặc định, việc truy cập vào Cloud Vision API thông qua hàm này sẽ chỉ cho phép người dùng đã xác thực của ứng dụng truy cập vào Cloud Vision API. Bạn có thể sửa đổi hàm cho các yêu cầu khác nhau.

Cách triển khai hàm:

Sao chép hoặc tải functions-samples repo xuống và thay đổi thành thư mục Node-1st-gen/vision-annotate-image:
```
git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
```
Cài đặt các phần phụ thuộc:
```
cd functions
npm install
cd ..
```
Nếu bạn chưa có Giao diện dòng lệnh (CLI) của Firebase, hãy cài đặt CLI.
Khởi động một dự án Firebase trong thư mục vision-annotate-image. Khi được nhắc, hãy chọn dự án của bạn trong danh sách.
```
firebase init
```

Triển khai hàm:

firebase deploy --only functions:annotateImage

Thêm Xác thực Firebase vào ứng dụng của bạn

Hàm có thể gọi được triển khai ở trên sẽ từ chối mọi yêu cầu từ những người dùng chưa được xác thực của ứng dụng. Nếu chưa thực hiện, bạn sẽ cần thêm Firebase Auth vào ứng dụng của mình.

Thêm các phần phụ thuộc cần thiết vào ứng dụng

Thêm các phần phụ thuộc cho Cloud Functions cho Firebase (máy khách) và thư viện Android gson vào tệp Gradle (ở cấp ứng dụng) trong mô-đun của bạn (thường là <project>/<app-module>/build.gradle.kts hoặc <project>/<app-module>/build.gradle):

implementation("com.google.firebase:firebase-functions:22.1.0")
implementation("com.google.code.gson:gson:2.8.6")

Bây giờ, bạn đã sẵn sàng gắn nhãn cho hình ảnh.

1. Chuẩn bị hình ảnh đầu vào

Để gọi Cloud Vision, hình ảnh phải được định dạng dưới dạng một chuỗi được mã hoá base64. Cách xử lý hình ảnh từ URI của tệp đã lưu:

Lấy hình ảnh dưới dạng một đối tượng Bitmap:

Kotlin

var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)

Java

Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);

Bạn có thể giảm kích thước hình ảnh để tiết kiệm băng thông. Xem Kích thước hình ảnh được đề xuất của Cloud Vision.

Kotlin

private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
    val originalWidth = bitmap.width
    val originalHeight = bitmap.height
    var resizedWidth = maxDimension
    var resizedHeight = maxDimension
    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension
        resizedWidth =
            (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension
        resizedHeight =
            (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension
        resizedWidth = maxDimension
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
}

Java

private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
    int originalWidth = bitmap.getWidth();
    int originalHeight = bitmap.getHeight();
    int resizedWidth = maxDimension;
    int resizedHeight = maxDimension;

    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension;
        resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = maxDimension;
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
}

Kotlin

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640)

Java

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640);

Chuyển đổi đối tượng bitmap thành một chuỗi được mã hoá base64:

Kotlin

// Convert bitmap to base64 encoded string
val byteArrayOutputStream = ByteArrayOutputStream()
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

Java

// Convert bitmap to base64 encoded string
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
byte[] imageBytes = byteArrayOutputStream.toByteArray();
String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);

Bitmap

2. Gọi hàm có thể gọi để gắn nhãn hình ảnh

Để gắn nhãn các đối tượng trong hình ảnh, hãy gọi hàm có thể gọi truyền một yêu cầu JSON Cloud Vision.

Trước tiên, hãy khởi động một phiên bản Cloud Functions:

Kotlin

private lateinit var functions: FirebaseFunctions
// ...
functions = Firebase.functions

Java

private FirebaseFunctions mFunctions;
// ...
mFunctions = FirebaseFunctions.getInstance();

Xác định một phương thức để gọi hàm:

Kotlin

private fun annotateImage(requestJson: String): Task<JsonElement> {
    return functions
        .getHttpsCallable("annotateImage")
        .call(requestJson)
        .continueWith { task ->
            // This continuation runs on either success or failure, but if the task
            // has failed then result will throw an Exception which will be
            // propagated down.
            val result = task.result?.data
            JsonParser.parseString(Gson().toJson(result))
        }
}

Java

private Task<JsonElement> annotateImage(String requestJson) {
    return mFunctions
            .getHttpsCallable("annotateImage")
            .call(requestJson)
            .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                @Override
                public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                    // This continuation runs on either success or failure, but if the task
                    // has failed then getResult() will throw an Exception which will be
                    // propagated down.
                    return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                }
            });
}

Tạo yêu cầu JSON với Type được đặt thành LABEL_DETECTION:

Kotlin

// Create json request to cloud vision
val request = JsonObject()
// Add image to request
val image = JsonObject()
image.add("content", JsonPrimitive(base64encoded))
request.add("image", image)
// Add features to the request
val feature = JsonObject()
feature.add("maxResults", JsonPrimitive(5))
feature.add("type", JsonPrimitive("LABEL_DETECTION"))
val features = JsonArray()
features.add(feature)
request.add("features", features)

Java

// Create json request to cloud vision
JsonObject request = new JsonObject();
// Add image to request
JsonObject image = new JsonObject();
image.add("content", new JsonPrimitive(base64encoded));
request.add("image", image);
//Add features to the request
JsonObject feature = new JsonObject();
feature.add("maxResults", new JsonPrimitive(5));
feature.add("type", new JsonPrimitive("LABEL_DETECTION"));
JsonArray features = new JsonArray();
features.add(feature);
request.add("features", features);

Cuối cùng, hãy gọi hàm:

Kotlin

annotateImage(request.toString())
    .addOnCompleteListener { task ->
        if (!task.isSuccessful) {
            // Task failed with an exception
            // ...
        } else {
            // Task completed successfully
            // ...
        }
    }

Java

annotateImage(request.toString())
        .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
            @Override
            public void onComplete(@NonNull Task<JsonElement> task) {
                if (!task.isSuccessful()) {
                    // Task failed with an exception
                    // ...
                } else {
                    // Task completed successfully
                    // ...
                }
            }
        });

3. Xem thông tin về các đối tượng được gắn nhãn

Nếu thao tác gắn nhãn hình ảnh thành công, một phản hồi JSON của BatchAnnotateImagesResponse sẽ được trả về trong kết quả của tác vụ. Mỗi đối tượng trong mảng labelAnnotations đại diện cho một đối tượng được gắn nhãn trong hình ảnh. Đối với mỗi nhãn, bạn có thể nhận được nội dung mô tả bằng văn bản của nhãn, mã nhận dạng thực thể trong Sơ đồ tri thức (nếu có) và điểm số độ tin cậy của kết quả trùng khớp. Ví dụ:

Kotlin

for (label in task.result!!.asJsonArray[0].asJsonObject["labelAnnotations"].asJsonArray) {
    val labelObj = label.asJsonObject
    val text = labelObj["description"]
    val entityId = labelObj["mid"]
    val confidence = labelObj["score"]
}

Java

for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("labelAnnotations").getAsJsonArray()) {
    JsonObject labelObj = label.getAsJsonObject();
    String text = labelObj.get("description").getAsString();
    String entityId = labelObj.get("mid").getAsString();
    float score = labelObj.get("score").getAsFloat();
}

Gắn nhãn hình ảnh một cách an toàn bằng Tầm nhìn đám mây bằng tính năng Xác thực và Hàm trong Firebase trên Android Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Trước khi bắt đầu

Định cấu hình dự án

Triển khai hàm có thể gọi

Thêm Xác thực Firebase vào ứng dụng của bạn

Thêm các phần phụ thuộc cần thiết vào ứng dụng

1. Chuẩn bị hình ảnh đầu vào

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

2. Gọi hàm có thể gọi để gắn nhãn hình ảnh

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

3. Xem thông tin về các đối tượng được gắn nhãn

Kotlin

Java

Gắn nhãn hình ảnh một cách an toàn bằng Tầm nhìn đám mây bằng tính năng Xác thực và Hàm trong Firebase trên Android