Để gọi một Google Cloud API qua ứng dụng, bạn cần tạo một API REST trung gian giúp xử lý việc uỷ quyền và bảo vệ các giá trị bí mật, chẳng hạn như khoá API. Sau đó, bạn cần viết mã trong ứng dụng di động của mình để xác thực và giao tiếp với dịch vụ trung gian này.
Một cách để tạo API REST này là sử dụng chức năng và tính năng Xác thực Firebase. Phương thức này cung cấp cho bạn một cổng vào không có máy chủ để truy cập vào Google Cloud API, giúp xử lý việc xác thực và có thể được gọi qua ứng dụng di động bằng SDK tạo sẵn.
Hướng dẫn này minh hoạ cách dùng kỹ thuật này để gọi API Cloud Vision từ ứng dụng của bạn. Phương thức này sẽ cho phép tất cả người dùng đã xác thực truy cập vào các dịch vụ có tính phí của Cloud Vision thông qua dự án Cloud của bạn. Vì vậy, hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.
Trước khi bắt đầu
Định cấu hình dự án
- Thêm Firebase vào dự án Android của bạn nếu bạn chưa thực hiện.
-
Nếu bạn chưa bật API trên đám mây cho dự án của mình, hãy bật ngay:
- Mở trang API ML của Firebase trong bảng điều khiển của Firebase.
-
Nếu bạn chưa nâng cấp dự án của mình lên Gói linh hoạt, hãy nhấp vào Nâng cấp để thực hiện việc này. (Bạn sẽ chỉ được nhắc nâng cấp nếu dự án của bạn không phải là Gói linh hoạt.)
Chỉ các dự án cấp Blaze mới có thể sử dụng API trên đám mây.
- Nếu bạn chưa bật API trên đám mây, hãy nhấp vào Bật API dựa trên đám mây.
- Định cấu hình các khoá API Firebase hiện có để không cho phép truy cập vào Cloud Vision API:
- Mở trang Thông tin đăng nhập của bảng điều khiển Cloud.
- Đối với mỗi khoá API trong danh sách, hãy mở khung hiển thị chỉnh sửa. Trong phần Hạn chế khoá, hãy thêm tất cả API có sẵn ngoại trừ Cloud Vision API vào danh sách.
Triển khai hàm có thể gọi
Tiếp theo, hãy triển khai Cloud Function bạn sẽ sử dụng để làm cầu nối cho ứng dụng của mình và Cloud Vision API. Kho lưu trữ functions-samples
chứa một ví dụ mà bạn có thể sử dụng.
Theo mặc định, việc truy cập Cloud Vision API thông qua chức năng này sẽ chỉ cho phép những người dùng đã xác thực trong ứng dụng của bạn truy cập vào Cloud Vision API. Bạn có thể sửa đổi hàm này theo các yêu cầu khác nhau.
Cách triển khai hàm:
- Sao chép hoặc tải kho lưu trữ hàm-mẫu xuống rồi thay đổi sang thư mục
Node-1st-gen/vision-annotate-image
:git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
- Cài đặt phần phụ thuộc:
cd functions
npm install
cd ..
- Nếu bạn chưa có Giao diện dòng lệnh (CLI) của Firebase, hãy cài đặt giao diện này.
- Khởi chạy một dự án Firebase trong thư mục
vision-annotate-image
. Khi được nhắc, hãy chọn dự án của bạn trong danh sách.firebase init
- Triển khai hàm:
firebase deploy --only functions:annotateImage
Thêm tính năng Xác thực Firebase vào ứng dụng
Hàm có thể gọi được triển khai ở trên sẽ từ chối mọi yêu cầu của người dùng ứng dụng chưa được xác thực. Nếu chưa xác thực, bạn sẽ phải thêm tính năng Xác thực Firebase vào ứng dụng.
Thêm các phần phụ thuộc cần thiết vào ứng dụng
<project>/<app-module>/build.gradle.kts
hoặc <project>/<app-module>/build.gradle
):implementation("com.google.firebase:firebase-functions:21.0.0") implementation("com.google.code.gson:gson:2.8.6")
1. Chuẩn bị hình ảnh đầu vào
Để gọi Cloud Vision, hình ảnh phải được định dạng dưới dạng một chuỗi được mã hoá base64. Cách xử lý hình ảnh từ URI tệp đã lưu:- Lấy hình ảnh dưới dạng đối tượng
Bitmap
:Kotlin+KTX
var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)
Java
Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);
- Nếu muốn, hãy giảm kích thước hình ảnh để tiết kiệm băng thông. Hãy xem
kích thước hình ảnh được đề xuất của Cloud Vision.
Kotlin+KTX
private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap { val originalWidth = bitmap.width val originalHeight = bitmap.height var resizedWidth = maxDimension var resizedHeight = maxDimension if (originalHeight > originalWidth) { resizedHeight = maxDimension resizedWidth = (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt() } else if (originalWidth > originalHeight) { resizedWidth = maxDimension resizedHeight = (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt() } else if (originalHeight == originalWidth) { resizedHeight = maxDimension resizedWidth = maxDimension } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false) }
Java
private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) { int originalWidth = bitmap.getWidth(); int originalHeight = bitmap.getHeight(); int resizedWidth = maxDimension; int resizedHeight = maxDimension; if (originalHeight > originalWidth) { resizedHeight = maxDimension; resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight); } else if (originalWidth > originalHeight) { resizedWidth = maxDimension; resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth); } else if (originalHeight == originalWidth) { resizedHeight = maxDimension; resizedWidth = maxDimension; } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false); }
Kotlin+KTX
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640)
Java
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640);
- Chuyển đổi đối tượng bitmap thành một chuỗi được mã hoá base64:
Kotlin+KTX
// Convert bitmap to base64 encoded string val byteArrayOutputStream = ByteArrayOutputStream() bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream) val imageBytes: ByteArray = byteArrayOutputStream.toByteArray() val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)
Java
// Convert bitmap to base64 encoded string ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(); bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream); byte[] imageBytes = byteArrayOutputStream.toByteArray(); String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);
Hình ảnh mà đối tượng
Bitmap
biểu thị phải thẳng đứng và không cần xoay thêm.
2. Gọi hàm có thể gọi để nhận dạng các mốc
Để nhận dạng các mốc trong một hình ảnh, hãy gọi hàm có thể gọi, truyền một yêu cầu Tầm nhìn đám mây JSON.Trước tiên, hãy khởi chạy một bản sao của Cloud Functions:
Kotlin+KTX
private lateinit var functions: FirebaseFunctions // ... functions = Firebase.functions
Java
private FirebaseFunctions mFunctions; // ... mFunctions = FirebaseFunctions.getInstance();
Xác định phương thức gọi hàm:
Kotlin+KTX
private fun annotateImage(requestJson: String): Task<JsonElement> { return functions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith { task -> // This continuation runs on either success or failure, but if the task // has failed then result will throw an Exception which will be // propagated down. val result = task.result?.data JsonParser.parseString(Gson().toJson(result)) } }
Java
private Task<JsonElement> annotateImage(String requestJson) { return mFunctions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith(new Continuation<HttpsCallableResult, JsonElement>() { @Override public JsonElement then(@NonNull Task<HttpsCallableResult> task) { // This continuation runs on either success or failure, but if the task // has failed then getResult() will throw an Exception which will be // propagated down. return JsonParser.parseString(new Gson().toJson(task.getResult().getData())); } }); }
Tạo một yêu cầu JSON với Loại
LANDMARK_DETECTION
:Kotlin+KTX
// Create json request to cloud vision val request = JsonObject() // Add image to request val image = JsonObject() image.add("content", JsonPrimitive(base64encoded)) request.add("image", image) // Add features to the request val feature = JsonObject() feature.add("maxResults", JsonPrimitive(5)) feature.add("type", JsonPrimitive("LANDMARK_DETECTION")) val features = JsonArray() features.add(feature) request.add("features", features)
Java
// Create json request to cloud vision JsonObject request = new JsonObject(); // Add image to request JsonObject image = new JsonObject(); image.add("content", new JsonPrimitive(base64encoded)); request.add("image", image); //Add features to the request JsonObject feature = new JsonObject(); feature.add("maxResults", new JsonPrimitive(5)); feature.add("type", new JsonPrimitive("LANDMARK_DETECTION")); JsonArray features = new JsonArray(); features.add(feature); request.add("features", features);
Cuối cùng, hãy gọi hàm này:
Kotlin+KTX
annotateImage(request.toString()) .addOnCompleteListener { task -> if (!task.isSuccessful) { // Task failed with an exception // ... } else { // Task completed successfully // ... } }
Java
annotateImage(request.toString()) .addOnCompleteListener(new OnCompleteListener<JsonElement>() { @Override public void onComplete(@NonNull Task<JsonElement> task) { if (!task.isSuccessful()) { // Task failed with an exception // ... } else { // Task completed successfully // ... } } });
3. Xem thông tin về các địa danh được công nhận
Nếu thao tác nhận dạng mốc thành công, phản hồi JSON của BatchDialogImagesResponse sẽ được trả về trong kết quả của tác vụ. Mỗi đối tượng trong mảnglandmarkAnnotations
đại diện cho một mốc được nhận dạng trong hình ảnh. Đối với mỗi mốc, bạn có thể biết toạ độ giới hạn trong hình ảnh đầu vào, tên của mốc, vĩ độ và kinh độ của điểm mốc, mã nhận dạng thực thể trong Sơ đồ tri thức (nếu có) và điểm số tin cậy của kết quả trùng khớp. Ví dụ:
Kotlin+KTX
for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
val labelObj = label.asJsonObject
val landmarkName = labelObj["description"]
val entityId = labelObj["mid"]
val score = labelObj["score"]
val bounds = labelObj["boundingPoly"]
// Multiple locations are possible, e.g., the location of the depicted
// landmark and the location the picture was taken.
for (loc in labelObj["locations"].asJsonArray) {
val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
}
}
Java
for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
JsonObject labelObj = label.getAsJsonObject();
String landmarkName = labelObj.get("description").getAsString();
String entityId = labelObj.get("mid").getAsString();
float score = labelObj.get("score").getAsFloat();
JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
// Multiple locations are possible, e.g., the location of the depicted
// landmark and the location the picture was taken.
for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
double latitude = latLng.get("latitude").getAsDouble();
double longitude = latLng.get("longitude").getAsDouble();
}
}