Để gọi API Google Cloud từ ứng dụng của bạn, bạn cần tạo một API REST trung gian để xử lý ủy quyền và bảo vệ các giá trị bí mật như khóa API. Sau đó, bạn cần viết mã trong ứng dụng di động của mình để xác thực và giao tiếp với dịch vụ trung gian này.
Một cách để tạo API REST này là sử dụng Chức năng và Xác thực Firebase, cung cấp cho bạn một cổng không có máy chủ được quản lý vào API Google Cloud để xử lý xác thực và có thể được gọi từ ứng dụng dành cho thiết bị di động của bạn với SDK được tạo sẵn.
Hướng dẫn này trình bày cách sử dụng kỹ thuật này để gọi API Cloud Vision từ ứng dụng của bạn. Phương pháp này sẽ cho phép tất cả người dùng đã xác thực truy cập vào các dịch vụ tính phí Cloud Vision thông qua dự án Cloud của bạn, vì vậy hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.
Trước khi bắt đầu
Định cấu hình dự án của bạn
- Nếu bạn chưa có, hãy thêm Firebase vào dự án Android của bạn .
Nếu bạn chưa bật API dựa trên đám mây cho dự án của mình, hãy làm như vậy ngay bây giờ:
- Mở trang API Firebase ML của bảng điều khiển Firebase.
Nếu bạn chưa nâng cấp dự án của mình lên gói định giá Blaze, hãy nhấp vào Nâng cấp để thực hiện. (Bạn sẽ chỉ được nhắc nâng cấp nếu dự án của bạn không nằm trong gói Blaze.)
Chỉ các dự án cấp Blaze mới có thể sử dụng API dựa trên đám mây.
- Nếu API dựa trên đám mây chưa được bật, hãy nhấp vào Bật API dựa trên đám mây .
- Định cấu hình các khóa API Firebase hiện có của bạn để không cho phép truy cập vào API Cloud Vision:
- Mở trang Thông tin đăng nhập của Bảng điều khiển đám mây.
- Đối với mỗi khóa API trong danh sách, hãy mở chế độ xem chỉnh sửa và trong phần Hạn chế Khóa, hãy thêm tất cả các API có sẵn ngoại trừ API Cloud Vision vào danh sách.
Triển khai chức năng có thể gọi
Tiếp theo, triển khai Chức năng đám mây mà bạn sẽ sử dụng để kết nối ứng dụng của mình và API Cloud Vision. Kho lưu trữ functions-samples
hàm chứa một ví dụ mà bạn có thể sử dụng.
Theo mặc định, việc truy cập API Cloud Vision thông qua chức năng này sẽ chỉ cho phép những người dùng đã xác thực ứng dụng của bạn truy cập vào API Cloud Vision. Bạn có thể sửa đổi chức năng cho các yêu cầu khác nhau.
Để triển khai chức năng:
- Sao chép hoặc tải xuống repo chức năng-mẫu và thay đổi thành thư mục
vision-annotate-image
:git clone https://github.com/firebase/functions-samples
cd vision-annotate-image
- Cài đặt các phụ thuộc:
cd functions
npm install
cd ..
- Nếu bạn không có Firebase CLI, hãy cài đặt nó .
- Khởi tạo dự án Firebase trong thư mục
vision-annotate-image
. Khi được nhắc, hãy chọn dự án của bạn trong danh sách.firebase init
- Triển khai chức năng:
firebase deploy --only functions:annotateImage
Thêm Firebase Auth vào ứng dụng của bạn
Chức năng có thể gọi được triển khai ở trên sẽ từ chối bất kỳ yêu cầu nào từ những người dùng chưa xác thực ứng dụng của bạn. Nếu bạn chưa làm như vậy, bạn sẽ cần thêm Firebase Auth vào ứng dụng của mình.
Thêm các phụ thuộc cần thiết vào ứng dụng của bạn
implementation 'com.google.firebase:firebase-functions:20.1.0' implementation 'com.google.code.gson:gson:2.8.6'
1. Chuẩn bị hình ảnh đầu vào
Để gọi Cloud Vision, hình ảnh phải được định dạng dưới dạng chuỗi được mã hóa base64. Để xử lý hình ảnh từ URI tệp đã lưu:- Nhận hình ảnh dưới dạng đối tượng
Bitmap
:Java
Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);
Kotlin+KTX
var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)
- Theo tùy chọn, thu nhỏ hình ảnh để tiết kiệm băng thông. Xem kích thước hình ảnh được đề xuất của Cloud Vision.
Java
private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) { int originalWidth = bitmap.getWidth(); int originalHeight = bitmap.getHeight(); int resizedWidth = maxDimension; int resizedHeight = maxDimension; if (originalHeight > originalWidth) { resizedHeight = maxDimension; resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight); } else if (originalWidth > originalHeight) { resizedWidth = maxDimension; resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth); } else if (originalHeight == originalWidth) { resizedHeight = maxDimension; resizedWidth = maxDimension; } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false); }
Kotlin+KTX
private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap { val originalWidth = bitmap.width val originalHeight = bitmap.height var resizedWidth = maxDimension var resizedHeight = maxDimension if (originalHeight > originalWidth) { resizedHeight = maxDimension resizedWidth = (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt() } else if (originalWidth > originalHeight) { resizedWidth = maxDimension resizedHeight = (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt() } else if (originalHeight == originalWidth) { resizedHeight = maxDimension resizedWidth = maxDimension } return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false) }
Java
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640);
Kotlin+KTX
// Scale down bitmap size bitmap = scaleBitmapDown(bitmap, 640)
- Chuyển đổi đối tượng bitmap thành một chuỗi được mã hóa base64:
Java
// Convert bitmap to base64 encoded string ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(); bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream); byte[] imageBytes = byteArrayOutputStream.toByteArray(); String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);
Kotlin+KTX
// Convert bitmap to base64 encoded string val byteArrayOutputStream = ByteArrayOutputStream() bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream) val imageBytes: ByteArray = byteArrayOutputStream.toByteArray() val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)
Hình ảnh được đại diện bởi đối tượng
Bitmap
phải thẳng đứng, không cần xoay thêm. 2. Gọi hàm có thể gọi để nhận ra các điểm mốc
Để nhận ra các điểm mốc trong hình ảnh, hãy gọi hàm có thể gọi, chuyển yêu cầu JSON Cloud Vision .Đầu tiên, khởi tạo một phiên bản của Chức năng đám mây:
Java
private FirebaseFunctions mFunctions; // ... mFunctions = FirebaseFunctions.getInstance();
Kotlin+KTX
private lateinit var functions: FirebaseFunctions // ... functions = Firebase.functions
Xác định một phương thức để gọi hàm:
Java
private Task<JsonElement> annotateImage(String requestJson) { return mFunctions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith(new Continuation<HttpsCallableResult, JsonElement>() { @Override public JsonElement then(@NonNull Task<HttpsCallableResult> task) { // This continuation runs on either success or failure, but if the task // has failed then getResult() will throw an Exception which will be // propagated down. return JsonParser.parseString(new Gson().toJson(task.getResult().getData())); } }); }
Kotlin+KTX
private fun annotateImage(requestJson: String): Task<JsonElement> { return functions .getHttpsCallable("annotateImage") .call(requestJson) .continueWith { task -> // This continuation runs on either success or failure, but if the task // has failed then result will throw an Exception which will be // propagated down. val result = task.result?.data JsonParser.parseString(Gson().toJson(result)) } }
Tạo một yêu cầu JSON với Loại
LANDMARK_DETECTION
:Java
// Create json request to cloud vision JsonObject request = new JsonObject(); // Add image to request JsonObject image = new JsonObject(); image.add("content", new JsonPrimitive(base64encoded)); request.add("image", image); //Add features to the request JsonObject feature = new JsonObject(); feature.add("maxResults", new JsonPrimitive(5)); feature.add("type", new JsonPrimitive("LANDMARK_DETECTION")); JsonArray features = new JsonArray(); features.add(feature); request.add("features", features);
Kotlin+KTX
// Create json request to cloud vision val request = JsonObject() // Add image to request val image = JsonObject() image.add("content", JsonPrimitive(base64encoded)) request.add("image", image) //Add features to the request val feature = JsonObject() feature.add("maxResults", JsonPrimitive(5)) feature.add("type", JsonPrimitive("LANDMARK_DETECTION")) val features = JsonArray() features.add(feature) request.add("features", features)
Cuối cùng, gọi hàm:
Java
annotateImage(request.toString()) .addOnCompleteListener(new OnCompleteListener<JsonElement>() { @Override public void onComplete(@NonNull Task<JsonElement> task) { if (!task.isSuccessful()) { // Task failed with an exception // ... } else { // Task completed successfully // ... } } });
Kotlin+KTX
annotateImage(request.toString()) .addOnCompleteListener { task -> if (!task.isSuccessful) { // Task failed with an exception // ... } else { // Task completed successfully // ... } }
3. Nhận thông tin về các địa danh đã được công nhận
Nếu thao tác nhận dạng mốc thành công, phản hồi JSON của BatchAnnotateImagesResponse sẽ được trả về trong kết quả của nhiệm vụ. Mỗi đối tượng trong mảnglandmarkAnnotations
đại diện cho một mốc đã được nhận dạng trong hình ảnh. Đối với mỗi mốc, bạn có thể lấy tọa độ giới hạn của nó trong hình ảnh đầu vào, tên của mốc, vĩ độ và kinh độ, ID thực thể Sơ đồ tri thức của nó (nếu có) và điểm tin cậy của đối sánh. Ví dụ: Java
for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
JsonObject labelObj = label.getAsJsonObject();
String landmarkName = labelObj.get("description").getAsString();
String entityId = labelObj.get("mid").getAsString();
float score = labelObj.get("score").getAsFloat();
JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
// Multiple locations are possible, e.g., the location of the depicted
// landmark and the location the picture was taken.
for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
double latitude = latLng.get("latitude").getAsDouble();
double longitude = latLng.get("longitude").getAsDouble();
}
}
Kotlin+KTX
for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
val labelObj = label.asJsonObject
val landmarkName = labelObj["description"]
val entityId = labelObj["mid"]
val score = labelObj["score"]
val bounds = labelObj["boundingPoly"]
// Multiple locations are possible, e.g., the location of the depicted
// landmark and the location the picture was taken.
for(loc in labelObj["locations"].asJsonArray) {
val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
}
}