‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

זיהוי ציוני דרך באופן מאובטח באמצעות Cloud Vision באמצעות אימות ופונקציות של Firebase ב-Android

כדי לשלוח קריאה ל-Google Cloud API מהאפליקציה, צריך ליצור API בארכיטקטורת REST שמשמש כמתווך, מטפל בהרשאות ומגן על ערכים סודיים כמו מפתחות API. לאחר מכן, צריך לכתוב קוד באפליקציה לנייד כדי לאמת את השירות המתווך הזה ולתקשר איתו.

אחת מהדרכים ליצור את ה-API הזה בארכיטקטורת REST היא באמצעות Firebase Authentication ו-Functions, שמספקים שער מנוהל ללא שרת (serverless) לממשקי Google Cloud API שמטפל באימות, ואפשר לקרוא לו מהאפליקציה לנייד באמצעות ערכות SDK מובנות מראש.

במדריך הזה נסביר איך להשתמש בשיטה הזו כדי לשלוח קריאה ל-Cloud Vision API מהאפליקציה. השיטה הזו תאפשר לכל המשתמשים המאומתים לגשת לשירותים בתשלום של Cloud Vision דרך הפרויקט שלכם ב-Cloud, אז לפני שתמשיכו, כדאי שתשקלו אם מנגנון האימות הזה מספיק לתרחיש לדוגמה שלכם.

לפני שמתחילים

הגדרת הפרויקט

אם עדיין לא הוספתם את Firebase לפרויקט Android, אתם צריכים להוסיף אותו.
אם עדיין לא הפעלתם ממשקי API מבוססי-ענן בפרויקט, עשו זאת עכשיו:
1. פותחים את דף ממשקי ה-API של Firebase ML במסוף Firebase.
2. אם עדיין לא שדרגתם את הפרויקט לתוכנית התמחור Blaze בתשלום לפי שימוש, לחצו על Upgrade כדי לעשות זאת. (תתבקשו לשדרג רק אם הפרויקט שלכם לא נמצא בתוכנית התמחור Blaze).
  
  רק פרויקטים במינוי Blaze בתשלום לפי שימוש יכולים להשתמש בממשקי API מבוססי-ענן.
3. אם ממשקי ה-API מבוססי-הענן עדיין לא מופעלים, לוחצים על Enable Cloud-based APIs.
מגדירים את מפתחות ה-API הקיימים של Firebase כך שלא תהיה גישה ל-Cloud Vision API:
1. פותחים את הדף Credentials במסוף Cloud.
2. לכל מפתח API ברשימה, פותחים את תצוגת העריכה, ובקטע Key Restrictions מוסיפים לרשימה את כל ממשקי ה-API הזמינים חוץ מ-Cloud Vision API.

פריסת הפונקציה שניתנת להפעלה

בשלב הבא, פורסים את הפונקציה של Cloud Functions שתשמש כגשר בין האפליקציה לבין Cloud Vision API. המאגר functions-samples מכיל דוגמה שאפשר להשתמש בה.

כברירת מחדל, הגישה ל-Cloud Vision API דרך הפונקציה הזו תאפשר רק למשתמשים מאומתים של האפליקציה לגשת ל-Cloud Vision API. אפשר לשנות את הפונקציה בהתאם לדרישות שונות.

כדי לפרוס את הפונקציה:

משכפלים או מורידים את מאגר functions-samples ועוברים לספרייה Node-1st-gen/vision-annotate-image:
```
git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
```
יחסי תלות של התקנות:
```
cd functions
npm install
cd ..
```
אם אין לכם את ה-CLI של Firebase, התקינו אותו.
מאתחלים פרויקט Firebase בספרייה vision-annotate-image. כשמופיעה בקשה, בוחרים את הפרויקט מהרשימה.
```
firebase init
```

פורסים את הפונקציה:

firebase deploy --only functions:annotateImage

הוספת Firebase Auth לאפליקציה

הפונקציה שניתנת להפעלה שנפרסה למעלה תדחה כל בקשה ממשתמשים לא מאומתים באפליקציה. אם עדיין לא עשיתם זאת, תצטרכו להוסיף את Firebase Auth לאפליקציה.

הוספת יחסי התלות הנדרשים לאפליקציה

מוסיפים את יחסי התלות של Cloud Functions for Firebase (לקוח) וספריות Android של gson לקובץ Gradle של המודול (ברמת האפליקציה) (בדרך כלל <project>/<app-module>/build.gradle.kts או <project>/<app-module>/build.gradle):

implementation("com.google.firebase:firebase-functions:23.0.0")
implementation("com.google.code.gson:gson:2.8.6")

1. הכנת התמונה שרוצים להעלות

כדי לשלוח קריאה ל-Cloud Vision, התמונה צריכה להיות בפורמט של מחרוזת בקידוד base64. כדי לעבד תמונה מ-URI של קובץ שמור:

מקבלים את התמונה כאובייקט Bitmap:

Kotlin

var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)

Java

Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);

אפשר גם להקטין את התמונה כדי לחסוך ברוחב הפס. גודלי התמונות המומלצים ב-Cloud Vision

Kotlin

private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
    val originalWidth = bitmap.width
    val originalHeight = bitmap.height
    var resizedWidth = maxDimension
    var resizedHeight = maxDimension
    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension
        resizedWidth =
            (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension
        resizedHeight =
            (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension
        resizedWidth = maxDimension
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
}

Java

private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
    int originalWidth = bitmap.getWidth();
    int originalHeight = bitmap.getHeight();
    int resizedWidth = maxDimension;
    int resizedHeight = maxDimension;

    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension;
        resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = maxDimension;
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
}

Kotlin

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640)

Java

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640);

ממירים את אובייקט מפת הסיביות למחרוזת בקידוד Base64:

Kotlin

// Convert bitmap to base64 encoded string
val byteArrayOutputStream = ByteArrayOutputStream()
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

Java

// Convert bitmap to base64 encoded string
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
byte[] imageBytes = byteArrayOutputStream.toByteArray();
String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);

Bitmap

2. הפעלת הפונקציה שניתן לקרוא לה כדי לזהות ציוני דרך

כדי לזהות ציוני דרך בתמונה, מפעילים את הפונקציה שניתן לקרוא לה ומעבירים בקשת JSON Cloud Vision.

קודם כל, מפעילים מכונה של Cloud Functions:

Kotlin

private lateinit var functions: FirebaseFunctions
// ...
functions = Firebase.functions

Java

private FirebaseFunctions mFunctions;
// ...
mFunctions = FirebaseFunctions.getInstance();

מגדירים שיטה להפעלת הפונקציה:

Kotlin

private fun annotateImage(requestJson: String): Task<JsonElement> {
    return functions
        .getHttpsCallable("annotateImage")
        .call(requestJson)
        .continueWith { task ->
            // This continuation runs on either success or failure, but if the task
            // has failed then result will throw an Exception which will be
            // propagated down.
            val result = task.result?.data
            JsonParser.parseString(Gson().toJson(result))
        }
}

Java

private Task<JsonElement> annotateImage(String requestJson) {
    return mFunctions
            .getHttpsCallable("annotateImage")
            .call(requestJson)
            .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                @Override
                public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                    // This continuation runs on either success or failure, but if the task
                    // has failed then getResult() will throw an Exception which will be
                    // propagated down.
                    return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                }
            });
}

יוצרים בקשת JSON עם Type LANDMARK_DETECTION:

Kotlin

// Create json request to cloud vision
val request = JsonObject()
// Add image to request
val image = JsonObject()
image.add("content", JsonPrimitive(base64encoded))
request.add("image", image)
// Add features to the request
val feature = JsonObject()
feature.add("maxResults", JsonPrimitive(5))
feature.add("type", JsonPrimitive("LANDMARK_DETECTION"))
val features = JsonArray()
features.add(feature)
request.add("features", features)

Java

// Create json request to cloud vision
JsonObject request = new JsonObject();
// Add image to request
JsonObject image = new JsonObject();
image.add("content", new JsonPrimitive(base64encoded));
request.add("image", image);
//Add features to the request
JsonObject feature = new JsonObject();
feature.add("maxResults", new JsonPrimitive(5));
feature.add("type", new JsonPrimitive("LANDMARK_DETECTION"));
JsonArray features = new JsonArray();
features.add(feature);
request.add("features", features);

לבסוף, מפעילים את הפונקציה:

Kotlin

annotateImage(request.toString())
    .addOnCompleteListener { task ->
        if (!task.isSuccessful) {
            // Task failed with an exception
            // ...
        } else {
            // Task completed successfully
            // ...
        }
    }

Java

annotateImage(request.toString())
        .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
            @Override
            public void onComplete(@NonNull Task<JsonElement> task) {
                if (!task.isSuccessful()) {
                    // Task failed with an exception
                    // ...
                } else {
                    // Task completed successfully
                    // ...
                }
            }
        });

3. קבלת מידע על ציוני הדרך שזוהו

אם פעולת זיהוי ציוני הדרך תצליח, תגובת JSON של BatchAnnotateImagesResponse תוחזר בתוצאת המשימה. כל אובייקט במערך landmarkAnnotations מייצג ציון דרך שזוהה בתמונה. לכל ציון דרך, אתם יכולים לקבל את הקואורדינטות התוחמות שלו בתמונת הקלט, את שם ציון הדרך, את קו הרוחב וקו האורך שלו, את מזהה הישות שלו ב-Knowledge Graph (אם זמין) ואת ציון הסמך של ההתאמה. לדוגמה:

Kotlin

for (label in task.result!!.asJsonArray[0].asJsonObject["landmarkAnnotations"].asJsonArray) {
    val labelObj = label.asJsonObject
    val landmarkName = labelObj["description"]
    val entityId = labelObj["mid"]
    val score = labelObj["score"]
    val bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (loc in labelObj["locations"].asJsonArray) {
        val latitude = loc.asJsonObject["latLng"].asJsonObject["latitude"]
        val longitude = loc.asJsonObject["latLng"].asJsonObject["longitude"]
    }
}

Java

for (JsonElement label : task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("landmarkAnnotations").getAsJsonArray()) {
    JsonObject labelObj = label.getAsJsonObject();
    String landmarkName = labelObj.get("description").getAsString();
    String entityId = labelObj.get("mid").getAsString();
    float score = labelObj.get("score").getAsFloat();
    JsonObject bounds = labelObj.get("boundingPoly").getAsJsonObject();
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (JsonElement loc : labelObj.get("locations").getAsJsonArray()) {
        JsonObject latLng = loc.getAsJsonObject().get("latLng").getAsJsonObject();
        double latitude = latLng.get("latitude").getAsDouble();
        double longitude = latLng.get("longitude").getAsDouble();
    }
}

זיהוי ציוני דרך באופן מאובטח באמצעות Cloud Vision באמצעות אימות ופונקציות של Firebase ב-Android קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

לפני שמתחילים

הגדרת הפרויקט

פריסת הפונקציה שניתנת להפעלה

הוספת Firebase Auth לאפליקציה

הוספת יחסי התלות הנדרשים לאפליקציה

1. הכנת התמונה שרוצים להעלות

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

2. הפעלת הפונקציה שניתן לקרוא לה כדי לזהות ציוני דרך

Kotlin

Java

Kotlin

Java

Kotlin

Java

Kotlin

Java

3. קבלת מידע על ציוני הדרך שזוהו

Kotlin

Java

זיהוי ציוני דרך באופן מאובטח באמצעות Cloud Vision באמצעות אימות ופונקציות של Firebase ב-Android