דף זה תורגם על ידי Cloud Translation API.

זיהוי של אובייקטים ומעקב אחריהם באמצעות ערכת למידת מכונה ב-Android

אפשר להשתמש ב-ML Kit כדי לזהות אובייקטים ולעקוב אחריהם בכמה פריימים של וידאו.

כשמעבירים תמונות ML Kit, מערכת ML Kit מחזירה רשימה של כל תמונה של עד חמישה אובייקטים שזוהו ואת המיקום שלהם בתמונה. בזמן הזיהוי לאובייקטים של וידאו בסטרימינג, לכל אובייקט יש מזהה שאפשר להשתמש בו כדי לעקוב אובייקטים בין תמונות. אפשר גם להפעיל אובייקט גס סיווג, שמוסיף תוויות לאובייקטים עם תיאורים רחבים של קטגוריות.

לפני שמתחילים

אם עדיין לא עשיתם זאת, מוסיפים את Firebase לפרויקט Android.

הוספת יחסי התלות של ספריות ML Kit ל-Android למודול (ברמת האפליקציה) קובץ Gradle (בדרך כלל app/build.gradle):

apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-object-detection-model:19.0.6'
}

1. הגדרת מזהה האובייקטים

כדי להתחיל לזהות אובייקטים ולעקוב אחריהם, קודם צריך ליצור מופע של FirebaseVisionObjectDetector, אם רוצים לציין את כל הגדרות המזהה שרוצים לשנות מברירת המחדל.

מגדירים את מזהה האובייקטים לתרחיש לדוגמה באמצעות מאפיין אובייקט FirebaseVisionObjectDetectorOptions. אפשר לשנות את האפשרויות הבאות ההגדרות:

הגדרות של גלאי אובייקטים

מצב זיהוי

הגדרות של גלאי אובייקטים
מצב זיהוי	`STREAM_MODE` (ברירת מחדל) \| `SINGLE_IMAGE_MODE` ב-`STREAM_MODE` (ברירת המחדל), מזהה האובייקטים יריץ עם זמן אחזור קצר, אבל הן עשויות להניב תוצאות חלקיות (כמו תיבות תוחמות או תוויות של קטגוריות שלא צוינו) ההפעלות של הגלאי. בנוסף, ב-`STREAM_MODE`, הגלאי מקצה מזהי מעקב לאובייקטים, שאפשר להשתמש בהם כדי לעקוב אחרי אובייקטים במסגרות שונות. השתמשו במצב הזה כשרוצים לעקוב אובייקטים, או כשיש חשיבות לזמן אחזור קצר, למשל בזמן עיבוד וידאו בסטרימינג בזמן אמת. ב-`SINGLE_IMAGE_MODE`, מזהה האובייקטים ימתין עד לתיבה התוחמת של אובייקט שזוהה וגם (אם הפעלתם סיווג) זמינה לפני החזרת תוצאה אחת. כתוצאה מכך, זמן האחזור של הזיהוי עשוי להיות ארוך יותר. כמו כן, ב-`SINGLE_IMAGE_MODE`, מזהים לצורכי מעקב לא הוקצה. כדאי להשתמש במצב הזה אם זמן האחזור הוא לא קריטי רוצים לטפל בתוצאות חלקיות.
זיהוי של מספר אובייקטים ומעקב אחריהם	`false` (ברירת מחדל) \| `true` האם לזהות ולעקוב אחר עד חמישה אובייקטים או רק את רובם אובייקט בולט (ברירת מחדל).
סיווג אובייקטים	`false` (ברירת מחדל) \| `true` האם לסווג את האובייקטים שזוהו לקטגוריות גסות. כשההגדרה מופעלת, מזהה האובייקטים מסווג את האובייקטים הקטגוריות הבאות: מוצרי אופנה, אוכל, מוצרים לבית, מקומות, צמחים ופרטים לא ידועים.

STREAM_MODE (ברירת מחדל) | SINGLE_IMAGE_MODE

ב-STREAM_MODE (ברירת המחדל), מזהה האובייקטים יריץ עם זמן אחזור קצר, אבל הן עשויות להניב תוצאות חלקיות (כמו תיבות תוחמות או תוויות של קטגוריות שלא צוינו) ההפעלות של הגלאי. בנוסף, ב-STREAM_MODE, הגלאי מקצה מזהי מעקב לאובייקטים, שאפשר להשתמש בהם כדי לעקוב אחרי אובייקטים במסגרות שונות. השתמשו במצב הזה כשרוצים לעקוב אובייקטים, או כשיש חשיבות לזמן אחזור קצר, למשל בזמן עיבוד וידאו בסטרימינג בזמן אמת.

ב-SINGLE_IMAGE_MODE, מזהה האובייקטים ימתין עד לתיבה התוחמת של אובייקט שזוהה וגם (אם הפעלתם סיווג) זמינה לפני החזרת תוצאה אחת. כתוצאה מכך, זמן האחזור של הזיהוי עשוי להיות ארוך יותר. כמו כן, ב-SINGLE_IMAGE_MODE, מזהים לצורכי מעקב לא הוקצה. כדאי להשתמש במצב הזה אם זמן האחזור הוא לא קריטי רוצים לטפל בתוצאות חלקיות.

זיהוי של מספר אובייקטים ומעקב אחריהם

false (ברירת מחדל) | true

האם לזהות ולעקוב אחר עד חמישה אובייקטים או רק את רובם אובייקט בולט (ברירת מחדל).

סיווג אובייקטים

false (ברירת מחדל) | true

האם לסווג את האובייקטים שזוהו לקטגוריות גסות. כשההגדרה מופעלת, מזהה האובייקטים מסווג את האובייקטים הקטגוריות הבאות: מוצרי אופנה, אוכל, מוצרים לבית, מקומות, צמחים ופרטים לא ידועים.

ממשק ה-API לזיהוי אובייקטים ולמעקב אחריהם מותאם לשני התרחישים הבאים לדוגמה:

זיהוי בזמן אמת ומעקב אחרי האובייקט הבולט ביותר במצלמה עינית
זיהוי של מספר אובייקטים מתמונה סטטית

כדי להגדיר את ה-API לתרחישים לדוגמה האלה:

Java

// Live detection and tracking
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

Kotlin+KTX

// Live detection and tracking
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

מקבלים מופע של FirebaseVisionObjectDetector:

Java

FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector();

// Or, to change the default settings:
FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector(options);

Kotlin+KTX

val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector()

// Or, to change the default settings:
val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)

2. הפעלת הכלי לזיהוי אובייקטים

כדי לזהות אובייקטים ולעקוב אחריהם, צריך להעביר תמונות אל FirebaseVisionObjectDetector באמצעות ה-method processImage() של המכונה.

מבצעים את הפעולות הבאות לכל פריים של סרטון או תמונה ברצף:

יוצרים אובייקט FirebaseVisionImage מהתמונה.

כדי ליצור אובייקט FirebaseVisionImage מאובייקט media.Image, למשל כשיוצרים תמונה ממצלמת המכשיר, מעבירים את האובייקט media.Image ואת סיבוב התמונה אל FirebaseVisionImage.fromMediaImage().

אם משתמשים ספריית CameraX, OnImageCapturedListener ImageAnalysis.Analyzer מחלקות מחשבים את ערך הסבב בשבילך, צריך רק להמיר את הסבב ROTATION_ קבועים לפני הקריאה FirebaseVisionImage.fromMediaImage():

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

Kotlin+KTX

private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

אם לא משתמשים בספריית מצלמה שמאפשרת סיבוב תמונה, הוא יכול לחשב אותו על סמך סיבוב המכשיר וכיוון המצלמה החיישן במכשיר:

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}VisionImage.java

Kotlin+KTX

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}VisionImage.kt

לאחר מכן, מעבירים את האובייקט media.Image ל-FirebaseVisionImage.fromMediaImage():

Java

FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);VisionImage.java

Kotlin+KTX

val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)VisionImage.kt

כדי ליצור אובייקט FirebaseVisionImage מ-URI של קובץ, מעבירים את ההקשר של האפליקציה ואת ה-URI של הקובץ FirebaseVisionImage.fromFilePath(). זה שימושי כאשר משתמשים ב-Intent ACTION_GET_CONTENT כדי לבקש מהמשתמש לבחור תמונה מאפליקציית הגלריה.
Java
```
FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}VisionImage.java
```
Kotlin+KTX
```
val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}VisionImage.kt
```

כדי ליצור אובייקט FirebaseVisionImage מתוך ByteBuffer או מערך בייטים, מחשבים קודם את התמונה של סיבוב הנתונים כפי שמתואר למעלה עבור קלט media.Image.

לאחר מכן, יוצרים אובייקט FirebaseVisionImageMetadata שמכיל את הגובה, הרוחב, פורמט קידוד הצבע של התמונה וסבב:

Java

FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();VisionImage.java

Kotlin+KTX

val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()VisionImage.kt

משתמשים במאגר הנתונים הזמני או במערך ובאובייקט המטא-נתונים כדי ליצור אובייקט FirebaseVisionImage:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);VisionImage.java

Kotlin+KTX

val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)VisionImage.kt

כדי ליצור אובייקט FirebaseVisionImage מאובייקט Bitmap:
Java
```
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);VisionImage.java
```
Kotlin+KTX
```
val image = FirebaseVisionImage.fromBitmap(bitmap)VisionImage.kt
```
התמונה שמיוצגת על ידי האובייקט Bitmap חייבת להיות זקוף, ללא צורך בסיבוב נוסף.

מעבירים את התמונה לשיטה processImage():

Java

objectDetector.processImage(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FirebaseVisionObject>>() {
                    @Override
                    public void onSuccess(List<FirebaseVisionObject> detectedObjects) {
                        // Task completed successfully
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Kotlin+KTX

objectDetector.processImage(image)
        .addOnSuccessListener { detectedObjects ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

אם הקריאה ל-processImage() תצליח, רשימה של FirebaseVisionObjects תועבר למאזין להצלחה.

כל FirebaseVisionObject מכיל את המאפיינים (properties) הבאים:

תיבה קשורה	`Rect` שמציין את המיקום של האובייקט תמונה.
מזהה לצורכי מעקב	מספר שלם שמזהה את האובייקט בתמונות. Null ב-SINGLE_IMAGE_MODE.
קטגוריה	הקטגוריה גסה של האובייקט. אם מזהה האובייקטים לא יש סיווג מופעל, ההגדרה הזו תמיד `FirebaseVisionObject.CATEGORY_UNKNOWN`
ודאות	ערך האמון של סיווג האובייקט. אם האובייקט ללא סיווג, או שהאובייקט מסווג כלא ידוע, `null`

Java

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (FirebaseVisionObject obj : detectedObjects) {
    Integer id = obj.getTrackingId();
    Rect bounds = obj.getBoundingBox();

    // If classification was enabled:
    int category = obj.getClassificationCategory();
    Float confidence = obj.getClassificationConfidence();
}

Kotlin+KTX

// The list of detected objects contains one item if multiple object detection wasn't enabled.
for (obj in detectedObjects) {
    val id = obj.trackingId       // A number that identifies the object across images
    val bounds = obj.boundingBox  // The object's position in the image

    // If classification was enabled:
    val category = obj.classificationCategory
    val confidence = obj.classificationConfidence
}

שיפור השימושיות והביצועים

כדי ליהנות מחוויית המשתמש הטובה ביותר, מומלץ לפעול לפי ההנחיות הבאות באפליקציה:

ההצלחה של זיהוי אובייקטים תלויה במורכבות הוויזואלית של האובייקט. יכול להיות שעצמים עם מספר קטן של מאפיינים חזותיים יצטרכו לתפוס חלק גדול יותר מהתמונה כדי שיזוהו. צריך לספק למשתמשים הדרכה לגבי תיעוד שמתאים במיוחד לסוג האובייקטים שרוצים לזהות.
כשמשתמשים בסיווג, אם רוצים לזהות אובייקטים שלא נופלים ישירות לקטגוריות הנתמכות, להטמיע טיפול מיוחד במקרים לא ידועים אובייקטים.

בנוסף, כדאי לעיין [אפליקציית ML Kit Material Design Showcase][showcase-link]{: .external } וגם עיצוב חומר אוסף תבניות לתכונות מבוססות-למידת מכונה.

כשמשתמשים במצב סטרימינג באפליקציה בזמן אמת, צריך לפעול לפי ההנחיות הבאות כדי להשיג את קצבי הפריימים הטובים ביותר:

אין להשתמש בזיהוי אובייקטים מרובים במצב סטרימינג, כי רוב המכשירים לא יכולת להפיק קצבי פריימים מתאימים.
אפשר להשבית את הסיווג אם לא צריך אותו.
ויסות נתונים (throttle) קריאות לגלאי. אם פריים חדש בסרטון הופך בזמן שהגלאי פועל, משחררים את הפריים.
אם משתמשים בפלט של הגלאי כדי להציג גרפיקה בשכבת-על מקבלים קודם את התוצאה מ-ML Kit ואז מעבדים את התמונה וליצור שכבת-על בשלב אחד. כך תוכלו להציג את משטח המסך פעם אחת בלבד לכל מסגרת קלט.
אם אתם משתמשים ב-Camera2 API, כדאי לצלם תמונות בפורמט ImageFormat.YUV_420_888.

אם משתמשים בגרסה הישנה של ממשק ה-API של המצלמה, מצלמים תמונות ב פורמט של ImageFormat.NV21.