اكتشاف الكائنات وتتبعها باستخدام ML Kit على نظام Android

يمكنك استخدام ML Kit لاكتشاف الكائنات وتتبعها عبر إطارات الفيديو.

عندما تقوم بتمرير صور ML Kit، تقوم ML Kit بإرجاع قائمة تضم ما يصل إلى خمسة كائنات مكتشفة وموضعها في الصورة لكل صورة. عند اكتشاف كائنات في تدفقات الفيديو، يكون لكل كائن معرف يمكنك استخدامه لتتبع الكائن عبر الصور. يمكنك أيضًا تمكين تصنيف الكائنات الخشنة اختياريًا، والذي يقوم بتسمية الكائنات بأوصاف فئات واسعة.

قبل ان تبدأ

  1. إذا لم تكن قد قمت بذلك بالفعل، فأضف Firebase إلى مشروع Android الخاص بك .
  2. أضف تبعيات مكتبات ML Kit Android إلى ملف Gradle الخاص بالوحدة النمطية (على مستوى التطبيق) (عادةً app/build.gradle ): 
    apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-object-detection-model:19.0.6'
}

1. قم بتكوين كاشف الكائنات

لبدء اكتشاف الكائنات وتتبعها، قم أولاً بإنشاء مثيل لـ FirebaseVisionObjectDetector ، مع تحديد أي إعدادات كاشف تريد تغييرها بشكل اختياري عن الإعدادات الافتراضية.

  1. قم بتكوين كاشف الكائنات لحالة الاستخدام الخاصة بك باستخدام كائن FirebaseVisionObjectDetectorOptions . يمكنك تغيير الإعدادات التالية:

    إعدادات كاشف الكائنات
    وضع الكشف STREAM_MODE (افتراضي) | SINGLE_IMAGE_MODE

    في STREAM_MODE (افتراضي)، يعمل كاشف الكائنات بزمن انتقال منخفض، ولكنه قد ينتج نتائج غير كاملة (مثل المربعات المحيطة غير المحددة أو تسميات الفئات) في الاستدعاءات القليلة الأولى للكاشف. أيضًا، في STREAM_MODE ، يقوم الكاشف بتعيين معرفات التتبع للكائنات، والتي يمكنك استخدامها لتتبع الكائنات عبر الإطارات. استخدم هذا الوضع عندما تريد تتبع الكائنات، أو عندما يكون زمن الوصول المنخفض مهمًا، كما هو الحال عند معالجة تدفقات الفيديو في الوقت الفعلي.

    في SINGLE_IMAGE_MODE ، ينتظر كاشف الكائنات حتى يتوفر المربع المحيط بالكائن المكتشف وتسمية الفئة (إذا قمت بتمكين التصنيف) قبل إرجاع النتيجة. ونتيجة لذلك، من المحتمل أن يكون زمن الوصول للاكتشاف أعلى. أيضًا، في SINGLE_IMAGE_MODE ، لا يتم تعيين معرفات التتبع. استخدم هذا الوضع إذا لم يكن زمن الاستجابة حرجًا ولا تريد التعامل مع النتائج الجزئية.

    كشف وتتبع كائنات متعددة false (افتراضي) | true

    ما إذا كان سيتم اكتشاف وتتبع ما يصل إلى خمسة كائنات أو الكائن الأبرز فقط (افتراضي).

    تصنيف الكائنات false (افتراضي) | true

    ما إذا كان سيتم تصنيف الكائنات المكتشفة إلى فئات تقريبية أم لا. عند تمكينه، يقوم كاشف الكائنات بتصنيف الكائنات إلى الفئات التالية: سلع الموضة، والمواد الغذائية، والسلع المنزلية، والأماكن، والنباتات، وغير المعروفة.

    تم تحسين واجهة برمجة التطبيقات (API) للكشف عن الكائنات وتتبعها لحالتي الاستخدام الأساسيتين التاليتين:

    • كشف وتتبع مباشر للكائن الأبرز في عدسة الكاميرا
    • الكشف عن كائنات متعددة من صورة ثابتة

    لتكوين واجهة برمجة التطبيقات لحالات الاستخدام هذه:

    Java

    // Live detection and tracking
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
                .enableClassification()  // Optional
                .build();

// Multiple object detection in static images
FirebaseVisionObjectDetectorOptions options =
        new FirebaseVisionObjectDetectorOptions.Builder()
                .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()  // Optional
                .build();

    Kotlin+KTX

    // Live detection and tracking
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
        .enableClassification()  // Optional
        .build()

// Multiple object detection in static images
val options = FirebaseVisionObjectDetectorOptions.Builder()
        .setDetectorMode(FirebaseVisionObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()  // Optional
        .build()

  2. احصل على مثيل لـ FirebaseVisionObjectDetector :

    Java

    FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector();

// Or, to change the default settings:
FirebaseVisionObjectDetector objectDetector =
        FirebaseVision.getInstance().getOnDeviceObjectDetector(options);

    Kotlin+KTX

    val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector()

// Or, to change the default settings:
val objectDetector = FirebaseVision.getInstance().getOnDeviceObjectDetector(options)

2. قم بتشغيل كاشف الأشياء

للكشف عن الكائنات وتتبعها، قم بتمرير الصور إلى طريقة processImage() الخاصة بمثيل FirebaseVisionObjectDetector .

لكل إطار من الفيديو أو الصورة في تسلسل، قم بما يلي:

  1. قم بإنشاء كائن FirebaseVisionImage من صورتك.

    • لإنشاء كائن FirebaseVisionImage من كائن media.Image ، كما هو الحال عند التقاط صورة من كاميرا الجهاز، قم بتمرير كائن media.Image وتدوير الصورة إلى FirebaseVisionImage.fromMediaImage() .

      إذا كنت تستخدم مكتبة CameraX ، فإن فئتي OnImageCapturedListener و ImageAnalysis.Analyzer تحسب قيمة التدوير لك، لذلك تحتاج فقط إلى تحويل التدوير إلى أحد ثوابت ROTATION_ الخاصة بـ ML Kit قبل استدعاء FirebaseVisionImage.fromMediaImage() :

      Java

      private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

      Kotlin+KTX

      private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

      إذا كنت لا تستخدم مكتبة الكاميرا التي تمنحك دوران الصورة، فيمكنك حسابها من دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز:

      Java

      private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}
      VisionImage.java

      Kotlin+KTX

      private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}
      VisionImage.kt

      بعد ذلك، قم بتمرير كائن media.Image وقيمة التدوير إلى FirebaseVisionImage.fromMediaImage() :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من ملف URI، قم بتمرير سياق التطبيق وملف URI إلى FirebaseVisionImage.fromFilePath() . يعد هذا مفيدًا عند استخدام هدف ACTION_GET_CONTENT لمطالبة المستخدم بتحديد صورة من تطبيق المعرض الخاص به.

      Java

      FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}
      VisionImage.java

      Kotlin+KTX

      val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من ByteBuffer أو مصفوفة بايت، قم أولاً بحساب دوران الصورة كما هو موضح أعلاه لإدخال media.Image .

      بعد ذلك، قم بإنشاء كائن FirebaseVisionImageMetadata الذي يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز الألوان والتدوير:

      Java

      FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();
      VisionImage.java

      Kotlin+KTX

      val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()
      VisionImage.kt

      استخدم المخزن المؤقت أو الصفيف وكائن البيانات التعريفية لإنشاء كائن FirebaseVisionImage :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من كائن Bitmap :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromBitmap(bitmap)
      VisionImage.kt
      يجب أن تكون الصورة التي يمثلها كائن Bitmap في وضع مستقيم، دون الحاجة إلى تدوير إضافي.

  2. قم بتمرير الصورة إلى طريقة processImage() :

    Java

    objectDetector.processImage(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FirebaseVisionObject>>() {
                    @Override
                    public void onSuccess(List<FirebaseVisionObject> detectedObjects) {
                        // Task completed successfully
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

    Kotlin+KTX

    objectDetector.processImage(image)
        .addOnSuccessListener { detectedObjects ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

  3. إذا نجح استدعاء processImage() ، فسيتم تمرير قائمة FirebaseVisionObject إلى مستمع النجاح.

    يحتوي كل FirebaseVisionObject على الخصائص التالية:

    المربع المحيط Rect يشير إلى موضع الكائن في الصورة.
    معرف التتبع عدد صحيح يحدد الكائن عبر الصور. فارغة في SINGLE_IMAGE_MODE.
    فئة الفئة الخشنة للكائن. إذا لم يتم تمكين التصنيف في كاشف الكائنات، فسيكون هذا دائمًا FirebaseVisionObject.CATEGORY_UNKNOWN .
    ثقة قيمة الثقة لتصنيف الكائنات. إذا لم يتم تمكين التصنيف في كاشف الكائنات، أو تم تصنيف الكائن على أنه غير معروف، فهذا يعد null .

    Java

    // The list of detected objects contains one item if multiple object detection wasn't enabled.
for (FirebaseVisionObject obj : detectedObjects) {
    Integer id = obj.getTrackingId();
    Rect bounds = obj.getBoundingBox();

    // If classification was enabled:
    int category = obj.getClassificationCategory();
    Float confidence = obj.getClassificationConfidence();
}

    Kotlin+KTX

    // The list of detected objects contains one item if multiple object detection wasn't enabled.
for (obj in detectedObjects) {
    val id = obj.trackingId       // A number that identifies the object across images
    val bounds = obj.boundingBox  // The object's position in the image

    // If classification was enabled:
    val category = obj.classificationCategory
    val confidence = obj.classificationConfidence
}

تحسين سهولة الاستخدام والأداء

للحصول على أفضل تجربة للمستخدم، اتبع هذه الإرشادات في تطبيقك:

  • يعتمد اكتشاف الكائن الناجح على التعقيد البصري للكائن. قد تحتاج الكائنات التي تحتوي على عدد صغير من الميزات المرئية إلى شغل جزء أكبر من الصورة حتى يتم اكتشافها. يجب عليك تزويد المستخدمين بالإرشادات حول التقاط المدخلات التي تعمل بشكل جيد مع نوع الكائنات التي تريد اكتشافها.
  • عند استخدام التصنيف، إذا كنت تريد اكتشاف الكائنات التي لا تندرج بشكل واضح ضمن الفئات المدعومة، فقم بتنفيذ معالجة خاصة للكائنات غير المعروفة.

يمكنك أيضًا الاطلاع على [تطبيق عرض ML Kit Material Design][showcase-link]{: .external } وأنماط التصميم متعدد الأبعاد لمجموعة الميزات التي تدعم التعلم الآلي .

عند استخدام وضع البث في تطبيق في الوقت الفعلي، اتبع هذه الإرشادات لتحقيق أفضل معدلات الإطارات:

  • لا تستخدم اكتشاف الكائنات المتعددة في وضع البث، حيث لن تتمكن معظم الأجهزة من إنتاج معدلات إطارات مناسبة.

  • قم بتعطيل التصنيف إذا لم تكن بحاجة إليه.

  • خنق المكالمات إلى الكاشف. إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل الكاشف، قم بإسقاط الإطار.
  • إذا كنت تستخدم مخرجات الكاشف لتراكب الرسومات على الصورة المدخلة، فاحصل أولاً على النتيجة من ML Kit، ثم قم بعرض الصورة والتراكب في خطوة واحدة. من خلال القيام بذلك، يمكنك العرض على سطح العرض مرة واحدة فقط لكل إطار إدخال.

  • إذا كنت تستخدم Camera2 API، فالتقط الصور بتنسيق ImageFormat.YUV_420_888 .

    إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا الأقدم، فالتقط الصور بتنسيق ImageFormat.NV21 .