اكتشف الوجوه باستخدام ML Kit على نظام Android

يمكنك استخدام ML Kit لاكتشاف الوجوه في الصور والفيديو.

قبل ان تبدأ

  1. إذا لم تكن قد قمت بذلك بالفعل، فأضف Firebase إلى مشروع Android الخاص بك .
  2. أضف تبعيات مكتبات ML Kit Android إلى ملف Gradle الخاص بالوحدة النمطية (على مستوى التطبيق) (عادةً app/build.gradle ): 
    apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  // If you want to detect face contours (landmark detection and classification
  // don't require this additional model):
  implementation 'com.google.firebase:firebase-ml-vision-face-model:20.0.1'
}
  3. اختياري ولكن موصى به : قم بتكوين تطبيقك لتنزيل نموذج ML تلقائيًا على الجهاز بعد تثبيت تطبيقك من متجر Play.

    للقيام بذلك، أضف التصريح التالي إلى ملف AndroidManifest.xml الخاص بتطبيقك:

    <application ...>
  ...
  <meta-data
      android:name="com.google.firebase.ml.vision.DEPENDENCIES"
      android:value="face" />
  <!-- To use multiple models: android:value="face,model2,model3" -->
</application>
    إذا لم تقم بتمكين تنزيلات نموذج وقت التثبيت، فسيتم تنزيل النموذج في المرة الأولى التي تقوم فيها بتشغيل الكاشف. لن تؤدي الطلبات التي تجريها قبل اكتمال التنزيل إلى أي نتائج.

إرشادات إدخال الصورة

لكي تتمكن ML Kit من اكتشاف الوجوه بدقة، يجب أن تحتوي الصور المدخلة على وجوه يتم تمثيلها ببيانات بيكسل كافية. بشكل عام، يجب أن يكون حجم كل وجه تريد اكتشافه في الصورة 100 × 100 بكسل على الأقل. إذا كنت تريد اكتشاف ملامح الوجوه، فإن ML Kit يتطلب إدخالاً بدقة أعلى: يجب أن يكون كل وجه 200 × 200 بكسل على الأقل.

إذا كنت تكتشف وجوهًا في تطبيق في الوقت الفعلي، فقد ترغب أيضًا في مراعاة الأبعاد الإجمالية للصور المدخلة. يمكن معالجة الصور الأصغر حجمًا بشكل أسرع، وذلك لتقليل زمن الوصول، والتقاط الصور بدقة أقل (مع الأخذ في الاعتبار متطلبات الدقة المذكورة أعلاه) والتأكد من أن وجه الهدف يشغل أكبر قدر ممكن من الصورة. راجع أيضًا نصائح لتحسين الأداء في الوقت الفعلي .

قد يؤدي التركيز الضعيف للصورة إلى الإضرار بالدقة. إذا لم تحصل على نتائج مقبولة، فحاول مطالبة المستخدم باستعادة الصورة.

يمكن أن يؤثر أيضًا اتجاه الوجه بالنسبة للكاميرا على ميزات الوجه التي يكتشفها ML Kit. راجع مفاهيم اكتشاف الوجه .

1. قم بتكوين كاشف الوجه

قبل تطبيق اكتشاف الوجه على صورة ما، إذا كنت تريد تغيير أي من الإعدادات الافتراضية لكاشف الوجه، فحدد تلك الإعدادات باستخدام كائن FirebaseVisionFaceDetectorOptions . يمكنك تغيير الإعدادات التالية:

إعدادات
وضع الأداء FAST (افتراضي) | ACCURATE

فضل السرعة أو الدقة عند اكتشاف الوجوه.

كشف المعالم NO_LANDMARKS (افتراضي) | ALL_LANDMARKS

ما إذا كنت تريد محاولة تحديد "معالم" الوجه: العيون والأذنين والأنف والخدين والفم وما إلى ذلك.

كشف الخطوط NO_CONTOURS (افتراضي) | ALL_CONTOURS

سواء للكشف عن ملامح ملامح الوجه. يتم الكشف عن الملامح للوجه الأبرز فقط في الصورة.

تصنيف الوجوه NO_CLASSIFICATIONS (افتراضي) | ALL_CLASSIFICATIONS

ما إذا كان سيتم تصنيف الوجوه إلى فئات مثل "مبتسم" و"عيون مفتوحة" أم لا.

الحد الأدنى لحجم الوجه float (الافتراضي: 0.1f )

الحد الأدنى لحجم الوجوه المراد اكتشافها بالنسبة للصورة.

تمكين تتبع الوجه false (افتراضي) | true

ما إذا كان سيتم تعيين معرف للوجه أم لا، والذي يمكن استخدامه لتتبع الوجوه عبر الصور.

لاحظ أنه عند تمكين اكتشاف الكفاف، يتم اكتشاف وجه واحد فقط، لذا لا يؤدي تتبع الوجه إلى نتائج مفيدة. لهذا السبب، ولتحسين سرعة الاكتشاف، لا تقم بتمكين اكتشاف الكفاف وتتبع الوجه.

على سبيل المثال:

Java

// High-accuracy landmark detection and face classification
FirebaseVisionFaceDetectorOptions highAccuracyOpts =
        new FirebaseVisionFaceDetectorOptions.Builder()
                .setPerformanceMode(FirebaseVisionFaceDetectorOptions.ACCURATE)
                .setLandmarkMode(FirebaseVisionFaceDetectorOptions.ALL_LANDMARKS)
                .setClassificationMode(FirebaseVisionFaceDetectorOptions.ALL_CLASSIFICATIONS)
                .build();

// Real-time contour detection of multiple faces
FirebaseVisionFaceDetectorOptions realTimeOpts =
        new FirebaseVisionFaceDetectorOptions.Builder()
                .setContourMode(FirebaseVisionFaceDetectorOptions.ALL_CONTOURS)
                .build();

Kotlin+KTX

// High-accuracy landmark detection and face classification
val highAccuracyOpts = FirebaseVisionFaceDetectorOptions.Builder()
        .setPerformanceMode(FirebaseVisionFaceDetectorOptions.ACCURATE)
        .setLandmarkMode(FirebaseVisionFaceDetectorOptions.ALL_LANDMARKS)
        .setClassificationMode(FirebaseVisionFaceDetectorOptions.ALL_CLASSIFICATIONS)
        .build()

// Real-time contour detection of multiple faces
val realTimeOpts = FirebaseVisionFaceDetectorOptions.Builder()
        .setContourMode(FirebaseVisionFaceDetectorOptions.ALL_CONTOURS)
        .build()

2. قم بتشغيل كاشف الوجه

لاكتشاف الوجوه في صورة ما، قم بإنشاء كائن FirebaseVisionImage إما من Bitmap أو media.Image أو ByteBuffer أو مصفوفة بايت أو ملف على الجهاز. بعد ذلك، قم بتمرير كائن FirebaseVisionImage إلى طريقة detectInImage الخاصة بـ FirebaseVisionFaceDetector .

للتعرف على الوجه، يجب عليك استخدام صورة بأبعاد لا تقل عن 480 × 360 بكسل. إذا كنت تتعرف على الوجوه في الوقت الفعلي، فإن التقاط الإطارات بهذا الحد الأدنى من الدقة يمكن أن يساعد في تقليل زمن الوصول.

  1. قم بإنشاء كائن FirebaseVisionImage من صورتك.

    • لإنشاء كائن FirebaseVisionImage من كائن media.Image ، كما هو الحال عند التقاط صورة من كاميرا الجهاز، قم بتمرير كائن media.Image وتدوير الصورة إلى FirebaseVisionImage.fromMediaImage() .

      إذا كنت تستخدم مكتبة CameraX ، فإن فئتي OnImageCapturedListener و ImageAnalysis.Analyzer تحسب قيمة التدوير لك، لذلك تحتاج فقط إلى تحويل التدوير إلى أحد ثوابت ROTATION_ الخاصة بـ ML Kit قبل استدعاء FirebaseVisionImage.fromMediaImage() :

      Java

      private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

      Kotlin+KTX

      private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

      إذا كنت لا تستخدم مكتبة الكاميرا التي تمنحك دوران الصورة، فيمكنك حسابها من دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز:

      Java

      private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}
      VisionImage.java

      Kotlin+KTX

      private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}
      VisionImage.kt

      بعد ذلك، قم بتمرير كائن media.Image وقيمة التدوير إلى FirebaseVisionImage.fromMediaImage() :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من ملف URI، قم بتمرير سياق التطبيق وملف URI إلى FirebaseVisionImage.fromFilePath() . يعد هذا مفيدًا عند استخدام هدف ACTION_GET_CONTENT لمطالبة المستخدم بتحديد صورة من تطبيق المعرض الخاص به.

      Java

      FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}
      VisionImage.java

      Kotlin+KTX

      val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من ByteBuffer أو مصفوفة بايت، قم أولاً بحساب دوران الصورة كما هو موضح أعلاه لإدخال media.Image .

      بعد ذلك، قم بإنشاء كائن FirebaseVisionImageMetadata الذي يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز الألوان والتدوير:

      Java

      FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();
      VisionImage.java

      Kotlin+KTX

      val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()
      VisionImage.kt

      استخدم المخزن المؤقت أو الصفيف وكائن البيانات التعريفية لإنشاء كائن FirebaseVisionImage :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
      VisionImage.kt
    • لإنشاء كائن FirebaseVisionImage من كائن Bitmap :

      Java

      FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
      VisionImage.java

      Kotlin+KTX

      val image = FirebaseVisionImage.fromBitmap(bitmap)
      VisionImage.kt
      يجب أن تكون الصورة التي يمثلها كائن Bitmap في وضع مستقيم، دون الحاجة إلى تدوير إضافي.

  2. احصل على مثيل لـ FirebaseVisionFaceDetector :

    Java

    FirebaseVisionFaceDetector detector = FirebaseVision.getInstance()
        .getVisionFaceDetector(options);

    Kotlin+KTX

    val detector = FirebaseVision.getInstance()
        .getVisionFaceDetector(options)

  3. وأخيرًا، قم بتمرير الصورة إلى طريقة detectInImage :

    Java

    Task<List<FirebaseVisionFace>> result =
        detector.detectInImage(image)
                .addOnSuccessListener(
                        new OnSuccessListener<List<FirebaseVisionFace>>() {
                            @Override
                            public void onSuccess(List<FirebaseVisionFace> faces) {
                                // Task completed successfully
                                // ...
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });

    Kotlin+KTX

    val result = detector.detectInImage(image)
        .addOnSuccessListener { faces ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

3. الحصول على معلومات حول الوجوه المكتشفة

إذا نجحت عملية التعرف على الوجه، فسيتم تمرير قائمة بكائنات FirebaseVisionFace إلى المستمع الناجح. يمثل كل كائن FirebaseVisionFace وجهًا تم اكتشافه في الصورة. بالنسبة لكل وجه، يمكنك الحصول على إحداثياته ​​المحيطة في الصورة المدخلة، بالإضافة إلى أي معلومات أخرى قمت بتكوين كاشف الوجه للعثور عليها. على سبيل المثال:

Java

for (FirebaseVisionFace face : faces) {
    Rect bounds = face.getBoundingBox();
    float rotY = face.getHeadEulerAngleY();  // Head is rotated to the right rotY degrees
    float rotZ = face.getHeadEulerAngleZ();  // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    FirebaseVisionFaceLandmark leftEar = face.getLandmark(FirebaseVisionFaceLandmark.LEFT_EAR);
    if (leftEar != null) {
        FirebaseVisionPoint leftEarPos = leftEar.getPosition();
    }

    // If contour detection was enabled:
    List<FirebaseVisionPoint> leftEyeContour =
            face.getContour(FirebaseVisionFaceContour.LEFT_EYE).getPoints();
    List<FirebaseVisionPoint> upperLipBottomContour =
            face.getContour(FirebaseVisionFaceContour.UPPER_LIP_BOTTOM).getPoints();

    // If classification was enabled:
    if (face.getSmilingProbability() != FirebaseVisionFace.UNCOMPUTED_PROBABILITY) {
        float smileProb = face.getSmilingProbability();
    }
    if (face.getRightEyeOpenProbability() != FirebaseVisionFace.UNCOMPUTED_PROBABILITY) {
        float rightEyeOpenProb = face.getRightEyeOpenProbability();
    }

    // If face tracking was enabled:
    if (face.getTrackingId() != FirebaseVisionFace.INVALID_ID) {
        int id = face.getTrackingId();
    }
}

Kotlin+KTX

for (face in faces) {
    val bounds = face.boundingBox
    val rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees
    val rotZ = face.headEulerAngleZ // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    val leftEar = face.getLandmark(FirebaseVisionFaceLandmark.LEFT_EAR)
    leftEar?.let {
        val leftEarPos = leftEar.position
    }

    // If contour detection was enabled:
    val leftEyeContour = face.getContour(FirebaseVisionFaceContour.LEFT_EYE).points
    val upperLipBottomContour = face.getContour(FirebaseVisionFaceContour.UPPER_LIP_BOTTOM).points

    // If classification was enabled:
    if (face.smilingProbability != FirebaseVisionFace.UNCOMPUTED_PROBABILITY) {
        val smileProb = face.smilingProbability
    }
    if (face.rightEyeOpenProbability != FirebaseVisionFace.UNCOMPUTED_PROBABILITY) {
        val rightEyeOpenProb = face.rightEyeOpenProbability
    }

    // If face tracking was enabled:
    if (face.trackingId != FirebaseVisionFace.INVALID_ID) {
        val id = face.trackingId
    }
}

مثال على ملامح الوجه

عند تمكين اكتشاف محيط الوجه، تحصل على قائمة بالنقاط لكل ميزة وجه تم اكتشافها. تمثل هذه النقاط شكل الميزة. راجع نظرة عامة على مفاهيم اكتشاف الوجه للحصول على تفاصيل حول كيفية تمثيل الخطوط.

توضح الصورة التالية كيفية تعيين هذه النقاط للوجه (انقر على الصورة للتكبير):

كشف الوجه في الوقت الحقيقي

إذا كنت تريد استخدام اكتشاف الوجه في تطبيق في الوقت الفعلي، فاتبع هذه الإرشادات لتحقيق أفضل معدلات الإطارات:

  • قم بتكوين كاشف الوجه لاستخدام إما اكتشاف محيط الوجه أو التصنيف واكتشاف المعالم، ولكن ليس كليهما:

    الكشف عن الكنتور
    الكشف عن المعالم
    تصنيف
    كشف المعالم وتصنيفها
    كشف الكفاف والكشف عن المعالم
    الكشف عن الكنتور وتصنيفه
    كشف الكفاف، كشف المعالم، والتصنيف

  • تمكين الوضع FAST (ممكّن افتراضيًا).

  • فكر في التقاط الصور بدقة أقل. ومع ذلك، ضع في اعتبارك أيضًا متطلبات أبعاد الصورة لواجهة برمجة التطبيقات هذه.

  • خنق المكالمات إلى الكاشف. إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل الكاشف، قم بإسقاط الإطار.
  • إذا كنت تستخدم مخرجات الكاشف لتراكب الرسومات على الصورة المدخلة، فاحصل أولاً على النتيجة من ML Kit، ثم قم بعرض الصورة والتراكب في خطوة واحدة. من خلال القيام بذلك، يمكنك العرض على سطح العرض مرة واحدة فقط لكل إطار إدخال.

  • إذا كنت تستخدم Camera2 API، فالتقط الصور بتنسيق ImageFormat.YUV_420_888 .

    إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا الأقدم، فالتقط الصور بتنسيق ImageFormat.NV21 .