التعرّف على المعالم باستخدام حزمة تعلُّم الآلة على Android

تتناول هذه الصفحة إصدارًا قديمًا من مكتبة Landmark Recognition API، التي كانت جزءًا من ML Kit لأجل Firebase. للاطّلاع على أحدث المستندات، يُرجى الاطّلاع على the latest version في القسم Firebase ML.

يمكنك استخدام ML Kit للتعرّف على المعالم المعروفة في الصورة.

يخضع استخدام ML Kit للوصول إلى وظائف Cloud ML ل اتفاقية ترخيص Google Cloud Platform والبنود الخاصة بالخدمة، ويتم تحصيل الرسوم وفقًا لذلك. للحصول على معلومات عن الفوترة، يُرجى الاطّلاع على صفحة أسعار Firebase.

قبل البدء

1. أضِف Firebase إلى مشروع Android، في حال لم يسبق لك إجراء ذلك.
2. أضِف التبعيات لمكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle (على مستوى التطبيق) للوحدة (عادةً app/build.gradle):

   apply plugin: 'com.android.application'
   apply plugin: 'com.google.gms.google-services'
   
   dependencies {
     // ...
   
     implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
   }

3. إذا لم يسبق لك تفعيل واجهات برمجة التطبيقات المستندة إلى السحابة الإلكترونية لمشروعك، عليك إجراء ذلك الآن:

   1. افتح صفحة واجهات برمجة التطبيقات في ML Kit في وحدة تحكّم Firebase.

   2. إذا لم تكن قد أجريت ترقية لمشروعك إلى خطة أسعار Blaze، انقر على ترقية لإجراء ذلك. (لن يُطلب منك إجراء الترقية إلا إذا كان مشروعك غير مُدرَج في خطة Blaze).

      يمكن للمشاريع على مستوى Blaze فقط استخدام واجهات برمجة التطبيقات المستندة إلى Cloud.

   3. إذا لم تكن واجهات برمجة التطبيقات المستندة إلى السحابة الإلكترونية مفعّلة، انقر على تفعيل واجهات برمجة التطبيقات المستندة إلى السحابة الإلكترونية.
   قبل نشر تطبيق يستخدم واجهة برمجة تطبيقات Cloud في قناة الإصدار العلني، عليك اتّخاذ بعض الخطوات الإضافية لمنع أثر الوصول غير المصرّح به إلى واجهة برمجة التطبيقات والحدّ منه.

ضبط أداة رصد المعالم

يستخدم أداة رصد Cloud تلقائيًا الإصدار STABLE من ال نموذج ويعرض ما يصل إلى 10 نتائج. إذا أردت تغيير أيّ من هذين الإعدادَين، حدِّدهما باستخدام عنصر FirebaseVisionCloudDetectorOptions.

على سبيل المثال، لتغيير كلا الإعدادَين التلقائيَين، أنشئ عنصر FirebaseVisionCloudDetectorOptions كما هو موضّح في المثال التالي:

Java

FirebaseVisionCloudDetectorOptions options =
        new FirebaseVisionCloudDetectorOptions.Builder()
                .setModelType(FirebaseVisionCloudDetectorOptions.LATEST_MODEL)
                .setMaxResults(15)
                .build();
MainActivity.java

Kotlin

val options = FirebaseVisionCloudDetectorOptions.Builder()
        .setModelType(FirebaseVisionCloudDetectorOptions.LATEST_MODEL)
        .setMaxResults(15)
        .build()
MainActivity.kt

لاستخدام الإعدادات التلقائية، يمكنك استخدام FirebaseVisionCloudDetectorOptions.DEFAULT في الخطوة التالية.

تشغيل أداة رصد المعالم

للتعرّف على المعالم في الصورة، أنشئ عنصرًا من النوع FirebaseVisionImage من صفيف Bitmap أو media.Image أو ByteBuffer أو بايت أو ملف على الجهاز. بعد ذلك، نقْل عنصر FirebaseVisionImage إلى الطريقة detectInImage في FirebaseVisionCloudLandmarkDetector.

1. أنشئ عنصرًا FirebaseVisionImage من صورتك.

   • لإنشاء عنصر FirebaseVisionImage من media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، عليك تمرير عنصر media.Image ودرجة دوران الصورة إلى FirebaseVisionImage.fromMediaImage().

     إذا كنت تستخدِم مكتبة CameraX، تحتسِب فئتَا OnImageCapturedListener و ImageAnalysis.Analyzer قيمة التدوير بالنيابة عنك، لذا ما عليك سوى تحويل التدوير إلى أحد ثوابت ROTATION_ في ML Kit قبل استدعاء FirebaseVisionImage.fromMediaImage():

     Java

     private class YourAnalyzer implements ImageAnalysis.Analyzer {
     
         private int degreesToFirebaseRotation(int degrees) {
             switch (degrees) {
                 case 0:
                     return FirebaseVisionImageMetadata.ROTATION_0;
                 case 90:
                     return FirebaseVisionImageMetadata.ROTATION_90;
                 case 180:
                     return FirebaseVisionImageMetadata.ROTATION_180;
                 case 270:
                     return FirebaseVisionImageMetadata.ROTATION_270;
                 default:
                     throw new IllegalArgumentException(
                             "Rotation must be 0, 90, 180, or 270.");
             }
         }
     
         @Override
         public void analyze(ImageProxy imageProxy, int degrees) {
             if (imageProxy == null || imageProxy.getImage() == null) {
                 return;
             }
             Image mediaImage = imageProxy.getImage();
             int rotation = degreesToFirebaseRotation(degrees);
             FirebaseVisionImage image =
                     FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
             // Pass image to an ML Kit Vision API
             // ...
         }
     }

     Kotlin

     private class YourImageAnalyzer : ImageAnalysis.Analyzer {
         private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
             0 -> FirebaseVisionImageMetadata.ROTATION_0
             90 -> FirebaseVisionImageMetadata.ROTATION_90
             180 -> FirebaseVisionImageMetadata.ROTATION_180
             270 -> FirebaseVisionImageMetadata.ROTATION_270
             else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
         }
     
         override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
             val mediaImage = imageProxy?.image
             val imageRotation = degreesToFirebaseRotation(degrees)
             if (mediaImage != null) {
                 val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
                 // Pass image to an ML Kit Vision API
                 // ...
             }
         }
     }

     إذا كنت لا تستخدم مكتبة كاميرا تمنحك معلومات عن دوران الصورة، يمكنك احتسابها من خلال دوران الجهاز واتجاه كاميرا الاستشعار في الجهاز:

     Java

     private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
     static {
         ORIENTATIONS.append(Surface.ROTATION_0, 90);
         ORIENTATIONS.append(Surface.ROTATION_90, 0);
         ORIENTATIONS.append(Surface.ROTATION_180, 270);
         ORIENTATIONS.append(Surface.ROTATION_270, 180);
     }
     
     /**
      * Get the angle by which an image must be rotated given the device's current
      * orientation.
      */
     @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
     private int getRotationCompensation(String cameraId, Activity activity, Context context)
             throws CameraAccessException {
         // Get the device's current rotation relative to its "native" orientation.
         // Then, from the ORIENTATIONS table, look up the angle the image must be
         // rotated to compensate for the device's rotation.
         int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
         int rotationCompensation = ORIENTATIONS.get(deviceRotation);
     
         // On most devices, the sensor orientation is 90 degrees, but for some
         // devices it is 270 degrees. For devices with a sensor orientation of
         // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
         CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
         int sensorOrientation = cameraManager
                 .getCameraCharacteristics(cameraId)
                 .get(CameraCharacteristics.SENSOR_ORIENTATION);
         rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;
     
         // Return the corresponding FirebaseVisionImageMetadata rotation value.
         int result;
         switch (rotationCompensation) {
             case 0:
                 result = FirebaseVisionImageMetadata.ROTATION_0;
                 break;
             case 90:
                 result = FirebaseVisionImageMetadata.ROTATION_90;
                 break;
             case 180:
                 result = FirebaseVisionImageMetadata.ROTATION_180;
                 break;
             case 270:
                 result = FirebaseVisionImageMetadata.ROTATION_270;
                 break;
             default:
                 result = FirebaseVisionImageMetadata.ROTATION_0;
                 Log.e(TAG, "Bad rotation value: " + rotationCompensation);
         }
         return result;
     }
     VisionImage.java

     Kotlin

     private val ORIENTATIONS = SparseIntArray()
     
     init {
         ORIENTATIONS.append(Surface.ROTATION_0, 90)
         ORIENTATIONS.append(Surface.ROTATION_90, 0)
         ORIENTATIONS.append(Surface.ROTATION_180, 270)
         ORIENTATIONS.append(Surface.ROTATION_270, 180)
     }
     /**
      * Get the angle by which an image must be rotated given the device's current
      * orientation.
      */
     @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
     @Throws(CameraAccessException::class)
     private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
         // Get the device's current rotation relative to its "native" orientation.
         // Then, from the ORIENTATIONS table, look up the angle the image must be
         // rotated to compensate for the device's rotation.
         val deviceRotation = activity.windowManager.defaultDisplay.rotation
         var rotationCompensation = ORIENTATIONS.get(deviceRotation)
     
         // On most devices, the sensor orientation is 90 degrees, but for some
         // devices it is 270 degrees. For devices with a sensor orientation of
         // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
         val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
         val sensorOrientation = cameraManager
                 .getCameraCharacteristics(cameraId)
                 .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
         rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360
     
         // Return the corresponding FirebaseVisionImageMetadata rotation value.
         val result: Int
         when (rotationCompensation) {
             0 -> result = FirebaseVisionImageMetadata.ROTATION_0
             90 -> result = FirebaseVisionImageMetadata.ROTATION_90
             180 -> result = FirebaseVisionImageMetadata.ROTATION_180
             270 -> result = FirebaseVisionImageMetadata.ROTATION_270
             else -> {
                 result = FirebaseVisionImageMetadata.ROTATION_0
                 Log.e(TAG, "Bad rotation value: $rotationCompensation")
             }
         }
         return result
     }
     VisionImage.kt

     بعد ذلك، مرِّر العنصر media.Image وقيمة الدوران إلى FirebaseVisionImage.fromMediaImage():

     Java

     FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
     VisionImage.java

     Kotlin

     val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
     VisionImage.kt

   • لإنشاء عنصر FirebaseVisionImage من معرّف موارد منتظم لملف، عليك تمرير سياق التطبيق ومعرّف الموارد المنتظم للملف إلى FirebaseVisionImage.fromFilePath(). يكون ذلك مفيدًا عند استخدام نية ACTION_GET_CONTENT لطلب تحديد صورة من تطبيق معرض الصور.

     Java

     FirebaseVisionImage image;
     try {
         image = FirebaseVisionImage.fromFilePath(context, uri);
     } catch (IOException e) {
         e.printStackTrace();
     }
     VisionImage.java

     Kotlin

     val image: FirebaseVisionImage
     try {
         image = FirebaseVisionImage.fromFilePath(context, uri)
     } catch (e: IOException) {
         e.printStackTrace()
     }
     VisionImage.kt

   • لإنشاء عنصر FirebaseVisionImage من ByteBuffer أو صفيف بايت، يجب أولاً احتساب ملفه الشخصي للدوران كما هو موضّح أعلاه لإدخال media.Image.

     بعد ذلك، أنشئ عنصرًا من النوع FirebaseVisionImageMetadata يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز اللون وتدويرها:

     Java

     FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
             .setWidth(480)   // 480x360 is typically sufficient for
             .setHeight(360)  // image recognition
             .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
             .setRotation(rotation)
             .build();
     VisionImage.java

     Kotlin

     val metadata = FirebaseVisionImageMetadata.Builder()
             .setWidth(480) // 480x360 is typically sufficient for
             .setHeight(360) // image recognition
             .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
             .setRotation(rotation)
             .build()
     VisionImage.kt

     استخدِم المخزن المؤقت أو الصفيف وعنصر البيانات الوصفية لإنشاء عنصر FirebaseVisionImage:

     Java

     FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
     // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
     VisionImage.java

     Kotlin

     val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
     // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
     VisionImage.kt

   • لإنشاء عنصر FirebaseVisionImage من عنصر Bitmap:

     Java

     FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
     VisionImage.java

     Kotlin

     val image = FirebaseVisionImage.fromBitmap(bitmap)
     VisionImage.kt

     يجب أن تكون الصورة التي يمثّلها عنصر Bitmap منتصبة، بدون الحاجة إلى إجراء أيّ دوران إضافي.

2. الحصول على مثيل من FirebaseVisionCloudLandmarkDetector:

   Java

   FirebaseVisionCloudLandmarkDetector detector = FirebaseVision.getInstance()
           .getVisionCloudLandmarkDetector();
   // Or, to change the default settings:
   // FirebaseVisionCloudLandmarkDetector detector = FirebaseVision.getInstance()
   //         .getVisionCloudLandmarkDetector(options);

   Kotlin

   val detector = FirebaseVision.getInstance()
           .visionCloudLandmarkDetector
   // Or, to change the default settings:
   // val detector = FirebaseVision.getInstance()
   //         .getVisionCloudLandmarkDetector(options)

3. أخيرًا، نقْل الصورة إلى طريقة detectInImage:

   Java

   Task<List<FirebaseVisionCloudLandmark>> result = detector.detectInImage(image)
           .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionCloudLandmark>>() {
               @Override
               public void onSuccess(List<FirebaseVisionCloudLandmark> firebaseVisionCloudLandmarks) {
                   // Task completed successfully
                   // ...
               }
           })
           .addOnFailureListener(new OnFailureListener() {
               @Override
               public void onFailure(@NonNull Exception e) {
                   // Task failed with an exception
                   // ...
               }
           });

   Kotlin

   val result = detector.detectInImage(image)
           .addOnSuccessListener { firebaseVisionCloudLandmarks ->
               // Task completed successfully
               // ...
           }
           .addOnFailureListener { e ->
               // Task failed with an exception
               // ...
           }

الحصول على معلومات عن المعالم التي تم التعرّف عليها

في حال نجاح عملية التعرّف على المعالم، سيتم تمرير قائمة بعناصر FirebaseVisionCloudLandmark إلى مستمع الحدث "النجاح". يمثّل كل عنصر FirebaseVisionCloudLandmark معلمًا تم التعرّف عليه في الصورة. لكل معلم، يمكنك الحصول على إحداثيات حدوده في صورة الإدخال، وعلى اسم المَعلم، وخطّي العرض والطول، ومعرّف عنصر "الرسم البياني المعرفي" (إذا كان متوفّرًا)، ودرجة ثقة المطابقة. على سبيل المثال:

Java

for (FirebaseVisionCloudLandmark landmark: firebaseVisionCloudLandmarks) {

    Rect bounds = landmark.getBoundingBox();
    String landmarkName = landmark.getLandmark();
    String entityId = landmark.getEntityId();
    float confidence = landmark.getConfidence();

    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (FirebaseVisionLatLng loc: landmark.getLocations()) {
        double latitude = loc.getLatitude();
        double longitude = loc.getLongitude();
    }
}

Kotlin

for (landmark in firebaseVisionCloudLandmarks) {

    val bounds = landmark.boundingBox
    val landmarkName = landmark.landmark
    val entityId = landmark.entityId
    val confidence = landmark.confidence

    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    for (loc in landmark.locations) {
        val latitude = loc.latitude
        val longitude = loc.longitude
    }
}

الخطوات التالية

• قبل نشر تطبيق يستخدم واجهة برمجة تطبيقات Cloud في قناة الإصدار العلني، عليك اتّخاذ بعض الخطوات الإضافية لمنع أثر الوصول غير المصرّح به إلى واجهة برمجة التطبيقات والحدّ منه.