قم بتسمية الصور باستخدام Firebase ML على Android

تصف هذه الصفحة إصدارًا قديمًا من كائنات التصنيف التي تم التعرف عليها في صورة باستخدام Firebase ML Vision SDK المهمل. وكبديل، يمكنك استدعاء واجهات برمجة تطبيقات Cloud Vision باستخدام Firebase Auth وCallable Functions للسماح فقط للمستخدمين الذين قاموا بتسجيل الدخول إلى تطبيقك بالوصول إلى واجهة برمجة التطبيقات.

يمكنك استخدام Firebase ML لتسمية الكائنات التي تم التعرف عليها في الصورة. راجع النظرة العامة للحصول على معلومات حول ميزات واجهة برمجة التطبيقات هذه.

يخضع استخدام واجهات برمجة تطبيقات Cloud Vision لاتفاقية ترخيص Google Cloud Platform والشروط الخاصة بالخدمة ، ويتم إصدار الفاتورة وفقًا لذلك. للحصول على معلومات الفواتير، راجع صفحة التسعير .

هل تبحث عن تصنيف الصور على الجهاز؟ جرب مكتبة ML Kit المستقلة .

قبل ان تبدأ

1. إذا لم تكن قد قمت بذلك بالفعل، فأضف Firebase إلى مشروع Android الخاص بك .
2. في ملف Gradle الخاص بوحدتك (على مستوى التطبيق) (عادةً <project>/<app-module>/build.gradle.kts أو <project>/<app-module>/build.gradle )، أضف التبعية لـ Firebase ML مكتبة الرؤية للأندرويد. نوصي باستخدام Firebase Android BoM للتحكم في إصدار المكتبة.

   dependencies {
       // Import the BoM for the Firebase platform
       implementation(platform("com.google.firebase:firebase-bom:32.8.0"))
   
       // Add the dependency for the Firebase ML Vision library
       // When using the BoM, you don't specify versions in Firebase library dependencies
       implementation 'com.google.firebase:firebase-ml-vision'
   }
   

   باستخدام Firebase Android BoM ، سيستخدم تطبيقك دائمًا إصدارات متوافقة من مكتبات Firebase Android.

   (بديل) أضف تبعيات مكتبة Firebase دون استخدام BoM

   إذا اخترت عدم استخدام Firebase BoM، فيجب عليك تحديد كل إصدار من مكتبة Firebase في سطر التبعية الخاص به.

   لاحظ أنه إذا كنت تستخدم مكتبات Firebase متعددة في تطبيقك، فإننا نوصي بشدة باستخدام BoM لإدارة إصدارات المكتبة، مما يضمن توافق جميع الإصدارات.

   dependencies {
       // Add the dependency for the Firebase ML Vision library
       // When NOT using the BoM, you must specify versions in Firebase library dependencies
       implementation 'com.google.firebase:firebase-ml-vision:24.1.0'
   }
   

   هل تبحث عن وحدة مكتبة خاصة بـ Kotlin؟ بدءًا من أكتوبر 2023 (Firebase BoM 32.5.0) ، يمكن لمطوري Kotlin وJava الاعتماد على وحدة المكتبة الرئيسية (لمزيد من التفاصيل، راجع الأسئلة الشائعة حول هذه المبادرة ).

3. إذا لم تكن قد قمت بالفعل بتمكين واجهات برمجة التطبيقات المستندة إلى السحابة لمشروعك، فقم بذلك الآن:

   1. افتح صفحة Firebase ML APIs لوحدة تحكم Firebase.

   2. إذا لم تكن قد قمت بالفعل بترقية مشروعك إلى خطة تسعير Blaze، فانقر فوق ترقية للقيام بذلك. (سيُطلب منك الترقية فقط إذا لم يكن مشروعك مدرجًا في خطة Blaze.)

      يمكن فقط للمشاريع على مستوى Blaze استخدام واجهات برمجة التطبيقات المستندة إلى السحابة.

   3. إذا لم تكن واجهات برمجة التطبيقات المستندة إلى السحابة ممكّنة بالفعل، فانقر على تمكين واجهات برمجة التطبيقات المستندة إلى السحابة .
   قبل أن تقوم بنشر تطبيق يستخدم Cloud API في الإنتاج، يجب عليك اتخاذ بعض الخطوات الإضافية لمنع وتخفيف تأثير الوصول غير المصرح به إلى API .

أنت الآن جاهز لتصنيف الصور.

1. قم بإعداد صورة الإدخال

قم بإنشاء كائن FirebaseVisionImage من صورتك. يعمل مُلصق الصور بشكل أسرع عند استخدام Bitmap ، أو، إذا كنت تستخدم واجهة برمجة التطبيقات الخاصة بكاميرا2، media.Image بتنسيق JPEG.Image ، والتي يوصى بها عندما يكون ذلك ممكنًا.

• لإنشاء كائن FirebaseVisionImage من كائن media.Image ، كما هو الحال عند التقاط صورة من كاميرا الجهاز، قم بتمرير كائن media.Image وتدوير الصورة إلى FirebaseVisionImage.fromMediaImage() .

  إذا كنت تستخدم مكتبة CameraX ، فإن فئتي OnImageCapturedListener و ImageAnalysis.Analyzer تحسب قيمة التدوير لك، لذلك تحتاج فقط إلى تحويل التدوير إلى أحد ثوابت ROTATION_ الخاصة بـ Firebase ML قبل استدعاء FirebaseVisionImage.fromMediaImage() :

  Kotlin+KTX

  private class YourImageAnalyzer : ImageAnalysis.Analyzer {
      private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
          0 -> FirebaseVisionImageMetadata.ROTATION_0
          90 -> FirebaseVisionImageMetadata.ROTATION_90
          180 -> FirebaseVisionImageMetadata.ROTATION_180
          270 -> FirebaseVisionImageMetadata.ROTATION_270
          else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
      }
  
      override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
          val mediaImage = imageProxy?.image
          val imageRotation = degreesToFirebaseRotation(degrees)
          if (mediaImage != null) {
              val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
              // Pass image to an ML Vision API
              // ...
          }
      }
  }
  

  Java

  private class YourAnalyzer implements ImageAnalysis.Analyzer {
  
      private int degreesToFirebaseRotation(int degrees) {
          switch (degrees) {
              case 0:
                  return FirebaseVisionImageMetadata.ROTATION_0;
              case 90:
                  return FirebaseVisionImageMetadata.ROTATION_90;
              case 180:
                  return FirebaseVisionImageMetadata.ROTATION_180;
              case 270:
                  return FirebaseVisionImageMetadata.ROTATION_270;
              default:
                  throw new IllegalArgumentException(
                          "Rotation must be 0, 90, 180, or 270.");
          }
      }
  
      @Override
      public void analyze(ImageProxy imageProxy, int degrees) {
          if (imageProxy == null || imageProxy.getImage() == null) {
              return;
          }
          Image mediaImage = imageProxy.getImage();
          int rotation = degreesToFirebaseRotation(degrees);
          FirebaseVisionImage image =
                  FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
          // Pass image to an ML Vision API
          // ...
      }
  }
  

  إذا كنت لا تستخدم مكتبة الكاميرا التي تمنحك دوران الصورة، فيمكنك حسابها من دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز:

  Kotlin+KTX

  private val ORIENTATIONS = SparseIntArray()
  
  init {
      ORIENTATIONS.append(Surface.ROTATION_0, 90)
      ORIENTATIONS.append(Surface.ROTATION_90, 0)
      ORIENTATIONS.append(Surface.ROTATION_180, 270)
      ORIENTATIONS.append(Surface.ROTATION_270, 180)
  }
  /**
   * Get the angle by which an image must be rotated given the device's current
   * orientation.
   */
  @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
  @Throws(CameraAccessException::class)
  private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
      // Get the device's current rotation relative to its "native" orientation.
      // Then, from the ORIENTATIONS table, look up the angle the image must be
      // rotated to compensate for the device's rotation.
      val deviceRotation = activity.windowManager.defaultDisplay.rotation
      var rotationCompensation = ORIENTATIONS.get(deviceRotation)
  
      // On most devices, the sensor orientation is 90 degrees, but for some
      // devices it is 270 degrees. For devices with a sensor orientation of
      // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
      val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
      val sensorOrientation = cameraManager
          .getCameraCharacteristics(cameraId)
          .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
      rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360
  
      // Return the corresponding FirebaseVisionImageMetadata rotation value.
      val result: Int
      when (rotationCompensation) {
          0 -> result = FirebaseVisionImageMetadata.ROTATION_0
          90 -> result = FirebaseVisionImageMetadata.ROTATION_90
          180 -> result = FirebaseVisionImageMetadata.ROTATION_180
          270 -> result = FirebaseVisionImageMetadata.ROTATION_270
          else -> {
              result = FirebaseVisionImageMetadata.ROTATION_0
              Log.e(TAG, "Bad rotation value: $rotationCompensation")
          }
      }
      return result
  }
  VisionImage.kt

  Java

  private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
  static {
      ORIENTATIONS.append(Surface.ROTATION_0, 90);
      ORIENTATIONS.append(Surface.ROTATION_90, 0);
      ORIENTATIONS.append(Surface.ROTATION_180, 270);
      ORIENTATIONS.append(Surface.ROTATION_270, 180);
  }
  
  /**
   * Get the angle by which an image must be rotated given the device's current
   * orientation.
   */
  @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
  private int getRotationCompensation(String cameraId, Activity activity, Context context)
          throws CameraAccessException {
      // Get the device's current rotation relative to its "native" orientation.
      // Then, from the ORIENTATIONS table, look up the angle the image must be
      // rotated to compensate for the device's rotation.
      int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
      int rotationCompensation = ORIENTATIONS.get(deviceRotation);
  
      // On most devices, the sensor orientation is 90 degrees, but for some
      // devices it is 270 degrees. For devices with a sensor orientation of
      // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
      CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
      int sensorOrientation = cameraManager
              .getCameraCharacteristics(cameraId)
              .get(CameraCharacteristics.SENSOR_ORIENTATION);
      rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;
  
      // Return the corresponding FirebaseVisionImageMetadata rotation value.
      int result;
      switch (rotationCompensation) {
          case 0:
              result = FirebaseVisionImageMetadata.ROTATION_0;
              break;
          case 90:
              result = FirebaseVisionImageMetadata.ROTATION_90;
              break;
          case 180:
              result = FirebaseVisionImageMetadata.ROTATION_180;
              break;
          case 270:
              result = FirebaseVisionImageMetadata.ROTATION_270;
              break;
          default:
              result = FirebaseVisionImageMetadata.ROTATION_0;
              Log.e(TAG, "Bad rotation value: " + rotationCompensation);
      }
      return result;
  }
  VisionImage.java

  بعد ذلك، قم بتمرير كائن media.Image وقيمة التدوير إلى FirebaseVisionImage.fromMediaImage() :

  Kotlin+KTX

  val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
  VisionImage.kt

  Java

  FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
  VisionImage.java

• لإنشاء كائن FirebaseVisionImage من ملف URI، قم بتمرير سياق التطبيق وملف URI إلى FirebaseVisionImage.fromFilePath() . يعد هذا مفيدًا عند استخدام هدف ACTION_GET_CONTENT لمطالبة المستخدم بتحديد صورة من تطبيق المعرض الخاص به.

  Kotlin+KTX

  val image: FirebaseVisionImage
  try {
      image = FirebaseVisionImage.fromFilePath(context, uri)
  } catch (e: IOException) {
      e.printStackTrace()
  }
  VisionImage.kt

  Java

  FirebaseVisionImage image;
  try {
      image = FirebaseVisionImage.fromFilePath(context, uri);
  } catch (IOException e) {
      e.printStackTrace();
  }
  VisionImage.java

• لإنشاء كائن FirebaseVisionImage من ByteBuffer أو مصفوفة بايت، قم أولاً بحساب دوران الصورة كما هو موضح أعلاه لإدخال media.Image .

  بعد ذلك، قم بإنشاء كائن FirebaseVisionImageMetadata الذي يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز الألوان والتدوير:

  Kotlin+KTX

  val metadata = FirebaseVisionImageMetadata.Builder()
      .setWidth(480) // 480x360 is typically sufficient for
      .setHeight(360) // image recognition
      .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
      .setRotation(rotation)
      .build()
  VisionImage.kt

  Java

  FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
          .setWidth(480)   // 480x360 is typically sufficient for
          .setHeight(360)  // image recognition
          .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
          .setRotation(rotation)
          .build();
  VisionImage.java

  استخدم المخزن المؤقت أو الصفيف وكائن البيانات التعريفية لإنشاء كائن FirebaseVisionImage :

  Kotlin+KTX

  val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
  // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
  VisionImage.kt

  Java

  FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
  // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
  VisionImage.java

• لإنشاء كائن FirebaseVisionImage من كائن Bitmap :

  Kotlin+KTX

  val image = FirebaseVisionImage.fromBitmap(bitmap)
  VisionImage.kt

  Java

  FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
  VisionImage.java

  يجب أن تكون الصورة التي يمثلها كائن Bitmap في وضع مستقيم، دون الحاجة إلى تدوير إضافي.

2. قم بتكوين برنامج تسمية الصور وتشغيله

لتسمية الكائنات في صورة ما، قم بتمرير كائن FirebaseVisionImage إلى طريقة processImage FirebaseVisionImageLabeler .

1. أولاً، احصل على مثيل FirebaseVisionImageLabeler .

   Kotlin+KTX

   val labeler = FirebaseVision.getInstance().getCloudImageLabeler()
   
   // Or, to set the minimum confidence required:
   // val options = FirebaseVisionCloudImageLabelerOptions.Builder()
   //     .setConfidenceThreshold(0.7f)
   //     .build()
   // val labeler = FirebaseVision.getInstance().getCloudImageLabeler(options)
   

   Java

   FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
       .getCloudImageLabeler();
   
   // Or, to set the minimum confidence required:
   // FirebaseVisionCloudImageLabelerOptions options =
   //     new FirebaseVisionCloudImageLabelerOptions.Builder()
   //         .setConfidenceThreshold(0.7f)
   //         .build();
   // FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
   //     .getCloudImageLabeler(options);
   

2. ثم قم بتمرير الصورة إلى طريقة processImage() :

   Kotlin+KTX

   labeler.processImage(image)
       .addOnSuccessListener { labels ->
         // Task completed successfully
         // ...
       }
       .addOnFailureListener { e ->
         // Task failed with an exception
         // ...
       }
   

   Java

   labeler.processImage(image)
       .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionImageLabel>>() {
         @Override
         public void onSuccess(List<FirebaseVisionImageLabel> labels) {
           // Task completed successfully
           // ...
         }
       })
       .addOnFailureListener(new OnFailureListener() {
         @Override
         public void onFailure(@NonNull Exception e) {
           // Task failed with an exception
           // ...
         }
       });
   

3. احصل على معلومات حول الكائنات ذات العلامات

إذا نجحت عملية وضع العلامات على الصور، فسيتم تمرير قائمة بكائنات FirebaseVisionImageLabel إلى المستمع الناجح. يمثل كل كائن FirebaseVisionImageLabel شيئًا تم تصنيفه في الصورة. بالنسبة لكل تصنيف، يمكنك الحصول على الوصف النصي للتسمية، ومعرف كيان الرسم البياني المعرفي الخاص بها (إذا كان متاحًا)، ودرجة الثقة للمطابقة. على سبيل المثال:

Kotlin+KTX

for (label in labels) {
  val text = label.text
  val entityId = label.entityId
  val confidence = label.confidence
}

Java

for (FirebaseVisionImageLabel label: labels) {
  String text = label.getText();
  String entityId = label.getEntityId();
  float confidence = label.getConfidence();
}

الخطوات التالية

• قبل أن تقوم بنشر تطبيق يستخدم Cloud API في الإنتاج، يجب عليك اتخاذ بعض الخطوات الإضافية لمنع وتخفيف تأثير الوصول غير المصرح به إلى API .