在 2024 年演示日活动中，观看有关如何使用 Firebase 构建和运行 AI 赋能应用的演示。立即观看。

इस पेज का अनुवाद Cloud Translation API से किया गया है.

Android पर एमएल किट के साथ इमेज लेबल करें

इस पेज पर, Image Labeling APIके पुराने वर्शन के बारे में बताया गया है. यह वर्शन, Firebase के लिए ML Kit का हिस्सा था. इस एपीआई के फ़ंक्शन को इसमें बांटा गया है दो नए एपीआई (ज़्यादा जानें):

डिवाइस पर मौजूद image labeling मशीन लर्निंग मॉडल, नए स्टैंडअलोन ML Kit SDK टूल का हिस्सा है. इसका इस्तेमाल, Firebase के साथ या इसके बिना किया जा सकता है.
Cloud image labeling, Firebase ML का हिस्सा है. इसमें Firebase की क्लाउड-आधारित मशीन लर्निंग (ML) की सभी सुविधाएं शामिल हैं.

इमेज में पहचाने गए ऑब्जेक्ट को लेबल करने के लिए, एमएल किट का इस्तेमाल किया जा सकता है. इसके लिए, इनमें से किसी एक विकल्प का इस्तेमाल करें ऑन-डिवाइस मॉडल या क्लाउड मॉडल. ज़्यादा जानकारी के लिए, खास जानकारी का इस्तेमाल करके, का इस्तेमाल करें.

शुरू करने से पहले

अगर आपने अब तक ऐसा नहीं किया है, तो अपने Android प्रोजेक्ट में Firebase जोड़ें.

अपने मॉड्यूल में एमएल किट Android लाइब्रेरी के लिए डिपेंडेंसी जोड़ें (ऐप्लिकेशन-लेवल) Gradle फ़ाइल (आम तौर पर app/build.gradle):

apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-vision:24.0.3'
  implementation 'com.google.firebase:firebase-ml-vision-image-label-model:20.0.1'
}

यह ज़रूरी नहीं है, लेकिन इसका सुझाव दिया जाता है: अगर उपयोगकर्ता के डिवाइस पर एपीआई का इस्तेमाल किया जा रहा है, तो अपनी ऐसा करने के बाद, आपके डिवाइस पर एमएल मॉडल अपने-आप डाउनलोड हो जाएगा Play Store से इंस्टॉल किया गया है.
ऐसा करने के लिए, अपने ऐप्लिकेशन की जानकारी में यह एलान जोड़ें AndroidManifest.xml फ़ाइल:
```
<application ...>
  ...
  <meta-data
      android:name="com.google.firebase.ml.vision.DEPENDENCIES"
      android:value="label" />
  
</application>
```
अगर इंस्टॉल के समय मॉडल डाउनलोड करने की सुविधा चालू नहीं की जाती है, तो मॉडल डिवाइस पर पहली बार डिटेक्टर का इस्तेमाल करने पर डाउनलोड किया गया. आपके अनुरोध डाउनलोड पूरा होने से पहले ही कोई नतीजा नहीं मिलेगा.
अगर आपको क्लाउड-आधारित मॉडल का इस्तेमाल करना है और आपने इसे पहले से चालू नहीं किया है क्लाउड-आधारित एपीआई का इस्तेमाल करना है, तो इसे अभी करें:
1. एमएल किट खोलें Firebase कंसोल का एपीआई पेज.
2. अगर आपने पहले से अपने प्रोजेक्ट को Blaze प्राइसिंग प्लान में अपग्रेड नहीं किया है, तो ऐसा करने के लिए अपग्रेड करें. (आपको अपग्रेड करने के लिए तभी कहा जाएगा, जब प्रोजेक्ट ब्लेज़ प्लान में नहीं है.)
  
  सिर्फ़ ब्लेज़-लेवल के प्रोजेक्ट ही क्लाउड-आधारित एपीआई का इस्तेमाल कर सकते हैं.
3. अगर क्लाउड-आधारित एपीआई पहले से चालू नहीं हैं, तो क्लाउड-आधारित एपीआई चालू करें APIs.
Cloud API का इस्तेमाल करने वाले ऐप्लिकेशन को प्रोडक्शन में डिप्लॉय करने से पहले, आपको कुछ अतिरिक्त कदम को बिना अनुमति के एपीआई ऐक्सेस करने का असर.

अगर आपको सिर्फ़ डिवाइस में मौजूद मॉडल का इस्तेमाल करना है, तो इस चरण को छोड़ा जा सकता है.

अब आप डिवाइस पर मौजूद मॉडल या किसी क्लाउड-आधारित मॉडल का इस्तेमाल करें.

1. इनपुट इमेज तैयार करें

अपनी इमेज से FirebaseVisionImage ऑब्जेक्ट बनाएं. जब आप Bitmap का इस्तेमाल करते हैं या अगर आप Camera2 API, JPEG फ़ॉर्मैट में media.Image मौजूद होता है. इसका सुझाव तब दिया जाता है, जब किया जा सकता है.

किसीFirebaseVisionImage media.Image ऑब्जेक्ट, जैसे कि किसी ऑब्जेक्ट से इमेज कैप्चर करते समय करने के लिए, media.Image ऑब्जेक्ट को पास करें और चित्र के FirebaseVisionImage.fromMediaImage() पर घुमाया गया.

अगर आपको CameraX लाइब्रेरी, OnImageCapturedListener, और ImageAnalysis.Analyzer क्लास, रोटेशन वैल्यू को कैलकुलेट करती हैं आपके लिए है, इसलिए आपको रोटेशन को सिर्फ़ एक ML किट के रूप में बदलना होगा कॉल करने से पहले ROTATION_ कॉन्सटेंट FirebaseVisionImage.fromMediaImage():

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    private int degreesToFirebaseRotation(int degrees) {
        switch (degrees) {
            case 0:
                return FirebaseVisionImageMetadata.ROTATION_0;
            case 90:
                return FirebaseVisionImageMetadata.ROTATION_90;
            case 180:
                return FirebaseVisionImageMetadata.ROTATION_180;
            case 270:
                return FirebaseVisionImageMetadata.ROTATION_270;
            default:
                throw new IllegalArgumentException(
                        "Rotation must be 0, 90, 180, or 270.");
        }
    }

    @Override
    public void analyze(ImageProxy imageProxy, int degrees) {
        if (imageProxy == null || imageProxy.getImage() == null) {
            return;
        }
        Image mediaImage = imageProxy.getImage();
        int rotation = degreesToFirebaseRotation(degrees);
        FirebaseVisionImage image =
                FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
        // Pass image to an ML Kit Vision API
        // ...
    }
}

Kotlin+KTX

private class YourImageAnalyzer : ImageAnalysis.Analyzer {
    private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) {
        0 -> FirebaseVisionImageMetadata.ROTATION_0
        90 -> FirebaseVisionImageMetadata.ROTATION_90
        180 -> FirebaseVisionImageMetadata.ROTATION_180
        270 -> FirebaseVisionImageMetadata.ROTATION_270
        else -> throw Exception("Rotation must be 0, 90, 180, or 270.")
    }

    override fun analyze(imageProxy: ImageProxy?, degrees: Int) {
        val mediaImage = imageProxy?.image
        val imageRotation = degreesToFirebaseRotation(degrees)
        if (mediaImage != null) {
            val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

अगर इमेज को घुमाने की सुविधा देने वाली कैमरा लाइब्रेरी का इस्तेमाल नहीं किया जाता है, तो डिवाइस के रोटेशन और कैमरे के ओरिएंटेशन से इसका हिसाब लगा सकता है डिवाइस में सेंसर:

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 90);
    ORIENTATIONS.append(Surface.ROTATION_90, 0);
    ORIENTATIONS.append(Surface.ROTATION_180, 270);
    ORIENTATIONS.append(Surface.ROTATION_270, 180);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, Context context)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360;

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    int result;
    switch (rotationCompensation) {
        case 0:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            break;
        case 90:
            result = FirebaseVisionImageMetadata.ROTATION_90;
            break;
        case 180:
            result = FirebaseVisionImageMetadata.ROTATION_180;
            break;
        case 270:
            result = FirebaseVisionImageMetadata.ROTATION_270;
            break;
        default:
            result = FirebaseVisionImageMetadata.ROTATION_0;
            Log.e(TAG, "Bad rotation value: " + rotationCompensation);
    }
    return result;
}VisionImage.java

Kotlin+KTX

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 90)
    ORIENTATIONS.append(Surface.ROTATION_90, 0)
    ORIENTATIONS.append(Surface.ROTATION_180, 270)
    ORIENTATIONS.append(Surface.ROTATION_270, 180)
}
/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // On most devices, the sensor orientation is 90 degrees, but for some
    // devices it is 270 degrees. For devices with a sensor orientation of
    // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees.
    val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!
    rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360

    // Return the corresponding FirebaseVisionImageMetadata rotation value.
    val result: Int
    when (rotationCompensation) {
        0 -> result = FirebaseVisionImageMetadata.ROTATION_0
        90 -> result = FirebaseVisionImageMetadata.ROTATION_90
        180 -> result = FirebaseVisionImageMetadata.ROTATION_180
        270 -> result = FirebaseVisionImageMetadata.ROTATION_270
        else -> {
            result = FirebaseVisionImageMetadata.ROTATION_0
            Log.e(TAG, "Bad rotation value: $rotationCompensation")
        }
    }
    return result
}VisionImage.kt

इसके बाद, media.Image ऑब्जेक्ट को पास करें और FirebaseVisionImage.fromMediaImage() का रोटेशन मान:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);VisionImage.java

Kotlin+KTX

val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)VisionImage.kt

किसी फ़ाइल यूआरआई से FirebaseVisionImage ऑब्जेक्ट बनाने के लिए, पास करें ऐप्लिकेशन का कॉन्टेक्स्ट और फ़ाइल यूआरआई को FirebaseVisionImage.fromFilePath(). यह तब काम आता है, जब उपयोगकर्ता को चुनने का प्रॉम्प्ट भेजने के लिए, ACTION_GET_CONTENT इंटेंट का इस्तेमाल करें अपने गैलरी ऐप्लिकेशन से मिली इमेज शामिल करेगा.
Java
```
FirebaseVisionImage image;
try {
    image = FirebaseVisionImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}VisionImage.java
```
Kotlin+KTX
```
val image: FirebaseVisionImage
try {
    image = FirebaseVisionImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}VisionImage.kt
```

किसीFirebaseVisionImage ByteBuffer या बाइट अरे, पहले चित्र की गणना करें media.Image इनपुट के लिए ऊपर बताए गए तरीके से रोटेशन.

इसके बाद, FirebaseVisionImageMetadata ऑब्जेक्ट बनाएं जिसमें इमेज की ऊंचाई, चौड़ाई, कलर एन्कोडिंग फ़ॉर्मैट, और रोटेशन:

Java

FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder()
        .setWidth(480)   // 480x360 is typically sufficient for
        .setHeight(360)  // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build();VisionImage.java

Kotlin+KTX

val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480) // 480x360 is typically sufficient for
        .setHeight(360) // image recognition
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()VisionImage.kt

बफ़र या अरे और मेटाडेटा ऑब्जेक्ट का इस्तेमाल करके, FirebaseVisionImage ऑब्जेक्ट:

Java

FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata);
// Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);VisionImage.java

Kotlin+KTX

val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)
// Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)VisionImage.kt

किसीFirebaseVisionImage Bitmap ऑब्जेक्ट:
Java
```
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);VisionImage.java
```
Kotlin+KTX
```
val image = FirebaseVisionImage.fromBitmap(bitmap)VisionImage.kt
```
Bitmap ऑब्जेक्ट के ज़रिए दिखाई जाने वाली इमेज में सीधा होना चाहिए, इसके लिए किसी अतिरिक्त रोटेशन की आवश्यकता नहीं होगी.

2. इमेज लेबलर को कॉन्फ़िगर करें और चलाएं

किसी इमेज में ऑब्जेक्ट को लेबल करने के लिए, FirebaseVisionImage ऑब्जेक्ट को FirebaseVisionImageLabeler का processImage तरीका.

सबसे पहले, FirebaseVisionImageLabeler.

अगर आपको डिवाइस पर मौजूद इमेज लेबलर का इस्तेमाल करना है, तो:

Java

FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
    .getOnDeviceImageLabeler();

// Or, to set the minimum confidence required:
// FirebaseVisionOnDeviceImageLabelerOptions options =
//     new FirebaseVisionOnDeviceImageLabelerOptions.Builder()
//         .setConfidenceThreshold(0.7f)
//         .build();
// FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
//     .getOnDeviceImageLabeler(options);

Kotlin+KTX

val labeler = FirebaseVision.getInstance().getOnDeviceImageLabeler()

// Or, to set the minimum confidence required:
// val options = FirebaseVisionOnDeviceImageLabelerOptions.Builder()
//     .setConfidenceThreshold(0.7f)
//     .build()
// val labeler = FirebaseVision.getInstance().getOnDeviceImageLabeler(options)

अगर आपको क्लाउड इमेज लेबलर का इस्तेमाल करना है, तो:

Java

FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
    .getCloudImageLabeler();

// Or, to set the minimum confidence required:
// FirebaseVisionCloudImageLabelerOptions options =
//     new FirebaseVisionCloudImageLabelerOptions.Builder()
//         .setConfidenceThreshold(0.7f)
//         .build();
// FirebaseVisionImageLabeler labeler = FirebaseVision.getInstance()
//     .getCloudImageLabeler(options);

Kotlin+KTX

val labeler = FirebaseVision.getInstance().getCloudImageLabeler()

// Or, to set the minimum confidence required:
// val options = FirebaseVisionCloudImageLabelerOptions.Builder()
//     .setConfidenceThreshold(0.7f)
//     .build()
// val labeler = FirebaseVision.getInstance().getCloudImageLabeler(options)

इसके बाद, processImage() तरीके से इमेज पास करें:

Java

labeler.processImage(image)
    .addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionImageLabel>>() {
      @Override
      public void onSuccess(List<FirebaseVisionImageLabel> labels) {
        // Task completed successfully
        // ...
      }
    })
    .addOnFailureListener(new OnFailureListener() {
      @Override
      public void onFailure(@NonNull Exception e) {
        // Task failed with an exception
        // ...
      }
    });

Kotlin+KTX

labeler.processImage(image)
    .addOnSuccessListener { labels ->
      // Task completed successfully
      // ...
    }
    .addOnFailureListener { e ->
      // Task failed with an exception
      // ...
    }

3. लेबल किए गए ऑब्जेक्ट के बारे में जानकारी पाना

अगर इमेज लेबल करने का काम सफल होता है, तो FirebaseVisionImageLabel ऑब्जेक्ट सक्सेस लिसनर के साथ. हर FirebaseVisionImageLabel ऑब्जेक्ट कुछ न कुछ दिखाता है जिसे इमेज में लेबल किया गया था. हर लेबल के लिए, आपको लेबल का टेक्स्ट मिल सकता है ब्यौरा नॉलेज ग्राफ़ का इकाई आईडी (अगर उपलब्ध हो), और मैच का कॉन्फ़िडेंस स्कोर. उदाहरण के लिए:

Java

for (FirebaseVisionImageLabel label: labels) {
  String text = label.getText();
  String entityId = label.getEntityId();
  float confidence = label.getConfidence();
}

Kotlin+KTX

for (label in labels) {
  val text = label.text
  val entityId = label.entityId
  val confidence = label.confidence
}

रीयल-टाइम परफ़ॉर्मेंस को बेहतर बनाने के लिए सलाह

अगर आपको रीयल-टाइम ऐप्लिकेशन में इमेज को लेबल करना है, तो इन निर्देशों का पालन करें सबसे सही फ़्रेमरेट हासिल करने के लिए दिशा-निर्देश:

इमेज लेबलर को कॉल थ्रॉटल करें. अगर कोई नया वीडियो फ़्रेम उपलब्ध होने पर, फ़्रेम छोड़ें.
अगर ग्राफ़िक ओवरले करने के लिए, इमेज लेबलर के आउटपुट का इस्तेमाल किया जा रहा है इनपुट इमेज को चुनने के बाद, पहले एमएल किट से नतीजा पाएं. इसके बाद, इमेज को रेंडर करें और ओवरले को एक ही चरण में पूरा करें. ऐसा करके, डिसप्ले सरफ़ेस पर रेंडर हो जाता है हर इनपुट फ़्रेम के लिए सिर्फ़ एक बार.
Camera2 API का इस्तेमाल करने पर, इमेज यहां कैप्चर करें ImageFormat.YUV_420_888 फ़ॉर्मैट.

अगर पुराने Camera API का इस्तेमाल किया जा रहा है, तो इमेज यहां कैप्चर करें ImageFormat.NV21 फ़ॉर्मैट.

अगले चरण

Cloud API का इस्तेमाल करने वाले ऐप्लिकेशन को प्रोडक्शन में डिप्लॉय करने से पहले, आपको कुछ अतिरिक्त कदम को फैलने से रोकने और अनधिकृत एपीआई ऐक्सेस का असर.