بعد تدريب النموذج الخاص بك باستخدام AutoML Vision Edge ، يمكنك استخدامه في تطبيقك لتسمية الصور.
قبل ان تبدأ
- إذا لم تكن قد قمت بذلك بالفعل، فأضف Firebase إلى مشروع Android الخاص بك .
- أضف تبعيات مكتبات ML Kit Android إلى ملف Gradle الخاص بالوحدة النمطية (على مستوى التطبيق) (عادةً
app/build.gradle
):apply plugin: 'com.android.application' apply plugin: 'com.google.gms.google-services' dependencies { // ... implementation 'com.google.firebase:firebase-ml-vision:24.0.3' implementation 'com.google.firebase:firebase-ml-vision-automl:18.0.5' }
1. قم بتحميل النموذج
تقوم ML Kit بتشغيل النماذج التي تم إنشاؤها بواسطة AutoML على الجهاز. ومع ذلك، يمكنك تكوين ML Kit لتحميل النموذج الخاص بك إما عن بعد من Firebase، أو من التخزين المحلي، أو كليهما.
من خلال استضافة النموذج على Firebase، يمكنك تحديث النموذج دون إصدار إصدار تطبيق جديد، ويمكنك استخدام Remote Config وA/B Testing لتقديم نماذج مختلفة ديناميكيًا لمجموعات مختلفة من المستخدمين.
إذا اخترت توفير النموذج فقط من خلال استضافته مع Firebase، وعدم تجميعه مع تطبيقك، فيمكنك تقليل حجم التنزيل الأولي لتطبيقك. ومع ذلك، ضع في اعتبارك أنه إذا لم يتم تضمين النموذج مع تطبيقك، فلن تكون أي وظيفة مرتبطة بالنموذج متاحة حتى يقوم تطبيقك بتنزيل النموذج لأول مرة.
من خلال تجميع النموذج الخاص بك مع تطبيقك، يمكنك التأكد من أن ميزات تعلم الآلة في تطبيقك لا تزال تعمل عندما لا يكون النموذج المستضاف في Firebase متاحًا.
قم بتكوين مصدر نموذج مستضاف على Firebase
لاستخدام النموذج المستضاف عن بعد، قم بإنشاء كائن FirebaseAutoMLRemoteModel
، مع تحديد الاسم الذي قمت بتعيينه للنموذج عند نشره:
Java
// Specify the name you assigned in the Firebase console.
FirebaseAutoMLRemoteModel remoteModel =
new FirebaseAutoMLRemoteModel.Builder("your_remote_model").build();
Kotlin+KTX
// Specify the name you assigned in the Firebase console.
val remoteModel = FirebaseAutoMLRemoteModel.Builder("your_remote_model").build()
بعد ذلك، ابدأ مهمة تنزيل النموذج، مع تحديد الشروط التي تريد السماح بالتنزيل بموجبها. إذا لم يكن النموذج موجودًا على الجهاز، أو إذا كان إصدار أحدث من النموذج متاحًا، فستقوم المهمة بتنزيل النموذج بشكل غير متزامن من Firebase:
Java
FirebaseModelDownloadConditions conditions = new FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build();
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener(new OnCompleteListener<Void>() {
@Override
public void onComplete(@NonNull Task<Void> task) {
// Success.
}
});
Kotlin+KTX
val conditions = FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build()
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Success.
}
تبدأ العديد من التطبيقات مهمة التنزيل في رمز التهيئة الخاص بها، ولكن يمكنك القيام بذلك في أي وقت قبل أن تحتاج إلى استخدام النموذج.
تكوين مصدر نموذج محلي
لتجميع النموذج مع تطبيقك:
- قم باستخراج النموذج وبياناته الوصفية من الأرشيف المضغوط الذي قمت بتنزيله من وحدة تحكم Firebase. ننصحك باستخدام الملفات كما قمت بتنزيلها، دون تعديل (بما في ذلك أسماء الملفات).
قم بتضمين النموذج الخاص بك وملفات البيانات التعريفية الخاصة به في حزمة تطبيقك:
- إذا لم يكن لديك مجلد أصول في مشروعك، فقم بإنشاء واحد عن طريق النقر بزر الماوس الأيمن فوق
app/
المجلد، ثم النقر فوق جديد > مجلد > مجلد الأصول . - قم بإنشاء مجلد فرعي ضمن مجلد الأصول ليحتوي على ملفات النموذج.
- انسخ الملفات
model.tflite
وdict.txt
وmanifest.json
إلى المجلد الفرعي (يجب أن تكون الملفات الثلاثة جميعها في نفس المجلد).
- إذا لم يكن لديك مجلد أصول في مشروعك، فقم بإنشاء واحد عن طريق النقر بزر الماوس الأيمن فوق
- أضف ما يلي إلى ملف
build.gradle
الخاص بتطبيقك للتأكد من أن Gradle لا يضغط ملف النموذج عند إنشاء التطبيق:android { // ... aaptOptions { noCompress "tflite" } }
سيتم تضمين ملف النموذج في حزمة التطبيق وسيكون متاحًا لـ ML Kit كأصل أولي. - قم بإنشاء كائن
FirebaseAutoMLLocalModel
، مع تحديد المسار إلى ملف بيان النموذج:Java
FirebaseAutoMLLocalModel localModel = new FirebaseAutoMLLocalModel.Builder() .setAssetFilePath("manifest.json") .build();
Kotlin+KTX
val localModel = FirebaseAutoMLLocalModel.Builder() .setAssetFilePath("manifest.json") .build()
قم بإنشاء ملصق صورة من النموذج الخاص بك
بعد تكوين مصادر النموذج، قم بإنشاء كائن FirebaseVisionImageLabeler
من أحد هذه المصادر.
إذا كان لديك نموذج مُجمَّع محليًا فقط، فما عليك سوى إنشاء مُلصق من كائن FirebaseAutoMLLocalModel
الخاص بك وتكوين حد درجة الثقة الذي تريد طلبه (راجع تقييم النموذج الخاص بك ):
Java
FirebaseVisionImageLabeler labeler;
try {
FirebaseVisionOnDeviceAutoMLImageLabelerOptions options =
new FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(localModel)
.setConfidenceThreshold(0.0f) // Evaluate your model in the Firebase console
// to determine an appropriate value.
.build();
labeler = FirebaseVision.getInstance().getOnDeviceAutoMLImageLabeler(options);
} catch (FirebaseMLException e) {
// ...
}
Kotlin+KTX
val options = FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(localModel)
.setConfidenceThreshold(0) // Evaluate your model in the Firebase console
// to determine an appropriate value.
.build()
val labeler = FirebaseVision.getInstance().getOnDeviceAutoMLImageLabeler(options)
إذا كان لديك نموذج مستضاف عن بعد، فسيتعين عليك التحقق من تنزيله قبل تشغيله. يمكنك التحقق من حالة مهمة تنزيل النموذج باستخدام طريقة isModelDownloaded()
الخاصة بمدير النموذج.
على الرغم من أنه يتعين عليك فقط تأكيد ذلك قبل تشغيل أداة التسمية، إذا كان لديك نموذج مستضاف عن بعد ونموذج مجمع محليًا، فقد يكون من المنطقي إجراء هذا التحقق عند إنشاء وحدة تسمية الصورة: قم بإنشاء أداة تسمية من النموذج البعيد إذا تم تنزيله، ومن النموذج المحلي خلاف ذلك.
Java
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener(new OnSuccessListener<Boolean>() {
@Override
public void onSuccess(Boolean isDownloaded) {
FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder optionsBuilder;
if (isDownloaded) {
optionsBuilder = new FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(remoteModel);
} else {
optionsBuilder = new FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(localModel);
}
FirebaseVisionOnDeviceAutoMLImageLabelerOptions options = optionsBuilder
.setConfidenceThreshold(0.0f) // Evaluate your model in the Firebase console
// to determine an appropriate threshold.
.build();
FirebaseVisionImageLabeler labeler;
try {
labeler = FirebaseVision.getInstance().getOnDeviceAutoMLImageLabeler(options);
} catch (FirebaseMLException e) {
// Error.
}
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener { isDownloaded ->
val optionsBuilder =
if (isDownloaded) {
FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(remoteModel)
} else {
FirebaseVisionOnDeviceAutoMLImageLabelerOptions.Builder(localModel)
}
// Evaluate your model in the Firebase console to determine an appropriate threshold.
val options = optionsBuilder.setConfidenceThreshold(0.0f).build()
val labeler = FirebaseVision.getInstance().getOnDeviceAutoMLImageLabeler(options)
}
إذا كان لديك نموذج مستضاف عن بعد فقط، فيجب عليك تعطيل الوظائف المرتبطة بالنموذج - على سبيل المثال، اللون الرمادي أو إخفاء جزء من واجهة المستخدم الخاصة بك - حتى تتأكد من تنزيل النموذج. يمكنك القيام بذلك عن طريق إرفاق مستمع بطريقة download()
الخاصة بمدير النموذج:
Java
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnSuccessListener(new OnSuccessListener<Void>() {
@Override
public void onSuccess(Void v) {
// Download complete. Depending on your app, you could enable
// the ML feature, or switch from the local model to the remote
// model, etc.
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
}
2. قم بإعداد صورة الإدخال
بعد ذلك، لكل صورة تريد تصنيفها، قم بإنشاء كائن FirebaseVisionImage
باستخدام أحد الخيارات الموضحة في هذا القسم وقم بتمريره إلى مثيل FirebaseVisionImageLabeler
(الموضح في القسم التالي).
يمكنك إنشاء كائن FirebaseVisionImage
من كائن media.Image
، أو ملف على الجهاز، أو مصفوفة بايت، أو كائن Bitmap
:
لإنشاء كائن
FirebaseVisionImage
من كائنmedia.Image
، كما هو الحال عند التقاط صورة من كاميرا الجهاز، قم بتمرير كائنmedia.Image
وتدوير الصورة إلىFirebaseVisionImage.fromMediaImage()
.إذا كنت تستخدم مكتبة CameraX ، فإن فئتي
OnImageCapturedListener
وImageAnalysis.Analyzer
تحسب قيمة التدوير لك، لذلك تحتاج فقط إلى تحويل التدوير إلى أحد ثوابتROTATION_
الخاصة بـ ML Kit قبل استدعاءFirebaseVisionImage.fromMediaImage()
:Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { private int degreesToFirebaseRotation(int degrees) { switch (degrees) { case 0: return FirebaseVisionImageMetadata.ROTATION_0; case 90: return FirebaseVisionImageMetadata.ROTATION_90; case 180: return FirebaseVisionImageMetadata.ROTATION_180; case 270: return FirebaseVisionImageMetadata.ROTATION_270; default: throw new IllegalArgumentException( "Rotation must be 0, 90, 180, or 270."); } } @Override public void analyze(ImageProxy imageProxy, int degrees) { if (imageProxy == null || imageProxy.getImage() == null) { return; } Image mediaImage = imageProxy.getImage(); int rotation = degreesToFirebaseRotation(degrees); FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation); // Pass image to an ML Kit Vision API // ... } }
Kotlin+KTX
private class YourImageAnalyzer : ImageAnalysis.Analyzer { private fun degreesToFirebaseRotation(degrees: Int): Int = when(degrees) { 0 -> FirebaseVisionImageMetadata.ROTATION_0 90 -> FirebaseVisionImageMetadata.ROTATION_90 180 -> FirebaseVisionImageMetadata.ROTATION_180 270 -> FirebaseVisionImageMetadata.ROTATION_270 else -> throw Exception("Rotation must be 0, 90, 180, or 270.") } override fun analyze(imageProxy: ImageProxy?, degrees: Int) { val mediaImage = imageProxy?.image val imageRotation = degreesToFirebaseRotation(degrees) if (mediaImage != null) { val image = FirebaseVisionImage.fromMediaImage(mediaImage, imageRotation) // Pass image to an ML Kit Vision API // ... } } }
إذا كنت لا تستخدم مكتبة الكاميرا التي تمنحك دوران الصورة، فيمكنك حسابها من دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز:
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 90); ORIENTATIONS.append(Surface.ROTATION_90, 0); ORIENTATIONS.append(Surface.ROTATION_180, 270); ORIENTATIONS.append(Surface.ROTATION_270, 180); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, Context context) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. CameraManager cameraManager = (CameraManager) context.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360; // Return the corresponding FirebaseVisionImageMetadata rotation value. int result; switch (rotationCompensation) { case 0: result = FirebaseVisionImageMetadata.ROTATION_0; break; case 90: result = FirebaseVisionImageMetadata.ROTATION_90; break; case 180: result = FirebaseVisionImageMetadata.ROTATION_180; break; case 270: result = FirebaseVisionImageMetadata.ROTATION_270; break; default: result = FirebaseVisionImageMetadata.ROTATION_0; Log.e(TAG, "Bad rotation value: " + rotationCompensation); } return result; }
Kotlin+KTX
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 90) ORIENTATIONS.append(Surface.ROTATION_90, 0) ORIENTATIONS.append(Surface.ROTATION_180, 270) ORIENTATIONS.append(Surface.ROTATION_270, 180) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, context: Context): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // On most devices, the sensor orientation is 90 degrees, but for some // devices it is 270 degrees. For devices with a sensor orientation of // 270, rotate the image an additional 180 ((270 + 270) % 360) degrees. val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! rotationCompensation = (rotationCompensation + sensorOrientation + 270) % 360 // Return the corresponding FirebaseVisionImageMetadata rotation value. val result: Int when (rotationCompensation) { 0 -> result = FirebaseVisionImageMetadata.ROTATION_0 90 -> result = FirebaseVisionImageMetadata.ROTATION_90 180 -> result = FirebaseVisionImageMetadata.ROTATION_180 270 -> result = FirebaseVisionImageMetadata.ROTATION_270 else -> { result = FirebaseVisionImageMetadata.ROTATION_0 Log.e(TAG, "Bad rotation value: $rotationCompensation") } } return result }
بعد ذلك، قم بتمرير كائن
media.Image
وقيمة التدوير إلىFirebaseVisionImage.fromMediaImage()
:Java
FirebaseVisionImage image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation);
Kotlin+KTX
val image = FirebaseVisionImage.fromMediaImage(mediaImage, rotation)
- لإنشاء كائن
FirebaseVisionImage
من ملف URI، قم بتمرير سياق التطبيق وملف URI إلىFirebaseVisionImage.fromFilePath()
. يعد هذا مفيدًا عند استخدام هدفACTION_GET_CONTENT
لمطالبة المستخدم بتحديد صورة من تطبيق المعرض الخاص به.Java
FirebaseVisionImage image; try { image = FirebaseVisionImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Kotlin+KTX
val image: FirebaseVisionImage try { image = FirebaseVisionImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
- لإنشاء كائن
FirebaseVisionImage
منByteBuffer
أو مصفوفة بايت، قم أولاً بحساب دوران الصورة كما هو موضح أعلاه لإدخالmedia.Image
.بعد ذلك، قم بإنشاء كائن
FirebaseVisionImageMetadata
الذي يحتوي على ارتفاع الصورة وعرضها وتنسيق ترميز الألوان والتدوير:Java
FirebaseVisionImageMetadata metadata = new FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build();
Kotlin+KTX
val metadata = FirebaseVisionImageMetadata.Builder() .setWidth(480) // 480x360 is typically sufficient for .setHeight(360) // image recognition .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21) .setRotation(rotation) .build()
استخدم المخزن المؤقت أو الصفيف وكائن البيانات التعريفية لإنشاء كائن
FirebaseVisionImage
:Java
FirebaseVisionImage image = FirebaseVisionImage.fromByteBuffer(buffer, metadata); // Or: FirebaseVisionImage image = FirebaseVisionImage.fromByteArray(byteArray, metadata);
Kotlin+KTX
val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata) // Or: val image = FirebaseVisionImage.fromByteArray(byteArray, metadata)
- لإنشاء كائن
FirebaseVisionImage
من كائنBitmap
:يجب أن تكون الصورة التي يمثلها كائنJava
FirebaseVisionImage image = FirebaseVisionImage.fromBitmap(bitmap);
Kotlin+KTX
val image = FirebaseVisionImage.fromBitmap(bitmap)
Bitmap
في وضع مستقيم، دون الحاجة إلى تدوير إضافي.
3. قم بتشغيل أداة تسمية الصورة
لتسمية كائنات في صورة ما، قم بتمرير كائن FirebaseVisionImage
إلى طريقة processImage()
الخاصة بـ FirebaseVisionImageLabeler
.
Java
labeler.processImage(image)
.addOnSuccessListener(new OnSuccessListener<List<FirebaseVisionImageLabel>>() {
@Override
public void onSuccess(List<FirebaseVisionImageLabel> labels) {
// Task completed successfully
// ...
}
})
.addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
// ...
}
});
Kotlin+KTX
labeler.processImage(image)
.addOnSuccessListener { labels ->
// Task completed successfully
// ...
}
.addOnFailureListener { e ->
// Task failed with an exception
// ...
}
إذا نجح تصنيف الصور، فسيتم تمرير مجموعة من كائنات FirebaseVisionImageLabel
إلى مستمع النجاح. من كل كائن، يمكنك الحصول على معلومات حول ميزة تم التعرف عليها في الصورة.
على سبيل المثال:
Java
for (FirebaseVisionImageLabel label: labels) {
String text = label.getText();
float confidence = label.getConfidence();
}
Kotlin+KTX
for (label in labels) {
val text = label.text
val confidence = label.confidence
}
نصائح لتحسين الأداء في الوقت الحقيقي
- خنق المكالمات إلى الكاشف. إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل الكاشف، قم بإسقاط الإطار.
- إذا كنت تستخدم مخرجات الكاشف لتراكب الرسومات على الصورة المدخلة، فاحصل أولاً على النتيجة من ML Kit، ثم قم بعرض الصورة والتراكب في خطوة واحدة. من خلال القيام بذلك، يمكنك العرض على سطح العرض مرة واحدة فقط لكل إطار إدخال.
إذا كنت تستخدم Camera2 API، فالتقط الصور بتنسيق
ImageFormat.YUV_420_888
.إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا الأقدم، فالتقط الصور بتنسيق
ImageFormat.NV21
.