ตรวจจับวัตถุในรูปภาพด้วยโมเดลที่ได้รับการฝึกด้วย AutoML บน Android

หลังจากที่คุณ ฝึกโมเดลของคุณเองโดยใช้ AutoML Vision Edge แล้ว คุณจะสามารถใช้โมเดลดังกล่าวในแอปเพื่อตรวจหาวัตถุในภาพได้

คุณลักษณะ AutoML Vision Edge ของ Firebase ML เลิกใช้แล้ว พิจารณาใช้ Vertex AI เพื่อฝึกโมเดล ML โดยอัตโนมัติ ซึ่งคุณสามารถ ส่งออกเป็นโมเดล TensorFlow Lite สำหรับการใช้งานบนอุปกรณ์หรือ ปรับใช้สำหรับการอนุมานบนคลาวด์

มีสองวิธีในการผสานรวมโมเดลที่ได้รับการฝึกฝนจาก AutoML Vision Edge: คุณสามารถรวมกลุ่มโมเดลโดยวางไว้ในโฟลเดอร์เนื้อหาของแอป หรือคุณสามารถดาวน์โหลดแบบไดนามิกจาก Firebase

ตัวเลือกการรวมโมเดล
รวมอยู่ในแอปของคุณ	โมเดลนี้เป็นส่วนหนึ่งของ APK ของแอป โมเดลพร้อมใช้งานทันที แม้ว่าอุปกรณ์ Android จะออฟไลน์อยู่ก็ตาม ไม่จำเป็นต้องมีโครงการ Firebase
โฮสต์ด้วย Firebase	โฮสต์โมเดลโดยอัปโหลดไปยัง Firebase Machine Learning ลดขนาด APK โมเดลถูกดาวน์โหลดตามความต้องการ ผลักดันการอัปเดตโมเดลโดยไม่ต้องเผยแพร่แอปของคุณซ้ำ การทดสอบ A/B อย่างง่ายด้วย Firebase Remote Config ต้องการโครงการ Firebase

ก่อนที่คุณจะเริ่มต้น

1. หากคุณต้องการดาวน์โหลดโมเดล ตรวจสอบ ให้แน่ใจว่าคุณ ได้เพิ่ม Firebase ในโครงการ Android ของคุณ หากคุณยังไม่ได้ดำเนินการ สิ่งนี้ไม่จำเป็นเมื่อคุณรวมโมเดล

2. เพิ่มการอ้างอิงสำหรับไลบรารี TensorFlow Lite Task ลงในไฟล์ gradle ระดับแอปของโมดูลของคุณ ซึ่งโดยปกติจะเป็น app/build.gradle :

   สำหรับการรวมโมเดลเข้ากับแอปของคุณ:

   dependencies {
     // ...
     // Object detection with a bundled Auto ML model
     implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly-SNAPSHOT'
   }
   

   สำหรับการดาวน์โหลดโมเดลแบบไดนามิกจาก Firebase ให้เพิ่มการพึ่งพา Firebase ML ด้วย:

   dependencies {
     // ...
     // Object detection with an Auto ML model deployed to Firebase
     implementation platform('com.google.firebase:firebase-bom:26.1.1')
     implementation 'com.google.firebase:firebase-ml-model-interpreter'
   
     implementation 'org.tensorflow:tensorflow-lite-task-vision:0.0.0-nightly'
   }
   

1. โหลดโมเดล

กำหนดค่าซอร์สโมเดลโลคัล

ในการรวมโมเดลเข้ากับแอปของคุณ:

1. แยกโมเดลจากไฟล์ zip ที่คุณดาวน์โหลดจาก Google Cloud Console
2. รวมโมเดลของคุณในแพ็คเกจแอพของคุณ:
   1. หากคุณไม่มีโฟลเดอร์สินทรัพย์ในโครงการของคุณ ให้สร้างโฟลเดอร์โดยคลิกขวาที่ app/ โฟลเดอร์ จากนั้นคลิก ใหม่ > โฟลเดอร์ > โฟลเดอร์สินทรัพย์
   2. คัดลอกไฟล์โมเดล tflite พร้อมข้อมูลเมตาแบบฝังไปยังโฟลเดอร์สินทรัพย์

3. เพิ่มสิ่งต่อไปนี้ในไฟล์ build.gradle ของแอปเพื่อให้แน่ใจว่า Gradle จะไม่บีบอัดไฟล์โมเดลเมื่อสร้างแอป:

   android {
       // ...
       aaptOptions {
           noCompress "tflite"
       }
   }
   

   ไฟล์โมเดลจะรวมอยู่ในแพ็คเกจแอพและพร้อมใช้งานเป็นสินทรัพย์ดิบ

   หมายเหตุ: ตั้งแต่เวอร์ชัน 4.1 ของปลั๊กอิน Android Gradle เป็นต้นไป .tflite จะถูกเพิ่มลงในรายการ noCompress โดยค่าเริ่มต้น และไม่จำเป็นต้องใช้รายการข้างต้นอีกต่อไป

กำหนดค่าแหล่งที่มาของโมเดลที่โฮสต์โดย Firebase

หากต้องการใช้โมเดลที่โฮสต์จากระยะไกล ให้สร้างวัตถุ RemoteModel โดยระบุชื่อที่คุณกำหนดให้กับโมเดลเมื่อคุณเผยแพร่:

ชวา

// Specify the name you assigned when you deployed the model.
FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();

คอตลิน

// Specify the name you assigned when you deployed the model.
val remoteModel =
    FirebaseCustomRemoteModel.Builder("your_model_name").build()

จากนั้น เริ่มงานดาวน์โหลดโมเดล โดยระบุเงื่อนไขที่คุณต้องการอนุญาตให้ดาวน์โหลด หากโมเดลไม่ได้อยู่ในอุปกรณ์ หรือหากมีโมเดลเวอร์ชันใหม่กว่านี้ งานจะดาวน์โหลดโมเดลจาก Firebase แบบอะซิงโครนัส:

ชวา

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener<Void>() {
            @Override
            public void onSuccess(@NonNull Task<Void> task) {
                // Success.
            }
        });

คอตลิน

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

แอพจำนวนมากเริ่มงานดาวน์โหลดด้วยรหัสการเริ่มต้น แต่คุณสามารถทำได้ทุกเมื่อก่อนที่คุณจะต้องใช้โมเดล

สร้างเครื่องตรวจจับวัตถุจากแบบจำลองของคุณ

หลังจากที่คุณกำหนดค่าแหล่งที่มาของโมเดลแล้ว ให้สร้างวัตถุ ObjectDetector จากหนึ่งในนั้น

หากคุณมีเฉพาะโมเดลที่รวมอยู่ในเครื่อง ให้สร้างตัวตรวจจับวัตถุจากไฟล์โมเดลของคุณและกำหนดค่าเกณฑ์คะแนนความเชื่อมั่นที่คุณต้องการ (ดู ที่ ประเมินโมเดลของคุณ ):

ชวา

// Initialization
ObjectDetectorOptions options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build();
ObjectDetector objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options);

คอตลิน

// Initialization
val options = ObjectDetectorOptions.builder()
    .setScoreThreshold(0)  // Evaluate your model in the Google Cloud Console
                           // to determine an appropriate value.
    .build()
val objectDetector = ObjectDetector.createFromFileAndOptions(context, modelFile, options)

หากคุณมีโมเดลที่โฮสต์จากระยะไกล คุณจะต้องตรวจสอบว่าได้ดาวน์โหลดโมเดลดังกล่าวแล้วก่อนที่จะเรียกใช้ คุณสามารถตรวจสอบสถานะของงานดาวน์โหลดโมเดลโดยใช้เมธอด isModelDownloaded() ของตัวจัดการโมเดล

แม้ว่าคุณจะต้องยืนยันสิ่งนี้ก่อนที่จะเรียกใช้ตัวตรวจจับวัตถุ หากคุณมีทั้งโมเดลที่โฮสต์จากระยะไกลและโมเดลที่รวมอยู่ในเครื่อง การตรวจสอบนี้อาจเหมาะสมเมื่อสร้างอินสแตนซ์ของตัวตรวจจับวัตถุ: สร้างตัวตรวจจับวัตถุจากระยะไกล รุ่นหากมีการดาวน์โหลดและจากรุ่นในเครื่องเป็นอย่างอื่น

ชวา

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener(new OnSuccessListener<Boolean>() {
            @Override
            public void onSuccess(Boolean isDownloaded) {
            }
        });

คอตลิน

FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
        .addOnSuccessListener { success ->

        }

หากคุณมีเฉพาะโมเดลที่โฮสต์จากระยะไกล คุณควรปิดใช้งานฟังก์ชันที่เกี่ยวข้องกับโมเดล เช่น สีเทาหรือซ่อนบางส่วนของ UI ของคุณ จนกว่าคุณจะยืนยันว่าดาวน์โหลดโมเดลแล้ว คุณสามารถทำได้โดยแนบ Listener กับเมธอด download() ของผู้จัดการโมเดล

เมื่อคุณทราบว่าโมเดลของคุณถูกดาวน์โหลดแล้ว ให้สร้างตัวตรวจจับวัตถุจากไฟล์โมเดล:

ชวา

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    ObjectDetectorOptions options = ObjectDetectorOptions.builder()
                            .setScoreThreshold(0)
                            .build();
                    objectDetector = ObjectDetector.createFromFileAndOptions(
                            getApplicationContext(), modelFile.getPath(), options);
                }
            }
        });

คอตลิน

FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnSuccessListener { modelFile ->
            val options = ObjectDetectorOptions.builder()
                    .setScoreThreshold(0f)
                    .build()
            objectDetector = ObjectDetector.createFromFileAndOptions(
                    applicationContext, modelFile.path, options)
        }

2. เตรียมภาพอินพุต

จากนั้นสำหรับแต่ละภาพที่คุณต้องการติดป้ายกำกับ ให้สร้างวัตถุ TensorImage จากภาพของคุณ คุณสามารถสร้างวัตถุ TensorImage จาก Bitmap โดยใช้วิธี fromBitmap :

ชวา

TensorImage image = TensorImage.fromBitmap(bitmap);

คอตลิน

val image = TensorImage.fromBitmap(bitmap)

หากข้อมูลรูปภาพของคุณไม่อยู่ใน Bitmap คุณสามารถโหลดอาร์เรย์พิกเซลตามที่แสดงใน เอกสาร TensorFlow Lite

3. เรียกใช้เครื่องตรวจจับวัตถุ

ในการตรวจจับวัตถุในภาพ ให้ส่งวัตถุ TensorImage ไปยังเมธอดของ ObjectDetector 's detect()

ชวา

List<Detection> results = objectDetector.detect(image);

คอตลิน

val results = objectDetector.detect(image)

4. รับข้อมูลเกี่ยวกับวัตถุที่มีป้ายกำกับ

หากการดำเนินการตรวจหาวัตถุสำเร็จ ระบบจะส่งกลับรายการของ Detection วัตถุ แต่ละวัตถุ Detection แสดงถึงสิ่งที่ตรวจพบในภาพ คุณสามารถรับกล่องขอบเขตและป้ายกำกับของวัตถุแต่ละชิ้นได้

ตัวอย่างเช่น:

ชวา

for (Detection result : results) {
    RectF bounds = result.getBoundingBox();
    List<Category> labels = result.getCategories();
}

คอตลิน

for (result in results) {
    val bounds = result.getBoundingBox()
    val labels = result.getCategories()
}

เคล็ดลับในการปรับปรุงประสิทธิภาพตามเวลาจริง

หากคุณต้องการติดป้ายรูปภาพในแอปพลิเคชันแบบเรียลไทม์ ให้ทำตามคำแนะนำเหล่านี้เพื่อให้ได้อัตราเฟรมที่ดีที่สุด:

• เค้นสายไปยังเครื่องติดฉลากรูปภาพ หากเฟรมวิดีโอใหม่พร้อมใช้งานในขณะที่เครื่องติดฉลากรูปภาพกำลังทำงาน ให้วางเฟรมนั้น ดูตัวอย่างคลาส VisionProcessorBase ในแอปตัวอย่างการเริ่มต้นอย่างรวดเร็ว
• หากคุณกำลังใช้เอาต์พุตของโปรแกรมสร้างป้ายกำกับรูปภาพเพื่อซ้อนทับกราฟิกบนรูปภาพอินพุต ให้รับผลลัพธ์ก่อน แล้วจึงแสดงภาพและวางซ้อนในขั้นตอนเดียว เมื่อทำเช่นนี้ คุณจะแสดงพื้นผิวการแสดงผลเพียงครั้งเดียวสำหรับแต่ละเฟรมอินพุต ดูตัวอย่างคลาส CameraSourcePreview และ GraphicOverlay ในแอปตัวอย่างเริ่มต้นด่วน

• หากคุณใช้ Camera2 API ให้จับภาพในรูปแบบ ImageFormat.YUV_420_888

  หากคุณใช้ Camera API รุ่นเก่า ให้จับภาพในรูปแบบ ImageFormat.NV21