Google 致力于为黑人社区推动种族平等。查看具体举措
หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

ตรวจจับใบหน้าด้วย ML Kit บน iOS

คุณสามารถใช้ ML Kit เพื่อตรวจจับใบหน้าในรูปภาพและวิดีโอ

ก่อนที่คุณจะเริ่ม

  1. หากคุณยังไม่ได้เพิ่ม Firebase ลงในแอปให้ทำตามขั้นตอนใน คู่มือเริ่มต้นใช้งาน
  2. รวมถึงห้องสมุด ML ชุดใน Podfile คุณ:
    pod 'Firebase/MLVision', '6.25.0'
    # If you want to detect face contours (landmark detection and classification
    # don't require this additional model):
    pod 'Firebase/MLVisionFaceModel', '6.25.0'
    
    หลังจากที่คุณติดตั้งหรือปรับปรุงฝักโครงการของคุณให้แน่ใจว่าได้เปิดโครงการ Xcode ของคุณโดยใช้ของ .xcworkspace
  3. นำเข้า Firebase ในแอปของคุณ:

    รวดเร็ว

    import Firebase

    วัตถุประสงค์ -C

    @import Firebase;

คำแนะนำในการป้อนรูปภาพ

เพื่อให้ ML Kit ตรวจจับใบหน้าได้อย่างแม่นยำภาพที่ป้อนจะต้องมีใบหน้าที่แสดงโดยข้อมูลพิกเซลที่เพียงพอ โดยทั่วไปแต่ละใบหน้าที่คุณต้องการตรวจจับในภาพควรมีขนาดอย่างน้อย 100x100 พิกเซล หากคุณต้องการตรวจจับรูปทรงของใบหน้า ML Kit ต้องการการป้อนข้อมูลที่มีความละเอียดสูงกว่า: ใบหน้าแต่ละใบหน้าควรมีขนาดอย่างน้อย 200x200 พิกเซล

หากคุณกำลังตรวจจับใบหน้าในแอปพลิเคชันแบบเรียลไทม์คุณอาจต้องพิจารณาขนาดโดยรวมของภาพที่ป้อนด้วย ภาพที่มีขนาดเล็กสามารถประมวลผลได้เร็วขึ้นดังนั้นเพื่อลดเวลาในการตอบสนองให้จับภาพที่ความละเอียดต่ำ (โปรดคำนึงถึงข้อกำหนดด้านความแม่นยำข้างต้น) และตรวจสอบให้แน่ใจว่าใบหน้าของวัตถุตรงกับภาพมากที่สุด ดู เคล็ดลับในการปรับปรุงประสิทธิภาพแบบเรียลไทม์

การโฟกัสภาพที่ไม่ดีอาจส่งผลเสียต่อความแม่นยำ หากคุณไม่ได้รับผลลัพธ์ที่ยอมรับได้ให้ลองขอให้ผู้ใช้บันทึกภาพอีกครั้ง

การวางแนวของใบหน้าที่สัมพันธ์กับกล้องอาจส่งผลต่อสิ่งที่ ML Kit ตรวจพบใบหน้า ดู แนวคิดการตรวจจับใบหน้า

1. กำหนดค่าเครื่องตรวจจับใบหน้า

ก่อนที่คุณจะใช้การตรวจจับใบหน้ากับรูปภาพหากคุณต้องการเปลี่ยนการตั้งค่าเริ่มต้นของเครื่องตรวจจับใบหน้าให้ระบุการตั้งค่าเหล่านั้นด้วยออบเจ็กต์ VisionFaceDetectorOptions คุณสามารถเปลี่ยนการตั้งค่าต่อไปนี้:

การตั้งค่า
performanceMode fast (ค่าเริ่มต้น) | accurate

ชอบความเร็วหรือความแม่นยำเมื่อตรวจจับใบหน้า

landmarkMode none (ค่าเริ่มต้น) | all

ไม่ว่าจะพยายามตรวจจับ "จุดสังเกต" บนใบหน้าเช่นตาหูจมูกแก้มปากของใบหน้าที่ตรวจพบทั้งหมด

contourMode none (ค่าเริ่มต้น) | all

ตรวจจับรูปทรงของใบหน้าหรือไม่ ระบบตรวจจับรูปทรงสำหรับใบหน้าที่โดดเด่นที่สุดในรูปภาพเท่านั้น

classificationMode none (ค่าเริ่มต้น) | all

ไม่ว่าจะจำแนกใบหน้าเป็นหมวดหมู่เช่น "ยิ้ม" และ "ลืมตา"

minFaceSize CGFloat (ค่าเริ่มต้น: 0.1 )

ขนาดต่ำสุดเทียบกับรูปภาพของใบหน้าที่จะตรวจจับ

isTrackingEnabled false (ค่าเริ่มต้น) | true

กำหนด ID ใบหน้าหรือไม่ซึ่งสามารถใช้เพื่อติดตามใบหน้าข้ามรูปภาพได้

โปรดทราบว่าเมื่อเปิดใช้งานการตรวจจับรูปร่างจะตรวจพบใบหน้าเพียงใบหน้าเดียวดังนั้นการติดตามใบหน้าจึงไม่ได้ผลลัพธ์ที่เป็นประโยชน์ ด้วยเหตุนี้และเพื่อปรับปรุงความเร็วในการตรวจจับอย่าเปิดใช้งานทั้งการตรวจจับรูปร่างและการติดตามใบหน้า

ตัวอย่างเช่นสร้างวัตถุ VisionFaceDetectorOptions เช่นหนึ่งในตัวอย่างต่อไปนี้:

รวดเร็ว

// High-accuracy landmark detection and face classification
let options = VisionFaceDetectorOptions()
options.performanceMode = .accurate
options.landmarkMode = .all
options.classificationMode = .all

// Real-time contour detection of multiple faces
let options = VisionFaceDetectorOptions()
options.contourMode = .all

วัตถุประสงค์ -C

// High-accuracy landmark detection and face classification
FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init];
options.performanceMode = FIRVisionFaceDetectorPerformanceModeAccurate;
options.landmarkMode = FIRVisionFaceDetectorLandmarkModeAll;
options.classificationMode = FIRVisionFaceDetectorClassificationModeAll;

// Real-time contour detection of multiple faces
FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init];
options.contourMode = FIRVisionFaceDetectorContourModeAll;

2. เรียกใช้เครื่องตรวจจับใบหน้า

ในการตรวจจับใบหน้าในภาพให้ส่งภาพเป็น UIImage หรือ CMSampleBufferRef ไปที่ VisionFaceDetector ของวิธีการ detect(in:) :

  1. รับตัวอย่างของ VisionFaceDetector :

    รวดเร็ว

    lazy var vision = Vision.vision()
    
    let faceDetector = vision.faceDetector(options: options)
    

    วัตถุประสงค์ -C

    FIRVision *vision = [FIRVision vision];
    FIRVisionFaceDetector *faceDetector = [vision faceDetector];
    // Or, to change the default settings:
    // FIRVisionFaceDetector *faceDetector =
    //     [vision faceDetectorWithOptions:options];
    
  2. สร้างออบเจ็กต์ VisionImage โดยใช้ UIImage หรือ CMSampleBufferRef

    ในการใช้ UIImage :

    1. หากจำเป็นต้องหมุนภาพเพื่อให้มัน imageOrientation ทรัพย์สิน .up
    2. สร้างวัตถุ VisionImage โดยใช้ UIImage หมุนอย่างถูกต้อง อย่าระบุข้อมูลเมตาการหมุนเวียนใด ๆ - ต้องใช้ค่าเริ่มต้นคือ . .topLeft

      รวดเร็ว

      let image = VisionImage(image: uiImage)

      วัตถุประสงค์ -C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

    ในการใช้ CMSampleBufferRef :

    1. สร้างอ็อบเจ็กต์ VisionImageMetadata ที่ระบุการวางแนวของข้อมูลรูปภาพที่อยู่ในบัฟเฟอร์ CMSampleBufferRef

      ในการรับการวางแนวภาพ:

      รวดเร็ว

      func imageOrientation(
          deviceOrientation: UIDeviceOrientation,
          cameraPosition: AVCaptureDevice.Position
          ) -> VisionDetectorImageOrientation {
          switch deviceOrientation {
          case .portrait:
              return cameraPosition == .front ? .leftTop : .rightTop
          case .landscapeLeft:
              return cameraPosition == .front ? .bottomLeft : .topLeft
          case .portraitUpsideDown:
              return cameraPosition == .front ? .rightBottom : .leftBottom
          case .landscapeRight:
              return cameraPosition == .front ? .topRight : .bottomRight
          case .faceDown, .faceUp, .unknown:
              return .leftTop
          }
      }

      วัตถุประสงค์ -C

      - (FIRVisionDetectorImageOrientation)
          imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                                 cameraPosition:(AVCaptureDevicePosition)cameraPosition {
        switch (deviceOrientation) {
          case UIDeviceOrientationPortrait:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationLeftTop;
            } else {
              return FIRVisionDetectorImageOrientationRightTop;
            }
          case UIDeviceOrientationLandscapeLeft:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationBottomLeft;
            } else {
              return FIRVisionDetectorImageOrientationTopLeft;
            }
          case UIDeviceOrientationPortraitUpsideDown:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationRightBottom;
            } else {
              return FIRVisionDetectorImageOrientationLeftBottom;
            }
          case UIDeviceOrientationLandscapeRight:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationTopRight;
            } else {
              return FIRVisionDetectorImageOrientationBottomRight;
            }
          default:
            return FIRVisionDetectorImageOrientationTopLeft;
        }
      }

      จากนั้นสร้างวัตถุข้อมูลเมตา:

      รวดเร็ว

      let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
      let metadata = VisionImageMetadata()
      metadata.orientation = imageOrientation(
          deviceOrientation: UIDevice.current.orientation,
          cameraPosition: cameraPosition
      )

      วัตถุประสงค์ -C

      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      AVCaptureDevicePosition cameraPosition =
          AVCaptureDevicePositionBack;  // Set to the capture device you used.
      metadata.orientation =
          [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                       cameraPosition:cameraPosition];
    2. สร้างวัตถุ VisionImage โดยใช้วัตถุ CMSampleBufferRef และข้อมูลเมตาการหมุน:

      รวดเร็ว

      let image = VisionImage(buffer: sampleBuffer)
      image.metadata = metadata

      วัตถุประสงค์ -C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
      image.metadata = metadata;
  3. จากนั้นส่งภาพไปยังวิธีการ detect(in:) :

    รวดเร็ว

    faceDetector.process(visionImage) { faces, error in
      guard error == nil, let faces = faces, !faces.isEmpty else {
        // ...
        return
      }
    
      // Faces detected
      // ...
    }
    

    วัตถุประสงค์ -C

    [faceDetector detectInImage:image
                     completion:^(NSArray<FIRVisionFace *> *faces,
                                  NSError *error) {
      if (error != nil) {
        return;
      } else if (faces != nil) {
        // Recognized faces
      }
    }];
    

3. รับข้อมูลเกี่ยวกับใบหน้าที่ตรวจพบ

หากการดำเนินการตรวจจับใบหน้าสำเร็จเครื่องตรวจจับใบหน้าจะส่งอาร์เรย์ของวัตถุ VisionFace ไปยังเครื่องจัดการที่สมบูรณ์ วัตถุ VisionFace แต่ละชิ้นแสดงใบหน้าที่ตรวจพบในภาพ สำหรับแต่ละใบหน้าคุณจะได้รับพิกัดขอบเขตในภาพอินพุตรวมถึงข้อมูลอื่น ๆ ที่คุณกำหนดค่าให้เครื่องตรวจจับใบหน้าค้นหา ตัวอย่างเช่น:

รวดเร็ว

for face in faces {
  let frame = face.frame
  if face.hasHeadEulerAngleY {
    let rotY = face.headEulerAngleY  // Head is rotated to the right rotY degrees
  }
  if face.hasHeadEulerAngleZ {
    let rotZ = face.headEulerAngleZ  // Head is rotated upward rotZ degrees
  }

  // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
  // nose available):
  if let leftEye = face.landmark(ofType: .leftEye) {
    let leftEyePosition = leftEye.position
  }

  // If contour detection was enabled:
  if let leftEyeContour = face.contour(ofType: .leftEye) {
    let leftEyePoints = leftEyeContour.points
  }
  if let upperLipBottomContour = face.contour(ofType: .upperLipBottom) {
    let upperLipBottomPoints = upperLipBottomContour.points
  }

  // If classification was enabled:
  if face.hasSmilingProbability {
    let smileProb = face.smilingProbability
  }
  if face.hasRightEyeOpenProbability {
    let rightEyeOpenProb = face.rightEyeOpenProbability
  }

  // If face tracking was enabled:
  if face.hasTrackingID {
    let trackingId = face.trackingID
  }
}

วัตถุประสงค์ -C

for (FIRVisionFace *face in faces) {
  // Boundaries of face in image
  CGRect frame = face.frame;

  if (face.hasHeadEulerAngleY) {
    CGFloat rotY = face.headEulerAngleY;  // Head is rotated to the right rotY degrees
  }
  if (face.hasHeadEulerAngleZ) {
    CGFloat rotZ = face.headEulerAngleZ;  // Head is tilted sideways rotZ degrees
  }

  // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
  // nose available):
  FIRVisionFaceLandmark *leftEar = [face landmarkOfType:FIRFaceLandmarkTypeLeftEar];
  if (leftEar != nil) {
    FIRVisionPoint *leftEarPosition = leftEar.position;
  }

  // If contour detection was enabled:
  FIRVisionFaceContour *upperLipBottomContour = [face contourOfType:FIRFaceContourTypeUpperLipBottom];
  if (upperLipBottomContour != nil) {
    NSArray<FIRVisionPoint *> *upperLipBottomPoints = upperLipBottomContour.points;
    if (upperLipBottomPoints.count > 0) {
      NSLog("Detected the bottom contour of the subject's upper lip.")
    }
  }

  // If classification was enabled:
  if (face.hasSmilingProbability) {
    CGFloat smileProb = face.smilingProbability;
  }
  if (face.hasRightEyeOpenProbability) {
    CGFloat rightEyeOpenProb = face.rightEyeOpenProbability;
  }

  // If face tracking was enabled:
  if (face.hasTrackingID) {
    NSInteger trackingID = face.trackingID;
  }
}

ตัวอย่างรูปทรงใบหน้า

เมื่อคุณเปิดใช้งานการตรวจจับรูปร่างใบหน้าคุณจะได้รับรายการจุดสำหรับแต่ละลักษณะใบหน้าที่ตรวจพบ จุดเหล่านี้แสดงถึงรูปร่างของสถานที่ ดู ภาพรวมแนวคิดการตรวจจับใบหน้า สำหรับรายละเอียดเกี่ยวกับการแสดงรูปทรง

ภาพต่อไปนี้แสดงให้เห็นว่าจุดเหล่านี้จับคู่กับใบหน้าอย่างไร (คลิกที่ภาพเพื่อขยาย):

การตรวจจับใบหน้าแบบเรียลไทม์

หากคุณต้องการใช้การตรวจจับใบหน้าในแอปพลิเคชันแบบเรียลไทม์ให้ปฏิบัติตามคำแนะนำเหล่านี้เพื่อให้ได้เฟรมเรตที่ดีที่สุด:

  • กำหนดค่าเครื่องตรวจจับใบหน้า ให้ใช้การตรวจจับรูปร่างใบหน้าหรือการจำแนกและการตรวจจับจุดสังเกต แต่ไม่ใช่ทั้งสองอย่าง:

    การตรวจจับรูปร่าง
    การตรวจจับจุดสังเกต
    การจำแนกประเภท
    การตรวจจับและการจำแนกสถานที่สำคัญ
    การตรวจจับรูปร่างและการตรวจจับจุดสังเกต
    การตรวจจับและการจำแนกรูปร่าง
    การตรวจจับรูปร่างการตรวจจับจุดสังเกตและการจำแนกประเภท

  • เปิดใช้งานโหมด fast (เปิดใช้งานโดยค่าเริ่มต้น)

  • ลองจับภาพที่ความละเอียดต่ำกว่านี้ อย่างไรก็ตามโปรดคำนึงถึงข้อกำหนดขนาดรูปภาพของ API นี้ด้วย

  • เค้นเรียกเครื่องตรวจจับ หากเฟรมวิดีโอใหม่พร้อมใช้งานในขณะที่อุปกรณ์ตรวจจับกำลังทำงานอยู่ให้วางเฟรม
  • หากคุณใช้เอาต์พุตของตัวตรวจจับเพื่อซ้อนทับกราฟิกบนภาพอินพุตก่อนอื่นให้รับผลลัพธ์จาก ML Kit จากนั้นแสดงภาพและวางซ้อนในขั้นตอนเดียว ในการทำเช่นนี้คุณจะแสดงผลไปที่พื้นผิวการแสดงผลเพียงครั้งเดียวสำหรับแต่ละเฟรมอินพุต ดู คลาส previewOverlayView และ FIRDetectionOverlayView ในแอปตัวอย่างสำหรับตัวอย่าง