Bạn có thể sử dụng ML Kit để phát hiện khuôn mặt trong hình ảnh và video.
Trước khi bắt đầu
- Nếu bạn chưa thêm Firebase vào ứng dụng của mình, hãy làm như vậy bằng cách làm theo các bước trong hướng dẫn bắt đầu .
- Bao gồm các thư viện ML Kit trong Podfile của bạn:
pod 'Firebase/MLVision', '6.25.0' # If you want to detect face contours (landmark detection and classification # don't require this additional model): pod 'Firebase/MLVisionFaceModel', '6.25.0'
Sau khi bạn cài đặt hoặc cập nhật Pod của dự án, hãy nhớ mở dự án Xcode của bạn bằng cách sử dụng.xcworkspace
. - Trong ứng dụng của bạn, hãy nhập Firebase:
Nhanh
import Firebase
Mục tiêu-C
@import Firebase;
Hướng dẫn nhập hình ảnh
Để Bộ ML phát hiện chính xác khuôn mặt, hình ảnh đầu vào phải chứa các khuôn mặt được thể hiện bằng đủ dữ liệu pixel. Nói chung, mỗi khuôn mặt bạn muốn phát hiện trong ảnh phải có kích thước tối thiểu là 100x100 pixel. Nếu bạn muốn phát hiện đường viền của khuôn mặt, ML Kit yêu cầu đầu vào có độ phân giải cao hơn: mỗi khuôn mặt phải có kích thước tối thiểu là 200x200 pixel.
Nếu bạn đang phát hiện khuôn mặt trong một ứng dụng thời gian thực, bạn cũng có thể muốn xem xét kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn, do đó để giảm độ trễ, hãy chụp ảnh ở độ phân giải thấp hơn (lưu ý các yêu cầu về độ chính xác ở trên) và đảm bảo rằng khuôn mặt của chủ thể chiếm càng nhiều diện tích trong hình ảnh càng tốt. Đồng thời xem Mẹo để cải thiện hiệu suất thời gian thực .
Lấy nét hình ảnh kém có thể ảnh hưởng đến độ chính xác. Nếu bạn không nhận được kết quả chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
Hướng của khuôn mặt so với máy ảnh cũng có thể ảnh hưởng đến những đặc điểm khuôn mặt mà Bộ công cụ ML phát hiện. Xem Khái niệm nhận diện khuôn mặt .
1. Cấu hình tính năng dò tìm khuôn mặt
Trước khi áp dụng tính năng nhận diện khuôn mặt cho một hình ảnh, nếu bạn muốn thay đổi bất kỳ cài đặt mặc định nào của tính năng dò tìm khuôn mặt, hãy chỉ định các cài đặt đó bằng đối tượngVisionFaceDetectorOptions
. Bạn có thể thay đổi các cài đặt sau:Cài đặt | |
---|---|
performanceMode | fast (mặc định) | accurate Ưu tiên tốc độ hoặc độ chính xác khi phát hiện khuôn mặt. |
landmarkMode | none (mặc định) | all Có cố gắng phát hiện các "điểm mốc" trên khuôn mặt—mắt, tai, mũi, má, miệng—của tất cả các khuôn mặt được phát hiện hay không. |
contourMode | none (mặc định) | all Có phát hiện các đường nét của đặc điểm khuôn mặt hay không. Đường viền chỉ được phát hiện đối với khuôn mặt nổi bật nhất trong ảnh. |
classificationMode | none (mặc định) | all Có phân loại khuôn mặt thành các loại như "mỉm cười" và "mở mắt" hay không. |
minFaceSize | CGFloat (mặc định: 0.1 )Kích thước tối thiểu, liên quan đến hình ảnh, của khuôn mặt cần phát hiện. |
isTrackingEnabled | false (mặc định) | true Có gán ID khuôn mặt hay không, ID này có thể được sử dụng để theo dõi khuôn mặt trên các hình ảnh. Lưu ý rằng khi bật tính năng phát hiện đường viền, chỉ một khuôn mặt được phát hiện, do đó tính năng theo dõi khuôn mặt không mang lại kết quả hữu ích. Vì lý do này và để cải thiện tốc độ phát hiện, không bật cả tính năng phát hiện đường viền và theo dõi khuôn mặt. |
Ví dụ: xây dựng một đối tượng VisionFaceDetectorOptions
giống như một trong các ví dụ sau:
Nhanh
// High-accuracy landmark detection and face classification let options = VisionFaceDetectorOptions() options.performanceMode = .accurate options.landmarkMode = .all options.classificationMode = .all // Real-time contour detection of multiple faces let options = VisionFaceDetectorOptions() options.contourMode = .all
Mục tiêu-C
// High-accuracy landmark detection and face classification FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init]; options.performanceMode = FIRVisionFaceDetectorPerformanceModeAccurate; options.landmarkMode = FIRVisionFaceDetectorLandmarkModeAll; options.classificationMode = FIRVisionFaceDetectorClassificationModeAll; // Real-time contour detection of multiple faces FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init]; options.contourMode = FIRVisionFaceDetectorContourModeAll;
2. Chạy máy dò khuôn mặt
Để phát hiện các khuôn mặt trong một hình ảnh, hãy chuyển hình ảnh đó dưới dạngUIImage
hoặc CMSampleBufferRef
tới phương thức detect(in:)
của VisionFaceDetector
:- Lấy một phiên bản của
VisionFaceDetector
:Nhanh
lazy var vision = Vision.vision() let faceDetector = vision.faceDetector(options: options)
Mục tiêu-C
FIRVision *vision = [FIRVision vision]; FIRVisionFaceDetector *faceDetector = [vision faceDetector]; // Or, to change the default settings: // FIRVisionFaceDetector *faceDetector = // [vision faceDetectorWithOptions:options];
Tạo đối tượng
VisionImage
bằngUIImage
hoặcCMSampleBufferRef
.Để sử dụng
UIImage
:- Nếu cần, hãy xoay hình ảnh sao cho thuộc tính
imageOrientation
của nó là.up
. - Tạo một đối tượng
VisionImage
bằng cách sử dụngUIImage
được xoay chính xác. Không chỉ định bất kỳ siêu dữ liệu xoay nào—giá trị mặc định,.topLeft
, phải được sử dụng.Nhanh
let image = VisionImage(image: uiImage)
Mục tiêu-C
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
Để sử dụng
CMSampleBufferRef
:Tạo một đối tượng
VisionImageMetadata
chỉ định hướng của dữ liệu hình ảnh có trong bộ đệmCMSampleBufferRef
.Để có được hướng hình ảnh:
Nhanh
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> VisionDetectorImageOrientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftTop : .rightTop case .landscapeLeft: return cameraPosition == .front ? .bottomLeft : .topLeft case .portraitUpsideDown: return cameraPosition == .front ? .rightBottom : .leftBottom case .landscapeRight: return cameraPosition == .front ? .topRight : .bottomRight case .faceDown, .faceUp, .unknown: return .leftTop } }
Mục tiêu-C
- (FIRVisionDetectorImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationLeftTop; } else { return FIRVisionDetectorImageOrientationRightTop; } case UIDeviceOrientationLandscapeLeft: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationBottomLeft; } else { return FIRVisionDetectorImageOrientationTopLeft; } case UIDeviceOrientationPortraitUpsideDown: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationRightBottom; } else { return FIRVisionDetectorImageOrientationLeftBottom; } case UIDeviceOrientationLandscapeRight: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationTopRight; } else { return FIRVisionDetectorImageOrientationBottomRight; } default: return FIRVisionDetectorImageOrientationTopLeft; } }
Sau đó, tạo đối tượng siêu dữ liệu:
Nhanh
let cameraPosition = AVCaptureDevice.Position.back // Set to the capture device you used. let metadata = VisionImageMetadata() metadata.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition )
Mục tiêu-C
FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init]; AVCaptureDevicePosition cameraPosition = AVCaptureDevicePositionBack; // Set to the capture device you used. metadata.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
- Tạo một đối tượng
VisionImage
bằng cách sử dụng đối tượngCMSampleBufferRef
và siêu dữ liệu xoay:Nhanh
let image = VisionImage(buffer: sampleBuffer) image.metadata = metadata
Mục tiêu-C
FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer]; image.metadata = metadata;
- Nếu cần, hãy xoay hình ảnh sao cho thuộc tính
- Sau đó, chuyển hình ảnh sang phương thức
detect(in:)
:Nhanh
faceDetector.process(visionImage) { faces, error in guard error == nil, let faces = faces, !faces.isEmpty else { // ... return } // Faces detected // ... }
Mục tiêu-C
[faceDetector detectInImage:image completion:^(NSArray<FIRVisionFace *> *faces, NSError *error) { if (error != nil) { return; } else if (faces != nil) { // Recognized faces } }];
3. Nhận thông tin về khuôn mặt được phát hiện
Nếu thao tác nhận diện khuôn mặt thành công, bộ dò tìm khuôn mặt sẽ chuyển một mảng đối tượngVisionFace
tới bộ xử lý hoàn thành. Mỗi đối tượng VisionFace
đại diện cho một khuôn mặt được phát hiện trong ảnh. Đối với mỗi khuôn mặt, bạn có thể lấy tọa độ giới hạn của nó trong hình ảnh đầu vào, cũng như bất kỳ thông tin nào khác mà bạn đã định cấu hình trình dò tìm khuôn mặt để tìm. Ví dụ: Nhanh
for face in faces { let frame = face.frame if face.hasHeadEulerAngleY { let rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees } if face.hasHeadEulerAngleZ { let rotZ = face.headEulerAngleZ // Head is rotated upward rotZ degrees } // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): if let leftEye = face.landmark(ofType: .leftEye) { let leftEyePosition = leftEye.position } // If contour detection was enabled: if let leftEyeContour = face.contour(ofType: .leftEye) { let leftEyePoints = leftEyeContour.points } if let upperLipBottomContour = face.contour(ofType: .upperLipBottom) { let upperLipBottomPoints = upperLipBottomContour.points } // If classification was enabled: if face.hasSmilingProbability { let smileProb = face.smilingProbability } if face.hasRightEyeOpenProbability { let rightEyeOpenProb = face.rightEyeOpenProbability } // If face tracking was enabled: if face.hasTrackingID { let trackingId = face.trackingID } }
Mục tiêu-C
for (FIRVisionFace *face in faces) { // Boundaries of face in image CGRect frame = face.frame; if (face.hasHeadEulerAngleY) { CGFloat rotY = face.headEulerAngleY; // Head is rotated to the right rotY degrees } if (face.hasHeadEulerAngleZ) { CGFloat rotZ = face.headEulerAngleZ; // Head is tilted sideways rotZ degrees } // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): FIRVisionFaceLandmark *leftEar = [face landmarkOfType:FIRFaceLandmarkTypeLeftEar]; if (leftEar != nil) { FIRVisionPoint *leftEarPosition = leftEar.position; } // If contour detection was enabled: FIRVisionFaceContour *upperLipBottomContour = [face contourOfType:FIRFaceContourTypeUpperLipBottom]; if (upperLipBottomContour != nil) { NSArray<FIRVisionPoint *> *upperLipBottomPoints = upperLipBottomContour.points; if (upperLipBottomPoints.count > 0) { NSLog("Detected the bottom contour of the subject's upper lip.") } } // If classification was enabled: if (face.hasSmilingProbability) { CGFloat smileProb = face.smilingProbability; } if (face.hasRightEyeOpenProbability) { CGFloat rightEyeOpenProb = face.rightEyeOpenProbability; } // If face tracking was enabled: if (face.hasTrackingID) { NSInteger trackingID = face.trackingID; } }
Ví dụ về đường nét khuôn mặt
Khi bật tính năng phát hiện đường viền khuôn mặt, bạn sẽ nhận được danh sách các điểm cho từng đặc điểm khuôn mặt được phát hiện. Những điểm này đại diện cho hình dạng của đối tượng địa lý. Xem Tổng quan về Khái niệm Nhận diện Khuôn mặt để biết chi tiết về cách thể hiện các đường viền.
Hình ảnh sau đây minh họa cách các điểm này ánh xạ tới một khuôn mặt (nhấp vào hình ảnh để phóng to):
Nhận diện khuôn mặt theo thời gian thực
Nếu bạn muốn sử dụng tính năng nhận diện khuôn mặt trong ứng dụng thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:
Định cấu hình trình dò tìm khuôn mặt để sử dụng tính năng phát hiện hoặc phân loại đường viền khuôn mặt và phát hiện mốc chứ không phải cả hai:
Phát hiện đường viền
Phát hiện mốc
Phân loại
Phát hiện và phân loại mốc
Phát hiện đường viền và phát hiện mốc
Phát hiện và phân loại đường viền
Phát hiện đường viền, phát hiện mốc và phân loạiBật chế độ
fast
(được bật theo mặc định).Hãy cân nhắc việc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, cũng hãy ghi nhớ các yêu cầu về kích thước hình ảnh của API này.
- Van tiết lưu gọi tới máy dò. Nếu có khung hình video mới trong khi trình phát hiện đang chạy, hãy thả khung hình đó xuống.
- Nếu bạn đang sử dụng đầu ra của bộ dò để phủ đồ họa lên hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ ML, sau đó kết xuất hình ảnh và lớp phủ trong một bước duy nhất. Bằng cách đó, bạn chỉ hiển thị trên bề mặt hiển thị một lần cho mỗi khung hình đầu vào. Xem các lớp PreviewOverlayView và FIRDetectionOverlayView trong ứng dụng mẫu giới thiệu để biết ví dụ.