Bạn có thể dùng Bộ công cụ học máy để phát hiện các khuôn mặt trong hình ảnh và video.
Trước khi bắt đầu
- Nếu bạn chưa thêm Firebase vào ứng dụng của mình, hãy thực hiện bằng cách làm theo các bước trong hướng dẫn bắt đầu sử dụng.
- Đưa các thư viện Bộ công cụ học máy vào Podfile của bạn:
pod 'Firebase/MLVision', '6.25.0' # If you want to detect face contours (landmark detection and classification # don't require this additional model): pod 'Firebase/MLVisionFaceModel', '6.25.0'
Sau khi bạn cài đặt hoặc cập nhật Nhóm của dự án, hãy nhớ mở dự án Xcode bằng cách sử dụng.xcworkspace
của dự án đó. - Trong ứng dụng của bạn, hãy nhập Firebase:
Swift
import Firebase
Objective-C
@import Firebase;
Nguyên tắc nhập hình ảnh
Để Bộ công cụ học máy phát hiện chính xác khuôn mặt, hình ảnh đầu vào phải chứa các khuôn mặt được biểu thị bằng đủ dữ liệu pixel. Nói chung, mỗi khuôn mặt bạn muốn phát hiện trong một hình ảnh phải có kích thước ít nhất là 100x100 pixel. Nếu bạn muốn phát hiện đường viền của các khuôn mặt, Bộ công cụ học máy yêu cầu đầu vào có độ phân giải cao hơn: mỗi khuôn mặt phải có kích thước ít nhất là 200 x 200 pixel.
Nếu đang phát hiện khuôn mặt trong một ứng dụng theo thời gian thực, bạn cũng nên xem xét kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Vì vậy, để giảm độ trễ, hãy chụp ảnh ở độ phân giải thấp hơn (lưu ý các yêu cầu về độ chính xác ở trên) và đảm bảo rằng khuôn mặt của đối tượng chiếm nhiều hình ảnh nhất có thể. Ngoài ra, hãy xem bài viết Mẹo cải thiện hiệu suất theo thời gian thực.
Hình ảnh lấy nét kém có thể ảnh hưởng đến độ chính xác. Nếu bạn không nhận được kết quả chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
Hướng của khuôn mặt so với camera cũng có thể ảnh hưởng đến những đặc điểm khuôn mặt mà Bộ công cụ học máy phát hiện được. Hãy xem bài viết Khái niệm về phát hiện khuôn mặt.
1. Định cấu hình trình phát hiện khuôn mặt
Trước khi áp dụng tính năng phát hiện khuôn mặt cho một hình ảnh, nếu bạn muốn thay đổi bất kỳ chế độ cài đặt mặc định nào của trình phát hiện khuôn mặt, hãy chỉ định các chế độ cài đặt đó bằng đối tượngVisionFaceDetectorOptions
. Bạn có thể thay đổi
các chế độ cài đặt sau:
Cài đặt | |
---|---|
performanceMode |
fast (mặc định) | accurate
Ưu tiên tốc độ hoặc độ chính xác khi phát hiện khuôn mặt. |
landmarkMode |
none (mặc định) | all
Liệu có cố gắng phát hiện các "điểm mốc" trên khuôn mặt hay không (như mắt, tai, mũi, má, miệng) của tất cả các khuôn mặt được phát hiện. |
contourMode |
none (mặc định) | all
Liệu có phát hiện các đường nét của đặc điểm khuôn mặt hay không. Chỉ phát hiện đường viền cho khuôn mặt nổi bật nhất trong một hình ảnh. |
classificationMode |
none (mặc định) | all
Liệu có phân loại khuôn mặt theo các danh mục như "cười" và "mắt mở" hay không. |
minFaceSize |
CGFloat (mặc định: 0.1 )
Kích thước tối thiểu (so với hình ảnh) của các khuôn mặt cần phát hiện. |
isTrackingEnabled |
false (mặc định) | true
Liệu có gán mã nhận dạng cho khuôn mặt hay không. Mã này có thể dùng để theo dõi các khuôn mặt trên các hình ảnh. Xin lưu ý rằng khi bạn bật tính năng phát hiện đường viền, thì hệ thống chỉ phát hiện được một khuôn mặt, vì vậy, tính năng theo dõi khuôn mặt sẽ không tạo ra kết quả hữu ích. Vì lý do này, và để cải thiện tốc độ phát hiện, đừng bật cả tính năng phát hiện đường viền và theo dõi khuôn mặt. |
Ví dụ: tạo đối tượng VisionFaceDetectorOptions
như một trong các ví dụ sau:
Swift
// High-accuracy landmark detection and face classification let options = VisionFaceDetectorOptions() options.performanceMode = .accurate options.landmarkMode = .all options.classificationMode = .all // Real-time contour detection of multiple faces let options = VisionFaceDetectorOptions() options.contourMode = .all
Objective-C
// High-accuracy landmark detection and face classification FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init]; options.performanceMode = FIRVisionFaceDetectorPerformanceModeAccurate; options.landmarkMode = FIRVisionFaceDetectorLandmarkModeAll; options.classificationMode = FIRVisionFaceDetectorClassificationModeAll; // Real-time contour detection of multiple faces FIRVisionFaceDetectorOptions *options = [[FIRVisionFaceDetectorOptions alloc] init]; options.contourMode = FIRVisionFaceDetectorContourModeAll;
2. Chạy trình phát hiện khuôn mặt
Để phát hiện các khuôn mặt trong hình ảnh, hãy truyền hình ảnh đó dưới dạngUIImage
hoặc CMSampleBufferRef
đến phương thức detect(in:)
của VisionFaceDetector
:
- Nhận một thực thể của
VisionFaceDetector
:Swift
lazy var vision = Vision.vision() let faceDetector = vision.faceDetector(options: options)
Objective-C
FIRVision *vision = [FIRVision vision]; FIRVisionFaceDetector *faceDetector = [vision faceDetector]; // Or, to change the default settings: // FIRVisionFaceDetector *faceDetector = // [vision faceDetectorWithOptions:options];
-
Tạo đối tượng
VisionImage
bằngUIImage
hoặcCMSampleBufferRef
.Cách sử dụng
UIImage
:- Nếu cần, hãy xoay hình ảnh để thuộc tính
imageOrientation
của hình ảnh là.up
. - Tạo đối tượng
VisionImage
bằngUIImage
xoay chính xác. Không chỉ định bất kỳ siêu dữ liệu nào về chế độ xoay – bạn phải sử dụng giá trị mặc định,.topLeft
.Swift
let image = VisionImage(image: uiImage)
Objective-C
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
Cách sử dụng
CMSampleBufferRef
:-
Tạo một đối tượng
VisionImageMetadata
chỉ định hướng của dữ liệu hình ảnh có trong vùng đệmCMSampleBufferRef
.Cách lấy hướng ảnh:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> VisionDetectorImageOrientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftTop : .rightTop case .landscapeLeft: return cameraPosition == .front ? .bottomLeft : .topLeft case .portraitUpsideDown: return cameraPosition == .front ? .rightBottom : .leftBottom case .landscapeRight: return cameraPosition == .front ? .topRight : .bottomRight case .faceDown, .faceUp, .unknown: return .leftTop } }
Objective-C
- (FIRVisionDetectorImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationLeftTop; } else { return FIRVisionDetectorImageOrientationRightTop; } case UIDeviceOrientationLandscapeLeft: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationBottomLeft; } else { return FIRVisionDetectorImageOrientationTopLeft; } case UIDeviceOrientationPortraitUpsideDown: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationRightBottom; } else { return FIRVisionDetectorImageOrientationLeftBottom; } case UIDeviceOrientationLandscapeRight: if (cameraPosition == AVCaptureDevicePositionFront) { return FIRVisionDetectorImageOrientationTopRight; } else { return FIRVisionDetectorImageOrientationBottomRight; } default: return FIRVisionDetectorImageOrientationTopLeft; } }
Sau đó, hãy tạo đối tượng siêu dữ liệu:
Swift
let cameraPosition = AVCaptureDevice.Position.back // Set to the capture device you used. let metadata = VisionImageMetadata() metadata.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition )
Objective-C
FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init]; AVCaptureDevicePosition cameraPosition = AVCaptureDevicePositionBack; // Set to the capture device you used. metadata.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
- Tạo đối tượng
VisionImage
bằng cách sử dụng đối tượngCMSampleBufferRef
và siêu dữ liệu xoay:Swift
let image = VisionImage(buffer: sampleBuffer) image.metadata = metadata
Objective-C
FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer]; image.metadata = metadata;
- Nếu cần, hãy xoay hình ảnh để thuộc tính
-
Sau đó, hãy truyền hình ảnh đó vào phương thức
detect(in:)
:Swift
faceDetector.process(visionImage) { faces, error in guard error == nil, let faces = faces, !faces.isEmpty else { // ... return } // Faces detected // ... }
Objective-C
[faceDetector detectInImage:image completion:^(NSArray<FIRVisionFace *> *faces, NSError *error) { if (error != nil) { return; } else if (faces != nil) { // Recognized faces } }];
3. Nhận thông tin về các khuôn mặt được phát hiện
Nếu thao tác phát hiện khuôn mặt thành công, trình phát hiện khuôn mặt sẽ chuyển một mảng các đối tượngVisionFace
đến trình xử lý hoàn thành. Mỗi đối tượng VisionFace
đại diện cho một khuôn mặt đã được phát hiện trong hình ảnh. Đối với mỗi khuôn mặt, bạn có thể nhận toạ độ giới hạn trong hình ảnh đầu vào, cũng như mọi thông tin khác mà bạn đã định cấu hình trình phát hiện khuôn mặt để tìm. Ví dụ:
Swift
for face in faces { let frame = face.frame if face.hasHeadEulerAngleY { let rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees } if face.hasHeadEulerAngleZ { let rotZ = face.headEulerAngleZ // Head is rotated upward rotZ degrees } // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): if let leftEye = face.landmark(ofType: .leftEye) { let leftEyePosition = leftEye.position } // If contour detection was enabled: if let leftEyeContour = face.contour(ofType: .leftEye) { let leftEyePoints = leftEyeContour.points } if let upperLipBottomContour = face.contour(ofType: .upperLipBottom) { let upperLipBottomPoints = upperLipBottomContour.points } // If classification was enabled: if face.hasSmilingProbability { let smileProb = face.smilingProbability } if face.hasRightEyeOpenProbability { let rightEyeOpenProb = face.rightEyeOpenProbability } // If face tracking was enabled: if face.hasTrackingID { let trackingId = face.trackingID } }
Objective-C
for (FIRVisionFace *face in faces) { // Boundaries of face in image CGRect frame = face.frame; if (face.hasHeadEulerAngleY) { CGFloat rotY = face.headEulerAngleY; // Head is rotated to the right rotY degrees } if (face.hasHeadEulerAngleZ) { CGFloat rotZ = face.headEulerAngleZ; // Head is tilted sideways rotZ degrees } // If landmark detection was enabled (mouth, ears, eyes, cheeks, and // nose available): FIRVisionFaceLandmark *leftEar = [face landmarkOfType:FIRFaceLandmarkTypeLeftEar]; if (leftEar != nil) { FIRVisionPoint *leftEarPosition = leftEar.position; } // If contour detection was enabled: FIRVisionFaceContour *upperLipBottomContour = [face contourOfType:FIRFaceContourTypeUpperLipBottom]; if (upperLipBottomContour != nil) { NSArray<FIRVisionPoint *> *upperLipBottomPoints = upperLipBottomContour.points; if (upperLipBottomPoints.count > 0) { NSLog("Detected the bottom contour of the subject's upper lip.") } } // If classification was enabled: if (face.hasSmilingProbability) { CGFloat smileProb = face.smilingProbability; } if (face.hasRightEyeOpenProbability) { CGFloat rightEyeOpenProb = face.rightEyeOpenProbability; } // If face tracking was enabled: if (face.hasTrackingID) { NSInteger trackingID = face.trackingID; } }
Ví dụ về đường viền khuôn mặt
Khi bật tính năng phát hiện đường viền khuôn mặt, bạn sẽ nhận được danh sách các điểm cho từng đặc điểm khuôn mặt đã được phát hiện. Những điểm này biểu thị hình dạng của đối tượng. Hãy xem bài viết Tổng quan về các khái niệm phát hiện khuôn mặt để biết thông tin chi tiết về cách biểu thị đường viền.
Hình ảnh sau đây minh hoạ cách các điểm này ánh xạ với một khuôn mặt (hãy nhấp vào hình ảnh để phóng to):
Phát hiện khuôn mặt theo thời gian thực
Nếu bạn muốn dùng tính năng phát hiện khuôn mặt trong ứng dụng theo thời gian thực, hãy làm theo các hướng dẫn sau để đạt được tốc độ khung hình tốt nhất:
Định cấu hình trình phát hiện khuôn mặt để sử dụng tính năng phát hiện hoặc phân loại đường viền khuôn mặt cũng như phát hiện mốc, nhưng không được sử dụng cả hai:
Phát hiện đường viền
Phát hiện đường viền
Phân loại
Phát hiện và phân loại địa danh
Phát hiện và phân loại đường viền
Phát hiện và phân loại đường viền
Phát hiện đường viền, phát hiện và phân loại mốcBật chế độ
fast
(bật theo mặc định).Cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý đến các yêu cầu về kích thước hình ảnh của API này.
- Điều tiết lệnh gọi đến trình phát hiện. Nếu có một khung hình video mới trong khi trình phát hiện đang chạy, hãy bỏ khung hình đó.
- Nếu bạn đang dùng đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước duy nhất. Nhờ vậy, bạn chỉ kết xuất lên giao diện hiển thị một lần cho mỗi khung nhập. Hãy xem các lớp previewOverlayView và FIRDetectionOverlayView trong ứng dụng mẫu giới thiệu để làm ví dụ.