סריקת ברקודים באמצעות ערכת ML ב-iOS

אתם יכולים להשתמש ב-ML Kit כדי לזהות ולפענח קודי מ barras.

לפני שמתחילים

  1. אם עדיין לא הוספתם את Firebase לאפליקציה, תוכלו לפעול לפי השלבים שמפורטים במדריך לתחילת העבודה.
  2. כוללים את ספריות ML Kit ב-Podfile: 
    pod 'Firebase/MLVision'
pod 'Firebase/MLVisionBarcodeModel'
    אחרי שמתקינים או מעדכנים את ה-Pods של הפרויקט, חשוב לפתוח את הפרויקט ב-Xcode באמצעות .xcworkspace שלו.
  3. באפליקציה, מייבאים את Firebase:

    Swift

    import Firebase

    Objective-C

    @import Firebase;

הנחיות לתמונות קלט

  • כדי ש-ML Kit יוכל לקרוא ברקודים בצורה מדויקת, תמונות הקלט חייבות להכיל ברקודים שמיוצגים על ידי מספיק נתוני פיקסלים.

    הדרישות הספציפיות לנתוני הפיקסלים תלויות גם בסוג הברקוד וגם בכמות הנתונים שמקודדים בו (כי רוב הברקודים תומכים בתוכן משתנה באורך). באופן כללי, היחידה הקטנה ביותר של הברקוד שמשמעותית צריכה להיות ברוחב של לפחות 2 פיקסלים (ובקודים דו-ממדיים, בגובה של 2 פיקסלים).

    לדוגמה, קודי EAN-13 מורכבים מפסים ומרווחים ברוחב של יחידה אחת, שתיים, שלוש או ארבע. לכן, רצוי שתמונה של קוד EAN-13 תכלול פסים מרווחים ברוחב של לפחות 2, 4, 6 ו-8 פיקסלים. מכיוון שקוד הברקוד EAN-13 הוא ברוחב של 95 יחידות בסך הכול, רוחב הקוד צריך להיות לפחות 190 פיקסלים.

    בפורמטים צפופים יותר, כמו PDF417, צריך מידות פיקסלים גדולות יותר כדי ש-ML Kit יוכל לקרוא אותם בצורה מהימנה. לדוגמה, קוד PDF417 יכול לכלול עד 34 "מילים" ברוחב 17 יחידות בשורה אחת, שרוחב הרצוי שלה הוא לפחות 1,156 פיקסלים.

  • אם התמונה לא ממוקדת, יכול להיות שהסריקה תהיה פחות מדויקת. אם התוצאות לא מתקבלות, נסו לבקש מהמשתמש לצלם מחדש את התמונה.

  • באפליקציות רגילות, מומלץ לספק תמונה ברזולוציה גבוהה יותר (כמו 1280x720 או 1920x1080), כדי שאפשר יהיה לזהות את הקודים המזהים ממרחק גדול יותר מהמצלמה.

    עם זאת, באפליקציות שבהן זמן האחזור קריטי, אפשר לשפר את הביצועים על ידי צילום תמונות ברזולוציה נמוכה יותר, אבל עם דרישה שהברקוד יהווה את רוב התמונה. מומלץ גם לעיין בטיפים לשיפור הביצועים בזמן אמת.

1. הגדרת הגלאי של ברקודים

אם אתם יודעים אילו פורמטים של קודי מ barras אתם צפויים לקרוא, תוכלו לשפר את המהירות של גלאי קודי המ barras על ידי הגדרה שלו לזיהוי הפורמטים האלה בלבד.

לדוגמה, כדי לזהות רק קודי Aztec וקודי QR, יוצרים אובייקט VisionBarcodeDetectorOptions כמו בדוגמה הבאה:

Swift

let format = VisionBarcodeFormat.all
let barcodeOptions = VisionBarcodeDetectorOptions(formats: format)

הפורמטים הבאים נתמכים:

  • Code128
  • Code39
  • Code93
  • CodaBar
  • EAN13
  • EAN8
  • ITF
  • UPCA
  • UPCE
  • קוד QR
  • PDF417
  • אצטקים
  • DataMatrix

Objective-C

FIRVisionBarcodeDetectorOptions *options =
    [[FIRVisionBarcodeDetectorOptions alloc]
     initWithFormats: FIRVisionBarcodeFormatQRCode | FIRVisionBarcodeFormatAztec];

הפורמטים הבאים נתמכים:

  • Code 128‏ (FIRVisionBarcodeFormatCode128)
  • Code 39‏ (FIRVisionBarcodeFormatCode39)
  • קוד 93 (FIRVisionBarcodeFormatCode93)
  • Codabar‏ (FIRVisionBarcodeFormatCodaBar)
  • EAN-13‏ (FIRVisionBarcodeFormatEAN13)
  • EAN-8‏ (FIRVisionBarcodeFormatEAN8)
  • ITF‏ (FIRVisionBarcodeFormatITF)
  • UPC-A‏ (FIRVisionBarcodeFormatUPCA)
  • UPC-E‏ (FIRVisionBarcodeFormatUPCE)
  • קוד QR (FIRVisionBarcodeFormatQRCode)
  • PDF417‏ (FIRVisionBarcodeFormatPDF417)
  • Aztec (FIRVisionBarcodeFormatAztec)
  • Data Matrix‏ (FIRVisionBarcodeFormatDataMatrix)

2. הרצת הגלאי של הברקוד

כדי לסרוק ברקודים בתמונה, מעבירים את התמונה כ-UIImage או כ-CMSampleBufferRef ל-method‏ detect(in:) של VisionBarcodeDetector:

  1. אחזור מופע של VisionBarcodeDetector:

    Swift

    lazy var vision = Vision.vision()

let barcodeDetector = vision.barcodeDetector(options: barcodeOptions)

    Objective-C

    FIRVision *vision = [FIRVision vision];
FIRVisionBarcodeDetector *barcodeDetector = [vision barcodeDetector];
// Or, to change the default settings:
// FIRVisionBarcodeDetector *barcodeDetector =
//     [vision barcodeDetectorWithOptions:options];

  2. יוצרים אובייקט VisionImage באמצעות UIImage או CMSampleBufferRef.

    כדי להשתמש ב-UIImage:

    1. אם צריך, מסובבים את התמונה כך שהנכס imageOrientation יהיה .up.
    2. יוצרים אובייקט VisionImage באמצעות UIImage שסובב בצורה נכונה. אין לציין מטא-נתונים של סיבוב – צריך להשתמש בערך ברירת המחדל, .topLeft.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

    כדי להשתמש ב-CMSampleBufferRef:

    1. יוצרים אובייקט VisionImageMetadata שמציין את הכיוון של נתוני התמונה שמכיל מאגר ה-CMSampleBufferRef.

      כדי לקבל את כיוון התמונה:

      Swift

      func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

      Objective-C

      - (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

      לאחר מכן יוצרים את אובייקט המטא-נתונים:

      Swift

      let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

      Objective-C

      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];
    2. יוצרים אובייקט VisionImage באמצעות האובייקט CMSampleBufferRef והמטא-נתונים של הסיבוב:

      Swift

      let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;
  3. לאחר מכן, מעבירים את התמונה לשיטה detect(in:):

    Swift

    barcodeDetector.detect(in: visionImage) { features, error in
  guard error == nil, let features = features, !features.isEmpty else {
    // ...
    return
  }

  // ...
}

    Objective-C

    [barcodeDetector detectInImage:image
                    completion:^(NSArray<FIRVisionBarcode *> *barcodes,
                                 NSError *error) {
  if (error != nil) {
    return;
  } else if (barcodes != nil) {
    // Recognized barcodes
    // ...
  }
}];

3. אחזור מידע מברקודים

אם פעולת זיהוי הברקוד מסתיימת בהצלחה, החיישן מחזיר מערך של אובייקטים מסוג VisionBarcode. כל אובייקט VisionBarcode מייצג ברקוד שזוהה בתמונה. לכל ברקוד אפשר לקבל את קואורדינטות המסגרת שלו בתמונה הקלט, וגם את הנתונים הגולמיים שקודדו בברקוד. בנוסף, אם גלאי הברקוד הצליח לקבוע את סוג הנתונים שמקודדים בברקוד, תוכלו לקבל אובייקט שמכיל נתונים מנותחים.

לדוגמה:

Swift

for barcode in barcodes {
  let corners = barcode.cornerPoints

  let displayValue = barcode.displayValue
  let rawValue = barcode.rawValue

  let valueType = barcode.valueType
  switch valueType {
  case .wiFi:
    let ssid = barcode.wifi!.ssid
    let password = barcode.wifi!.password
    let encryptionType = barcode.wifi!.type
  case .URL:
    let title = barcode.url!.title
    let url = barcode.url!.url
  default:
    // See API reference for all supported value types
  }
}

Objective-C

 for (FIRVisionBarcode *barcode in barcodes) {
   NSArray *corners = barcode.cornerPoints;

   NSString *displayValue = barcode.displayValue;
   NSString *rawValue = barcode.rawValue;

   FIRVisionBarcodeValueType valueType = barcode.valueType;
   switch (valueType) {
     case FIRVisionBarcodeValueTypeWiFi:
       // ssid = barcode.wifi.ssid;
       // password = barcode.wifi.password;
       // encryptionType = barcode.wifi.type;
       break;
     case FIRVisionBarcodeValueTypeURL:
       // url = barcode.URL.url;
       // title = barcode.URL.title;
       break;
     // ...
     default:
       break;
   }
 }

טיפים לשיפור הביצועים בזמן אמת

אם אתם רוצים לסרוק ברקודים באפליקציה בזמן אמת, תוכלו לפעול לפי ההנחיות הבאות כדי להשיג את שיעורי הפריימים הטובים ביותר:

  • לא לתעד קלט ברזולוציה המקורית של המצלמה. במכשירים מסוימים, צילום הקלט ברזולוציה המקורית יוצר תמונות גדולות מאוד (יותר מ-10 מגה-פיקסלים), וכתוצאה מכך זמן האחזור (latency) נמוך מאוד ללא שיפור ברמת הדיוק. במקום זאת, צריך לבקש מהמצלמה רק את הגודל שנחוץ לזיהוי ברקוד: בדרך כלל לא יותר מ-2 מגה-פיקסלים.

    עם זאת, לא מומלץ להשתמש בהגדרות הקבועות מראש של סשן הצילום עם השמות AVCaptureSessionPresetDefault,‏ AVCaptureSessionPresetLow,‏ AVCaptureSessionPresetMedium וכו', כי הן עלולות למפות לרזולוציות לא מתאימות במכשירים מסוימים. במקום זאת, צריך להשתמש בהגדרות הקבועות מראש הספציפיות, כמו AVCaptureSessionPreset1280x720.

    אם מהירות הסריקה חשובה לכם, תוכלו להקטין עוד יותר את רזולוציית הצילום. עם זאת, חשוב לזכור את הדרישות המינימליות לגבי גודל הברקוד שמפורטות למעלה.

  • צמצום מספר הקריאות למזהה. אם מסגרת וידאו חדשה זמינה בזמן שהגלאי פועל, צריך להסיר את המסגרת.
  • אם אתם משתמשים בפלט של הגלאי כדי להוסיף שכבת-על של גרפיקה לתמונה הקלט, קודם צריך לקבל את התוצאה מ-ML Kit, ואז לבצע עיבוד (רנדור) של התמונה ולהוסיף את שכבת-העל בשלב אחד. כך תוכלו לבצע עיבוד (render) למשטח התצוגה רק פעם אחת לכל מסגרת קלט. דוגמה לכך מופיעה במחלקות previewOverlayView ו-FIRDetectionOverlayView באפליקציית הדוגמה.