Nhận dạng địa danh một cách an toàn bằng Tầm nhìn đám mây bằng tính năng Xác thực và các hàm trong Firebase trên các nền tảng của Apple

Để gọi Google Cloud API từ ứng dụng, bạn cần tạo một trình xử lý trung gian API REST xử lý việc uỷ quyền và bảo vệ các giá trị bí mật, chẳng hạn như khoá API. Sau đó, bạn cần viết mã trong ứng dụng di động của bạn để xác thực và giao tiếp với dịch vụ trung gian này.

Một cách để tạo API REST này là sử dụng tính năng Xác thực và Hàm Firebase. Giải pháp này cung cấp cho bạn một cổng vào được quản lý, không cần máy chủ để Google Cloud API xử lý việc xác thực và có thể được gọi từ ứng dụng di động của bạn bằng các SDK dựng sẵn.

Hướng dẫn này minh hoạ cách dùng kỹ thuật này để gọi API Cloud Vision qua ứng dụng của bạn. Phương thức này sẽ cho phép tất cả người dùng đã xác thực sử dụng các dịch vụ có tính phí của Cloud Vision thông qua dự án Cloud của bạn, vì vậy, hãy cân nhắc xem cơ chế xác thực này có đủ cho trường hợp sử dụng của bạn hay không trước khi tiếp tục.

Trước khi bắt đầu

Định cấu hình dự án

Nếu bạn chưa thêm Firebase vào ứng dụng của mình, hãy thực hiện bằng cách làm theo hướng dẫn các bước trong hướng dẫn bắt đầu sử dụng.

Sử dụng Trình quản lý gói Swift để cài đặt và quản lý các phần phụ thuộc Firebase.

  1. Trong Xcode, khi dự án ứng dụng của bạn đang mở, hãy chuyển đến Tệp > Thêm gói.
  2. Khi được nhắc, hãy thêm kho lưu trữ SDK nền tảng Apple của Firebase:
    3.   https://github.com/firebase/firebase-ios-sdk.git
  3. Chọn thư viện máy học Firebase.
  4. Thêm cờ -ObjC vào mục Cờ trình liên kết khác trong chế độ cài đặt bản dựng của mục tiêu.
  5. Khi hoàn tất, Xcode sẽ tự động bắt đầu phân giải và tải xuống các phần phụ thuộc trong nền.

Tiếp theo, hãy thực hiện một số thiết lập trong ứng dụng:

  1. Trong ứng dụng của bạn, hãy nhập Firebase:

    Swift

    import FirebaseMLModelDownloader

    Objective-C

    @import FirebaseMLModelDownloader;

Một vài bước định cấu hình nữa và chúng ta đã sẵn sàng bắt đầu:

  1. Nếu bạn chưa bật API trên đám mây cho dự án của mình, hãy bật bây giờ:

    1. Mở Firebase ML trang API của bảng điều khiển của Firebase.

    2. Nếu bạn chưa nâng cấp dự án của mình lên Gói giá linh hoạt, hãy nhấp vào Hãy nâng cấp để làm điều này. (Bạn sẽ chỉ được nhắc nâng cấp nếu không có trong Kế hoạch linh hoạt.)

      Chỉ các dự án cấp Blaze mới có thể sử dụng API trên đám mây.

    3. Nếu bạn chưa bật API trên đám mây, hãy nhấp vào Bật API dựa trên đám mây API.
  2. Định cấu hình các khoá API Firebase hiện có để không cho phép truy cập vào Đám mây API Vision:
    1. Mở trang Thông tin đăng nhập của bảng điều khiển Cloud.
    2. Đối với mỗi khoá API trong danh sách, hãy mở chế độ xem chỉnh sửa và trong Phần Hạn chế, thêm tất cả API hiện có, ngoại trừ Cloud Vision API vào danh sách.

Triển khai hàm có thể gọi

Tiếp theo, hãy triển khai Chức năng đám mây mà bạn sẽ dùng để làm cầu nối cho ứng dụng của mình và đám mây Vision API. Kho lưu trữ functions-samples có chứa một ví dụ mà bạn có thể sử dụng.

Theo mặc định, việc truy cập Cloud Vision API thông qua chức năng này sẽ cho phép chỉ những người dùng đã xác thực trong ứng dụng của bạn mới có quyền truy cập vào Cloud Vision API. Bạn có thể sửa đổi hàm theo các yêu cầu khác nhau.

Cách triển khai hàm:

  1. Sao chép hoặc tải kho lưu trữ hàm-mẫu xuống và thay đổi thành thư mục Node-1st-gen/vision-annotate-image: 
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. Cài đặt phần phụ thuộc: 
    cd functions
npm install
cd ..
  3. Nếu bạn chưa có Giao diện dòng lệnh (CLI) của Firebase, hãy cài đặt giao diện này.
  4. Khởi chạy dự án Firebase trong vision-annotate-image thư mục. Khi được nhắc, hãy chọn dự án của bạn trong danh sách. 
    firebase init
  5. Triển khai hàm: 
    firebase deploy --only functions:annotateImage

Thêm tính năng Xác thực Firebase vào ứng dụng

Hàm có thể gọi được triển khai ở trên sẽ từ chối mọi yêu cầu từ trạng thái chưa được xác thực người dùng ứng dụng của bạn. Bạn cần thêm Firebase nếu chưa làm như vậy Xác thực ứng dụng.

Thêm các phần phụ thuộc cần thiết vào ứng dụng

Sử dụng Trình quản lý gói Swift để cài đặt thư viện Cloud Functions cho Firebase.

1. Chuẩn bị hình ảnh đầu vào

Để gọi Cloud Vision, hình ảnh phải được định dạng ở dạng được mã hoá base64 . Cách xử lý UIImage:

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Gọi hàm có thể gọi để nhận dạng các mốc

Để nhận dạng các địa danh trong một hình ảnh, hãy gọi hàm có thể gọi truyền một Yêu cầu JSON Cloud Vision.

  1. Trước tiên, hãy khởi chạy một bản sao của Cloud Functions:

    Swift

    lazy var functions = Functions.functions()

    Objective-C

    @property(strong, nonatomic) FIRFunctions *functions;

  2. Tạo một yêu cầu có Type (Loại) được đặt thành LANDMARK_DETECTION:

    Swift

    let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
]

    Objective-C

    NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
};

  3. Cuối cùng, hãy gọi hàm này:

    Swift

    do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

    Objective-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3. Xem thông tin về các địa danh được công nhận

Nếu thao tác nhận dạng mốc thành công, phản hồi JSON của BatchAnnotationImagesResponse sẽ được trả về trong kết quả của tác vụ. Từng đối tượng trong landmarkAnnotations đại diện cho một mốc được nhận dạng trong hình ảnh. Đối với mỗi mốc, bạn có thể lấy toạ độ giới hạn trong hình ảnh đầu vào, tên của mốc, vĩ độ và kinh độ, mã nhận dạng thực thể trong Sơ đồ tri thức (nếu có) và điểm số tin cậy của kết quả trùng khớp. Ví dụ:

Swift

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Objective-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}