使用 Firebase ML 识别地标 (iOS)

您可以使用 Firebase ML 识别图片中的知名地标。

准备工作

使用 Swift Package Manager 安装和管理 Firebase 依赖项。

在 Xcode 中打开您的应用项目，依次点击 File（文件）> Add Packages（添加软件包）。
出现提示时，添加 Firebase Apple 平台 SDK 代码库：

  https://github.com/firebase/firebase-ios-sdk.git

选择 Firebase ML 库。
将 -ObjC 标志添加到目标 build 设置的“其他链接器标志”部分。
完成之后，Xcode 将会自动开始在后台解析和下载您的依赖项。

接下来，执行一些应用内设置：

在您的应用中导入 Firebase：

Swift

import FirebaseMLModelDownloader

Objective-C

@import FirebaseMLModelDownloader;

如果您尚未为项目启用基于 Cloud 的 API，请立即按照以下步骤启用：
1. 打开 Firebase 控制台的 Firebase ML API 页面。
2. 如果您尚未将项目升级到 Blaze 定价方案，请点击升级以执行此操作。（只有在您的项目未采用 Blaze 方案时，系统才会提示您进行升级。）
  
  只有 Blaze 级项目才能使用基于 Cloud 的 API。
3. 如果尚未启用基于 Cloud 的 API，请点击启用基于 Cloud 的 API。
在向生产环境中部署使用 Cloud API 的应用之前，您应该执行一些额外的步骤来防止未经授权的 API 访问并减轻这些访问造成的影响。

配置地标检测器

默认情况下，Cloud 检测器使用稳定版模型并最多返回 10 个结果。如果您想更改这两项设置，请按照以下示例使用 VisionCloudDetectorOptions 对象指定：

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20ViewController.swift

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;

在下一步中，在创建 Cloud 检测器对象时传递 VisionCloudDetectorOptions 对象。

运行地标检测器

如需识别图片中的地标，请将图片作为 UIImage 或 CMSampleBufferRef 传递给 VisionCloudLandmarkDetector 的 detect(in:) 方法：

获取 VisionCloudLandmarkDetector 的一个实例：

Swift

lazy var vision = Vision.vision()

let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()ViewController.swift

Objective-C

FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
//     [vision cloudLandmarkDetectorWithOptions:options];

如需调用 Cloud Vision，图片的格式必须为 base64 编码字符串。如需处理 UIImage，请执行以下操作：

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

然后，将图片传递给 detect(in:) 方法：

Swift

cloudDetector.detect(in: visionImage) { landmarks, error in
  guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
    // ...
    return
  }

  // Recognized landmarks
  // ...
}ViewController.swift

Objective-C

[landmarkDetector detectInImage:image
                     completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                  NSError *error) {
  if (error != nil) {
    return;
  } else if (landmarks != nil) {
    // Got landmarks
  }
}];

获取识别出的地标的相关信息

如果成功识别出了地标，系统会向完成处理程序传递一组 VisionCloudLandmark 对象。从每个对象中，您可以获取图片中识别出的地标的相关信息。

例如：

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

后续步骤

在向生产环境中部署使用 Cloud API 的应用之前，您应该执行一些额外的步骤来防止未经授权的 API 访问并减轻这些访问造成的影响。