Mit Cloud Vision und Firebase Auth und Firebase-Funktionen auf Apple-Plattformen Sehenswürdigkeiten sicher erkennen

Um eine Google Cloud API aus Ihrer Anwendung heraus aufzurufen, müssen Sie eine Zwischendatei REST API, die die Autorisierung verarbeitet und Secret-Werte wie API-Schlüssel schützt. Anschließend müssen Sie Schreiben Sie Code in Ihre mobile App, um sich bei diesem Zwischendienst zu authentifizieren und mit ihm zu kommunizieren.

Eine Möglichkeit, diese REST API zu erstellen, ist die Verwendung von Firebase Authentication und Firebase Functions. So erhalten Sie ein verwaltetes, serverloses Gateway zu Google Cloud APIs, das die Authentifizierung übernimmt und mit vorgefertigten SDKs von Ihrer mobilen App aufgerufen werden kann.

In diesem Leitfaden wird gezeigt, wie Sie mit dieser Technik die Cloud Vision API über Ihre Anwendung aufrufen. Mit dieser Methode können alle authentifizierten Nutzer über Ihr Cloud-Projekt auf in Cloud Vision abgerechnete Dienste zugreifen. Prüfen Sie, ob dieser Authentifizierungsmechanismus für Ihren Anwendungsfall ausreicht, bevor Sie fortfahren.

Hinweis

Projekt konfigurieren

Wenn Sie Ihrer App noch keine Firebase-Integration hinzugefügt haben, folgen Sie der Anleitung im Einstiegsleitfaden.

Verwenden Sie Swift Package Manager, um Firebase-Abhängigkeiten zu installieren und zu verwalten.

  1. Gehen Sie in Xcode bei geöffnetem App-Projekt zu File > Pakete hinzufügen.
  2. Fügen Sie bei entsprechender Aufforderung das Firebase Apple Platforms SDK-Repository hinzu:
    3.   https://github.com/firebase/firebase-ios-sdk.git
  3. Wählen Sie die Bibliothek Firebase ML aus.
  4. Fügen Sie in den Build-Einstellungen des Ziels im Bereich Other Linker Flags das Flag -ObjC hinzu.
  5. Wenn Sie fertig, beginnt Xcode automatisch, Ihre Abhängigkeiten im Hintergrund aufzulösen und herunterzuladen.

Führen Sie als Nächstes eine In-App-Einrichtung durch:

  1. Importieren Sie Firebase in Ihre App:

    Swift

    import FirebaseMLModelDownloader

    Objective-C

    @import FirebaseMLModelDownloader;

Nur noch ein paar Konfigurationsschritte und dann kann es losgehen:

  1. Wenn Sie noch keine cloudbasierten APIs für Ihr Projekt aktiviert haben, tun Sie dies jetzt. jetzt:

    1. Öffnen Sie das Firebase ML APIs-Seite der Firebase-Konsole.

    2. Wenn Sie für Ihr Projekt noch kein Upgrade auf das Blaze-Preismodell durchgeführt haben, klicken Sie auf Führen Sie ein Upgrade durch. Sie werden nur dann zum Upgrade aufgefordert, Projekt nicht im Tarif "Blaze" ist.)

      Cloud-basierte APIs können nur in Projekten auf Blaze-Ebene verwendet werden.

    3. Wenn cloudbasierte APIs noch nicht aktiviert sind, klicken Sie auf Cloudbasiertes Erstellen aktivieren APIs
  2. Vorhandene Firebase API-Schlüssel konfigurieren, um den Zugriff auf die Cloud zu verhindern Vision API:
    1. Öffnen Sie in der Cloud Console die Seite Anmeldedaten.
    2. Öffnen Sie für jeden API-Schlüssel in der Liste die Bearbeitungsansicht. Im Abschnitt „Einschränkungen“ alle verfügbaren APIs außer Cloud Vision hinzufügen API zur Liste hinzugefügt.

Callable-Funktion bereitstellen

Stellen Sie als Nächstes die Cloud Functions-Funktion bereit, mit der Sie die Anwendung und die Cloud verbinden möchten Vision API Das functions-samples-Repository enthält ein Beispiel, das Sie verwenden können.

Wenn Sie über diese Funktion auf die Cloud Vision API zugreifen, Nur authentifizierte Nutzer Ihrer Anwendung haben Zugriff auf die Cloud Vision API. Sie können die Funktion für unterschiedliche Anforderungen anpassen.

So stellen Sie die Funktion bereit:

  1. Klonen Sie das Repository „functions-samples“ oder laden Sie es herunter und wechseln Sie in das Verzeichnis Node-1st-gen/vision-annotate-image: 
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. Installieren Sie die Abhängigkeiten: 
    cd functions
npm install
cd ..
  3. Wenn Sie die Firebase CLI noch nicht haben, installieren Sie sie.
  4. Firebase-Projekt in vision-annotate-image initialisieren -Verzeichnis. Wählen Sie Ihr Projekt in der Liste aus, wenn Sie dazu aufgefordert werden. 
    firebase init
  5. Die Funktion bereitstellen: 
    firebase deploy --only functions:annotateImage

Firebase Auth zur App hinzufügen

Die oben bereitgestellte aufrufbare Funktion lehnt alle Anfragen von nicht authentifizierten Anfragen ab die Nutzer Ihrer App. Wenn Sie dies noch nicht getan haben, müssen Sie Firebase hinzufügen Authentifizierung bei der App

Erforderliche Abhängigkeiten zu Ihrer Anwendung hinzufügen

Verwenden Sie Swift Package Manager, um die Cloud Functions for Firebase-Bibliothek zu installieren.

1. Eingabebild vorbereiten

Zum Aufrufen von Cloud Vision muss das Bild als base64-codiert formatiert sein . So verarbeiten Sie ein UIImage:

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Aufrufbare Funktion aufrufen, um Sehenswürdigkeiten zu erkennen

Um Sehenswürdigkeiten in einem Bild zu erkennen, rufen Sie die aufrufbare Funktion auf und übergeben einen JSON-Cloud Vision-Anfrage.

  1. Initialisieren Sie zuerst eine Instanz von Cloud Functions:

    Swift

    lazy var functions = Functions.functions()

    Objective-C

    @property(strong, nonatomic) FIRFunctions *functions;

  2. Erstellen Sie eine Anfrage, bei der für Type der Wert LANDMARK_DETECTION festgelegt ist:

    Swift

    let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
]

    Objective-C

    NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
};

  3. Rufen Sie abschließend die folgende Funktion auf:

    Swift

    do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

    Objective-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3. Informationen zu erkannten Sehenswürdigkeiten abrufen

Wenn der Vorgang zur Erkennung von Sehenswürdigkeiten erfolgreich ist, wird eine JSON-Antwort von BatchAnnotateImagesResponse wird im Ergebnis der Aufgabe zurückgegeben. Jedes Objekt im landmarkAnnotations Array steht für eine Sehenswürdigkeit, die im Bild erkannt wurde. Für jede Sehenswürdigkeit können Sie die Begrenzungskoordinaten, den Namen der Sehenswürdigkeit, Breiten- und Längengrad, die Knowledge Graph-Entitäts-ID (falls verfügbar) sowie den Konfidenzwert der Übereinstimmung. Beispiel:

Swift

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Objective-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}