Możesz użyć Firebase ML do rozpoznawania dobrze znanych punktów orientacyjnych na obrazie.
Zanim zaczniesz
-
Jeśli nie masz jeszcze w aplikacji Firebase dodanego do aplikacji, wykonaj czynności opisane w przewodniku dla początkujących.
- Po otwarciu projektu aplikacji przejdź w Xcode do File > Add Packages (Plik > Dodaj pakiety).
- Gdy pojawi się prośba, dodaj repozytorium SDK platform Apple Platform SDK Firebase:
- Wybierz bibliotekę ML Firebase.
- Dodaj flagę
-ObjC
do sekcji Inne flagi łączące w ustawieniach kompilacji celu. - Po zakończeniu Xcode automatycznie rozpocznie rozpoznawanie i pobieranie zależności w tle.
- W aplikacji zaimportuj Firebase:
Swift
import FirebaseMLModelDownloader
Objective-C
@import FirebaseMLModelDownloader;
-
Jeśli nie masz jeszcze włączonych w swoim projekcie interfejsów API działających w chmurze, zrób to teraz:
- Otwórz stronę interfejsów API Firebase ML w konsoli Firebase.
-
Jeśli w swoim projekcie nie korzystasz jeszcze z abonamentu Blaze, kliknij Przejdź na wyższą wersję. Prośba o przejście na wyższą wersję pojawi się tylko wtedy, gdy Twój projekt nie jest objęty abonamentem Blaze.
Tylko projekty na poziomie Blaze mogą korzystać z interfejsów API działających w chmurze.
- Jeśli interfejsy API działające w chmurze nie są jeszcze włączone, kliknij Włącz interfejsy API działające w chmurze.
Użyj menedżera pakietów Swift, aby zainstalować zależności Firebase i nimi zarządzać.
https://github.com/firebase/firebase-ios-sdk.git
Następnie skonfiguruj w aplikacji:
Konfigurowanie wykrywania punktów orientacyjnych
Domyślnie detektor Cloud używa stabilnej wersji modelu i zwraca maksymalnie 10 wyników. Jeśli chcesz zmienić któreś z tych ustawień, określ je za pomocą obiektu VisionCloudDetectorOptions
, jak w tym przykładzie:
Swift
let options = VisionCloudDetectorOptions() options.modelType = .latest options.maxResults = 20
Objective-C
FIRVisionCloudDetectorOptions *options = [[FIRVisionCloudDetectorOptions alloc] init]; options.modelType = FIRVisionCloudModelTypeLatest; options.maxResults = 20;
W następnym kroku podczas tworzenia obiektu wykrywania Cloud przekażesz obiekt VisionCloudDetectorOptions
.
Uruchom wykrywanie punktów orientacyjnych
Aby rozpoznać punkty orientacyjne na obrazie, przekaż obraz jakoUIImage
lub CMSampleBufferRef
do metody detect(in:)
VisionCloudLandmarkDetector
:
- Pobierz instancję
VisionCloudLandmarkDetector
:Swift
lazy var vision = Vision.vision() let cloudDetector = vision.cloudLandmarkDetector(options: options) // Or, to use the default settings: // let cloudDetector = vision.cloudLandmarkDetector()
Objective-C
FIRVision *vision = [FIRVision vision]; FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector]; // Or, to change the default settings: // FIRVisionCloudLandmarkDetector *landmarkDetector = // [vision cloudLandmarkDetectorWithOptions:options];
-
Aby można było wywołać Cloud Vision, obraz musi być sformatowany jako ciąg zakodowany w formacie base64. Aby przetworzyć
UIImage
:Swift
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
-
Następnie przekaż obraz do metody
detect(in:)
:Swift
cloudDetector.detect(in: visionImage) { landmarks, error in guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else { // ... return } // Recognized landmarks // ... }
Objective-C
[landmarkDetector detectInImage:image completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks, NSError *error) { if (error != nil) { return; } else if (landmarks != nil) { // Got landmarks } }];
Uzyskiwanie informacji o znanych punktach orientacyjnych
Jeśli uda się rozpoznać punkt orientacyjny, do modułu obsługi uzupełniania zostanie przekazana tablica obiektówVisionCloudLandmark
. Z każdego z nich możesz
uzyskać informacje o punkcie orientacyjnym rozpoznanym na obrazie.
Przykład:
Swift
for landmark in landmarks { let landmarkDesc = landmark.landmark let boundingPoly = landmark.frame let entityId = landmark.entityId // A landmark can have multiple locations: for example, the location the image // was taken, and the location of the landmark depicted. for location in landmark.locations { let latitude = location.latitude let longitude = location.longitude } let confidence = landmark.confidence }
Objective-C
for (FIRVisionCloudLandmark *landmark in landmarks) { NSString *landmarkDesc = landmark.landmark; CGRect frame = landmark.frame; NSString *entityId = landmark.entityId; // A landmark can have multiple locations: for example, the location the image // was taken, and the location of the landmark depicted. for (FIRVisionLatitudeLongitude *location in landmark.locations) { double latitude = [location.latitude doubleValue]; double longitude = [location.longitude doubleValue]; } float confidence = [landmark.confidence floatValue]; }
Dalsze kroki
- Przed wdrożeniem w środowisku produkcyjnym aplikacji, która korzysta z interfejsu Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.