التعرّف على المعالم بشكل آمن من خلال Cloud Vision باستخدام مصادقة Firebase ووظائفها على أنظمة Apple الأساسية

لطلب واجهة برمجة تطبيقات Google Cloud من تطبيقك، يجب إنشاء واجهة برمجة تطبيقات وسيطة واجهة برمجة تطبيقات REST التي تعالج التفويض وتحمي القيم السرية، مثل مفاتيح واجهة برمجة التطبيقات. يجب بعد ذلك كتابة رمز في تطبيق الأجهزة الجوّالة للمصادقة على هذه الخدمة الوسيطة والتواصل معها.

إحدى الطرق لإنشاء واجهة برمجة تطبيقات REST هذه هي باستخدام مصادقة ووظائف Firebase، التي تمنحك مدخلاً مُدارًا بدون خادم إلى واجهات Google Cloud APIs التي تعالج المصادقة ويمكن طلبها من تطبيقك للأجهزة الجوّالة باستخدام SDK المنشأة مسبقًا.

يوضِّح هذا الدليل كيفية استخدام هذا الأسلوب لطلب بيانات Cloud Vision API من تطبيقك. ستسمح هذه الطريقة لجميع المستخدمين الذين تمت مصادقتهم بالوصول إلى الخدمات التي تتم فوترتها عبر Cloud Vision من خلال مشروعك على Google Cloud، وبالتالي قبل المتابعة، تحقَّق مما إذا كانت آلية المصادقة هذه كافية لحالة الاستخدام لديك.

قبل البدء

ضبط مشروعك

إذا لم يسبق لك إضافة Firebase إلى تطبيقك، يمكنك إجراء ذلك من خلال اتّباع الخطوات الأولى في دليل البدء.

يمكنك استخدام "مدير حزم Swift" لتثبيت اعتماديات Firebase وإدارتها.

  1. في Xcode، انتقِل إلى File (ملف) > بعد فتح مشروع التطبيق الخاص بك. إضافة حِزم
  2. أضِف مستودع حزمة تطوير البرامج (SDK) لمنصّات Firebase Apple عندما يُطلب منك ذلك:
    3.   https://github.com/firebase/firebase-ios-sdk.git
  3. اختَر مكتبة "Firebase ML".
  4. أضِف العلامة -ObjC إلى القسم علامات الروابط الأخرى في إعدادات إصدار هدفك.
  5. عند الانتهاء، سيبدأ Xcode تلقائيًا في حل وتنزيل ملف والتبعيات في الخلفية.

بعد ذلك، يمكنك إجراء بعض الإعدادات داخل التطبيق:

  1. في تطبيقك، استورد Firebase:

    Swift

    import FirebaseMLModelDownloader

    Objective-C

    @import FirebaseMLModelDownloader;

في ما يلي بعض خطوات الضبط الإضافية، ونحن جاهزون لبدء الاستخدام:

  1. إذا لم يسبق لك تفعيل واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية لمشروعك، يُرجى إجراء ذلك الآن:

    1. افتح Firebase ML. صفحة واجهات برمجة التطبيقات لوحدة تحكُّم Firebase.

    2. إذا لم تكن قد أجريت ترقية لمشروعك إلى خطة أسعار Blaze، انقر على يجب الترقية لإجراء ذلك. (ستتم مطالبتك بالترقية فقط إذا كان مشروعك ليس على خطة Blaze).

      يمكن للمشروعات على مستوى Blaze فقط استخدام واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية.

    3. إذا لم تكن واجهات برمجة التطبيقات المستنِدة إلى السحابة الإلكترونية مُفعَّلة، انقر على تفعيل البيانات المستندة إلى السحابة الإلكترونية. API.
  2. ضبط مفاتيح واجهة برمجة التطبيقات الحالية في Firebase لمنع الوصول إلى السحابة الإلكترونية واجهة Vision API:
    1. افتح صفحة بيانات الاعتماد في Cloud Console.
    2. لكل مفتاح واجهة برمجة تطبيقات في القائمة، افتح عرض التعديل، وفي قسم "المفتاح" قسم "القيود"، أضِف جميع واجهات برمجة التطبيقات المتاحة باستثناء Cloud Vision. واجهة برمجة التطبيقات إلى القائمة.

نشر الدالة القابلة للاستدعاء

بعد ذلك، انشر وظيفة السحابة الإلكترونية التي ستستخدمها للربط بين تطبيقك والسحابة الإلكترونية Vision API يحتوي مستودع functions-samples على مثال التي يمكنك استخدامها.

سيتيح الوصول إلى Cloud Vision API من خلال هذه الوظيفة تلقائيًا وصول المستخدمين الذين تمت مصادقتهم على تطبيقك إلى Cloud Vision API فقط يمكنك الدالة وفقًا للمتطلبات المختلفة.

لنشر الدالة:

  1. استنساخ مستودع نماذج الدوال أو نزِّله. والتغيير إلى الدليل Node-1st-gen/vision-annotate-image: 
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. ثبِّت التبعيّات: 
    cd functions
npm install
cd ..
  3. إذا لم يكن لديك واجهة سطر الأوامر في Firebase، عليك تثبيته.
  4. إعداد مشروع Firebase في vision-annotate-image الدليل. اختَر مشروعك من القائمة عندما يُطلب منك ذلك. 
    firebase init
  5. نشر الدالة: 
    firebase deploy --only functions:annotateImage

إضافة مصادقة Firebase إلى تطبيقك

سترفض الدالة القابلة للاستدعاء المنشورة أعلاه أي طلب من الحسابات التي لم تتم مصادقتها مستخدمي تطبيقك. عليك إضافة Firebase في حال لم يسبق لك إجراء ذلك. عليك المصادقة على تطبيقك.

أضف التبعيات اللازمة إلى تطبيقك

استخدِم Swift Package Manager لتثبيت "وظائف السحابة الإلكترونية لمكتبة Firebase".

1- تحضير صورة الإدخال

لاستدعاء Cloud Vision، يجب تنسيق الصورة بترميز base64. السلسلة. لمعالجة UIImage:

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2- استدعاء الدالة القابلة للاستدعاء للتعرّف على المعالم

للتعرف على المعالم في صورة، استدعِ الدالة القابلة للاستدعاء وتجتاز طلب JSON Cloud Vision

  1. أولاً، عليك إعداد مثيل من دوال السحابة:

    Swift

    lazy var functions = Functions.functions()

    Objective-C

    @property(strong, nonatomic) FIRFunctions *functions;

  2. إنشاء طلب مع ضبط النوع على LANDMARK_DETECTION:

    Swift

    let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
]

    Objective-C

    NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
};

  3. أخيرًا، استدعِ الدالة:

    Swift

    do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

    Objective-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3- الحصول على معلومات عن المعالم المعروفة

إذا نجحت عملية التعرف على المعالم، فإن استجابة JSON BatchAnnotateImagesResponse في نتيجة المهمة. كل كائن في landmarkAnnotations يمثل الصفيف مَعلمًا تم التعرّف عليه في الصورة. لكل مَعلم، فيمكنك الحصول على إحداثيات الحدود في صورة الإدخال، واسم المَعلم، وخط الطول وخط العرض، ورقم تعريف جهة "الرسم البياني المعرفي" (إن توفّر) بدرجة الثقة الخاصة بالمباراة. على سبيل المثال:

Swift

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Objective-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}