برچسب گذاری ایمن تصاویر با Cloud Vision با استفاده از Firebase Auth و توابع در پلتفرم های اپل

برای فراخوانی Google Cloud API از برنامه خود، باید یک REST API میانی ایجاد کنید که مجوزها را کنترل می کند و از مقادیر مخفی مانند کلیدهای API محافظت می کند. سپس برای احراز هویت و برقراری ارتباط با این سرویس میانی، باید کدی را در اپلیکیشن موبایل خود بنویسید.

یکی از راه‌های ایجاد این API REST استفاده از احراز هویت و توابع Firebase است که یک دروازه مدیریت‌شده و بدون سرور به APIهای Google Cloud ارائه می‌کند که احراز هویت را مدیریت می‌کند و می‌تواند از برنامه تلفن همراه شما با SDK‌های از پیش ساخته شده فراخوانی شود.

این راهنما نشان می دهد که چگونه از این تکنیک برای فراخوانی Cloud Vision API از برنامه خود استفاده کنید. این روش به همه کاربران احراز هویت شده اجازه می‌دهد از طریق پروژه Cloud شما به خدمات صورت‌حساب Cloud Vision دسترسی داشته باشند، بنابراین قبل از ادامه، بررسی کنید که آیا این مکانیسم تأیید برای مورد استفاده شما کافی است یا خیر.

قبل از اینکه شروع کنی

پروژه خود را پیکربندی کنید

اگر قبلاً Firebase را به برنامه خود اضافه نکرده اید، این کار را با دنبال کردن مراحل راهنمای شروع کار انجام دهید.

برای نصب و مدیریت وابستگی های Firebase از Swift Package Manager استفاده کنید.

  1. در Xcode، با باز بودن پروژه برنامه، به File > Add Packages بروید.
  2. هنگامی که از شما خواسته شد، مخزن SDK پلتفرم های Apple Firebase را اضافه کنید:
  3.   https://github.com/firebase/firebase-ios-sdk.git
  4. کتابخانه Firebase ML را انتخاب کنید.
  5. پرچم -ObjC را به بخش Other Linker Flags تنظیمات ساخت هدف خود اضافه کنید.
  6. پس از اتمام، Xcode به طور خودکار شروع به حل و دانلود وابستگی های شما در پس زمینه می کند.

در مرحله بعد، تنظیمات درون برنامه ای را انجام دهید:

  1. در برنامه خود، Firebase را وارد کنید:

    سریع

    import FirebaseMLModelDownloader

    هدف-C

    @import FirebaseMLModelDownloader;

چند مرحله دیگر پیکربندی، و ما آماده هستیم:

  1. اگر قبلاً API های مبتنی بر Cloud را برای پروژه خود فعال نکرده اید، اکنون این کار را انجام دهید:

    1. صفحه Firebase ML APIs کنسول Firebase را باز کنید.
    2. اگر قبلاً پروژه خود را به طرح قیمت گذاری Blaze ارتقا نداده اید، برای انجام این کار روی Upgrade کلیک کنید. (فقط اگر پروژه شما در طرح Blaze نباشد، از شما خواسته می شود که ارتقا دهید.)

      فقط پروژه های سطح Blaze می توانند از API های مبتنی بر ابر استفاده کنند.

    3. اگر APIهای مبتنی بر Cloud قبلاً فعال نشده‌اند، روی Enable Cloud-based APIs کلیک کنید.
  2. کلیدهای Firebase API موجود خود را برای جلوگیری از دسترسی به Cloud Vision API پیکربندی کنید:
    1. صفحه Credentials کنسول Cloud را باز کنید.
    2. برای هر کلید API در لیست، نمای ویرایش را باز کنید و در قسمت Key Restrictions، همه API های موجود به جز Cloud Vision API را به لیست اضافه کنید.

تابع فراخوانی را اجرا کنید

در مرحله بعد، Cloud Function را که برای پل زدن برنامه خود و Cloud Vision API استفاده خواهید کرد، مستقر کنید. مخزن functions-samples حاوی مثالی است که می توانید از آن استفاده کنید.

به‌طور پیش‌فرض، دسترسی به Cloud Vision API از طریق این تابع به کاربران تأیید شده برنامه شما اجازه می‌دهد به Cloud Vision API دسترسی داشته باشند. شما می توانید عملکرد را برای نیازهای مختلف تغییر دهید.

برای استقرار تابع:

  1. مخزن توابع-نمونه ها را شبیه سازی یا دانلود کنید و به دایرکتوری Node-1st-gen/vision-annotate-image تغییر دهید:
    git clone https://github.com/firebase/functions-samples
    cd Node-1st-gen/vision-annotate-image
    
  2. وابستگی ها را نصب کنید:
    cd functions
    npm install
    cd ..
    
  3. اگر Firebase CLI را ندارید، آن را نصب کنید .
  4. یک پروژه Firebase را در دایرکتوری vision-annotate-image راه اندازی کنید. وقتی از شما خواسته شد، پروژه خود را در لیست انتخاب کنید.
    firebase init
  5. استقرار تابع:
    firebase deploy --only functions:annotateImage

Firebase Auth را به برنامه خود اضافه کنید

تابع قابل فراخوانی که در بالا مستقر شده است، هر درخواستی را که از سوی کاربران احراز هویت نشده برنامه شما انجام شود رد می کند. اگر قبلاً این کار را نکرده‌اید، باید Firebase Auth را به برنامه خود اضافه کنید.

وابستگی های لازم را به برنامه خود اضافه کنید

از Swift Package Manager برای نصب کتابخانه Cloud Functions برای Firebase استفاده کنید.

اکنون آماده برچسب گذاری تصاویر هستید.

1. تصویر ورودی را آماده کنید

برای فراخوانی Cloud Vision، تصویر باید به عنوان یک رشته کدگذاری شده با base64 فرمت شود. برای پردازش یک UIImage :

سریع

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

هدف-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. برای برچسب زدن تصویر، تابع قابل فراخوانی را فراخوانی کنید

برای برچسب زدن اشیاء در یک تصویر، تابع قابل فراخوانی را با ارسال درخواست JSON Cloud Vision فراخوانی کنید.

  1. ابتدا یک نمونه از توابع ابری را مقداردهی اولیه کنید:

    سریع

    lazy var functions = Functions.functions()
    

    هدف-C

    @property(strong, nonatomic) FIRFunctions *functions;
    
  2. یک درخواست با نوع تنظیم شده روی LABEL_DETECTION ایجاد کنید:

    سریع

    let requestData = [
      "image": ["content": base64encodedImage],
      "features": ["maxResults": 5, "type": "LABEL_DETECTION"]
    ]
    

    هدف-C

    NSDictionary *requestData = @{
      @"image": @{@"content": base64encodedImage},
      @"features": @{@"maxResults": @5, @"type": @"LABEL_DETECTION"}
    };
    
  3. در نهایت تابع را فراخوانی کنید:

    سریع

    do {
      let result = try await functions.httpsCallable("annotateImage").call(requestData)
      print(result)
    } catch {
      if let error = error as NSError? {
        if error.domain == FunctionsErrorDomain {
          let code = FunctionsErrorCode(rawValue: error.code)
          let message = error.localizedDescription
          let details = error.userInfo[FunctionsErrorDetailsKey]
        }
        // ...
      }
    }
    

    هدف-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                              callWithObject:requestData
                                  completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
            if (error) {
              if ([error.domain isEqualToString:@"com.firebase.functions"]) {
                FIRFunctionsErrorCode code = error.code;
                NSString *message = error.localizedDescription;
                NSObject *details = error.userInfo[@"details"];
              }
              // ...
            }
            // Function completed succesfully
            // Get information about labeled objects
    
          }];
    

3. اطلاعاتی در مورد اشیاء برچسب دار دریافت کنید

اگر عملیات برچسب‌گذاری تصویر با موفقیت انجام شود، یک پاسخ JSON از BatchAnnotateImagesResponse در نتیجه کار برگردانده می‌شود. هر شیء در آرایه labelAnnotations نشان دهنده چیزی است که در تصویر برچسب گذاری شده است. برای هر برچسب، می‌توانید شرح متن برچسب، شناسه گراف دانش آن (در صورت موجود بودن)، و امتیاز اطمینان مطابقت را دریافت کنید. مثلا:

سریع

if let labelArray = (result?.data as? [String: Any])?["labelAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let text = labelObj["description"]
    let entityId = labelObj["mid"]
    let confidence = labelObj["score"]
  }
}

هدف-C

NSArray *labelArray = result.data[@"labelAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *text = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *confidence = labelObj[@"score"];
}