برای فراخوانی Google Cloud API از برنامه خود، باید یک REST API میانی ایجاد کنید که مجوزها را کنترل می کند و از مقادیر مخفی مانند کلیدهای API محافظت می کند. سپس برای احراز هویت و برقراری ارتباط با این سرویس میانی، باید کدی را در اپلیکیشن موبایل خود بنویسید.
یکی از راههای ایجاد این API REST استفاده از احراز هویت و توابع Firebase است که یک دروازه مدیریتشده و بدون سرور به APIهای Google Cloud ارائه میکند که احراز هویت را مدیریت میکند و میتواند از برنامه تلفن همراه شما با SDKهای از پیش ساخته شده فراخوانی شود.
این راهنما نشان می دهد که چگونه از این تکنیک برای فراخوانی Cloud Vision API از برنامه خود استفاده کنید. این روش به همه کاربران احراز هویت شده اجازه میدهد از طریق پروژه Cloud شما به خدمات صورتحساب Cloud Vision دسترسی داشته باشند، بنابراین قبل از ادامه، بررسی کنید که آیا این مکانیسم تأیید برای مورد استفاده شما کافی است یا خیر.
قبل از شروع
پروژه خود را پیکربندی کنید
اگر قبلاً Firebase را به برنامه خود اضافه نکرده اید، این کار را با دنبال کردن مراحل راهنمای شروع کار انجام دهید.برای نصب و مدیریت وابستگی های Firebase از Swift Package Manager استفاده کنید.
- در Xcode، با باز بودن پروژه برنامه، به File > Add Packages بروید.
- هنگامی که از شما خواسته شد، مخزن SDK پلتفرم های Apple Firebase را اضافه کنید:
- کتابخانه Firebase ML را انتخاب کنید.
- پرچم
-ObjC
را به بخش Other Linker Flags تنظیمات ساخت هدف خود اضافه کنید. - پس از اتمام، Xcode به طور خودکار شروع به حل و دانلود وابستگی های شما در پس زمینه می کند.
https://github.com/firebase/firebase-ios-sdk.git
در مرحله بعد، تنظیمات درون برنامه ای را انجام دهید:
- در برنامه خود، Firebase را وارد کنید:
سویفت
import FirebaseMLModelDownloader
هدف-C
@import FirebaseMLModelDownloader;
چند مرحله دیگر پیکربندی، و ما آماده هستیم:
اگر قبلاً API های مبتنی بر Cloud را برای پروژه خود فعال نکرده اید، اکنون این کار را انجام دهید:
- صفحه Firebase ML APIs کنسول Firebase را باز کنید.
اگر قبلاً پروژه خود را به طرح قیمت گذاری Blaze ارتقا نداده اید، برای انجام این کار روی Upgrade کلیک کنید. (فقط اگر پروژه شما در طرح Blaze نباشد، از شما خواسته می شود که ارتقا دهید.)
فقط پروژه های سطح Blaze می توانند از API های مبتنی بر ابر استفاده کنند.
- اگر APIهای مبتنی بر Cloud قبلاً فعال نشدهاند، روی Enable Cloud-based APIs کلیک کنید.
- کلیدهای Firebase API موجود خود را برای جلوگیری از دسترسی به Cloud Vision API پیکربندی کنید:
- صفحه Credentials کنسول Cloud را باز کنید.
- برای هر کلید API در لیست، نمای ویرایش را باز کنید و در قسمت Key Restrictions، همه API های موجود به جز Cloud Vision API را به لیست اضافه کنید.
تابع فراخوانی را اجرا کنید
در مرحله بعد، Cloud Function را که برای پل زدن برنامه خود و Cloud Vision API استفاده خواهید کرد، مستقر کنید. مخزن functions-samples
حاوی مثالی است که می توانید از آن استفاده کنید.
بهطور پیشفرض، دسترسی به Cloud Vision API از طریق این تابع به کاربران تأیید شده برنامه شما اجازه میدهد به Cloud Vision API دسترسی داشته باشند. شما می توانید عملکرد را برای نیازهای مختلف تغییر دهید.
برای استقرار تابع:
- مخزن functions-samples را کلون یا دانلود کنید و به دایرکتوری
Node-1st-gen/vision-annotate-image
تغییر دهید:git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
- نصب وابستگی ها:
cd functions
npm install
cd ..
- اگر Firebase CLI را ندارید، آن را نصب کنید .
- یک پروژه Firebase را در دایرکتوری
vision-annotate-image
راه اندازی کنید. وقتی از شما خواسته شد، پروژه خود را در لیست انتخاب کنید.firebase init
- استقرار تابع:
firebase deploy --only functions:annotateImage
Firebase Auth را به برنامه خود اضافه کنید
تابع قابل فراخوانی که در بالا مستقر شده است، هر درخواستی را که از سوی کاربران احراز هویت نشده برنامه شما انجام شود رد می کند. اگر قبلاً این کار را نکردهاید، باید Firebase Auth را به برنامه خود اضافه کنید.
وابستگی های لازم را به برنامه خود اضافه کنید
از Swift Package Manager برای نصب کتابخانه Cloud Functions برای Firebase استفاده کنید.
اکنون شما آماده شروع به تشخیص متن در تصاویر هستید.
1. تصویر ورودی را آماده کنید
برای فراخوانی Cloud Vision، تصویر باید به عنوان یک رشته کدگذاری شده با base64 فرمت شود. برای پردازش یکUIImage
: سویفت
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
هدف-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
2. برای تشخیص متن، تابع قابل فراخوانی را فراخوانی کنید
برای تشخیص نشانهها در یک تصویر، تابع قابل فراخوانی را با ارسال درخواست JSON Cloud Vision فراخوانی کنید.ابتدا یک نمونه از توابع ابری را مقداردهی اولیه کنید:
سویفت
lazy var functions = Functions.functions()
هدف-C
@property(strong, nonatomic) FIRFunctions *functions;
درخواست را ایجاد کنید. Cloud Vision API از دو نوع تشخیص متن پشتیبانی میکند:
TEXT_DETECTION
وDOCUMENT_TEXT_DETECTION
. برای تفاوت بین این دو مورد، به اسناد Cloud Vision OCR مراجعه کنید.سویفت
let requestData = [ "image": ["content": base64encodedImage], "features": ["type": "TEXT_DETECTION"], "imageContext": ["languageHints": ["en"]] ]
هدف-C
NSDictionary *requestData = @{ @"image": @{@"content": base64encodedImage}, @"features": @{@"type": @"TEXT_DETECTION"}, @"imageContext": @{@"languageHints": @[@"en"]} };
در نهایت تابع را فراخوانی کنید:
سویفت
do { let result = try await functions.httpsCallable("annotateImage").call(requestData) print(result) } catch { if let error = error as NSError? { if error.domain == FunctionsErrorDomain { let code = FunctionsErrorCode(rawValue: error.code) let message = error.localizedDescription let details = error.userInfo[FunctionsErrorDetailsKey] } // ... } }
هدف-C
[[_functions HTTPSCallableWithName:@"annotateImage"] callWithObject:requestData completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) { if (error) { if ([error.domain isEqualToString:@"com.firebase.functions"]) { FIRFunctionsErrorCode code = error.code; NSString *message = error.localizedDescription; NSObject *details = error.userInfo[@"details"]; } // ... } // Function completed succesfully // Get information about labeled objects }];
3. متن را از بلوک های متن شناخته شده استخراج کنید
اگر عملیات تشخیص متن با موفقیت انجام شود، یک پاسخ JSON از BatchAnnotateImagesResponse در نتیجه کار برگردانده می شود. حاشیه نویسی های متن را می توان در شی fullTextAnnotation
یافت.
می توانید متن شناسایی شده را به عنوان یک رشته در قسمت text
دریافت کنید. به عنوان مثال:
سویفت
let annotation = result.flatMap { $0.data as? [String: Any] }
.flatMap { $0["fullTextAnnotation"] }
.flatMap { $0 as? [String: Any] }
guard let annotation = annotation else { return }
if let text = annotation["text"] as? String {
print("Complete annotation: \(text)")
}
هدف-C
NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);
همچنین می توانید اطلاعات مربوط به مناطق تصویر را دریافت کنید. برای هر block
، paragraph
، word
و symbol
، می توانید متن را در منطقه و مختصات مرزی منطقه تشخیص دهید. به عنوان مثال:
سویفت
guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
var pageText = ""
guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
for block in blocks {
var blockText = ""
guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
for paragraph in paragraphs {
var paragraphText = ""
guard let words = paragraph["words"] as? [[String: Any]] else { continue }
for word in words {
var wordText = ""
guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
for symbol in symbols {
let text = symbol["text"] as? String ?? ""
let confidence = symbol["confidence"] as? Float ?? 0.0
wordText += text
print("Symbol text: \(text) (confidence: \(confidence)%n")
}
let confidence = word["confidence"] as? Float ?? 0.0
print("Word text: \(wordText) (confidence: \(confidence)%n%n")
let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
print("Word bounding box: \(boundingBox.description)%n")
paragraphText += wordText
}
print("%nParagraph: %n\(paragraphText)%n")
let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
print("Paragraph bounding box: \(boundingBox)%n")
let confidence = paragraph["confidence"] as? Float ?? 0.0
print("Paragraph Confidence: \(confidence)%n")
blockText += paragraphText
}
pageText += blockText
}
}
هدف-C
for (NSDictionary *page in annotation[@"pages"]) {
NSMutableString *pageText = [NSMutableString new];
for (NSDictionary *block in page[@"blocks"]) {
NSMutableString *blockText = [NSMutableString new];
for (NSDictionary *paragraph in block[@"paragraphs"]) {
NSMutableString *paragraphText = [NSMutableString new];
for (NSDictionary *word in paragraph[@"words"]) {
NSMutableString *wordText = [NSMutableString new];
for (NSDictionary *symbol in word[@"symbols"]) {
NSString *text = symbol[@"text"];
[wordText appendString:text];
NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
}
NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
[paragraphText appendString:wordText];
}
NSLog(@"\nParagraph: \n%@\n", paragraphText);
NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
[blockText appendString:paragraphText];
}
[pageText appendString:blockText];
}
}