بهترین روش ها برای بارگذاری انبوه داده ها

فقط مربوط به Cloud Firestore Enterprise edition.

این صفحه بهترین روش‌ها را هنگام بارگیری انبوه داده در Cloud Firestore با سازگاری MongoDB با ابزارهایی مانند mongoimport توصیف می‌کند.

Cloud Firestore یک سیستم بسیار توزیع شده است که مقیاس خودکار را برای رفع نیازهای کسب و کار شما ارائه می دهد. Cloud Firestore به صورت پویا داده های شما را بر اساس بار دریافتی سیستم تقسیم و ترکیب می کند.

تقسیم بر اساس بار به صورت خودکار و بدون هیچ گونه تنظیمات قبلی لازم انجام می شود. سیستم تقسیم بار مبتنی بر Cloud Firestore دارای برخی ویژگی‌های مهم و منحصربه‌فرد در مقایسه با سایر پایگاه‌های داده اسناد است که هنگام مدل‌سازی داده‌های خود باید به خاطر داشته باشید.

ماهیت توزیع‌شده Cloud Firestore می‌تواند نیاز به تغییر برخی از انتخاب‌های طراحی برای تغییر داشته باشد، به‌ویژه برای بارهای کاری که برای پایگاه‌های داده بهینه‌سازی شده‌اند، جایی که نسخه اولیه گلوگاه خروجی نوشتن است.

بهترین شیوه ها

بارهای کاری که حجم زیادی از داده ها را در یک کلاینت رشته ای پردازش می کنند، می توانند یک گلوگاه ایجاد کنند. مشتریان ممکن است بتوانند از رشته‌بندی واحد برای بارگذاری انبوه داده‌ها استفاده کنند، زیرا توان عملیاتی مشتری و سرور به طور مشابه مطابقت دارند. پایگاه داده Cloud Firestore می تواند به طور قابل توجهی موازی کاری بیشتری را انجام دهد، اما این مستلزم این است که مشتریان را برای ارسال درخواست ها به صورت موازی پیکربندی کنید.

mongoimport

هنگام استفاده از ابزار mongoimport ، درخواست ها به صورت پیش فرض به صورت متوالی انجام می شوند. برای بهبود زمان بارگذاری در Cloud Firestore ، تعداد کارگران را با پرچم --numInsertionWorkers تنظیم کنید. تنظیم صحیح ممکن است نیاز به تنظیم بر اساس اندازه مشتری شما داشته باشد، اما ما به طور کلی توصیه می کنیم حداقل با 32 شروع کنید.

برنامه نویسی غیر همگام

هنگام توسعه نرم افزار خود با استفاده از API های سازگار با MongoDB، می توانید موازی سازی را به روش های زیر بهبود بخشید:

  • چارچوب‌های همگام : با استفاده از چارچوب‌های ناهمگام به شما امکان می‌دهد درخواست‌ها را به صورت موازی پردازش کرده و به آنها پاسخ دهید. در هنگام برقراری تماس با پایگاه داده خود، نیازی به ایجاد ترکیب یا صف بندی پیچیده نیست. هر جریان درخواستی می تواند از اتصالات مستقل استفاده کند و تماس های پایگاه داده خود را به صورت موازی انجام دهد.
  • از پیشنهادات محاسباتی موازی استفاده کنید : با استفاده از خدماتی مانند Cloud Run ، سیستم شما می تواند تعداد کارگران محاسباتی مورد نیاز برای پردازش داده ها را مقیاس کند.

شکست های گذرا

هنگام کار با یک سیستم توزیع‌شده بزرگ مانند Cloud Firestore ، ممکن است با خرابی‌های گذرا مانند شبکه‌ای یا مشاجره در یک سند مواجه شوید.

هنگام بارگذاری انبوه حجم زیادی از اطلاعات، حفظ استراتژی تلاش مجدد برای نوشتن ناموفق بدون شکست در عملیات بارگذاری انبوه بزرگتر مهم است.