মিথুন মডেলের জন্য টোকেন গণনা করুন

জেমিনি মডেলগুলি টোকেন নামক ইউনিটে ইনপুট এবং আউটপুট প্রক্রিয়া করে।

টোকেনগুলি z মতো একক অক্ষর অথবা cat মতো সম্পূর্ণ শব্দ হতে পারে। দীর্ঘ শব্দগুলিকে কয়েকটি টোকেনে বিভক্ত করা হয়। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভাণ্ডার বলা হয় এবং পাঠ্যকে টোকেনে বিভক্ত করার প্রক্রিয়াটিকে টোকেনাইজেশন বলা হয়।

জেমিনি মডেলের জন্য, একটি টোকেন প্রায় ৪টি অক্ষরের সমান। ১০০টি টোকেন প্রায় ৬০-৮০টি ইংরেজি শব্দের সমান।

প্রতিটি মডেলে প্রম্পট এবং রেসপন্সে সর্বোচ্চ সংখ্যক টোকেন পরিচালনা করা যায়। আপনার প্রম্পটের টোকেন গণনা জানার মাধ্যমে আপনি জানতে পারবেন যে আপনি এই সীমা অতিক্রম করেছেন কিনা। অতিরিক্তভাবে, একটি অনুরোধের খরচ আংশিকভাবে ইনপুট এবং আউটপুট টোকেনের সংখ্যা দ্বারা নির্ধারিত হয়, তাই টোকেন কীভাবে গণনা করতে হয় তা জানা সহায়ক হতে পারে।

মনে রাখবেন যে জেমিনি ১.০ এবং ১.৫ মডেলগুলিতেও "বিলযোগ্য অক্ষর" গণনা এবং মূল্য নির্ধারণ সমর্থন করা হয়েছিল, কিন্তু যেহেতু এই মডেলগুলি হয় অবসরপ্রাপ্ত অথবা শীঘ্রই অবসরপ্রাপ্ত, তাই এই পৃষ্ঠায় বিলযোগ্য অক্ষর সম্পর্কে কিছু বর্ণনা করা হয়নি।

সমর্থিত মডেল

  • gemini-2.5-pro
  • gemini-2.5-flash
  • gemini-2.5-flash-lite
  • gemini-2.0-flash-001 (এবং এর স্বয়ংক্রিয় আপডেট হওয়া উপনাম gemini-2.0-flash )
  • gemini-2.0-flash-lite-001 (এবং এর স্বয়ংক্রিয় আপডেট হওয়া উপনাম gemini-2.0-flash-lite )
  • gemini-2.0-flash-preview-image-generation

টোকেন গণনার বিকল্পগুলি

জেমিনি এপিআই- এর জন্য সমস্ত ইনপুট এবং আউটপুট টোকেনাইজড, যার মধ্যে টেক্সট, ইমেজ ফাইল এবং অন্যান্য নন-টেক্সট মোডালিটি অন্তর্ভুক্ত। টোকেন গণনার বিকল্পগুলি এখানে দেওয়া হল:

শুধুমাত্র আপনার অনুরোধগুলির জন্য টোকেন গণনা পরীক্ষা করুন (মডেলে পাঠানোর আগে)।
মডেলে পাঠানোর আগে অনুরোধের ইনপুট সহ countTokens কল করুন। এটি ফেরত দেয়:
  • total_tokens : শুধুমাত্র ইনপুটের টোকেন গণনা
আপনার অনুরোধ এবং প্রতিক্রিয়া উভয়ের জন্য টোকেন গণনা পরীক্ষা করুন।
রেসপন্স অবজেক্টে usageMetadata অ্যাট্রিবিউট ব্যবহার করুন। এর মধ্যে রয়েছে:
  • prompt_token_count : শুধুমাত্র ইনপুটের টোকেন গণনা
  • candidates_token_count : শুধুমাত্র আউটপুটের টোকেন গণনা (চিন্তা টোকেন অন্তর্ভুক্ত নয়)
  • thoughts_token_count : প্রতিক্রিয়া তৈরি করতে ব্যবহৃত যেকোনো চিন্তাভাবনার টোকেনের টোকেন গণনা
  • total_token_count : ইনপুট এবং আউটপুট উভয়ের জন্য টোকেনের মোট সংখ্যা (যেকোন চিন্তাভাবনা টোকেন অন্তর্ভুক্ত)

আউটপুট স্ট্রিম করার সময়, usageMetadata অ্যাট্রিবিউটটি শুধুমাত্র স্ট্রিমের শেষ অংশে প্রদর্শিত হয়। মধ্যবর্তী অংশের জন্য এটি nil ।

উপরের বিকল্পগুলি সম্পর্কে নিম্নলিখিত বিষয়গুলি লক্ষ্য করুন:

  • তারা ইনপুট ছবির সংখ্যা বা ভিডিও বা অডিও ইনপুট ফাইলে সেকেন্ডের সংখ্যা গণনা করবে না । তবে, এই প্রতিটি পদ্ধতির জন্য টোকেন গণনা এই মানগুলির সাথে সম্পর্কিত হবে।
  • ইনপুট টোকেন গণনার মধ্যে প্রম্পট (টেক্সট এবং যেকোনো ইনপুট ফাইল) এবং যেকোনো সিস্টেম নির্দেশাবলী এবং সরঞ্জাম অন্তর্ভুক্ত থাকে।
  • আউটপুট টোকেন গণনায় কোনও চিন্তাভাবনামূলক টোকেন অন্তর্ভুক্ত থাকে না; সেগুলি একটি পৃথক ক্ষেত্রে সরবরাহ করা হয়।
  • এই পৃষ্ঠায় পরে প্রতিটি ধরণের অনুরোধের জন্য নির্দিষ্ট অতিরিক্ত তথ্য পর্যালোচনা করুন।

এই বিকল্পগুলির জন্য মূল্য নির্ধারণ

  • countTokens কল করা: countTokens (Count Tokens API) কল করার জন্য কোনও চার্জ নেই। Count Tokens API-এর সর্বোচ্চ কোটা হল প্রতি মিনিটে 3000টি অনুরোধ (RPM)।

  • usageMetadata অ্যাট্রিবিউট ব্যবহার করা: এই অ্যাট্রিবিউটটি সর্বদা প্রতিক্রিয়ার অংশ হিসাবে ফেরত পাঠানো হয় এবং এতে কোনও টোকেন বা চার্জ লাগে না।

অতিরিক্ত তথ্য

নির্দিষ্ট ধরণের অনুরোধের সাথে কাজ করার সময় এখানে কিছু অতিরিক্ত তথ্য দেওয়া হল।

টেক্সট ইনপুট টোকেন গণনা করুন

কোনও অতিরিক্ত তথ্য নেই।

মাল্টি-টার্ন (চ্যাট) টোকেন গণনা করুন

চ্যাট ব্যবহার করার সময় countTokens কল করার জন্য নিম্নলিখিত বিষয়গুলি লক্ষ্য করুন:

  • যদি আপনি চ্যাট ইতিহাস সহ countTokens কল করেন, তাহলে এটি চ্যাটের উভয় ভূমিকা থেকে মোট টোকেন গণনা ফেরত দেয় ( total_tokens )।
  • আপনার পরবর্তী কথোপকথনের পালা কতটা বড় হবে তা বোঝার জন্য, countTokens কল করার সময় আপনাকে এটি ইতিহাসের সাথে যুক্ত করতে হবে।

মাল্টিমোডাল ইনপুট টোকেন গণনা করুন

মাল্টিমোডাল ইনপুট ব্যবহার করে টোকেন গণনা করার সময় নিম্নলিখিত বিষয়গুলি লক্ষ্য করুন:

  • আপনি ঐচ্ছিকভাবে টেক্সট এবং ফাইলে আলাদাভাবে countTokens কল করতে পারেন।
  • উভয় টোকেন গণনা বিকল্পের জন্য, আপনি ফাইলটি ইনলাইন ডেটা হিসাবে প্রদান করুন বা এর URL ব্যবহার করুন, আপনি একই টোকেন গণনা পাবেন।

চিত্র ইনপুট ফাইল

চিত্র ইনপুট ফাইলগুলি তাদের মাত্রার উপর ভিত্তি করে টোকেনে রূপান্তরিত হয়:

  • ৩৮৪ পিক্সেলের কম বা সমান উভয় মাত্রার ছবির ইনপুট: প্রতিটি ছবি ২৫৮টি টোকেন হিসেবে গণনা করা হয়।
  • এক বা উভয় মাত্রায় বড় ছবির ইনপুট: প্রতিটি ছবি প্রয়োজন অনুযায়ী ৭৬৮x৭৬৮ পিক্সেলের টাইলগুলিতে ক্রপ এবং স্কেল করা হয় এবং তারপর প্রতিটি টাইলকে ২৫৮টি টোকেন হিসেবে গণনা করা হয়।

ভিডিও এবং অডিও ইনপুট ফাইল

ভিডিও এবং অডিও ইনপুট ফাইলগুলি নিম্নলিখিত নির্দিষ্ট হারে টোকেনে রূপান্তরিত হয়:

  • ভিডিও: প্রতি সেকেন্ডে ২৬৩ টোকেন
  • অডিও: প্রতি সেকেন্ডে ৩২ টোকেন

ডকুমেন্ট (যেমন পিডিএফ) ইনপুট ফাইল

পিডিএফ ইনপুট ফাইলগুলিকে ছবি হিসেবে বিবেচনা করা হয়, তাই পিডিএফের প্রতিটি পৃষ্ঠাকে ছবির মতোই টোকেনাইজ করা হয়।