মিথুন মডেলের জন্য টোকেন এবং বিলযোগ্য অক্ষর গণনা করুন

জেনারেটিভ মডেলগুলি প্রক্রিয়াকরণের জন্য টোকেন নামক ইউনিটগুলিতে ডেটা ভেঙে দেয়। প্রতিটি মডেলের সর্বাধিক সংখ্যক টোকেন রয়েছে যা এটি একটি প্রম্পট এবং প্রতিক্রিয়াতে পরিচালনা করতে পারে।

এই পৃষ্ঠাটি আপনাকে দেখায় কিভাবে টোকেন গণনা এবং মিথুন মডেলের অনুরোধের জন্য বিলযোগ্য অক্ষরের সংখ্যার একটি অনুমান পেতে Count Tokens API ব্যবহার করতে হয়। একটি প্রতিক্রিয়াতে টোকেনের অনুমান পাওয়ার জন্য একটি API নেই।

মনে রাখবেন যে কাউন্ট টোকেন API ইমেজেন মডেলের জন্য ব্যবহার করা যাবে না

গণনা কি তথ্য প্রদান করা হয়?

টোকেন এবং বিলযোগ্য অক্ষর গণনা সম্পর্কে নিম্নলিখিত নোট করুন:

  • মোট টোকেন গণনা করা হচ্ছে

    • এই গণনাটি নিশ্চিত করতে সহায়ক যে আপনার অনুরোধগুলি অনুমোদিত প্রসঙ্গ উইন্ডোর উপরে না যায়।

    • টোকেন গণনা অনুরোধ ইনপুটের অংশ হিসাবে সরবরাহ করা সমস্ত ফাইলের আকার (উদাহরণস্বরূপ, ছবি) প্রতিফলিত করবে। এটি একটি ভিডিওতে ছবির সংখ্যা বা সেকেন্ডের সংখ্যা গণনা করবে না

    • সমস্ত মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 টোকেন প্রায় 60-80 ইংরেজি শব্দ।

  • মোট বিলযোগ্য অক্ষর গণনা করা হচ্ছে

    • এই গণনাটি আপনার খরচ বোঝার এবং নিয়ন্ত্রণ করার জন্য সহায়ক, যেহেতু Vertex AI এর জন্য, অক্ষরের সংখ্যা মূল্য গণনার অংশ।

    • বিলযোগ্য অক্ষর গণনা অনুরোধ ইনপুটের অংশ হিসাবে দেওয়া পাঠ্যের অক্ষরের সংখ্যা প্রতিফলিত করবে।

পুরানো মিথুন মডেলের জন্য, টোকেন মূল্য গণনার অংশ নয় ; যাইহোক, জেমিনি 2.0 এবং জেমিনি 2.5 মডেলের জন্য, টোকেনগুলি মূল্য গণনায় ব্যবহৃত হয়। মডেল প্রতি টোকেন সীমা এবং মডেল প্রতি মূল্য সম্পর্কে আরও জানুন।

টোকেন এবং বিলযোগ্য অক্ষর গণনার জন্য মূল্য এবং কোটা

CountTokens API ব্যবহার করার জন্য কোন চার্জ বা কোটা সীমাবদ্ধতা নেই। CountTokens API-এর সর্বোচ্চ কোটা হল প্রতি মিনিটে 3000 অনুরোধ (RPM)।

কোড নমুনা

শুধুমাত্র পাঠ্য ইনপুট

সুইফট

let response = try await model.countTokens("Write a story about a magic backpack.")
print("Total Tokens: \(response.totalTokens)")
print("Total Billable Characters: \(response.totalBillableCharacters)")

Kotlin

val response = generativeModel.countTokens("Write a story about a magic backpack.")
println("Total Tokens: ${response.totalTokens}")
println("Total Billable Characters: ${response.totalBillableCharacters}")

Java

Content prompt = new Content.Builder()
        .addText("Write a story about a magic backpack.")
        .build();

GenerativeModelFutures modelFutures = GenerativeModelFutures.from(model);
ListenableFuture countTokensResponse =
        modelFutures.countTokens(prompt);

Futures.addCallback(countTokensResponse, new FutureCallback() {
    @Override
    public void onSuccess(CountTokensResponse response) {
        System.out.println("Total Tokens = " + response.getTotalTokens());
        System.out.println("Total Billable Characters: = " +
                response.getTotalBillableCharacters());
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Web

const { totalTokens, totalBillableCharacters } = await model.countTokens("Write a story about a magic backpack.");
console.log(`Total tokens: ${totalTokens}, total billable characters: ${totalBillableCharacters}`);

Dart

final tokenCount = await model.countTokens(Content.text("Write a story about a magic backpack."));
print('Token count: ${tokenCount.totalTokens}, billable characters: ${tokenCount.totalBillableCharacters}');

ঐক্য

var response = await model.CountTokensAsync("Write a story about a magic backpack.");
UnityEngine.Debug.Log($"Total Tokens: {response.TotalTokens}");
UnityEngine.Debug.Log($"Total Billable Characters: {response.TotalBillableCharacters}");

মাল্টিমোডাল ইনপুট

সুইফট

let response = try await model.countTokens(image, "What's in this picture?")
print("Total Tokens: \(response.totalTokens)")
print("Total Billable Characters: \(response.totalBillableCharacters)")

Kotlin

val prompt = content {
  image(bitmap)
  text("What's in this picture?")
}
val response = generativeModel.countTokens(prompt)
println("Total Tokens: ${response.totalTokens}")
println("Total Billable Characters: ${response.totalBillableCharacters}")

Java

Content prompt = new Content.Builder()
        .addImage(bitmap)
        .addText("What's in this picture?")
        .build();

GenerativeModelFutures modelFutures = GenerativeModelFutures.from(model);
ListenableFuture countTokensResponse =
        modelFutures.countTokens(prompt);

Futures.addCallback(countTokensResponse, new FutureCallback() {
    @Override
    public void onSuccess(CountTokensResponse response) {
        System.out.println("Total Tokens = " + response.getTotalTokens());
        System.out.println("Total Billable Characters: = " +
                response.getTotalBillableCharacters());
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Web

const prompt = "What's in this picture?";
const imagePart = { inlineData: { mimeType: 'image/jpeg', data: imageAsBase64 }};

const { totalTokens, totalBillableCharacters } = await model.countTokens([prompt, imagePart]);
console.log(`Total tokens: ${totalTokens}, total billable characters: ${totalBillableCharacters}`);

Dart

final prompt = TextPart("What's in the picture?");
final tokenCount = await model.countTokens([
  Content.multi([prompt, imagePart])
]);
print('Token count: ${tokenCount.totalTokens}, billable characters: ${tokenCount.totalBillableCharacters}');

ঐক্য

var response = await model.CountTokensAsync(new [] {
  ModelContent.Text("What's in this picture?"),
  ModelContent.InlineData("image/png", imageData)
});
UnityEngine.Debug.Log($"Total Tokens: {response.TotalTokens}");
UnityEngine.Debug.Log($"Total Billable Characters: {response.TotalBillableCharacters}");