ওল্লামা প্লাগইন

সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

ওল্লামা প্লাগইন ওল্লামা দ্বারা সমর্থিত যেকোনো স্থানীয় LLM-কে ইন্টারফেস প্রদান করে।

পূর্বশর্ত

এই প্লাগইনটির জন্য আপনাকে প্রথমে ওল্লামা সার্ভার ইনস্টল এবং রান করতে হবে। আপনি ওল্লামা ডাউনলোড পৃষ্ঠার নির্দেশাবলী অনুসরণ করতে পারেন।

আপনি যে মডেলগুলিতে আগ্রহী সেগুলি ডাউনলোড করতে ওল্লামা CLI ব্যবহার করুন৷ উদাহরণস্বরূপ:

ollama pull gemma3

উন্নয়নের জন্য, আপনি আপনার ডেভেলপমেন্ট মেশিনে ওল্লামা চালাতে পারেন। মোতায়েন করা অ্যাপগুলি সাধারণত GPU-এক্সিলারেটেড মেশিনে Ollama চালায় যা Genkit চলমান অ্যাপ ব্যাকএন্ড হোস্ট করা থেকে আলাদা।

কনফিগারেশন

এই প্লাগইনটি ব্যবহার করতে, আপনার ওল্লামা সার্ভারের ঠিকানা উল্লেখ করে জেনকিট ইনিশিয়েলাইজারে ollama.Ollama কে WithPlugins() এ পাস করুন:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

ব্যবহার

বিষয়বস্তু তৈরি করতে, আপনাকে প্রথমে আপনি যে মডেলটি ইনস্টল করেছেন এবং ব্যবহার করতে চান তার উপর ভিত্তি করে একটি মডেল সংজ্ঞা তৈরি করতে হবে। উদাহরণস্বরূপ, যদি আপনি Gemma 2 ইনস্টল করেন:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

তারপর, আপনি আপনার ওল্লামা সার্ভারে অনুরোধ পাঠাতে মডেল রেফারেন্স ব্যবহার করতে পারেন:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

আরও তথ্যের জন্য সামগ্রী তৈরি করা দেখুন।