پلاگین اوللاما

با مجموعه‌ها، منظم بمانید ذخیره و طبقه‌بندی محتوا براساس اولویت‌های شما.

پلاگین Olama برای هر یک از LLM های محلی پشتیبانی شده توسط Ollama رابط ها را فراهم می کند.

پیش نیازها

این افزونه نیاز دارد که ابتدا سرور اوللاما را نصب و اجرا کنید. می توانید دستورالعمل های صفحه دانلود اوللاما را دنبال کنید.

از Ollama CLI برای دانلود مدل های مورد علاقه خود استفاده کنید. به عنوان مثال:

ollama pull gemma3

برای توسعه، می‌توانید Olama را روی دستگاه توسعه خود اجرا کنید. برنامه‌های مستقر معمولاً Olama را روی دستگاهی با شتاب GPU اجرا می‌کنند که با دستگاهی که میزبان برنامه باطن برنامه Genkit است متفاوت است.

پیکربندی

برای استفاده از این افزونه، ollama.Ollama را به WithPlugins() در اولیه Genkit ارسال کنید و آدرس سرور Ollama خود را مشخص کنید:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

استفاده

برای تولید محتوا، ابتدا باید یک تعریف مدل بر اساس مدلی که نصب کرده اید و می خواهید استفاده کنید ایجاد کنید. به عنوان مثال، اگر Gemma 2 را نصب کرده باشید:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

سپس، می‌توانید از مرجع مدل برای ارسال درخواست‌ها به سرور Ollama خود استفاده کنید:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

برای اطلاعات بیشتر به تولید محتوا مراجعه کنید.