הפלאגין Ollama

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

הפלאגין של Ollama מספק ממשקים לכל אחד מ-LLM המקומיים שנתמכים על ידי Ollama.

דרישות מוקדמות

כדי להשתמש בפלאגין הזה, קודם צריך להתקין ולהפעיל את שרת Ollama. אפשר לפעול לפי ההוראות שמפורטות בדף Download Ollama.

משתמשים ב-CLI של Ollama כדי להוריד את המודלים הרצויים. לדוגמה:

ollama pull gemma3

בפיתוח, אפשר להריץ את Ollama במכונה של הפיתוח. בדרך כלל, אפליקציות פרושות מריצות את Ollama במכונה עם האצה על ידי GPU, שונה מהמכונה שמארחת את הקצה העורפי של האפליקציה שבו פועל Genkit.

תצורה

כדי להשתמש בפלאגין הזה, מעבירים את ollama.Ollama אל WithPlugins() במפעיל של Genkit, ומציינים את הכתובת של שרת Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

שימוש

כדי ליצור תוכן, קודם צריך ליצור הגדרת מודל על סמך המודל שהותקן ובו רוצים להשתמש. לדוגמה, אם התקנתם את Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

לאחר מכן, אפשר להשתמש בהפניה למודל כדי לשלוח בקשות לשרת Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

מידע נוסף זמין במאמר יצירת תוכן.