Ollama प्लगिन

संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

Ollama प्लग इन, Ollama के साथ काम करने वाले किसी भी स्थानीय एलएलएम के लिए इंटरफ़ेस उपलब्ध कराता है.

ज़रूरी शर्तें

इस प्लगिन को इस्तेमाल करने के लिए, आपको पहले Ollama सर्वर इंस्टॉल और चलाना होगा. Ollama डाउनलोड करें पेज पर दिए गए निर्देशों का पालन करें.

अपनी पसंद के मॉडल डाउनलोड करने के लिए, Ollama CLI का इस्तेमाल करें. उदाहरण के लिए:

ollama pull gemma3

डेवलपमेंट के लिए, अपनी डेवलपमेंट मशीन पर Ollama को चलाया जा सकता है. डिप्लॉय किए गए ऐप्लिकेशन, आम तौर पर GPU की मदद से तेज़ी से काम करने वाली मशीन पर Ollama चलाते हैं. यह मशीन, Genkit चलाने वाले ऐप्लिकेशन के बैकएंड को होस्ट करने वाली मशीन से अलग होती है.

कॉन्फ़िगरेशन

इस प्लग इन का इस्तेमाल करने के लिए, Genkit initializer में ollama.Ollama से WithPlugins() पर जाएं. साथ ही, अपने Ollama सर्वर का पता दें:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

इस्तेमाल

कॉन्टेंट जनरेट करने के लिए, आपको सबसे पहले उस मॉडल के आधार पर मॉडल की परिभाषा बनानी होगी जिसे आपने इंस्टॉल किया है और जिसका इस्तेमाल करना है. उदाहरण के लिए, अगर आपने Gemma 2 इंस्टॉल किया है, तो:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

इसके बाद, अपने Ollama सर्वर को अनुरोध भेजने के लिए, मॉडल रेफ़रंस का इस्तेमाल किया जा सकता है:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

ज़्यादा जानकारी के लिए, कॉन्टेंट जनरेट करना लेख पढ़ें.