Ollama-Plug-in

Das Ollama-Plug-in bietet Schnittstellen zu allen lokalen LLMs, die von Ollama unterstützt werden.

Vorbereitung

Für dieses Plug-in müssen Sie zuerst den Ollama-Server installieren und ausführen. Folgen Sie dazu der Anleitung auf der Seite Ollama herunterladen.

Verwenden Sie die Ollama-Befehlszeile, um die gewünschten Modelle herunterzuladen. Beispiel:

ollama pull gemma3

Für die Entwicklung können Sie Ollama auf Ihrem Entwicklungscomputer ausführen. In bereitgestellten Apps wird Ollama in der Regel auf einem GPU-beschleunigten Computer ausgeführt, der sich von dem Computer unterscheidet, auf dem das App-Back-End mit Genkit gehostet wird.

Konfiguration

Wenn Sie dieses Plug-in verwenden möchten, geben Sie im Genkit-Initialisierer ollama.Ollama an WithPlugins() weiter und geben Sie dabei die Adresse Ihres Ollama-Servers an:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Nutzung

Wenn Sie Inhalte generieren möchten, müssen Sie zuerst eine Modelldefinition basierend auf dem Modell erstellen, das Sie installiert und verwenden möchten. Wenn Sie beispielsweise Gemma 2 installiert haben:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Anschließend können Sie mithilfe der Modellreferenz Anfragen an Ihren Ollama-Server senden:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Weitere Informationen finden Sie unter Inhalte generieren.