Plug-in Ollama

Le plug-in Ollama fournit des interfaces à tous les LLM locaux compatibles avec Ollama.

Prérequis

Pour utiliser ce plug-in, vous devez d'abord installer et exécuter le serveur Ollama. Vous pouvez suivre les instructions sur la page Télécharger Ollama.

Utilisez la CLI Ollama pour télécharger les modèles qui vous intéressent. Exemple :

ollama pull gemma3

Pour le développement, vous pouvez exécuter Ollama sur votre ordinateur de développement. Les applications déployées exécutent généralement Ollama sur une machine accélérée par GPU différente de celle qui héberge le backend de l'application exécutant Genkit.

Configuration

Pour utiliser ce plug-in, transmettez ollama.Ollama à WithPlugins() dans l'initialiseur Genkit, en spécifiant l'adresse de votre serveur Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Utilisation

Pour générer du contenu, vous devez d'abord créer une définition de modèle basée sur le modèle que vous avez installé et que vous souhaitez utiliser. Par exemple, si vous avez installé Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Vous pouvez ensuite utiliser la référence du modèle pour envoyer des requêtes à votre serveur Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Pour en savoir plus, consultez Générer du contenu.