Ollama 插件

Ollama 插件提供 Ollama 支持的任何本地 LLM 的接口。

前提条件

该插件要求您先安装并运行 Ollama 服务器。您可以按照下载 Ollama 页面上的说明操作。

使用 Ollama CLI 下载您感兴趣的模型。例如：

ollama pull gemma3

对于开发，您可以在开发机器上运行 Ollama。已部署的应用通常会在一台 GPU 加速机器上运行 Ollama，该机器与运行 Genkit 应用后端的主机不同。

配置

如需使用此插件，请在 Genkit 初始化程序中将 ollama.Ollama 传递给 WithPlugins()，并指定 Ollama 服务器的地址：

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

用法

如需生成内容，您首先需要根据已安装并想要使用的模型创建模型定义。例如，如果您安装了 Gemma 2：

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

然后，您可以使用模型引用向 Ollama 服务器发送请求：

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

如需了解详情，请参阅生成内容。