Plugin Ollama

Plugin Ollama menyediakan antarmuka ke LLM lokal mana pun yang didukung oleh Ollama.

Prasyarat

Plugin ini mengharuskan Anda menginstal dan menjalankan server Ollama terlebih dahulu. Anda dapat mengikuti petunjuk di halaman Download Ollama.

Gunakan CLI Ollama untuk mendownload model yang Anda minati. Contoh:

ollama pull gemma3

Untuk pengembangan, Anda dapat menjalankan Ollama di mesin pengembangan. Aplikasi yang di-deploy biasanya menjalankan Ollama pada mesin yang memiliki akselerasi GPU yang berbeda dengan mesin yang menghosting backend aplikasi dan menjalankan Genkit.

Konfigurasi

Untuk menggunakan plugin ini, teruskan ollama.Ollama ke WithPlugins() di penginisialisasi Genkit, dengan menentukan alamat server Ollama Anda:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Penggunaan

Untuk menghasilkan konten, pertama-tama Anda perlu membuat definisi model berdasarkan model yang Anda instal dan ingin gunakan. Misalnya, jika Anda menginstal Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Kemudian, Anda dapat menggunakan referensi model untuk mengirim permintaan ke server Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Lihat Membuat konten untuk mengetahui informasi selengkapnya.