Plugin Ollama

Plugin Ollama menyediakan antarmuka ke LLM lokal mana pun yang didukung oleh Ollama.

Prasyarat

Plugin ini mengharuskan Anda menginstal dan menjalankan server Ollama terlebih dahulu. Anda dapat ikuti petunjuk di Mendownload Ollama kami.

Gunakan CLI Ollama untuk mendownload model yang Anda minati. Contoh:

ollama pull gemma2

Untuk pengembangan, Anda dapat menjalankan Ollama di mesin pengembangan. Aplikasi yang di-deploy biasanya menjalankan Ollama di mesin lain yang diakselerasi dengan GPU dari backend aplikasi yang menjalankan Genkit.

Konfigurasi

Untuk menggunakan plugin ini, panggil ollama.Init(), dengan menentukan alamat Ollama Anda server:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

Penggunaan

Untuk menghasilkan konten, pertama-tama Anda perlu membuat definisi model berdasarkan model yang Anda instal dan ingin gunakan. Misalnya, jika Anda menginstal Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Kemudian, Anda dapat menggunakan referensi model untuk mengirim permintaan ke server Ollama:

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

Lihat Membuat konten untuk informasi selengkapnya.