Trình bổ trợ Ollama

Trình bổ trợ Ollama cung cấp giao diện cho mọi mô hình ngôn ngữ lớn (LLM) địa phương được hỗ trợ Ollama.

Điều kiện tiên quyết

Trình bổ trợ này yêu cầu bạn cài đặt và chạy máy chủ Ollama trước. Bạn có thể làm theo hướng dẫn trên trang Tải Ollama xuống .

Sử dụng Ollama CLI để tải xuống các mô hình mà bạn quan tâm. Ví dụ:

ollama pull gemma2

Để phát triển, bạn có thể chạy Ollama trên máy phát triển của mình. Ứng dụng đã triển khai thường chạy Ollama trên một máy khác có tăng tốc GPU so với phần phụ trợ của ứng dụng chạy Genkit.

Cấu hình

Để sử dụng trình bổ trợ này, hãy gọi ollama.Init(), chỉ định địa chỉ của Ollama máy chủ:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

Cách sử dụng

Để tạo nội dung, trước tiên bạn cần tạo một định nghĩa mô hình dựa trên mô hình bạn đã cài đặt và muốn sử dụng. Ví dụ: nếu bạn đã cài đặt Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Sau đó, bạn có thể sử dụng tham chiếu mô hình để gửi yêu cầu đến máy chủ Ollama của bạn:

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

Hãy xem phần Tạo nội dung để biết thêm thông tin.