Ollama 外掛程式

透過 Ollama 外掛程式，您可以使用 Ollama：

事前準備

您必須先安裝並執行 Ollama 伺服器，才能使用這個外掛程式。你可以 按照下載 Ollama 的說明操作 頁面。

使用 Ollama CLI 下載感興趣的模型。例如：

ollama pull gemma2

針對開發作業，您可以在開發機器上執行 Ollama。已部署的應用程式 通常在來自應用程式後端的其他機器，以 GPU 加速運算技術的機器執行 Ollama 執行 Genkit 的容器

設定

如要使用這個外掛程式，請呼叫 ollama.Init()，並指定您 Ollama 的地址 伺服器：

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

用量

如要產生內容，您必須先根據 安裝並想要使用的模型舉例來說，如果您安裝了 Gemma 2：

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

接著，您就能使用模型參照將要求傳送至 Ollama 伺服器：

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

詳情請參閱產生內容。