Ollama 插件可为 奥拉马。
前提条件
该插件要求您首先安装并运行 Ollama 服务器。您可以 请按照 下载 Ollama 页面。
使用 Ollama CLI 下载您感兴趣的模型。例如:
ollama pull gemma2
对于开发,您可以在开发机器上运行 Ollama。已部署的应用 通常在应用后端之外的其他 GPU 加速的机器上运行 Ollama 运行 Genkit 所需的工具
配置
如需使用此插件,请调用 ollama.Init()
,并指定您的 Ollama 的地址
服务器:
import "github.com/firebase/genkit/go/plugins/ollama"
// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
return err
}
用法
要生成内容,您首先需要根据 和想要使用的模型。例如,如果您安装了 Gemma 2:
model := ollama.DefineModel(
ollama.ModelDefinition{
Name: "gemma2",
Type: "chat", // "chat" or "generate"
},
&ai.ModelCapabilities{
Multiturn: true,
SystemRole: true,
Tools: false,
Media: false,
},
)
然后,您可以使用模型引用将请求发送到您的 Ollama 服务器:
genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
return err
}
如需了解详情,请参阅生成内容。