Ollama プラグイン

Ollama プラグインは、Ollama プラグインによってサポートされているローカル LLM へのインターフェースを提供します。 Ollama。

前提条件

このプラグインを使用するには、まず Ollama サーバーをインストールして実行する必要があります。Google Chat では Ollama をダウンロードの手順に沿って操作してください。 できます。

Ollama CLI を使用して、目的のモデルをダウンロードします。例:

ollama pull gemma2

開発では、開発マシンで Ollama を実行します。デプロイされているアプリ Ollama は通常、アプリ バックエンドとは異なる GPU アクセラレーションのマシンで実行します。 Genkit を実行するリポジトリです。

構成

このプラグインを使用するには、ollama.Init() を呼び出して Ollama のアドレスを指定します。 server:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

用途

コンテンツを生成するには、まずコンテンツに基づいてモデル定義を作成する必要があります。 モデルを定義します。たとえば、Gemma 2 をインストールした場合は、次のようになります。

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

その後、モデル参照を使用して Ollama サーバーにリクエストを送信できます。

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

詳しくは、コンテンツの生成をご覧ください。