Ollama-Plug-in

Das Ollama-Plug-in bietet Schnittstellen zu allen lokalen LLMs, die von Ollama.

Vorbereitung

Für dieses Plug-in müssen Sie zuerst den Ollama-Server installieren und ausführen. Folgen Sie dazu der Anleitung auf der Seite Ollama herunterladen.

Laden Sie die gewünschten Modelle mit der Ollama-Befehlszeile herunter. Beispiel:

ollama pull gemma2

Für die Entwicklung können Sie Ollama auf Ihrem Entwicklungscomputer ausführen. Bereitgestellte Apps Ollama wird normalerweise auf einer anderen GPU-beschleunigten Maschine vom App-Backend aus ausgeführt für Genkit.

Konfiguration

Wenn Sie dieses Plug-in verwenden möchten, rufen Sie ollama.Init() auf und geben Sie die Adresse Ihres Ollama-Servers an:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Nutzung

Wenn Sie Inhalte generieren möchten, müssen Sie zuerst eine Modelldefinition basierend auf dem Modell erstellen, das Sie installiert und verwenden möchten. Wenn Sie beispielsweise Gemma 2 installiert haben:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

Anschließend können Sie mithilfe der Modellreferenz Anfragen an Ihren Ollama-Server senden:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

Weitere Informationen finden Sie unter Inhalte generieren.