Wtyczka Ollama

Wtyczka Ollama zapewnia interfejsy do dowolnego z lokalnych LLM obsługiwanych przez Ollama

Wymagania wstępne

Ta wtyczka wymaga wcześniejszego zainstalowania i uruchomienia serwera Ollama. Dostępne opcje postępuj zgodnie z instrukcjami dotyczącymi pobierania aplikacji Ollama stronę.

Za pomocą interfejsu wiersza poleceń Ollama pobierz interesujące Cię modele. Przykład:

ollama pull gemma2

Programistę możesz uruchomić na swoim komputerze Ollama. Wdrożone aplikacje zwykle uruchamia Ollama na innym komputerze z backendem aplikacji z akceleracją GPU który obsługuje Genkit.

Konfiguracja

Aby użyć tej wtyczki, wywołaj ollama.Init(), podając adres swojego urządzenia Ollama serwer:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Wykorzystanie

Aby wygenerować treść, musisz najpierw utworzyć definicję modelu na podstawie i modelu zainstalowanego przez Ciebie modelu, którego chcesz używać. Jeśli na przykład masz zainstalowaną aplikację Gemma 2:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

Następnie możesz używać odniesienia do modelu do wysyłania żądań do serwera Ollama:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

Więcej informacji znajdziesz w artykule Generowanie treści.