Plug-in Ollama

Le plug-in Ollama fournit des interfaces à tous les LLM locaux compatibles avec Ollama.

Prérequis

Pour utiliser ce plug-in, vous devez d'abord installer et exécuter le serveur Ollama. Vous pouvez suivre les instructions sur la page Télécharger Ollama.

Utilisez la CLI Ollama pour télécharger les modèles qui vous intéressent. Exemple :

ollama pull gemma2

Pour le développement, vous pouvez exécuter Ollama sur votre ordinateur de développement. Applications déployées exécute généralement Ollama sur une autre machine accélérée par GPU du backend de l'application qui exécute Genkit.

Configuration

Pour utiliser ce plug-in, appelez ollama.Init() en spécifiant l'adresse de votre Ollama serveur:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Utilisation

Pour générer du contenu, vous devez d'abord créer une définition de modèle basée sur le modèle que vous avez installé et que vous souhaitez utiliser. Par exemple, si vous avez installé Gemma 2 :

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

Vous pouvez ensuite utiliser la référence du modèle pour envoyer des requêtes à votre serveur Ollama :

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

Pour en savoir plus, consultez Générer du contenu.