Ollama 플러그인

Ollama 플러그인은 Ollama에서 지원되는 모든 로컬 LLM에 대한 인터페이스를 제공합니다.

기본 요건

이 플러그인을 사용하려면 먼저 Ollama 서버를 설치하고 실행해야 합니다. Ollama 다운로드 페이지의 안내를 따르세요.

Ollama CLI를 사용하여 관심 있는 모델을 다운로드합니다. 예를 들면 다음과 같습니다.

ollama pull gemma2

개발의 경우 개발 머신에서 Ollama를 실행할 수 있습니다. 배포된 앱은 일반적으로 Genkit를 실행하는 앱 백엔드와 다른 GPU 가속 머신에서 Ollama를 실행합니다.

구성

이 플러그인을 사용하려면 ollama.Init()을 호출하여 Ollama 서버의 주소를 지정합니다.

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

용도

콘텐츠를 생성하려면 설치하고 사용하려는 모델을 기반으로 모델 정의를 먼저 만들어야 합니다. 예를 들어 Gemma 2를 설치한 경우:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

모델 참조를 사용하여 Ollama 서버에 요청을 보낼 수 있습니다.

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

자세한 내용은 콘텐츠 생성을 참조하세요.