Ollama 플러그인

Ollama 플러그인은 지원되는 모든 로컬 LLM에 인터페이스를 제공합니다. Ollama -

기본 요건

이 플러그인을 사용하려면 먼저 Ollama 서버를 설치하고 실행해야 합니다. 다음과 같은 작업을 할 수 있습니다. Ollama 다운로드 있습니다.

Ollama CLI를 사용하여 관심 있는 모델을 다운로드합니다. 예를 들면 다음과 같습니다.

ollama pull gemma2

개발의 경우 개발 머신에서 Ollama를 실행할 수 있습니다. 배포된 앱 일반적으로 앱 백엔드와 다른 GPU 가속 머신에서 Ollama를 실행합니다. 생성형 키트를 실행하는 Google Kubernetes Engine 클러스터입니다

구성

이 플러그인을 사용하려면 ollama.Init()를 호출하여 Ollama의 주소를 지정합니다. 있습니다.

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

용도

콘텐츠를 생성하려면 먼저 모델을 기반으로 모델 정의를 모델을 선택합니다. 예를 들어 Gemma 2를 설치한 경우:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

그런 다음 모델 참조를 사용하여 Ollama 서버에 요청을 보낼 수 있습니다.

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

자세한 내용은 콘텐츠 생성을 참고하세요.