پلاگین اوللاما

پلاگین Olama برای هر یک از LLM های محلی پشتیبانی شده توسط Ollama رابط ها را فراهم می کند.

پیش نیازها

این افزونه نیاز دارد که ابتدا سرور اوللاما را نصب و اجرا کنید. می توانید دستورالعمل های صفحه دانلود اوللاما را دنبال کنید.

از Ollama CLI برای دانلود مدل های مورد علاقه خود استفاده کنید. به عنوان مثال:

ollama pull gemma2

برای توسعه، می‌توانید Olama را روی دستگاه توسعه خود اجرا کنید. برنامه‌های مستقر معمولاً Ollama را روی دستگاه دیگری با شتاب GPU از برنامه کاربردی که Genkit را اجرا می‌کند، اجرا می‌کنند.

پیکربندی

برای استفاده از این افزونه، با مشخص کردن آدرس سرور Olama خود ollama.Init() را فراخوانی کنید:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

استفاده

برای تولید محتوا، ابتدا باید یک تعریف مدل بر اساس مدلی که نصب کرده اید و می خواهید استفاده کنید ایجاد کنید. به عنوان مثال، اگر Gemma 2 را نصب کرده باشید:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

سپس، می‌توانید از مرجع مدل برای ارسال درخواست‌ها به سرور Ollama خود استفاده کنید:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

برای اطلاعات بیشتر به تولید محتوا مراجعه کنید.