Ollama प्लगिन

Ollama प्लगिन, उन सभी स्थानीय एलएलएम के लिए इंटरफ़ेस उपलब्ध कराता है जो Android 18 के साथ काम करते हैं ओलामा.

ज़रूरी शर्तें

इस प्लग इन के लिए ज़रूरी है कि आप पहले Ollama सर्वर को इंस्टॉल करें और चलाएं. आप डाउनलोड ओलामा पेज पर दिए गए निर्देशों का पालन करें करें.

अपनी दिलचस्पी के मॉडल डाउनलोड करने के लिए, Ollama CLI का इस्तेमाल करें. उदाहरण के लिए:

ollama pull gemma2

डेवलपमेंट के लिए, आप अपनी डेवलपमेंट मशीन पर Ollama चला सकते हैं. डिप्लॉय किए गए ऐप्लिकेशन आम तौर पर, Ollama को ऐप्लिकेशन बैकएंड से किसी दूसरी मशीन पर, जीपीयू से तेज़ी से चलाया जाता है जो Genkit चलाता है.

कॉन्फ़िगरेशन

इस प्लग इन का इस्तेमाल करने के लिए, अपने Ollama का पता बताते हुए ollama.Init() को कॉल करें सर्वर:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

इस्तेमाल किए जाने से जुड़ी जानकारी

कॉन्टेंट जनरेट करने के लिए, आपको पहले मॉडल है जिसे आपने इंस्टॉल किया है और जिसका इस्तेमाल करना है. उदाहरण के लिए, अगर आपने Gemma 2 इंस्टॉल किया है, तो:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

इसके बाद, अपने Ollama सर्वर को अनुरोध भेजने के लिए, मॉडल रेफ़रंस का इस्तेमाल किया जा सकता है:

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

ज़्यादा जानकारी के लिए, कॉन्टेंट जनरेट करना लेख पढ़ें.