المكوّن الإضافي Ollama

يوفّر المكوّن الإضافي Ollama واجهات لأي من النماذج اللغوية الكبيرة المحلية المتوافقة مع أولاما

المتطلبات الأساسية

يتطلّب هذا المكوّن الإضافي تثبيت خادم Ollama أولاً وتشغيله. يمكنك اتّبِع التعليمات الواردة في تنزيل تطبيق Ollama .

استخدِم Ollama CLI لتنزيل النماذج التي تهمّك. على سبيل المثال:

ollama pull gemma2

لإجراء تطوير، يمكنك تشغيل Ollama على جهاز التطوير. التطبيقات التي تم نشرها يشغّل Ollama عادةً على جهاز مختلف يتم تسريعه باستخدام وحدة معالجة الرسومات من الواجهة الخلفية للتطبيق التي تشغّل Genkit.

الإعداد

لاستخدام هذا المكوّن الإضافي، يمكنك طلب ollama.Init()، لتحديد عنوان Ollama الخاص بك. الخادم:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

الاستخدام

لإنشاء محتوى، عليك أولاً إنشاء تعريف نموذج استنادًا إلى قمت بتثبيته وتريد استخدامه. على سبيل المثال، في حال تثبيت Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

بعد ذلك، يمكنك استخدام مرجع النموذج لإرسال الطلبات إلى خادم Ollama:

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

يمكنك الاطّلاع على مقالة إنشاء المحتوى للحصول على مزيد من المعلومات.