Ollama eklentisi

Ollama eklentisi, Search Ads 360'ın desteklediği yerel LLM'lere arayüz sağlar. Ollama.

Ön koşullar

Bu eklenti için önce Ollama sunucusunu yükleyip çalıştırmanız gerekir. Şunları yapabilirsiniz: Olama'yı İndirin bölümündeki talimatları uygulayın. sayfasını ziyaret edin.

İlgilendiğiniz modelleri indirmek için Ollama KSA'yı kullanın. Örneğin:

ollama pull gemma2

Geliştirme için Ollama'yı geliştirme makinenizde çalıştırabilirsiniz. Dağıtılan uygulamalar Ollama'yı genellikle uygulama arka ucundan farklı, GPU hızlandırmalı bir makinede çalıştırır Genkit'i çalıştırıyoruz.

Yapılandırma

Bu eklentiyi kullanmak için Ollama'nızın adresini belirterek ollama.Init() numaralı telefonu arayın. sunucu:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

Kullanım

İçerik üretmek için öncelikle model tanımına dayalı olarak, yüklediğiniz ve kullanmak istediğiniz bir model. Örneğin, Gemma 2'yi yüklediyseniz:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Ardından, Ollama sunucunuza istek göndermek için model referansını kullanabilirsiniz:

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

Daha fazla bilgi için İçerik oluşturma bölümüne bakın.