ปลั๊กอิน Ollama

ปลั๊กอิน Ollama ให้อินเทอร์เฟซไปยัง LLM ภายในเครื่องที่สนับสนุนโดย Ollama

ข้อกำหนดเบื้องต้น

คุณต้องติดตั้งและเรียกใช้เซิร์ฟเวอร์ Ollama ก่อนที่จะใช้ปลั๊กอินนี้ คุณสามารถ ทำตามวิธีการในหน้าดาวน์โหลด Ollama

ใช้ Ollama CLI เพื่อดาวน์โหลดโมเดลที่คุณสนใจ เช่น

ollama pull gemma2

สำหรับการพัฒนา คุณสามารถเรียกใช้ Ollama บนเครื่องการพัฒนาของคุณ แอปที่ทำให้ใช้งานได้แล้ว มักจะเรียกใช้ Ollama ในเครื่องอื่นๆ ที่เร่งโดยใช้ GPU จากแบ็กเอนด์ของแอป ที่ใช้ Genkit

การกำหนดค่า

หากต้องการใช้ปลั๊กอินนี้ ให้เรียก ollama.Init() โดยระบุที่อยู่ของ Ollama ของคุณ เซิร์ฟเวอร์:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

การใช้งาน

หากต้องการสร้างเนื้อหา ก่อนอื่นคุณต้องสร้างการกำหนดโมเดลตาม ที่คุณติดตั้งและต้องการใช้ เช่น หากคุณติดตั้ง Gemma 2

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

จากนั้น คุณใช้การอ้างอิงโมเดลเพื่อส่งคำขอไปยังเซิร์ฟเวอร์ Ollama ได้โดยทำดังนี้

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

ดูการสร้างเนื้อหาสำหรับข้อมูลเพิ่มเติม