הפלאגין Ollama

הפלאגין Ollama מספק ממשקים לכל אחד ממודלי ה-LLM המקומיים שנתמכים על ידי אולמה.

דרישות מוקדמות

כדי להשתמש בפלאגין הזה, קודם צריך להתקין ולהפעיל את שרת Ollama. תוכלו לפעול לפי ההוראות שמפורטות בדף Download Ollama.

השתמשו ב-CLI של Ollama כדי להוריד את המודלים שמעניינים אתכם. לדוגמה:

ollama pull gemma2

לצורכי פיתוח, אפשר להריץ את Ollama במכונת הפיתוח. בדרך כלל, אפליקציות פרוסים מפעילות את Ollama במכונה אחרת עם האצת GPU, ולא בצד העורפי של האפליקציה שבו פועל Genkit.

תצורה

כדי להשתמש בפלאגין הזה, צריך להפעיל את הפונקציה ollama.Init() ולציין את הכתובת של שרת Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

שימוש

כדי ליצור תוכן, קודם צריך ליצור הגדרת מודל על סמך המודל שהותקן ובו רוצים להשתמש. לדוגמה, אם התקנתם את Gemma 2:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

לאחר מכן, תוכלו להשתמש בהפניה למודל כדי לשלוח בקשות לשרת Ollama:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

מידע נוסף זמין במאמר יצירת תוכן.