Plugin Ollama

Plugin Ollama menyediakan antarmuka ke LLM lokal mana pun yang didukung oleh Ollama.

Prasyarat

Plugin ini mengharuskan Anda menginstal dan menjalankan server Ollama terlebih dahulu. Anda dapat mengikuti petunjuk di halaman Download Ollama.

Gunakan CLI Ollama untuk mendownload model yang Anda minati. Contoh:

ollama pull gemma2

Untuk pengembangan, Anda dapat menjalankan Ollama di mesin pengembangan. Aplikasi yang di-deploy biasanya menjalankan Ollama di mesin berbeda dengan akselerasi GPU dari backend aplikasi yang menjalankan Genkit.

Konfigurasi

Untuk menggunakan plugin ini, panggil ollama.Init(), dengan menentukan alamat server Ollama Anda:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Penggunaan

Untuk menghasilkan konten, pertama-tama Anda perlu membuat definisi model berdasarkan model yang Anda instal dan ingin gunakan. Misalnya, jika Anda menginstal Gemma 2:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

Kemudian, Anda dapat menggunakan referensi model untuk mengirim permintaan ke server Ollama:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

Lihat Membuat konten untuk mengetahui informasi selengkapnya.