ওল্লামা প্লাগইন

ওল্লামা প্লাগইন ওল্লামা দ্বারা সমর্থিত যেকোনো স্থানীয় LLM-কে ইন্টারফেস প্রদান করে।

পূর্বশর্ত

এই প্লাগইনটির জন্য আপনাকে প্রথমে ওল্লামা সার্ভার ইনস্টল এবং রান করতে হবে। আপনি ওল্লামা ডাউনলোড পৃষ্ঠার নির্দেশাবলী অনুসরণ করতে পারেন।

আপনি যে মডেলগুলিতে আগ্রহী সেগুলি ডাউনলোড করতে ওল্লামা CLI ব্যবহার করুন৷ উদাহরণস্বরূপ:

ollama pull gemma2

উন্নয়নের জন্য, আপনি আপনার ডেভেলপমেন্ট মেশিনে ওল্লামা চালাতে পারেন। মোতায়েন করা অ্যাপগুলি সাধারণত জেনকিট চালানোর অ্যাপ ব্যাকএন্ড থেকে ভিন্ন, GPU-এক্সিলারেটেড মেশিনে ওল্লামা চালায়।

কনফিগারেশন

এই প্লাগইনটি ব্যবহার করতে, ollama.Init() কল করুন, আপনার ওল্লামা সার্ভারের ঠিকানা উল্লেখ করুন:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

ব্যবহার

বিষয়বস্তু তৈরি করতে, আপনাকে প্রথমে আপনি যে মডেলটি ইনস্টল করেছেন এবং ব্যবহার করতে চান তার উপর ভিত্তি করে একটি মডেল সংজ্ঞা তৈরি করতে হবে। উদাহরণস্বরূপ, যদি আপনি Gemma 2 ইনস্টল করেন:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

তারপর, আপনি আপনার ওল্লামা সার্ভারে অনুরোধ পাঠাতে মডেল রেফারেন্স ব্যবহার করতে পারেন:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

আরও তথ্যের জন্য সামগ্রী তৈরি করা দেখুন।