İçerik oluşturuluyor

Firebase Genkit, LLM'lerle içerik oluşturmak için kolay bir arayüz sağlar.

Modeller

Firebase Genkit'teki modeller, çeşitli Google ve Google dışı LLM'ler.

Modeller gözlemlenebilirlik için eksiksiz donanıma sahiptir ve çeşitli aletlerle birlikte gelir entegrasyonları entegre edebilirsiniz. Herhangi bir modeli rolünüzün ne olduğunu tartışacağız.

Genkit'te modellerle çalışırken öncelikle oluşturduğunuz modeli yapılandırmanız gerekir. tercih edebilirsiniz. Model yapılandırma, eklenti sistemi tarafından gerçekleştirilir. İçinde Bu örnekte, Gemini'ın yapay zekayı kullanmasını sağlayan Vertex AI eklentisini modeller.

import {
	"github.com/firebase/genkit/go/ai"
	"github.com/firebase/genkit/go/plugins/vertexai"
}

// Default to the value of GCLOUD_PROJECT for the project,
// and "us-central1" for the location.
// To specify these values directly, pass a vertexai.Config value to Init.
if err := vertexai.Init(ctx, nil); err != nil {
	return err
}

Eklenti tarafından sağlanan modelleri kullanmak için ilgili modele referans vermeniz gerekir ve sürüm:

model := vertexai.Model("gemini-1.5-flash")

Desteklenen modeller

Genkit, eklenti sistemi aracılığıyla model desteği sağlar. Aşağıdaki eklentiler resmi olarak desteklenmektedir:

Eklenti	Modeller
Google Üretken Yapay Zeka	Gemini Pro, Gemini Pro, Vizyon
Google Vertex Yapay Zeka	Gemini Pro, Gemini Pro Vision, Gemini 1.5 Flash, Gemini 1.5 Pro, Imagen2
Ollama	Gemma, Llama 2, Mistral gibi birçok yerel model ve daha fazlası

Kurulum ve kullanım bilgileri için her eklentinin dokümanlarına bakın.

İçerik oluşturma

Genkit, modellerle içerik üretmek için basit bir yardımcı işlev sunar.

Yalnızca modeli çağırmak için:

responseText, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}
fmt.Println(responseText)

Model çağrısıyla birlikte seçenekleri de iletebilirsiniz. Desteklenen seçenekler modele ve API'sine bağlıdır.

response, err := ai.Generate(ctx, model,
	ai.WithTextPrompt("Tell me a joke about dogs."),
	ai.WithConfig(ai.GenerationCommonConfig{
		Temperature:     1.67,
		StopSequences:   []string{"cat"},
		MaxOutputTokens: 3,
	}))

Yanıtların akış şeklinde gösterilmesi

Genkit, model yanıtlarının parçalı akışını destekler. Parçalı akışı kullanmak için: Generate() öğesine bir geri çağırma işlevi iletin:

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell a long story about robots and ninjas."),
	// stream callback
	ai.WithStreaming(
		func(ctx context.Context, grc *ai.GenerateResponseChunk) error {
			fmt.Printf("Chunk: %s\n", grc.Text())
			return nil
		}))
if err != nil {
	return err
}

// You can also still get the full response.
fmt.Println(response.Text())

Çok modlu giriş

Model çok modlu girişi destekliyorsa resim istemlerini iletebilirsiniz:

imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
	return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)

resp, err := ai.Generate(ctx, gemini15pro, ai.WithMessages(
	ai.NewUserMessage(
		ai.NewTextPart("Describe the following image."),
		ai.NewMediaPart("", "data:image/jpeg;base64,"+encodedImage))))

Resim isteminin tam biçimi (https URL'si, gs URL, data URI) deneyime bağlıdır.

İşlev çağırma (araçlar)

Genkit modelleri, şunları destekleyen modeller için işlev çağrısı için bir arayüz sağlar: somut olarak ortaya koyar.

myJokeTool := ai.DefineTool(
	"myJoke",
	"useful when you need a joke to tell",
	func(ctx context.Context, input *any) (string, error) {
		return "haha Just kidding no joke! got you", nil
	},
)

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell me a joke."),
	ai.WithTools(myJokeTool))

Bu komut, kullanıcı istemini yerine getirmek için araçları otomatik olarak çağırır.

Mesaj geçmişi kaydediliyor

Genkit modelleri, modele gönderilen mesajların geçmişinin korunmasını destekler. Bu bilgileri kullanarak etkileşimli deneyimler oluşturmak için kullanabilirsiniz. chatbot'lardan bahsetmek istiyorum.

Bir oturumun ilk isteminde "geçmiş" basitçe kullanıcı istemi:

history := []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
}}

response, err := ai.Generate(context.Background(), gemini15pro, ai.WithMessages(history...))

Aldığınız yanıtları geçmişe ekleyin:

history = append(history, response.Candidates[0].Message)

Bu geçmişi serileştirebilir ve bir veritabanında veya oturum depolama alanında saklayabilirsiniz. Sonraki kullanıcı istemleri için, aramadan önce bunları geçmişe ekleyin Generate():

history = append(history, &ai.Message{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
})

response, err = ai.Generate(ctx, gemini15pro, ai.WithMessages(history...))

Kullandığınız model sistem rolünü destekliyorsa sistem mesajını ayarlayın:

history = []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart("Talk like a pirate.")},
	Role:    ai.RoleSystem,
}}