正在產生內容

Firebase Genkit 提供簡單的介面，方便您透過大型語言模型生成內容。

模型

Firebase Genkit 中的模型是一種程式庫和抽象化機制， 是由多個 Google 和非 Google LLM

完整檢測模型的觀測能力，隨附工具 Genkit 開發人員使用者介面提供的整合工具，您可以使用 模型執行器

在 Genkit 中使用模型時，必須先設定要使用的模型， 以及要使用的專案模型設定是由外掛程式系統執行。於 這個範例需要設定 Vertex AI 外掛程式 我們來看評估分類模型成效時 的喚回度和精確度指標

import {
	"github.com/firebase/genkit/go/ai"
	"github.com/firebase/genkit/go/plugins/vertexai"
}

// Default to the value of GCLOUD_PROJECT for the project,
// and "us-central1" for the location.
// To specify these values directly, pass a vertexai.Config value to Init.
if err := vertexai.Init(ctx, nil); err != nil {
	return err
}

如要使用外掛程式提供的模型，您需要取得特定模型的參照 以及版本：

model := vertexai.Model("gemini-1.5-flash")

支援的模型

Genkit 透過外掛程式系統提供模型支援。下列外掛程式 的正式支援：

外掛程式	模型
Google 生成式 AI	Gemini Pro、Gemini Pro Vision
Google Vertex AI	Gemini Pro、Gemini Pro Vision、Gemini 1.5 Flash、Gemini 1.5 Pro、Imagen2
奧拉馬	包含 Gemma、Llama 2、Mistral 等多種本地模型

如需設定與使用資訊，請參閱每個外掛程式的說明文件。

如何產生內容

Genkit 提供簡單的輔助函式，方便你透過模型產生內容。

如要直接呼叫模型，請按照下列步驟操作：

responseText, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}
fmt.Println(responseText)

您可以連同模型呼叫傳遞選項。支援的選項 需要完全仰賴模型及其 API

response, err := ai.Generate(ctx, model,
	ai.WithTextPrompt("Tell me a joke about dogs."),
	ai.WithConfig(ai.GenerationCommonConfig{
		Temperature:     1.67,
		StopSequences:   []string{"cat"},
		MaxOutputTokens: 3,
	}))

串流回應

Genkit 支援分批串流模型回應。如要使用分塊串流， 將回呼函式傳遞至 Generate()：

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell a long story about robots and ninjas."),
	// stream callback
	ai.WithStreaming(
		func(ctx context.Context, grc *ai.GenerateResponseChunk) error {
			fmt.Printf("Chunk: %s\n", grc.Text())
			return nil
		}))
if err != nil {
	return err
}

// You can also still get the full response.
fmt.Println(response.Text())

多模態輸入

如果模型支援多模態輸入，您可以傳送圖片提示：

imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
	return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)

resp, err := ai.Generate(ctx, gemini15pro, ai.WithMessages(
	ai.NewUserMessage(
		ai.NewTextPart("Describe the following image."),
		ai.NewMediaPart("", "data:image/jpeg;base64,"+encodedImage))))

圖片提示的格式 (https 網址、gs 網址、data URI) 是 會因模型而異

函式呼叫 (工具)

Genkit 模型提供函式呼叫介面，適用於支援 基礎架構

myJokeTool := ai.DefineTool(
	"myJoke",
	"useful when you need a joke to tell",
	func(ctx context.Context, input *any) (string, error) {
		return "haha Just kidding no joke! got you", nil
	},
)

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell me a joke."),
	ai.WithTools(myJokeTool))

這個外掛程式會自動呼叫工具，以完成使用者提示。

正在錄製訊息記錄

Genkit 模型支援保留傳送至模型的訊息記錄 和回應中的回應。您可以藉此打造互動體驗，例如 聊天機器人

工作階段的第一個提示訊息就是使用者提示

history := []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
}}

response, err := ai.Generate(context.Background(), gemini15pro, ai.WithMessages(history...))

當你收到回覆後，請將該回覆新增到記錄中：

history = append(history, response.Candidates[0].Message)

您可以序列化這項記錄，並保存在資料庫或工作階段儲存空間中。 針對後續的使用者提示，請先將他們加入記錄，再撥打電話 Generate():

history = append(history, &ai.Message{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
})

response, err = ai.Generate(ctx, gemini15pro, ai.WithMessages(history...))

如果您使用的模型支援系統角色，您就可以使用初始值 記錄來設定系統訊息：

history = []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart("Talk like a pirate.")},
	Role:    ai.RoleSystem,
}}