Alpha: Firebase Genkit for Go is in Alpha, which means that it is not subject to any SLA or deprecation policy and could change in backwards-incompatible ways. Throughout the Alpha period, Firebase Genkit and its documentation will be updated and improved.

Trang này được dịch bởi Cloud Translation API.

Quản lý câu lệnh bằng Dotprompt

Firebase Genkit cung cấp trình bổ trợ Dotprompt và định dạng văn bản để giúp bạn viết và sắp xếp các câu lệnh dựa trên AI tạo sinh.

Dấu chấm nhắc được thiết kế xung quanh tiền đề lời nhắc là mã. Bạn viết và hãy lưu trữ câu lệnh của mình trong các tệp có định dạng đặc biệt, gọi là tệp dấu chấm, theo dõi những thay đổi này bằng cách sử dụng cùng một hệ thống quản lý phiên bản mà bạn dùng cho rồi triển khai chúng cùng với đoạn mã gọi AI tạo sinh của bạn người mẫu.

Để sử dụng Dotprompt, trước tiên hãy tạo một thư mục prompts trong thư mục gốc của dự án và thì hãy tạo một tệp .prompt trong thư mục đó. Sau đây là một ví dụ đơn giản, có thể gọi greeting.prompt:

---
model: vertexai/gemini-1.5-pro
config:
  temperature: 0.9
input:
  schema:
    location: string
    style?: string
    name?: string
  default:
    location: a restaurant
---

You are the world's most welcoming AI assistant and are currently working at {{location}}.

Greet a guest{{#if name}} named {{name}}{{/if}}{{#if style}} in the style of {{style}}{{/if}}.

Cách sử dụng câu lệnh này:

Tiến hành

Cài đặt trình bổ trợ dotprompt:

go get github.com/firebase/genkit/go/plugins/dotprompt

Sau đó, hãy tải câu lệnh bằng Open:

import "github.com/firebase/genkit/go/plugins/dotprompt"

dotprompt.SetDirectory("prompts")
prompt, err := dotprompt.Open("greeting")

Bạn có thể gọi phương thức Generate của lời nhắc để kết xuất và truyền mẫu đó vào API mô hình trong một bước:

ctx := context.Background()

// The .prompt file specifies vertexai/gemini-1.5-pro, so make sure it's set
// up.
// Default to the project in GCLOUD_PROJECT and the location "us-central1".
vertexai.Init(ctx, nil)
vertexai.DefineModel("gemini-1.5-pro", nil)

type GreetingPromptInput struct {
  Location string `json:"location"`
  Style    string `json:"style"`
  Name     string `json:"name"`
}
response, err := prompt.Generate(
  ctx,
  &dotprompt.PromptRequest{
      Variables: GreetingPromptInput{
          Location: "the beach",
          Style:    "a fancy pirate",
          Name:     "Ed",
      },
  },
  nil,
)
if err != nil {
  return err
}

if responseText, err := response.Text(); err == nil {
  fmt.Println(responseText)
}

Hoặc chỉ kết xuất mẫu thành một chuỗi:

Tiến hành

renderedPrompt, err := prompt.RenderText(map[string]any{
  "location": "a restaurant",
  "style":    "a pirate",
})

Cú pháp của dấu chấm hỏi dựa trên Thanh công cụ ngôn ngữ gợi mở. Bạn có thể sử dụng trình trợ giúp if, unless và each để thêm các phần có điều kiện trong câu lệnh hoặc lặp lại thông qua nội dung có cấu trúc. Chiến lược phát hành đĩa đơn định dạng tệp sử dụng trình phân cách trước YAML để cung cấp siêu dữ liệu cho lời nhắc cùng dòng với mẫu.

Xác định giản đồ đầu vào/đầu ra bằng Picoschema

Dotprompt bao gồm một định dạng định nghĩa giản đồ nhỏ gọn dựa trên YAML được gọi là Picoschema giúp dễ dàng xác định các thuộc tính quan trọng nhất của giản đồ để sử dụng LLM. Dưới đây là ví dụ về giản đồ cho một bài viết:

schema:
  title: string # string, number, and boolean types are defined like this
  subtitle?: string # optional fields are marked with a `?`
  draft?: boolean, true when in draft state
  status?(enum, approval status): [PENDING, APPROVED]
  date: string, the date of publication e.g. '2024-04-09' # descriptions follow a comma
  tags(array, relevant tags for article): string # arrays are denoted via parentheses
  authors(array):
    name: string
    email?: string
  metadata?(object): # objects are also denoted via parentheses
    updatedAt?: string, ISO timestamp of last update
    approvedBy?: integer, id of approver
  extra?: any, arbitrary extra data
  (*): string, wildcard field

Giản đồ trên tương đương với giản đồ JSON sau:

{
  "properties": {
    "metadata": {
      "properties": {
        "updatedAt": {
          "type": "string",
          "description": "ISO timestamp of last update"
        },
        "approvedBy": {
          "type": "integer",
          "description": "id of approver"
        }
      },
      "type": "object"
    },
    "title": {
      "type": "string"
    },
    "subtitle": {
      "type": "string"
    },
    "draft": {
      "type": "boolean",
      "description": "true when in draft state"
    },
    "date": {
      "type": "string",
      "description": "the date of publication e.g. '2024-04-09'"
    },
    "tags": {
      "items": {
        "type": "string"
      },
      "type": "array",
      "description": "relevant tags for article"
    },
    "authors": {
      "items": {
        "properties": {
          "name": {
            "type": "string"
          },
          "email": {
            "type": "string"
          }
        },
        "type": "object",
        "required": ["name"]
      },
      "type": "array"
    }
  },
  "type": "object",
  "required": ["title", "date", "tags", "authors"]
}

Picoschema hỗ trợ các loại vô hướng string, integer, number, boolean và any. Đối với các đối tượng, mảng và enum, chúng được biểu thị bằng một trong dấu ngoặc đơn sau tên trường.

Các đối tượng do Picoschema xác định sẽ có tất cả các thuộc tính theo yêu cầu trừ khi được biểu thị là không bắt buộc muộn nhất vào ? và không cho phép các thuộc tính khác. Khi một thuộc tính được đánh dấu là không bắt buộc, hệ thống cũng được làm rỗng để khiến các LLM trả về giá trị rỗng thay vì bỏ qua một trường.

Trong định nghĩa đối tượng, bạn có thể dùng khoá đặc biệt (*) để khai báo một "ký tự đại diện" định nghĩa trường. Thông tin này sẽ khớp với mọi cơ sở lưu trú khác không do khoá rõ ràng.

Picoschema không hỗ trợ nhiều tính năng của giản đồ JSON đầy đủ. Nếu bạn yêu cầu giản đồ mạnh mẽ hơn, bạn có thể cung cấp giản đồ JSON:

output:
  schema:
    type: object
    properties:
      field1:
        type: number
        minimum: 20

Ghi đè siêu dữ liệu về lời nhắc

Mặc dù tệp .prompt cho phép bạn nhúng siêu dữ liệu (chẳng hạn như cấu hình mô hình) vào tệp, bạn cũng có thể ghi đè các giá trị này cho từng lệnh gọi:

Tiến hành

// Make sure you set up the model you're using.
vertexai.DefineModel("gemini-1.5-flash", nil)

response, err := prompt.Generate(
  context.Background(),
  &dotprompt.PromptRequest{
      Variables: GreetingPromptInput{
          Location: "the beach",
          Style:    "a fancy pirate",
          Name:     "Ed",
      },
      Model: "vertexai/gemini-1.5-flash",
      Config: &ai.GenerationCommonConfig{
          Temperature: 1.0,
      },
  },
  nil,
)

Lời nhắc gửi nhiều thông báo

Theo mặc định, Dotprompt tạo một tin nhắn duy nhất có vai trò "user". Hơi nhiều tốt nhất là bạn nên thể hiện câu lệnh khi kết hợp nhiều thông điệp, chẳng hạn như lời nhắc của hệ thống.

Trình trợ giúp {{role}} cung cấp một cách thức đơn giản để tạo các lời nhắc gồm nhiều thông báo:

---
model: vertexai/gemini-1.0-pro
input:
  schema:
    userQuestion: string
---

{{role "system"}}
You are a helpful AI assistant that really loves to talk about food. Try to work
food items into all of your conversations.
{{role "user"}}
{{userQuestion}}

Câu lệnh đa phương thức

Đối với những mô hình hỗ trợ nhập dữ liệu đa phương thức, chẳng hạn như hình ảnh dọc theo văn bản, bạn có thể sử dụng trình trợ giúp {{media}}:

---
model: vertexai/gemini-1.0-pro-vision
input:
  schema:
    photoUrl: string
---

Describe this image in a detailed paragraph:

{{media url=photoUrl}}

URL có thể là các URI https:// hoặc data: được mã hoá base64 cho thao tác "nội tuyến" hình ảnh mức sử dụng. Trong mã, URL này sẽ là:

Tiến hành

dotprompt.SetDirectory("prompts")
describeImagePrompt, err := dotprompt.Open("describe_image")
if err != nil {
  return err
}

imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
  return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)
dataURI := "data:image/jpeg;base64," + encodedImage

type DescribeImagePromptInput struct {
  PhotoUrl string `json:"photo_url"`
}
response, err := describeImagePrompt.Generate(
  context.Background(),
  &dotprompt.PromptRequest{Variables: DescribeImagePromptInput{
      PhotoUrl: dataURI,
  }},
  nil,
)

Biến thể câu lệnh

Vì tệp lời nhắc chỉ là văn bản nên bạn có thể (và nên!) gắn những tệp này vào hệ thống quản lý phiên bản, cho phép bạn dễ dàng so sánh các thay đổi theo thời gian. Thông thường, bạn chỉ có thể kiểm thử đầy đủ các phiên bản đã tinh chỉnh của những câu lệnh trong một môi trường phát hành công khai song song với các phiên bản hiện có. Hỗ trợ Dotprompt thông qua tính năng biến thể.

Để tạo một biến thể, hãy tạo tệp [name].[variant].prompt. Ví dụ: nếu bạn đang sử dụng Gemini 1.0 Pro trong câu lệnh nhưng muốn biết liệu Gemini 1.5 Pro sẽ hoạt động tốt hơn, bạn có thể tạo hai tệp:

my_prompt.prompt: "đường cơ sở" câu lệnh
my_prompt.gemini15.prompt: một biến thể có tên là "gemini"

Để sử dụng một biến thể lời nhắc, hãy chỉ định biến thể đó khi tải:

Tiến hành

describeImagePrompt, err := dotprompt.OpenVariant("describe_image", "gemini15")

Trình tải lời nhắc sẽ cố tải biến thể của tên đó rồi quay trở lại cho đường cơ sở nếu không có đường cơ sở nào. Điều này có nghĩa là bạn có thể sử dụng tính năng tải có điều kiện dựa trên dựa trên bất cứ tiêu chí nào phù hợp với đơn đăng ký của bạn:

Tiến hành

var myPrompt *dotprompt.Prompt
var err error
if isBetaTester(user) {
  myPrompt, err = dotprompt.OpenVariant("describe_image", "gemini15")
} else {
  myPrompt, err = dotprompt.Open("describe_image")
}

Tên của biến thể được đưa vào siêu dữ liệu của dấu vết tạo, vì vậy, bạn có thể so sánh và đối chiếu hiệu suất thực tế giữa các biến thể trong dấu vết Genkit Trình kiểm tra.