Các tệp đầu vào và yêu cầu được hỗ trợ

Khi gọi Gemini API từ ứng dụng của bạn bằng SDK Firebase AI Logic, bạn có thể nhắc mô hình Gemini tạo văn bản do AI tạo dựa trên thông tin đầu vào đa phương thức, như hình ảnh, video, âm thanh và tài liệu (như tệp PDF).

Bạn cần sử dụng các loại tệp được hỗ trợ, chỉ định một loại MIME được hỗ trợ và đảm bảo rằng các tệp và yêu cầu đa phương thức của bạn đáp ứng các yêu cầu và tuân thủ các phương pháp hay nhất.

Trang này dành riêng cho việc sử dụng GenerativeModel và mô tả những nội dung sau:

Các lựa chọn để cung cấp tệp trong yêu cầu đa phương thức

Chọn nhà cung cấp Gemini API để xem nội dung dành riêng cho nhà cung cấp trên trang này

Trong mỗi yêu cầu đa phương thức, bạn phải luôn cung cấp những thông tin sau:

Kích thước và số lượng tệp mà bạn có thể cung cấp trong yêu cầu được quyết định bởi loại tệp đầu vào, cách bạn cung cấp tệp và mô hình được sử dụng (để biết thông tin chi tiết, hãy xem phần của từng loại tệp đầu vào trên trang này).

Cách 1: Cung cấp tệp dưới dạng dữ liệu cùng dòng

Hãy lưu ý những điều sau về các tệp được cung cấp dưới dạng dữ liệu cùng dòng:

  • Bạn chỉ có thể gửi các tệp nhỏ dưới dạng dữ liệu cùng dòng vì giới hạn tổng kích thước yêu cầu là 20 MB.

  • Tệp được mã hoá thành base64 trong quá trình truyền (làm tăng kích thước tệp).

Để xem ví dụ về cách đưa tệp vào dưới dạng dữ liệu cùng dòng, hãy xem phần Tạo văn bản do AI tạo từ dữ liệu đầu vào dạng văn bản và tệp (đa phương thức). Xin lưu ý rằng SDK cho nền tảng Android và Apple có thể xử lý hình ảnh cùng dòng trong các yêu cầu mà không cần chỉ định loại MIME. Tìm hiểu thêm.

Cách 2: Cung cấp tệp bằng URL

Dưới đây là các loại URL được chấp nhận khi sử dụng Gemini Developer API:

  • URL video trên YouTube: Video trên YouTube phải ở chế độ công khai hoặc không công khai.

    Bạn có thể chỉ định một URL video trên YouTube cho mỗi yêu cầu.


Hình ảnh: Yêu cầu, các phương pháp hay nhất và giới hạn

Hình ảnh: Yêu cầu

Trong phần này, hãy tìm hiểu về các loại MIME được hỗ trợ và giới hạn cho mỗi yêu cầu đối với hình ảnh.

Các loại MIME được hỗ trợ

Các mô hình đa thức Gemini hỗ trợ các loại MIME hình ảnh sau:

  • PNG – image/png
  • JPEG – image/jpeg
  • WebP – image/webp

Giới hạn cho mỗi yêu cầu

Không có giới hạn cụ thể về số lượng pixel trong một hình ảnh. Tuy nhiên, hình ảnh lớn hơn sẽ được thu nhỏ và đệm để vừa với độ phân giải tối đa là 3072 x 3072 trong khi vẫn giữ nguyên tỷ lệ khung hình ban đầu.

Số lượng tệp tối đa cho mỗi yêu cầu: 3.000 tệp hình ảnh

Hình ảnh: Mã hoá kỹ thuật số

Sau đây là cách tính số lượng mã thông báo cho hình ảnh:

  • Nếu cả hai kích thước của hình ảnh đều nhỏ hơn hoặc bằng 384 pixel, thì 258 mã thông báo sẽ được sử dụng.
  • Nếu một chiều của hình ảnh lớn hơn 384 pixel, thì hình ảnh đó sẽ được cắt thành các ô. Mỗi kích thước ô mặc định là kích thước nhỏ nhất (chiều rộng hoặc chiều cao) chia cho 1,5. Nếu cần, mỗi ô sẽ được điều chỉnh để không nhỏ hơn 256 pixel và không lớn hơn 768 pixel. Sau đó, mỗi ô được đổi kích thước thành 768x768 và sử dụng 258 mã thông báo.

Hình ảnh: Các phương pháp hay nhất

Khi sử dụng hình ảnh, hãy áp dụng các phương pháp hay nhất và thông tin sau đây để đạt được kết quả tốt nhất:

  • Nếu bạn muốn phát hiện văn bản trong hình ảnh, hãy sử dụng câu lệnh có một hình ảnh để tạo ra kết quả tốt hơn so với câu lệnh có nhiều hình ảnh.
  • Nếu câu lệnh của bạn chứa một hình ảnh, hãy đặt hình ảnh đó trước câu lệnh dạng văn bản trong yêu cầu.
  • Nếu câu lệnh của bạn chứa nhiều hình ảnh và bạn muốn tham chiếu đến chúng sau này trong câu lệnh hoặc yêu cầu mô hình tham chiếu đến chúng trong câu trả lời của mô hình, thì bạn nên cung cấp cho mỗi hình ảnh một chỉ mục trước hình ảnh đó. Sử dụng a b c hoặc image 1 image 2 image 3 cho chỉ mục của bạn. Sau đây là ví dụ về cách sử dụng hình ảnh được lập chỉ mục trong một câu lệnh: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Sử dụng hình ảnh có độ phân giải cao hơn để có kết quả tốt hơn.
  • Đưa một vài ví dụ vào câu lệnh.
  • Xoay hình ảnh theo đúng hướng trước khi thêm hình ảnh vào câu lệnh.
  • Tránh dùng hình ảnh bị mờ.

Hình ảnh: Các điểm hạn chế

Mặc dù các mô hình đa thức Gemini rất mạnh mẽ trong nhiều trường hợp sử dụng đa thức, nhưng bạn cần hiểu rõ các hạn chế của mô hình:

  • Kiểm duyệt nội dung: Các mô hình từ chối đưa ra câu trả lời về những hình ảnh vi phạm chính sách an toàn của chúng tôi.
  • Lý luận không gian: Các mô hình không chính xác trong việc xác định vị trí văn bản hoặc đối tượng trong hình ảnh. Các phương thức này có thể chỉ trả về số lượng đối tượng gần đúng.
  • Mục đích y tế: Các mô hình này không phù hợp để diễn giải hình ảnh y tế (ví dụ: ảnh chụp X-quang và ảnh chụp CT) hoặc đưa ra lời khuyên y tế.
  • Nhận dạng người: Các mô hình này không được dùng để nhận dạng những người không phải là người nổi tiếng trong hình ảnh.
  • Độ chính xác: Mô hình có thể bị ảo tưởng hoặc mắc lỗi khi diễn giải hình ảnh có chất lượng thấp, bị xoay hoặc có độ phân giải cực thấp. Các mô hình cũng có thể bị ảo tưởng khi diễn giải văn bản viết tay trong tài liệu hình ảnh.


Video: Yêu cầu, các phương pháp hay nhất và các điểm hạn chế

Video: Yêu cầu

Trong phần này, hãy tìm hiểu về các loại MIME được hỗ trợ và giới hạn cho mỗi yêu cầu đối với video.

Các loại MIME được hỗ trợ

Các mô hình đa phương thức Gemini hỗ trợ các loại MIME video sau:

  • FLV – video/x-flv
  • MOV – video/quicktime
  • MPEG – video/mpeg
  • MPEGPS – video/mpegps
  • MPG – video/mpg
  • MP4 – video/mp4
  • WEBM – video/webm
  • WMV – video/wmv
  • 3GPP – video/3gpp

Giới hạn cho mỗi yêu cầu

Số lượng tệp tối đa cho mỗi yêu cầu: 10 tệp video

Video: Mã hoá kỹ thuật số

Sau đây là cách tính số lượng mã thông báo cho video:

  • Bản âm thanh được mã hoá bằng khung video. Bản âm thanh cũng được chia thành các đoạn dài 1 giây, mỗi đoạn chiếm 32 mã thông báo. Mã thông báo khung hình video và âm thanh được xen kẽ với dấu thời gian của chúng. Dấu thời gian được biểu thị dưới dạng 5 mã thông báo.
  • Đối với những video được lấy mẫu ở mức 1 khung hình/giây (khung hình/giây) trở xuống, dấu thời gian cho giờ đầu tiên của video được biểu thị dưới dạng 5 mã thông báo cho mỗi khung hình video. Các dấu thời gian còn lại được biểu thị dưới dạng 7 mã thông báo cho mỗi khung hình video.
  • Đối với những video được lấy mẫu trên 1 khung hình/giây (khung hình/giây), dấu thời gian cho giờ đầu tiên của video được biểu thị dưới dạng 9 mã thông báo cho mỗi khung hình video. Các dấu thời gian còn lại được biểu thị dưới dạng 11 mã thông báo cho mỗi khung hình video.

Video: Các phương pháp hay nhất

Khi sử dụng video, hãy áp dụng các phương pháp hay nhất và thông tin sau đây để đạt được kết quả tốt nhất:

  • Nếu câu lệnh của bạn chứa một video, hãy đặt video đó trước câu lệnh văn bản.
  • Nếu bạn cần bản địa hoá dấu thời gian trong video có âm thanh, hãy yêu cầu mô hình tạo dấu thời gian theo định dạng được mô tả trong phần "Định dạng dấu thời gian".

Video: Các điểm hạn chế

Mặc dù các mô hình đa thức Gemini rất mạnh mẽ trong nhiều trường hợp sử dụng đa thức, nhưng bạn cần hiểu rõ các hạn chế của mô hình:

  • Kiểm duyệt nội dung: Các mô hình từ chối đưa ra câu trả lời về những video vi phạm chính sách an toàn của chúng tôi.
  • Nhận dạng âm thanh không phải lời nói: Các mô hình hỗ trợ âm thanh có thể mắc lỗi khi nhận dạng âm thanh không phải lời nói.


Âm thanh: Yêu cầu và giới hạn

Âm thanh: Yêu cầu

Trong phần này, hãy tìm hiểu về các loại MIME được hỗ trợ và giới hạn cho mỗi yêu cầu đối với âm thanh.

Các loại MIME được hỗ trợ

Các mô hình đa thức Gemini hỗ trợ các loại MIME âm thanh sau:

  • AAC – audio/aac
  • FLAC – audio/flac
  • MP3 – audio/mp3
  • MPA – audio/m4a
  • MPEG – audio/mpeg
  • MPGA – audio/mpga
  • MP4 – audio/mp4
  • OPUS – audio/opus
  • PCM – audio/pcm
  • WAV – audio/wav
  • WEBM – audio/webm

Giới hạn cho mỗi yêu cầu

Số lượng tệp tối đa cho mỗi yêu cầu: 1 tệp âm thanh

Âm thanh: Các điểm hạn chế

Mặc dù các mô hình đa thức Gemini rất mạnh mẽ trong nhiều trường hợp sử dụng đa thức, nhưng bạn cần hiểu rõ các hạn chế của mô hình:

  • Nhận dạng âm thanh không phải lời nói: Các mô hình hỗ trợ âm thanh có thể mắc lỗi khi nhận dạng âm thanh không phải lời nói.
  • Dấu thời gian chỉ có âm thanh: Để tạo chính xác dấu thời gian cho tệp chỉ có âm thanh, bạn phải định cấu hình tham số audio_timestamp trong generation_config.


Tài liệu (như tệp PDF): Yêu cầu, các phương pháp hay nhất và giới hạn

Giấy tờ: Yêu cầu

Trong phần này, hãy tìm hiểu về các loại MIME được hỗ trợ và giới hạn cho mỗi yêu cầu đối với tài liệu (như tệp PDF).

Các loại MIME được hỗ trợ

Các mô hình đa thức Gemini hỗ trợ các loại MIME tài liệu sau:

  • PDF – application/pdf
  • Văn bản – text/plain

Giới hạn cho mỗi yêu cầu

Tệp PDF được coi là hình ảnh, vì vậy, một trang của tệp PDF được coi là một hình ảnh. Số trang được phép trong một câu lệnh bị giới hạn ở số lượng hình ảnh mà các mô hình đa thức Gemini có thể hỗ trợ.

  • Số lượng tệp tối đa cho mỗi yêu cầu: 3.000 tệp
  • Số trang tối đa mỗi tệp: 1.000 trang mỗi tệp
  • Kích thước tối đa cho mỗi tệp: 50 MB/tệp

Tài liệu: Mã hoá kỹ thuật số

Mã hoá tệp PDF

Tệp PDF được coi là hình ảnh, vì vậy, mỗi trang của tệp PDF được mã hoá theo cách tương tự như hình ảnh.

Ngoài ra, chi phí cho tệp PDF sẽ tuân theo mức giá cho hình ảnh Gemini. Ví dụ: nếu bạn đưa một tệp PDF dài hai trang vào một lệnh gọi API Gemini, bạn sẽ phải trả phí đầu vào cho việc xử lý hai hình ảnh.

Tài liệu: Các phương pháp hay nhất

Khi sử dụng tệp PDF, hãy áp dụng các phương pháp hay nhất và thông tin sau đây để đạt được kết quả tốt nhất:

  • Nếu câu lệnh của bạn chứa một tệp PDF, hãy đặt tệp PDF đó trước câu lệnh văn bản trong yêu cầu.
  • Nếu bạn có một tài liệu dài, hãy cân nhắc việc chia tài liệu đó thành nhiều tệp PDF để xử lý.
  • Sử dụng tệp PDF được tạo bằng văn bản hiển thị dưới dạng văn bản thay vì sử dụng văn bản trong hình ảnh được quét. Định dạng này đảm bảo văn bản có thể đọc được bằng máy để mô hình dễ dàng chỉnh sửa, tìm kiếm và thao tác hơn so với tệp PDF hình ảnh được quét. Phương pháp này mang lại kết quả tối ưu khi xử lý các tài liệu có nhiều văn bản như hợp đồng.

Tài liệu: Các điểm hạn chế

Mặc dù các mô hình đa thức Gemini rất mạnh mẽ trong nhiều trường hợp sử dụng đa thức, nhưng bạn cần hiểu rõ các hạn chế của mô hình:

  • Lý luận không gian: Các mô hình không xác định chính xác vị trí của văn bản hoặc đối tượng trong tệp PDF. Các phương thức này có thể chỉ trả về số lượng đối tượng gần đúng.
  • Độ chính xác: Các mô hình có thể đưa ra thông tin sai lệch khi diễn giải văn bản viết tay trong tài liệu PDF.