ไฟล์อินพุตที่รองรับและข้อกำหนด

เมื่อเรียกใช้ Gemini API จากแอปโดยใช้ SDK ของ Firebase AI Logic คุณสามารถแจ้งให้โมเดล Gemini สร้างข้อความที่สร้างขึ้นตามอินพุตแบบหลายรูปแบบ เช่น รูปภาพ วิดีโอ เสียง และเอกสาร (เช่น PDF)

คุณต้องใช้ประเภทไฟล์ที่รองรับ ระบุประเภท MIME ที่รองรับ และตรวจสอบว่าไฟล์และคำขอแบบหลายโมดัลเป็นไปตามข้อกำหนดและแนวทางปฏิบัติแนะนำ

หน้านี้มีไว้สำหรับการใช้ GenerativeModel โดยเฉพาะและอธิบายสิ่งต่อไปนี้

ตัวเลือกสำหรับการระบุไฟล์ในคำขอแบบสื่อหลากรูปแบบ

เลือกผู้ให้บริการ Gemini API เพื่อดูเนื้อหาเฉพาะของผู้ให้บริการในหน้านี้

ในคำขอแบบหลายโมดัลแต่ละรายการ คุณต้องระบุข้อมูลต่อไปนี้เสมอ

ขนาดและจำนวนไฟล์ที่คุณระบุในคำขอจะขึ้นอยู่กับประเภทไฟล์อินพุต วิธีระบุไฟล์ และโมเดลที่ใช้ (ดูรายละเอียดได้ที่ส่วนประเภทไฟล์อินพุตแต่ละประเภทในหน้านี้)

ตัวเลือกที่ 1: ระบุไฟล์เป็นข้อมูลในบรรทัด

โปรดทราบข้อมูลต่อไปนี้เกี่ยวกับไฟล์ที่ระบุเป็นข้อมูลในบรรทัด

  • คุณจะส่งได้เฉพาะไฟล์ขนาดเล็กเป็นข้อมูลในบรรทัด เนื่องจากขีดจำกัดขนาดคำขอทั้งหมดคือ 20 MB

  • ระบบจะเข้ารหัสไฟล์เป็น base64 ระหว่างการส่ง (ซึ่งจะเพิ่มขนาดไฟล์)

ดูตัวอย่างที่แสดงวิธีรวมไฟล์เป็นข้อมูลในบรรทัดได้ที่หัวข้อสร้างข้อความจากอินพุตข้อความและไฟล์ (หลายรูปแบบ) โปรดทราบว่า SDK สำหรับแพลตฟอร์ม Android และ Apple สามารถจัดการรูปภาพในบรรทัดในคำขอได้โดยไม่ต้องระบุประเภท MIME ดูข้อมูลเพิ่มเติม

ตัวเลือกที่ 2: ระบุไฟล์โดยใช้ URL

ประเภทของ URL ที่ยอมรับได้เมื่อใช้ Gemini Developer API มีดังนี้


รูปภาพ: ข้อกำหนด แนวทางปฏิบัติแนะนำ และข้อจำกัด

รูปภาพ: ข้อกำหนด

ในส่วนนี้ คุณจะได้เรียนรู้เกี่ยวกับประเภท MIME ที่รองรับและขีดจำกัดต่อคำขอสำหรับรูปภาพ

ประเภท MIME ที่รองรับ

โมเดลหลายรูปแบบของ Gemini รองรับประเภท MIME ของรูปภาพต่อไปนี้

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

ขีดจำกัดต่อคำขอ

ไม่มีการจำกัดจำนวนพิกเซลในรูปภาพอย่างเจาะจง อย่างไรก็ตาม รูปภาพขนาดใหญ่จะถูกลดขนาดและเพิ่มระยะห่างจากขอบเพื่อให้พอดีกับความละเอียดสูงสุด 3072 x 3072 โดยยังคงสัดส่วนภาพเดิมไว้

จำนวนไฟล์สูงสุดต่อคำขอ: ไฟล์ภาพ 3,000 ไฟล์

รูปภาพ: การแปลงข้อมูลเป็นโทเค็น

วิธีคำนวณโทเค็นสำหรับรูปภาพมีดังนี้

  • หากขนาดทั้ง 2 ด้านของรูปภาพน้อยกว่าหรือเท่ากับ 384 พิกเซล ระบบจะใช้โทเค็น 258 รายการ
  • หากด้านหนึ่งของรูปภาพมีขนาดใหญ่กว่า 384 พิกเซล ระบบจะครอบตัดรูปภาพเป็นชิ้นส่วนต่างๆ ขนาดไทล์แต่ละขนาดจะใช้ค่าเริ่มต้นเป็นมิติข้อมูลที่เล็กที่สุด (ความกว้างหรือความสูง) หารด้วย 1.5 หากจำเป็น ระบบจะปรับแต่ละชิ้นส่วนให้มีขนาดไม่เล็กกว่า 256 พิกเซลและไม่ใหญ่กว่า 768 พิกเซล จากนั้นระบบจะปรับขนาดแต่ละชิ้นส่วนเป็น 768x768 และใช้โทเค็น 258 รายการ

Google รูปภาพ: แนวทางปฏิบัติแนะนำ

เมื่อใช้รูปภาพ ให้ใช้แนวทางปฏิบัติแนะนำและข้อมูลต่อไปนี้เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด

  • หากต้องการตรวจหาข้อความในรูปภาพ ให้ใช้พรอมต์ที่มีรูปภาพเดียวเพื่อให้ได้ผลลัพธ์ที่ดีกว่าพรอมต์ที่มีหลายรูปภาพ
  • หากพรอมต์มีรูปภาพเดียว ให้วางรูปภาพไว้ก่อนพรอมต์ข้อความในคำขอ
  • หากพรอมต์มีรูปภาพหลายรูป และคุณต้องการอ้างอิงรูปภาพเหล่านั้นในภายหลังในพรอมต์ หรือต้องการให้โมเดลอ้างอิงรูปภาพเหล่านั้นในคำตอบของโมเดล การระบุดัชนีให้รูปภาพแต่ละรูปก่อนรูปภาพจะช่วยได้ ใช้ a b c หรือ image 1 image 2 image 3 สำหรับดัชนี ต่อไปนี้เป็นตัวอย่างการใช้รูปภาพที่จัดทำดัชนีในพรอมต์ 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • ใช้รูปภาพที่มีความละเอียดสูงขึ้นเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น
  • ใส่ตัวอย่าง 2-3 รายการในพรอมต์
  • หมุนรูปภาพให้อยู่ในแนวที่ถูกต้องก่อนเพิ่มลงในพรอมต์
  • หลีกเลี่ยงรูปภาพที่เบลอ

Google รูปภาพ: ข้อจำกัด

แม้ว่าโมเดลหลายรูปแบบของ Gemini จะมีประสิทธิภาพในกรณีการใช้งานหลายรูปแบบมากมาย แต่คุณควรทำความเข้าใจข้อจำกัดของโมเดลดังนี้

  • การกลั่นกรองเนื้อหา: โมเดลจะปฏิเสธที่จะให้คำตอบเกี่ยวกับรูปภาพที่ละเมิดนโยบายความปลอดภัยของเรา
  • การให้เหตุผลเชิงพื้นที่: โมเดลไม่สามารถระบุตำแหน่งข้อความหรือวัตถุในรูปภาพได้อย่างแม่นยำ โดยอาจแสดงผลเฉพาะจำนวนออบเจ็กต์โดยประมาณเท่านั้น
  • การใช้งานทางการแพทย์: โมเดลไม่เหมาะสำหรับการตีความภาพทางการแพทย์ (เช่น เอกซเรย์และการทำ CT สแกน) หรือการให้คำแนะนำทางการแพทย์
  • การจดจำบุคคล: โมเดลไม่ได้มีไว้เพื่อใช้ระบุบุคคลที่ไม่ใช่คนดังในรูปภาพ
  • ความแม่นยำ: โมเดลอาจเกิดภาพหลอนหรือทำงานผิดพลาดเมื่อตีความรูปภาพที่มีคุณภาพต่ำ หมุน หรือมีความละเอียดต่ำมาก นอกจากนี้ โมเดลอาจเกิดภาพหลอนเมื่อตีความข้อความที่เขียนด้วยลายมือในเอกสารรูปภาพ


วิดีโอ: ข้อกำหนด แนวทางปฏิบัติแนะนำ และข้อจำกัด

วิดีโอ: ข้อกำหนด

ในส่วนนี้ คุณจะได้ดูข้อมูลเกี่ยวกับประเภท MIME ที่รองรับและขีดจำกัดต่อคำขอสำหรับวิดีโอ

ประเภท MIME ที่รองรับ

โมเดลหลายรูปแบบของ Gemini รองรับประเภท MIME ของวิดีโอต่อไปนี้

  • FLV - video/x-flv
  • MOV - video/quicktime
  • video/mpeg MPEG
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

ขีดจำกัดต่อคำขอ

จำนวนไฟล์สูงสุดต่อคำขอ: ไฟล์วิดีโอ 10 ไฟล์

วิดีโอ: การแปลงข้อมูลเป็นโทเค็น

วิธีคำนวณโทเค็นสำหรับวิดีโอมีดังนี้

  • แทร็กเสียงจะได้รับการเข้ารหัสด้วยเฟรมวิดีโอ นอกจากนี้ แทร็กเสียงยังแบ่งออกเป็นส่วนละ 1 วินาที ซึ่งแต่ละส่วนจะใช้ 32 โทเค็น เฟรมวิดีโอและโทเค็นเสียงจะสลับกันไปมาพร้อมกับการประทับเวลา การประทับเวลาจะแสดงเป็น 5 โทเค็น
  • สำหรับวิดีโอที่สุ่มตัวอย่างที่ 1 เฟรมต่อวินาที (fps) หรือต่ำกว่า การประทับเวลาสำหรับชั่วโมงแรกของวิดีโอจะแสดงเป็น 5 โทเค็นต่อเฟรมวิดีโอ การประทับเวลาที่เหลือจะแสดงเป็น 7 โทเค็นต่อเฟรมวิดีโอ
  • สำหรับวิดีโอที่สุ่มตัวอย่างมากกว่า 1 เฟรมต่อวินาที (FPS) การประทับเวลาสำหรับชั่วโมงแรกของวิดีโอจะแสดงเป็น 9 โทเค็นต่อเฟรมวิดีโอ การประทับเวลาที่เหลือจะแสดงเป็น 11 โทเค็นต่อเฟรมวิดีโอ

วิดีโอ: แนวทางปฏิบัติแนะนำ

เมื่อใช้วิดีโอ ให้ใช้แนวทางปฏิบัติแนะนำและข้อมูลต่อไปนี้เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด

  • หากพรอมต์มีวิดีโอเดียว ให้วางวิดีโอก่อนพรอมต์ข้อความ
  • หากต้องการการแปลการประทับเวลาเป็นภาษาท้องถิ่นในวิดีโอที่มีเสียง ให้ขอให้โมเดลสร้างการประทับเวลาตามรูปแบบที่อธิบายไว้ใน "รูปแบบการประทับเวลา"

วิดีโอ: ข้อจำกัด

แม้ว่าโมเดลหลายรูปแบบของ Gemini จะมีประสิทธิภาพในกรณีการใช้งานหลายรูปแบบมากมาย แต่คุณควรทำความเข้าใจข้อจำกัดของโมเดลดังนี้

  • การกลั่นกรองเนื้อหา: โมเดลจะปฏิเสธที่จะให้คำตอบเกี่ยวกับวิดีโอที่ละเมิดนโยบายความปลอดภัยของเรา
  • การจดจำเสียงที่ไม่ใช่คำพูด: โมเดลที่รองรับเสียงอาจจดจำเสียงที่ไม่ใช่คำพูดผิดพลาด


เสียง: ข้อกำหนดและข้อจำกัด

เสียง: ข้อกำหนด

ในส่วนนี้ คุณจะได้ดูข้อมูลเกี่ยวกับประเภท MIME ที่รองรับและขีดจำกัดต่อคำขอสำหรับเสียง

ประเภท MIME ที่รองรับ

โมเดลหลายรูปแบบ Gemini รองรับประเภท MIME ของเสียงต่อไปนี้

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • audio/mpeg MPEG
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

ขีดจำกัดต่อคำขอ

จำนวนไฟล์สูงสุดต่อคำขอ: ไฟล์เสียง 1 ไฟล์

เสียง: ข้อจำกัด

แม้ว่าโมเดลหลายรูปแบบของ Gemini จะมีประสิทธิภาพในกรณีการใช้งานหลายรูปแบบมากมาย แต่คุณควรทำความเข้าใจข้อจำกัดของโมเดลดังนี้

  • การจดจำเสียงที่ไม่ใช่คำพูด: โมเดลที่รองรับเสียงอาจจดจำเสียงที่ไม่ใช่คำพูดผิดพลาด
  • การประทับเวลาสำหรับเสียงเท่านั้น: หากต้องการสร้างการประทับเวลาสำหรับไฟล์เสียงเท่านั้นอย่างถูกต้อง คุณต้องกำหนดค่าพารามิเตอร์ audio_timestamp ใน generation_config


เอกสาร (เช่น PDF): ข้อกำหนด แนวทางปฏิบัติแนะนำ และข้อจำกัด

เอกสาร: ข้อกำหนด

ในส่วนนี้ คุณจะได้ดูข้อมูลเกี่ยวกับประเภท MIME ที่รองรับและขีดจำกัดต่อคำขอสำหรับเอกสาร (เช่น PDF)

ประเภท MIME ที่รองรับ

โมเดลหลายรูปแบบ Gemini รองรับประเภท MIME ของเอกสารต่อไปนี้

  • PDF - application/pdf
  • ข้อความ - text/plain

ขีดจำกัดต่อคำขอ

ระบบจะถือว่า PDF เป็นรูปภาพ ดังนั้น PDF 1 หน้าจะถือเป็นรูปภาพ 1 รูป จำนวนหน้าที่อนุญาตในพรอมต์จะจำกัดอยู่ที่จำนวนรูปภาพที่โมเดลหลายรูปแบบของ Gemini รองรับได้

  • จำนวนไฟล์สูงสุดต่อคำขอ: 3,000 ไฟล์
  • จำนวนหน้าสูงสุดต่อไฟล์: 1,000 หน้าต่อไฟล์
  • ขนาดสูงสุดต่อไฟล์: 50 MB ต่อไฟล์

เอกสาร: การแปลงข้อมูลเป็นโทเค็น

การแยกวิเคราะห์โทเค็น PDF

ระบบจะถือว่า PDF เป็นรูปภาพ ดังนั้นแต่ละหน้าของ PDF จะได้รับการแยกวิเคราะห์เป็นโทเค็นในลักษณะเดียวกับรูปภาพ

นอกจากนี้ ค่าใช้จ่ายสำหรับ PDF จะเป็นไปตามราคาของรูปภาพ Gemini ตัวอย่างเช่น หากคุณรวม PDF 2 หน้าไว้ในการเรียก API Gemini คุณจะต้องเสียค่าธรรมเนียมอินพุตสำหรับการประมวลผลรูปภาพ 2 รูป

เอกสาร: แนวทางปฏิบัติแนะนำ

เมื่อใช้ PDF ให้ใช้แนวทางปฏิบัติแนะนำและข้อมูลต่อไปนี้เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด

  • หากพรอมต์มี PDF ไฟล์เดียว ให้วาง PDF ไว้ก่อนพรอมต์ข้อความในคำขอ
  • หากคุณมีเอกสารที่มีเนื้อหายาว ให้ลองแบ่งออกเป็น PDF หลายๆ ไฟล์เพื่อประมวลผล
  • ใช้ PDF ที่สร้างขึ้นโดยมีข้อความที่แสดงผลเป็นข้อความแทนการใช้ข้อความในรูปภาพที่สแกน รูปแบบนี้ช่วยให้มั่นใจได้ว่าข้อความจะอยู่ในรูปแบบที่เครื่องอ่านได้ เพื่อให้โมเดลแก้ไข ค้นหา และจัดการได้ง่ายขึ้นเมื่อเทียบกับไฟล์ PDF ที่เป็นรูปภาพที่สแกน แนวทางปฏิบัตินี้จะให้ผลลัพธ์ที่ดีที่สุดเมื่อทำงานกับเอกสารที่มีข้อความจำนวนมาก เช่น สัญญา

เอกสาร: ข้อจำกัด

แม้ว่าโมเดลหลายรูปแบบของ Gemini จะมีประสิทธิภาพในกรณีการใช้งานหลายรูปแบบมากมาย แต่คุณควรทำความเข้าใจข้อจำกัดของโมเดลดังนี้

  • การให้เหตุผลเชิงพื้นที่: โมเดลไม่สามารถระบุตำแหน่งข้อความหรือวัตถุใน PDF ได้อย่างแม่นยำ โดยอาจแสดงผลเฉพาะจำนวนออบเจ็กต์โดยประมาณเท่านั้น
  • ความถูกต้อง: โมเดลอาจเกิดภาพหลอนเมื่อตีความข้อความที่เขียนด้วยลายมือในเอกสาร PDF