ขีดจำกัดและข้อกำหนดของ Live API


หน้านี้อธิบายขีดจำกัดและข้อกำหนดต่างๆ สำหรับการใช้ Live API และโมเดลของ API นี้

ข้อกำหนดและขีดจำกัดทั่วไป

  • อินพุตและเอาต์พุตที่รองรับ: (ดูรายละเอียดได้ที่รูปแบบสื่อด้านล่าง)

    • อินพุต: ข้อความ, รูปภาพ (ไม่ใช่ PDF), เสียง, วิดีโอ
    • เอาต์พุต: ข้อความ (การถอดเสียงเป็นคำ) และเสียง (สตรีมมิง)

  • เครื่องมือที่รองรับ: การเรียกใช้ฟังก์ชัน, การอ้างอิงข้อมูลใน Google Search, การอ้างอิงข้อมูลใน Google Maps

  • วันที่ตัดข้อมูล: มกราคม 2025

Live API ไม่รองรับการสร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) หรือ Count Tokens API

ขีดจำกัดที่เกี่ยวข้องกับเซสชัน

สำหรับ Live API เซสชันหมายถึงการเชื่อมต่อแบบถาวรที่มีการสตรีมอินพุตและเอาต์พุตอย่างต่อเนื่องผ่านการเชื่อมต่อ

หากเซสชันเกินขีดจำกัดข้อใดข้อหนึ่งต่อไปนี้ ระบบจะสิ้นสุดการเชื่อมต่อ อย่างไรก็ตาม โปรดทราบว่า Live API มีตัวเลือกบางอย่าง (ดูด้านล่าง) เพื่อจัดการขีดจำกัดที่เกี่ยวข้องกับเซสชันเหล่านี้

  • หน้าต่างบริบทของเซสชันจำกัดไว้ที่ 128,000 โทเค็น

    เนื่องจากขีดจำกัดของหน้าต่างบริบทนี้ ระยะเวลาเซสชันสูงสุดโดยประมาณตามรูปแบบอินพุตมีดังนี้

    • เซสชันอินพุตแบบเสียงเท่านั้นจำกัดไว้ที่ 15 นาที
    • วิดีโอ + อินพุตเสียงจำกัดไว้ที่ 2 นาที

  • ระยะเวลาการเชื่อมต่อจำกัดอยู่ที่ประมาณ 10 นาที

    คุณจะได้รับการแจ้งเตือนว่ากำลังจะออกประมาณ 60 วินาทีก่อนที่การเชื่อมต่อจะสิ้นสุดลง

ตัวเลือกบางส่วนในการจัดการขีดจำกัดที่เกี่ยวข้องกับเซสชันมีดังนี้

  • บีบอัดหน้าต่างบริบทของเซสชันเพื่อให้เซิร์ฟเวอร์รักษาขนาดบริบทให้อยู่ภายในขีดจำกัดโดยอัตโนมัติ

  • กลับมาทำเซสชันต่อเพื่อป้องกันไม่ให้บริบทการสนทนาหายไประหว่างที่เครือข่ายขาดการเชื่อมต่อเป็นเวลาสั้นๆ หรือหลังจากได้รับการแจ้งเตือนกำลังจะออก

ดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดการเซสชัน

ขีดจำกัดอัตรา

Live API มีการจำกัดอัตราคำขอสำหรับทั้งเซสชันที่เกิดขึ้นพร้อมกันต่อโปรเจ็กต์ Firebase และโทเค็นต่อนาที (TPM)

  • Gemini Developer API:

  • Agent Platform Gemini API (formerly Vertex AI):

    • เซสชันที่เกิดขึ้นพร้อมกัน 1,000 เซสชันต่อโปรเจ็กต์ Firebase
    • โทเค็น 4 ล้านรายการต่อนาที

รูปแบบสื่อ

Live API รองรับสื่อประเภทต่อไปนี้

  • อินพุต: รูปภาพ เสียง วิดีโอ
  • เอาต์พุต: เสียง

รูปแบบรูปภาพ

Live API รองรับสิ่งต่อไปนี้สำหรับอินพุตรูปภาพ

  • จำนวนรูปภาพสูงสุดต่อพรอมต์: 3,000

  • ขนาดไฟล์สูงสุดต่อไฟล์ (ข้อมูลในบรรทัด): 7 MB

  • ประเภท MIME ที่รองรับ image/png, image/jpeg, image/webp, image/heic, image/heif

รูปแบบเสียง

Live API รองรับรูปแบบเสียงต่อไปนี้

  • รูปแบบเสียงอินพุต: เสียง PCM แบบข้อมูลดิบ 16 บิตที่ 16kHz แบบ Little-Endian

  • รูปแบบเสียงเอาต์พุต: เสียง PCM แบบข้อมูลดิบ 16 บิตที่ 24kHz แบบ Little-Endian

  • ประเภท MIME ที่รองรับ: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

หากต้องการระบุอัตราการสุ่มตัวอย่างของเสียงที่ป้อน ให้ตั้งค่าประเภท MIME ของ Blob ที่มีเสียงแต่ละรายการเป็นค่า เช่น audio/pcm;rate=16000

รูปแบบวิดีโอ

Live API คาดหวังลำดับของเฟรมรูปภาพที่ไม่ต่อเนื่องและรองรับอินพุตเฟรมวิดีโอที่ 1 เฟรมต่อวินาที (FPS)

  • อินพุตที่แนะนำ: ความละเอียด 768x768 แบบเนทีฟที่ 1 FPS

  • ประเภท MIME ที่รองรับ: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

โปรดทราบว่าข้อกำหนดนี้ทำให้ Live API ไม่เหมาะสำหรับกรณีการใช้งานที่ต้องวิเคราะห์วิดีโอที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การบรรยายการแข่งขันกีฬาความเร็วสูงแบบช็อตต่อช็อต

เสียงตอบกลับ

Live API รองรับเสียง HD สังเคราะห์ที่แตกต่างกัน 30 เสียง โดยแต่ละเสียงมีลักษณะเฉพาะที่แตกต่างกัน คุณสามารถดูรายการตัวเลือกเสียงตอบกลับและฟังตัวอย่างของแต่ละเสียงได้โดยขยายส่วนด้านล่าง

หากคุณไม่ได้ระบุเสียงตอบกลับ ระบบจะใช้เสียง Puck เป็นค่าเริ่มต้น

ดูวิธีระบุเสียงตอบกลับ

ภาษา

Live API รองรับภาษาต่อไปนี้ ดูวิธีกำหนดภาษาของคำตอบ

ภาษาที่โมเดลการสร้างเสียงทั้งหมดรองรับ
ภาษา รหัส BCP-47 ภาษา รหัส BCP-47
อาหรับ (อียิปต์) ar-EG เยอรมัน (เยอรมนี) de-DE
อังกฤษ (อเมริกัน) th-TH สเปน (สหรัฐอเมริกา) es-US
ฝรั่งเศส (ฝรั่งเศส) fr-FR ฮินดี (อินเดีย) hi-IN
อินโดนีเซีย (อินโดนีเซีย) id-ID อิตาลี (อิตาลี) it-IT
ญี่ปุ่น (ญี่ปุ่น) ja-JP เกาหลี (เกาหลี) ko-KR
โปรตุเกส (บราซิล) pt-BR รัสเซีย (รัสเซีย) ru-RU
ดัตช์ (เนเธอร์แลนด์) nl-NL โปแลนด์ (โปแลนด์) pl-PL
ไทย (ไทย) th-TH ตุรกี (ตุรกี) tr-TR
เวียดนาม (เวียดนาม) vi-VN โรมาเนีย (โรมาเนีย) ro-RO
ยูเครน (ยูเครน) uk-UA เบงกาลี (บังคลาเทศ) bn-BD
อังกฤษ (อินเดีย) แพ็กเกจ en-IN และ hi-IN มราฐี (อินเดีย) mr-IN
ทมิฬ (อินเดีย) ta-IN เตลูกู (อินเดีย) te-IN
ภาษาเพิ่มเติมที่โมเดล 3.x ที่สร้างเสียงรองรับ
ภาษา รหัส BCP-47 ภาษา รหัส BCP-47
อาฟรีกานส์ af ฟิลิปปินส์ fil
แอลเบเนีย sq ฟินแลนด์ fi
อัมฮาริก am กาลิเชียน gl
อาร์เมเนีย hy จอร์เจีย ka
อาเซอร์ไบจาน az กรีก el
บาสก์ eu คุชราต gu
เบลารุส be เฮติครีโอล ht
บัลแกเรีย bg ฮีบรู เขา
พม่า ของฉัน ฮังการี hu
คาตาลัน ca ไอซ์แลนด์ เท่ากับ
เซบู ceb ชวา jv
จีนกลาง cmn กันนาดา kn
โครเอเชีย ชม. กงกณี kok
เช็ก cs ลาว lo
เดนมาร์ก da ละติน la
เอสโตเนีย et ลัตเวีย lv
ลิทัวเนีย lt ลักเซมเบิร์ก ปอนด์
มาซิโดเนีย mk ไมถิลี mai
มาลากาซี มก. มาเลย์ ms
Malayalam ml มองโกเลีย mn
Nepali ne นอร์เวย์ บุคมอล nb
นอร์เวย์ (นีนอสก์) nn โอเดีย หรือ
พาชตู ps เปอร์เซีย fa
ปัญจาบ pa เซอร์เบียน sr
สินธี SD สิงหล si
Slovak sk สโลวีเนีย sl
สวาฮิลี sw Swedish sv
อูรดู ur