ขีดจำกัดและข้อกำหนดของ Live API

หน้านี้อธิบายขีดจำกัดและข้อกำหนดต่างๆ ในการใช้ Live API และโมเดลของ

ข้อกำหนดและขีดจำกัดทั่วไป

• อินพุตและเอาต์พุตที่รองรับ (ดูรายละเอียดได้ที่รูปแบบสื่อด้านล่าง)

  • อินพุต: ข้อความ รูปภาพ (ไม่ใช่ PDF) เสียง วิดีโอ
  • เอาต์พุต: ข้อความ (การถอดเสียง) และเสียง (การสตรีม)

• เครื่องมือที่รองรับ: การเรียกฟังก์ชัน, การอ้างอิงกับ Google Search, การอ้างอิงกับ Google Maps

• วันที่สิ้นสุดความรู้: มกราคม 2025

Live APIไม่รองรับการสร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) หรือ Count Tokens API

ขีดจำกัดที่เกี่ยวข้องกับเซสชัน

สำหรับ Live API เซสชันหมายถึงการเชื่อมต่อแบบถาวรซึ่งมีการสตรีมอินพุต และเอาต์พุตอย่างต่อเนื่องผ่านการเชื่อมต่อ

หากเซสชันเกินขีดจำกัดใดต่อไปนี้ ระบบจะ สิ้นสุดการเชื่อมต่อ อย่างไรก็ตาม Live API มีตัวเลือกบางอย่าง (ดูด้านล่าง) เพื่อ จัดการขีดจํากัดที่เกี่ยวข้องกับเซสชันเหล่านี้

• หน้าต่างบริบทของเซสชันจำกัดไว้ที่ 128,000 โทเค็น

  เนื่องจากขีดจำกัดของหน้าต่างบริบทนี้ ความยาวเซสชันสูงสุดโดยประมาณ ตามรูปแบบอินพุตมีดังนี้

  • เซสชันอินพุตเสียงเท่านั้นถูกจำกัดไว้ที่ 15 นาที
  • อินพุตวิดีโอ + เสียงจำกัดไว้ที่ 2 นาที

• ระยะเวลาการเชื่อมต่อจำกัดไว้ที่ประมาณ 10 นาที

  คุณจะได้รับการแจ้งเตือนว่ากำลังจะหยุดให้บริการ ประมาณ60 วินาทีก่อนที่การเชื่อมต่อจะสิ้นสุดลง

ตัวเลือกบางอย่างในการจัดการขีดจำกัดที่เกี่ยวข้องกับเซสชันมีดังนี้

• บีบอัดหน้าต่างบริบทของเซสชัน เพื่อให้เซิร์ฟเวอร์รักษาขนาดบริบทให้อยู่ในขีดจํากัดโดยอัตโนมัติ

• ดำเนินการต่อในเซสชัน เพื่อไม่ให้บริบทการสนทนาสูญหายในระหว่างที่เครือข่ายขาดการเชื่อมต่อชั่วคราวหรือ หลังจากได้รับการแจ้งเตือนกำลังจะออก

ดูข้อมูลเพิ่มเติมเกี่ยวกับ การจัดการเซสชัน

ขีดจำกัดอัตรา

Live API มีการจำกัดอัตราคำขอสำหรับทั้งเซสชันพร้อมกันต่อโปรเจ็กต์ Firebase และโทเค็นต่อนาที (TPM)

• Gemini Developer API:

  • โควต้าจะแตกต่างกันไปตาม "ระดับการใช้งาน" ของโปรเจ็กต์ Gemini Developer API (ดูเอกสารประกอบเกี่ยวกับขีดจำกัดของอัตรา)

• Agent Platform Gemini API (formerly Vertex AI):

  • 1,000 เซสชันพร้อมกันต่อโปรเจ็กต์ Firebase
  • โทเค็น 4 ล้านรายการต่อนาที

รูปแบบสื่อ

Live API รองรับสื่อประเภทต่อไปนี้

• อินพุต: รูปภาพ เสียง วิดีโอ
• เอาต์พุต: เสียง

รูปแบบรูปภาพ

Live API รองรับอินพุตรูปภาพดังต่อไปนี้

• รูปภาพสูงสุดต่อพรอมต์: 3,000

• ขนาดไฟล์สูงสุดต่อไฟล์ (ข้อมูลแบบอินไลน์): 7 MB

• ประเภท MIME ที่รองรับ image/png, image/jpeg, image/webp, image/heic, image/heif

รูปแบบเสียง

Live API รองรับรูปแบบเสียงต่อไปนี้

• รูปแบบเสียงอินพุต: เสียง PCM แบบ 16 บิตดิบที่ 16 kHz แบบ Little-Endian

• รูปแบบเสียงเอาต์พุต: เสียง PCM แบบ 16 บิตดิบที่ 24kHz แบบ Little-Endian

• ประเภท MIME ที่รองรับ: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

หากต้องการระบุอัตราการสุ่มตัวอย่างของเสียงอินพุต ให้ตั้งค่าประเภท MIME ของ Blob ที่มีเสียงแต่ละรายการเป็นค่า เช่น audio/pcm;rate=16000

รูปแบบวิดีโอ

Live API คาดหวังลำดับของเฟรมรูปภาพที่ไม่ต่อเนื่องและรองรับอินพุตเฟรมวิดีโอ ที่ 1 เฟรมต่อวินาที (FPS)

• อินพุตที่แนะนำ: ความละเอียด 768x768 ดั้งเดิมที่ 1 FPS

• ประเภท MIME ที่รองรับ: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

โปรดทราบว่าข้อกำหนดนี้ทำให้ Live API ไม่เหมาะกับกรณีการใช้งาน ที่ต้องวิเคราะห์วิดีโอที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การเล่นแบบทีละช็อตในกีฬาความเร็วสูง

เสียงตอบกลับ

Live API รองรับเสียง HD สังเคราะห์ที่แตกต่างกัน 30 เสียง โดยแต่ละเสียงมี ลักษณะเฉพาะที่แตกต่างกัน คุณสามารถดูรายการตัวเลือกเสียงตอบและฟังตัวอย่างเสียงแต่ละเสียงได้ โดยขยายส่วนด้านล่าง

หากไม่ได้ระบุเสียงตอบกลับ ค่าเริ่มต้นจะเป็น Puck

ดูวิธีระบุเสียงตอบกลับ

ดูรายการตัวเลือกเสียงตอบกลับและฟังตัวอย่าง

ชื่อของเสียง	คำอธิบาย	เพศ	เดโม
Achernar	นุ่มนวล	หญิง
Achird	นัดกระชับมิตร	ชาย
Algenib	แหบเล็กน้อย	ชาย
Algieba	เรียบ	ชาย
Alnilam	แน่น	ชาย
Aoede	มีลมพัด	หญิง
Autonoe	สว่าง	หญิง
Callirrhoe	สบายๆ	หญิง
Charon	มีสาระ	ชาย
Despina	เรียบ	หญิง
Enceladus	ลมหายใจ	ชาย
Erinome	ล้าง	หญิง
Fenrir	ตื่นเต้นง่าย	ชาย
Gacrux	ผู้ใหญ่	หญิง
Iapetus	ล้าง	ชาย
Kore	แน่น	หญิง
Laomedeia	สดใส	หญิง
Leda	Youthful	หญิง
Orus	แน่น	ชาย
Puck	สดใส	ชาย
Pulcherrima	ส่งต่อ	หญิง
Rasalgethi	มีสาระ	ชาย
Sadachbia	Lively	ชาย
Sadaltager	รอบรู้	ชาย
Schedar	เท่ากัน	ชาย
Sulafat	อบอุ่น	หญิง
Umbriel	สบายๆ	ชาย
Vindemiatrix	อ่อนโยน	หญิง
Zephyr	สว่าง	หญิง
Zubenelgenubi	สบายๆ	ชาย

ภาษา

Live API รองรับภาษาต่อไปนี้ ดูวิธีกำหนดภาษาของคำตอบ

ภาษาที่โมเดลสร้างเสียงทั้งหมดรองรับ

ภาษา	รหัส BCP-47	ภาษา	รหัส BCP-47
อาหรับ (อียิปต์)	ar-EG	เยอรมัน (เยอรมนี)	de-DE
อังกฤษ (อเมริกัน)	th-TH	สเปน (สหรัฐอเมริกา)	es-US
ฝรั่งเศส (ฝรั่งเศส)	fr-FR	ฮินดี (อินเดีย)	hi-IN
อินโดนีเซีย (อินโดนีเซีย)	id-ID	อิตาลี (อิตาลี)	it-IT
ญี่ปุ่น (ญี่ปุ่น)	ja-JP	เกาหลี (เกาหลี)	ko-KR
โปรตุเกส (บราซิล)	pt-BR	รัสเซีย (รัสเซีย)	ru-RU
ดัตช์ (เนเธอร์แลนด์)	nl-NL	โปแลนด์ (โปแลนด์)	pl-PL
ไทย (ไทย)	th-TH	ตุรกี (ตุรกี)	tr-TR
เวียดนาม (เวียดนาม)	vi-VN	โรมาเนีย (โรมาเนีย)	ro-RO
ยูเครน (ยูเครน)	uk-UA	เบงกาลี (บังคลาเทศ)	bn-BD
อังกฤษ (อินเดีย)	แพ็กเกจ en-IN และ hi-IN	มราฐี (อินเดีย)	mr-IN
ทมิฬ (อินเดีย)	ta-IN	เตลูกู (อินเดีย)	te-IN

ภาษาเพิ่มเติมที่โมเดล 3.x ที่สร้างเสียงรองรับ

ภาษา	รหัส BCP-47	ภาษา	รหัส BCP-47
อาฟรีกานส์	af	ฟิลิปปินส์	fil
แอลเบเนีย	sq	ฟินแลนด์	fi
อัมฮาริก	am	กาลิเชียน	gl
อาร์เมเนีย	hy	จอร์เจีย	ka
อาเซอร์ไบจาน	az	กรีก	el
บาสก์	eu	คุชราต	gu
เบลารุส	be	เฮติครีโอล	ht
บัลแกเรีย	bg	ฮีบรู	เขา
พม่า	ของฉัน	ฮังการี	hu
คาตาลัน	ca	ไอซ์แลนด์	เท่ากับ
เซบู	ceb	ชวา	jv
จีนกลาง	cmn	กันนาดา	kn
โครเอเชีย	ชม.	กงกณี	kok
เช็ก	cs	ลาว	lo
เดนมาร์ก	da	ละติน	la
เอสโตเนีย	et	ลัตเวีย	lv
ลิทัวเนีย	lt	ลักเซมเบิร์ก	ปอนด์
มาซิโดเนีย	mk	ไมถิลี	mai
มาลากาซี	มก.	มาเลย์	ms
Malayalam	ml	มองโกเลีย	mn
Nepali	ne	นอร์เวย์ (บ็อกมอล)	nb
นอร์เวย์ (นีนอสก์)	nn	โอเดีย	หรือ
พาชตู	ps	เปอร์เซีย	fa
ปัญจาบ	pa	เซอร์เบียน	sr
สินธี	sd	สิงหล	si
Slovak	sk	สโลวีเนีย	sl
สวาฮิลี	sw	Swedish	sv
อูรดู	ur