ขีดจำกัดและข้อกำหนดของ Live API


หน้านี้อธิบายข้อจำกัดและข้อกำหนดต่างๆ สำหรับการใช้ Live API และโมเดลของ API

ข้อกำหนดและข้อจำกัดทั่วไป

  • อินพุตและเอาต์พุตที่รองรับ: (ดูรายละเอียดได้ที่รูปแบบสื่อด้านล่าง)

    • อินพุต: ข้อความ รูปภาพ (ที่ไม่ใช่ PDF) เสียง วิดีโอ
    • เอาต์พุต: ข้อความ (การถอดเสียง) และเสียง (การสตรีม)

  • เครื่องมือที่รองรับ: การเรียกใช้ฟังก์ชัน, Grounding with Google Search, Grounding with Google Maps

  • วันที่สิ้นสุดข้อมูล: มกราคม 2025

Live API ไม่รองรับ การสร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) หรือ Count Tokens API

ข้อจำกัดที่เกี่ยวข้องกับเซสชัน

สำหรับ Live API เซสชัน หมายถึงการเชื่อมต่อแบบถาวรที่อินพุต และเอาต์พุตจะสตรีมอย่างต่อเนื่องผ่านการเชื่อมต่อ

หากเซสชันเกินขีดจำกัด ใดก็ตาม ต่อไปนี้ ระบบจะยกเลิกการเชื่อมต่อ อย่างไรก็ตาม Live API มีตัวเลือกบางอย่าง (ดูด้านล่าง) เพื่อ จัดการข้อจำกัดที่เกี่ยวข้องกับเซสชันเหล่านี้

  • หน้าต่างบริบทของเซสชัน จำกัดไว้ที่ 128,000 โทเค็น

    เนื่องจากข้อจำกัดของหน้าต่างบริบทนี้ ความยาวเซสชันสูงสุดโดยประมาณจึงเป็นดังนี้ตามรูปแบบอินพุต

    • เซสชันอินพุตเสียงเท่านั้นจำกัดไว้ที่ 15 นาที
    • อินพุตวิดีโอ + เสียงจำกัดไว้ที่ 2 นาที

  • ความยาวการเชื่อมต่อ จำกัดไว้ที่ประมาณ 10 นาที

    คุณจะได้รับการแจ้งเตือน กำลังจะสิ้นสุด ประมาณ 60 วินาที ก่อนที่การเชื่อมต่อจะสิ้นสุด

ตัวเลือกบางอย่างสำหรับการจัดการข้อจำกัดที่เกี่ยวข้องกับเซสชันมีดังนี้

  • บีบอัดหน้าต่างบริบทของเซสชัน เพื่อให้เซิร์ฟเวอร์รักษาขนาดบริบทให้อยู่ในขีดจำกัดโดยอัตโนมัติ

  • กลับมาใช้เซสชันต่อ เพื่อป้องกันไม่ให้บริบทการสนทนาหายไประหว่างการตัดการเชื่อมต่อเครือข่ายชั่วคราวหรือ หลังจากได้รับการแจ้งเตือน กำลังจะสิ้นสุด

ดูข้อมูลเพิ่มเติมเกี่ยวกับ การจัดการเซสชัน

ขีดจำกัดอัตรา

Live API มีขีดจำกัดอัตราสำหรับทั้งเซสชันพร้อมกันต่อ โปรเจ็กต์ Firebase และโทเค็นต่อนาที (TPM)

รูปแบบสื่อ

Live API รองรับสื่อประเภทต่อไปนี้

  • อินพุต: รูปภาพ เสียง วิดีโอ
  • เอาต์พุต: เสียง

รูปแบบรูปภาพ

Live API รองรับอินพุตรูปภาพต่อไปนี้

  • รูปภาพสูงสุดต่อพรอมต์: 3,000

  • ขนาดไฟล์สูงสุดต่อไฟล์ (ข้อมูลแบบอินไลน์): 7 MB

  • ประเภท MIME ที่รองรับ: image/png, image/jpeg, image/webp, image/heic, image/heif

รูปแบบเสียง

Live API รองรับรูปแบบเสียงต่อไปนี้

  • รูปแบบเสียงอินพุต: Raw 16 บิต PCM ที่ 16 kHz little-endian

  • รูปแบบเสียงเอาต์พุต: Raw 16 บิต PCM ที่ 24 kHz little-endian

  • ประเภท MIME ที่รองรับ: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

หากต้องการระบุอัตราการสุ่มตัวอย่างของเสียงอินพุต ให้ตั้งค่าประเภท MIME ของ Blob ที่มีเสียงแต่ละรายการเป็นค่า เช่น audio/pcm;rate=16000

รูปแบบวิดีโอ

Live API คาดหวังลำดับเฟรมรูปภาพแบบแยกและรองรับอินพุตเฟรมวิดีโอ ที่ 1 เฟรมต่อวินาที (FPS)

  • อินพุตที่แนะนำ: ความละเอียด 768x768 ดั้งเดิมที่ 1 FPS

  • ประเภท MIME ที่รองรับ: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

โปรดทราบว่าข้อกำหนดนี้ทำให้ Live API ไม่เหมาะกับกรณีการใช้งาน ที่ต้องวิเคราะห์วิดีโอที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การบรรยายการแข่งขันกีฬาความเร็วสูง แบบเรียลไทม์

เสียงตอบกลับ

Live API รองรับตัวเลือกเสียงตอบกลับต่อไปนี้ หากต้องการดูตัวอย่างเสียงของ แต่ละเสียง ให้ดู Chirp 3: HD voices

หากไม่ได้ระบุเสียงตอบกลับ ระบบจะใช้ Puck เป็นค่าเริ่มต้น

ดูวิธีระบุเสียงตอบกลับ

Zephyr \- สดใส
Kore \- หนักแน่น
Orus \- หนักแน่น
Autonoe \- สดใส
Umbriel \- สบายๆ
Erinome \- ชัดเจน
Laomedeia \- ร่าเริง
Schedar \- สม่ำเสมอ
Achird \- เป็นมิตร
Sadachbia \- มีชีวิตชีวา 		Puck — ร่าเริง
Fenrir — ตื่นเต้น
Aoede — สบายๆ
Enceladus — มีลมหายใจ
Algieba — นุ่มนวล
Algenib — แหบ
Achernar — นุ่ม
Gacrux — เป็นผู้ใหญ่
Zubenelgenubi — สบายๆ
Sadaltager — รอบรู้ 		Charon \- ให้ข้อมูล
Leda \- อ่อนเยาว์
Callirrhoe \- สบายๆ
Iapetus \- ชัดเจน
Despina \- นุ่มนวล
Rasalgethi \- ให้ข้อมูล
Alnilam \- หนักแน่น
Pulcherrima \- ตรงไปตรงมา
Vindemiatrix \- สุภาพ
Sulafat \- อบอุ่น

ภาษา

Live API รองรับภาษาต่อไปนี้ ดูวิธีควบคุมภาษาของคำตอบ

ภาษา รหัส BCP-47 ภาษา รหัส BCP-47
อาหรับ (อียิปต์) ar-EG เยอรมัน (เยอรมนี) de-DE
อังกฤษ (อเมริกัน) en-US สเปน (สหรัฐอเมริกา) es-US
ฝรั่งเศส (ฝรั่งเศส) fr-FR ฮินดี (อินเดีย) hi-IN
อินโดนีเซีย (อินโดนีเซีย) id-ID อิตาลี (อิตาลี) it-IT
ญี่ปุ่น (ญี่ปุ่น) ja-JP เกาหลี (เกาหลี) ko-KR
โปรตุเกส (บราซิล) pt-BR รัสเซีย (รัสเซีย) ru-RU
ดัตช์ (เนเธอร์แลนด์) nl-NL โปแลนด์ (โปแลนด์) pl-PL
ไทย (ไทย) th-TH ตุรกี (ตุรกี) tr-TR
เวียดนาม (เวียดนาม) vi-VN โรมาเนีย (โรมาเนีย) ro-RO
ยูเครน (ยูเครน) uk-UA เบงกาลี (บังคลาเทศ) bn-BD
อังกฤษ (อินเดีย) แพ็กเกจ en-IN และ hi-IN มราฐี (อินเดีย) mr-IN
ทมิฬ (อินเดีย) ta-IN เตลูกู (อินเดีย) te-IN