ขีดจำกัดและข้อกำหนดของ Live API


หน้านี้อธิบายข้อจำกัดและข้อกำหนดต่างๆ ในการใช้ Live API และโมเดลของ

ข้อกำหนดและขีดจำกัดทั่วไป

  • อินพุตและเอาต์พุตที่รองรับ (ดูรายละเอียดได้ที่รูปแบบสื่อด้านล่าง)

    • อินพุต: ข้อความ รูปภาพ (ไม่ใช่ PDF) เสียง วิดีโอ
    • เอาต์พุต: ข้อความ (การถอดเสียงเป็นคำ) และเสียง (การสตรีม)

  • เครื่องมือที่รองรับ: การเรียกใช้ฟังก์ชัน การอ้างอิงกับ Google Search การอ้างอิงกับ Google Maps

  • วันที่สิ้นสุดความรู้: มกราคม 2025

Live APIไม่รองรับการสร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) หรือ Count Tokens API

ขีดจำกัดที่เกี่ยวข้องกับเซสชัน

สำหรับ Live API เซสชันหมายถึงการเชื่อมต่อแบบถาวรที่สตรีมอินพุต และเอาต์พุตอย่างต่อเนื่องผ่านการเชื่อมต่อ

หากเซสชันเกินขีดจำกัดใดต่อไปนี้ ระบบจะ สิ้นสุดการเชื่อมต่อ อย่างไรก็ตาม Live API มีตัวเลือกบางอย่าง (ดูด้านล่าง) เพื่อ จัดการขีดจํากัดที่เกี่ยวข้องกับเซสชันเหล่านี้

  • หน้าต่างบริบทของเซสชันจำกัดไว้ที่ 128,000 โทเค็น

    เนื่องจากขีดจำกัดของหน้าต่างบริบทนี้ ความยาวเซสชันสูงสุดโดยประมาณจึงเป็นดังนี้ โดยอิงตามรูปแบบอินพุต

    • เซสชันอินพุตเสียงอย่างเดียวจะจำกัดไว้ที่ 15 นาที
    • อินพุตวิดีโอ + เสียงจำกัดไว้ที่ 2 นาที

  • ระยะเวลาการเชื่อมต่อจำกัดไว้ที่ประมาณ 10 นาที

    คุณจะได้รับ การแจ้งเตือนการหยุดให้บริการ ประมาณ60 วินาทีก่อนที่การเชื่อมต่อจะสิ้นสุดลง

ตัวเลือกบางส่วนในการจัดการขีดจำกัดที่เกี่ยวข้องกับเซสชันมีดังนี้

  • บีบอัดหน้าต่างบริบทของเซสชัน เพื่อให้เซิร์ฟเวอร์รักษาสถานะบริบทให้อยู่ในขีดจํากัดโดยอัตโนมัติ

  • เริ่มเซสชันต่อ เพื่อไม่ให้บริบทการสนทนาสูญหายในระหว่างที่เครือข่ายขาดการเชื่อมต่อชั่วคราวหรือ หลังจากได้รับการแจ้งเตือนกำลังจะสิ้นสุด

ดูข้อมูลเพิ่มเติมเกี่ยวกับ การจัดการเซสชัน

ขีดจำกัดอัตรา

Live API มีการจำกัดอัตราคำขอสำหรับทั้งเซสชันพร้อมกันต่อโปรเจ็กต์ Firebase และโทเค็นต่อนาที (TPM)

รูปแบบสื่อ

Live API รองรับสื่อประเภทต่อไปนี้

  • อินพุต: รูปภาพ เสียง วิดีโอ
  • เอาต์พุต: เสียง

รูปแบบรูปภาพ

Live API รองรับอินพุตรูปภาพต่อไปนี้

  • รูปภาพสูงสุดต่อพรอมต์: 3,000

  • ขนาดไฟล์สูงสุดต่อไฟล์ (ข้อมูลแบบอินไลน์): 7 MB

  • ประเภท MIME ที่รองรับ image/png, image/jpeg, image/webp, image/heic, image/heif

รูปแบบเสียง

Live API รองรับรูปแบบเสียงต่อไปนี้

  • รูปแบบเสียงอินพุต: เสียง PCM แบบ 16 บิตดิบที่ 16 kHz แบบ Little-Endian

  • รูปแบบเสียงเอาต์พุต: เสียง PCM แบบ 16 บิตดิบที่ 24 kHz แบบ Little-Endian

  • ประเภท MIME ที่รองรับ: audio/x-aac, audio/flac, audio/mp3, audio/m4a, audio/mpeg, audio/mpga, audio/mp4, audio/ogg, audio/pcm, audio/wav, audio/webm

หากต้องการสื่อถึงอัตราการสุ่มตัวอย่างของเสียงที่ป้อน ให้ตั้งค่าประเภท MIME ของ Blob ที่มีเสียงแต่ละรายการเป็นค่า เช่น audio/pcm;rate=16000

รูปแบบวิดีโอ

Live API คาดหวังลำดับของเฟรมรูปภาพแยกกันและรองรับอินพุตเฟรมวิดีโอ ที่ 1 เฟรมต่อวินาที (FPS)

  • อินพุตที่แนะนำ: ความละเอียด 768x768 ดั้งเดิมที่ 1 FPS

  • ประเภท MIME ที่รองรับ: video/x-flv, video/quicktime, video/mpeg, video/mpegs, video/mpg, video/mp4, video/webm, video/wmv, video/3gpp

โปรดทราบว่าข้อกำหนดนี้ทำให้ Live API ไม่เหมาะกับกรณีการใช้งาน ที่ต้องวิเคราะห์วิดีโอที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การเล่นแบบทีละช็อตในกีฬา ความเร็วสูง

เสียงตอบกลับ

Live API รองรับเสียง HD สังเคราะห์ที่แตกต่างกัน 30 เสียง โดยแต่ละเสียงมี ลักษณะเฉพาะที่แตกต่างกัน คุณสามารถ ดูรายการตัวเลือกเสียงตอบกลับและฟังตัวอย่างเสียงแต่ละเสียง ได้โดยขยายส่วนด้านล่าง

หากไม่ได้ระบุเสียงตอบกลับ ค่าเริ่มต้นจะเป็น Puck

ดูวิธีระบุเสียงตอบกลับ

ภาษา

Live API รองรับภาษาต่อไปนี้ ดูวิธีกำหนดภาษาของคำตอบ

ภาษาที่โมเดลสร้างเสียงทั้งหมดรองรับ
ภาษา รหัส BCP-47 ภาษา รหัส BCP-47
อาหรับ (อียิปต์) ar-EG เยอรมัน (เยอรมนี) de-DE
อังกฤษ (อเมริกัน) th-TH สเปน (สหรัฐอเมริกา) es-US
ฝรั่งเศส (ฝรั่งเศส) fr-FR ฮินดี (อินเดีย) hi-IN
อินโดนีเซีย (อินโดนีเซีย) id-ID อิตาลี (อิตาลี) it-IT
ญี่ปุ่น (ญี่ปุ่น) ja-JP เกาหลี (เกาหลี) ko-KR
โปรตุเกส (บราซิล) pt-BR รัสเซีย (รัสเซีย) ru-RU
ดัตช์ (เนเธอร์แลนด์) nl-NL โปแลนด์ (โปแลนด์) pl-PL
ไทย (ไทย) th-TH ตุรกี (ตุรกี) tr-TR
เวียดนาม (เวียดนาม) vi-VN โรมาเนีย (โรมาเนีย) ro-RO
ยูเครน (ยูเครน) uk-UA เบงกาลี (บังคลาเทศ) bn-BD
อังกฤษ (อินเดีย) แพ็กเกจ en-IN และ hi-IN มราฐี (อินเดีย) mr-IN
ทมิฬ (อินเดีย) ta-IN เตลูกู (อินเดีย) te-IN
ภาษาเพิ่มเติมที่โมเดล 3.x ที่สร้างเสียงรองรับ
ภาษา รหัส BCP-47 ภาษา รหัส BCP-47
อาฟรีกานส์ af ฟิลิปปินส์ fil
แอลเบเนีย sq ฟินแลนด์ fi
อัมฮาริก am กาลิเชียน gl
อาร์เมเนีย hy จอร์เจีย ka
อาเซอร์ไบจาน az กรีก el
บาสก์ eu คุชราต gu
เบลารุส be เฮติครีโอล ht
บัลแกเรีย bg ฮีบรู เขา
พม่า ของฉัน ฮังการี hu
คาตาลัน ca ไอซ์แลนด์ เท่ากับ
เซบู ceb ชวา jv
จีนกลาง cmn กันนาดา kn
โครเอเชีย ชม. กงกณี kok
เช็ก cs ลาว lo
เดนมาร์ก da ละติน la
เอสโตเนีย et ลัตเวีย lv
ลิทัวเนีย lt ลักเซมเบิร์ก ปอนด์
มาซิโดเนีย mk ไมถิลี mai
มาลากาซี มก. มาเลย์ ms
Malayalam ml มองโกเลีย mn
Nepali ne นอร์เวย์ บุคมอล nb
นอร์เวย์ (นีนอสก์) nn โอเดีย หรือ
พาชตู ps เปอร์เซีย fa
ปัญจาบ pa เซอร์เบียน sr
สินธี sd สิงหล si
Slovak sk สโลวีเนีย sl
สวาฮิลี sw Swedish sv
อูรดู ur