สร้างข้อความจากพรอมต์แบบหลายโมดัลโดยใช้ Gemini API

เมื่อเรียกใช้ Gemini API จากแอปโดยใช้ Vertex AI in Firebase SDK คุณสามารถแจ้งให้โมเดล Gemini สร้างข้อความตามอินพุตแบบหลายรูปแบบได้ พรอมต์แบบหลายโมดัลอาจมีโมดัล (หรือประเภทอินพุต) หลายรายการ เช่น ข้อความพร้อมกับรูปภาพ, PDF, ไฟล์ข้อความธรรมดา, วิดีโอ และเสียง

ในคำขอแบบหลายสื่อแต่ละรายการ คุณต้องระบุข้อมูลต่อไปนี้เสมอ

• mimeType ของไฟล์ ดูข้อมูลเกี่ยวกับประเภท MIME ที่รองรับของไฟล์อินพุตแต่ละประเภท

• ไฟล์ คุณสามารถระบุไฟล์เป็นข้อมูลในหน้า (ตามที่แสดงในหน้านี้) หรือใช้ URL หรือ URI ของไฟล์ก็ได้

สําหรับการทดสอบและปรับปรุงพรอมต์แบบหลายสื่อ เราขอแนะนําให้ใช้ Vertex AI Studio

ตัวเลือกอื่นๆ สำหรับการทำงานกับ Gemini API

• หากต้องการ ให้ลองใช้ Gemini API
  เวอร์ชัน "Google AI" อื่น รับสิทธิ์เข้าถึงแบบไม่มีค่าใช้จ่าย (ภายในขีดจำกัดและเมื่อพร้อมให้บริการ) โดยใช้ Google AI Studio และ Google AI SDK ของไคลเอ็นต์ SDK เหล่านี้ควรใช้สำหรับการสร้างต้นแบบเท่านั้นในแอปบนอุปกรณ์เคลื่อนที่และเว็บ

  เมื่อคุ้นเคยกับวิธีการทำงานของ Gemini API แล้ว ให้เปลี่ยนไปใช้ Vertex AI in FirebaseSDK (เอกสารประกอบนี้) ซึ่งมีฟีเจอร์เพิ่มเติมมากมายที่สําคัญสําหรับแอปบนอุปกรณ์เคลื่อนที่และเว็บ เช่น การปกป้อง API จากการละเมิดโดยใช้ Firebase App Check และรองรับไฟล์สื่อขนาดใหญ่ในคําขอ

• เรียกใช้ Vertex AI Gemini API ฝั่งเซิร์ฟเวอร์ (เช่น ด้วย Python, Node.js หรือ Go)
  ใช้ Vertex AI SDK ฝั่งเซิร์ฟเวอร์, Firebase Genkit หรือ Firebase Extensions สำหรับ Gemini API (ไม่บังคับ)

ก่อนเริ่มต้น

ทําตามคู่มือการเริ่มต้นใช้งาน Vertex AI in FirebaseSDK ให้เสร็จสมบูรณ์ หากยังไม่ได้ดำเนินการ ตรวจสอบว่าคุณได้ทำสิ่งต่อไปนี้ทั้งหมดแล้ว

1. ตั้งค่าโปรเจ็กต์ Firebase ใหม่หรือที่มีอยู่ รวมถึงใช้แพ็กเกจราคา Blaze และเปิดใช้ API ที่จําเป็น

2. เชื่อมต่อแอปกับ Firebase ซึ่งรวมถึงการลงทะเบียนแอปและเพิ่มการกําหนดค่า Firebase ลงในแอป

3. เพิ่ม SDK และเริ่มต้นVertex AIบริการและโมเดล Generative ในแอป

หลังจากเชื่อมต่อแอปกับ Firebase, เพิ่ม SDK และเริ่มต้นบริการ Vertex AI และโมเดล Generative แล้ว คุณก็พร้อมเรียกใช้ Gemini API

สร้างข้อความจากข้อความและรูปภาพเดียว สร้างข้อความจากข้อความและรูปภาพหลายรูป สร้างข้อความจากข้อความและวิดีโอ

ไฟล์สื่อตัวอย่าง

หากยังไม่มีไฟล์สื่อ คุณสามารถใช้ไฟล์ต่อไปนี้ซึ่งมีให้บริการแบบสาธารณะ

• รูปภาพ: gs://cloud-samples-data/generative-ai/image/scones.jpg มีประเภท MIME เป็น image/jpeg
  ดูหรือดาวน์โหลดรูปภาพนี้

• PDF: gs://cloud-samples-data/generative-ai/pdf/2403.05530.pdf ที่มีประเภท MIME เป็น application/pdf
  ดูหรือดาวน์โหลด PDF นี้

• วิดีโอ: gs://cloud-samples-data/video/animals.mp4 ที่มีประเภท MIME เป็น video/mp4
  ดูหรือดาวน์โหลดวิดีโอนี้

• เสียง: gs://cloud-samples-data/generative-ai/audio/pixel.mp3 ที่มีประเภท MIME เป็น audio/mp3
  ฟังหรือดาวน์โหลดเสียงนี้

สร้างข้อความจากข้อความและรูปภาพเดียว

โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้

คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งข้อความและไฟล์เดียว (เช่น รูปภาพตามที่แสดงในตัวอย่างนี้) สำหรับคำเรียกเหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 1.5 Flash)

โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต

เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)

ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ

สร้างข้อความจากข้อความและรูปภาพหลายรูป

โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้

คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งข้อความและไฟล์หลายรายการ (เช่น รูปภาพตามที่แสดงในตัวอย่างนี้) สำหรับคำเรียกเหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 1.5 Flash)

โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต

เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)

ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ

สร้างข้อความจากข้อความและวิดีโอ

โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้

คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งไฟล์ข้อความและวิดีโอ (ดังที่แสดงในตัวอย่างนี้) สำหรับการเรียกใช้เหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 1.5 Flash)

โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต

เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)

ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ

ข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต

ดูข้อมูลต่อไปนี้จากหัวข้อไฟล์อินพุตที่รองรับและข้อกำหนดสำหรับ Vertex AI Gemini API

• ตัวเลือกต่างๆ ในการส่งไฟล์ในคำขอ
• ประเภทไฟล์ที่รองรับ
• ประเภท MIME ที่รองรับและวิธีระบุ
• ข้อกำหนดและแนวทางปฏิบัติแนะนำสำหรับไฟล์และคําขอแบบหลายสื่อ

คุณทำอะไรได้อีกบ้าง

• ดูวิธีนับโทเค็นก่อนส่งพรอมต์แบบยาวไปยังโมเดล
• ตั้งค่า Cloud Storage for Firebase เพื่อให้คุณรวมไฟล์ขนาดใหญ่ในคำขอแบบหลายรูปแบบได้ และมีโซลูชันที่มีการจัดการมากขึ้นสำหรับการแสดงไฟล์ในพรอมต์ ไฟล์อาจรวมถึงรูปภาพ, PDF, วิดีโอ และเสียง
• เริ่มคิดเกี่ยวกับการเตรียมความพร้อมสำหรับเวอร์ชันที่ใช้งานจริง ซึ่งรวมถึงการตั้งค่า Firebase App Check เพื่อปกป้อง Gemini API จากการละเมิดโดยลูกค้าที่ไม่ได้รับอนุญาต

ลองใช้ความสามารถอื่นๆ ของ Gemini API

• สร้างการสนทนาแบบหลายรอบ (แชท)
• สร้างข้อความจากพรอมต์แบบข้อความเท่านั้น
• สร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) จากทั้งพรอมต์แบบข้อความและแบบมัลติโมเดล
• ใช้การเรียกฟังก์ชันเพื่อเชื่อมต่อ Generative Models กับระบบและข้อมูลภายนอก

ดูวิธีควบคุมการสร้างเนื้อหา

• ทำความเข้าใจการออกแบบพรอมต์ ซึ่งรวมถึงแนวทางปฏิบัติแนะนำ กลยุทธ์ และตัวอย่างพรอมต์
• กําหนดค่าพารามิเตอร์ของโมเดล เช่น อุณหภูมิและโทเค็นเอาต์พุตสูงสุด
• ใช้การตั้งค่าความปลอดภัยเพื่อปรับความเป็นไปได้ที่จะได้รับคำตอบที่อาจถือว่าอันตราย

คุณยังทดลองใช้พรอมต์และการกําหนดค่าโมเดลโดยใช้ Vertex AI Studio ได้ด้วย

ดูข้อมูลเพิ่มเติมเกี่ยวกับรุ่นต่างๆ ของ Gemini

ดูข้อมูลเกี่ยวกับรูปแบบที่ใช้ได้กับกรณีการใช้งานต่างๆ และโควต้าและราคา

แสดงความคิดเห็นเกี่ยวกับประสบการณ์การใช้งาน Vertex AI in Firebase