เข้าคิวฟังก์ชันด้วย Cloud Tasks


ฟังก์ชันคิวงานใช้ประโยชน์จาก Google Cloud Tasks เพื่อช่วยให้แอปของคุณรันงานที่ใช้เวลานาน ใช้ทรัพยากรมาก หรืองานที่มีแบนด์วิดท์จำกัดแบบอะซิงโครนัส นอกขั้นตอนหลักของแอปพลิเคชันของคุณ

ตัวอย่างเช่น ลองจินตนาการว่าคุณต้องการสร้างการสำรองข้อมูลของไฟล์ภาพชุดใหญ่ที่ปัจจุบันโฮสต์อยู่บน API โดยมีขีดจำกัดอัตรา ในการเป็นผู้บริโภคที่มีความรับผิดชอบของ API นั้น คุณจะต้องเคารพขีดจำกัดอัตราของพวกเขา นอกจากนี้ งานที่ต้องใช้เวลานานประเภทนี้อาจเสี่ยงต่อความล้มเหลวเนื่องจากการหมดเวลาและขีดจำกัดของหน่วยความจำ

หากต้องการลดความซับซ้อนนี้ คุณสามารถเขียนฟังก์ชันคิวงานที่ตั้งค่าตัวเลือกงานพื้นฐาน เช่น scheduleTime และ dispatchDeadline จากนั้นมอบหมายฟังก์ชันให้กับคิวใน Cloud Tasks สภาพแวดล้อม Cloud Tasks ได้รับการออกแบบมาโดยเฉพาะเพื่อให้แน่ใจว่ามีการควบคุมความแออัดที่มีประสิทธิภาพและลองใช้นโยบายซ้ำสำหรับการดำเนินการประเภทนี้

Firebase SDK สำหรับฟังก์ชันคลาวด์สำหรับ Firebase v3.20.1 และสูงกว่าทำงานร่วมกับ Firebase Admin SDK v10.2.0 และสูงกว่าเพื่อรองรับฟังก์ชันคิวงาน

การใช้ฟังก์ชันคิวงานกับ Firebase อาจส่งผลให้มีการเรียกเก็บเงินสำหรับการประมวลผล Cloud Tasks ดู ราคา Cloud Tasks สำหรับข้อมูลเพิ่มเติม

สร้างฟังก์ชันคิวงาน

หากต้องการใช้ฟังก์ชันคิวงาน ให้ปฏิบัติตามขั้นตอนการทำงานนี้:

  1. เขียนฟังก์ชันคิวงานโดยใช้ Firebase SDK สำหรับฟังก์ชันคลาวด์
  2. ทดสอบฟังก์ชันของคุณโดยเรียกใช้ด้วยคำขอ HTTP
  3. ปรับใช้ฟังก์ชันของคุณด้วย Firebase CLI เมื่อปรับใช้ฟังก์ชันคิวงานของคุณเป็นครั้งแรก CLI จะสร้างคิวงานใน Cloud Tasks โดยมีตัวเลือก (จำกัดอัตราและลองใหม่) ที่ระบุไว้ในซอร์สโค้ดของคุณ
  4. เพิ่มงานลงในคิวงานที่สร้างขึ้นใหม่ โดยส่งผ่านพารามิเตอร์เพื่อตั้งค่ากำหนดการดำเนินการหากจำเป็น คุณสามารถทำได้โดยการเขียนโค้ดโดยใช้ Admin SDK และปรับใช้กับ Cloud Functions for Firebase

เขียนฟังก์ชันคิวงาน

ใช้ onDispatch เพื่อเริ่มเขียนฟังก์ชันคิวงาน ส่วนสำคัญของการเขียนฟังก์ชันคิวงานคือการตั้งค่าการลองใหม่ต่อคิวและการกำหนดค่าการจำกัดอัตรา ตัวอย่างโค้ดในหน้านี้อิงตามแอปที่ตั้งค่าบริการที่สำรองภาพทั้งหมดจาก รูปภาพดาราศาสตร์ประจำวัน ของ NASA :

กำหนดค่าฟังก์ชันคิวงาน

ฟังก์ชันคิวงานมาพร้อมกับชุดการตั้งค่าที่มีประสิทธิภาพเพื่อควบคุมขีดจำกัดอัตราอย่างแม่นยำและลองพฤติกรรมของคิวงานอีกครั้ง:

exports.backupApod = functions
    .runWith( {secrets: ["NASA_API_KEY"]})
    .tasks.taskQueue({
      retryConfig: {
        maxAttempts: 5,
        minBackoffSeconds: 60,
      },
      rateLimits: {
        maxConcurrentDispatches: 6,
      },
    }).onDispatch(async (data) => {
index.js
  • retryConfig.maxAttempts=5 : แต่ละงานในคิวงานจะถูกลองใหม่โดยอัตโนมัติสูงสุด 5 ครั้ง ซึ่งช่วยลดข้อผิดพลาดชั่วคราว เช่น ข้อผิดพลาดของเครือข่ายหรือการหยุดชะงักของบริการชั่วคราวของบริการภายนอกที่ต้องพึ่งพา
  • retryConfig.minBackoffSeconds=60 : แต่ละงานจะถูกลองใหม่อย่างน้อย 60 วินาทีแยกจากความพยายามแต่ละครั้ง นี่เป็นบัฟเฟอร์ขนาดใหญ่ระหว่างความพยายามแต่ละครั้ง ดังนั้นเราจึงไม่รีบเร่งที่จะหมดความพยายามในการลองใหม่ทั้ง 5 ครั้งเร็วเกินไป
  • rateLimits.maxConcurrentDispatch=6 : มีการจัดส่งงานได้สูงสุด 6 งานในเวลาที่กำหนด สิ่งนี้ช่วยให้มั่นใจได้ถึงการสตรีมคำขอไปยังฟังก์ชันพื้นฐานและช่วยลดจำนวนอินสแตนซ์ที่ใช้งานอยู่และ Cold Start

ทดสอบฟังก์ชันคิวงาน

ฟังก์ชันคิวงานใน Firebase Local Emulator Suite จะแสดงเป็นฟังก์ชัน HTTP แบบธรรมดา คุณสามารถทดสอบฟังก์ชันงานที่จำลองได้โดยการส่งคำขอ HTTP POST พร้อมด้วยเพย์โหลดข้อมูล json:

 # start the Firebase Emulators
 firebase emulators:start

 # trigger the emulated task queue function
 curl \
  -X POST                                            # An HTTP POST request...
  -H "content-type: application/json" \              # ... with a JSON body
  http://localhost:$PORT/$PROJECT_ID/$REGION/$NAME \ # ... to function url
  -d '{"data": { ... some data .... }}'              # ... with JSON encoded data

ปรับใช้ฟังก์ชันคิวงาน

ปรับใช้ฟังก์ชันคิวงานโดยใช้ Firebase CLI:

$ firebase deploy --only functions:backupApod

เมื่อปรับใช้ฟังก์ชันคิวงานเป็นครั้งแรก CLI จะสร้างคิวงานใน Cloud Tasks โดยมีตัวเลือก (จำกัดอัตราและลองอีกครั้ง) ที่ระบุไว้ในซอร์สโค้ดของคุณ

หากคุณพบข้อผิดพลาดในการอนุญาตเมื่อปรับใช้ฟังก์ชัน ตรวจสอบให้แน่ใจว่าได้กำหนด บทบาท IAM ที่เหมาะสมให้กับผู้ใช้ที่รันคำสั่งการปรับใช้

จัดคิวฟังก์ชันคิวงาน

ฟังก์ชันคิวงานสามารถจัดคิวไว้ใน Cloud Tasks จากสภาพแวดล้อมเซิร์ฟเวอร์ที่เชื่อถือได้ เช่น Cloud Functions สำหรับ Firebase โดยใช้ Firebase Admin SDK สำหรับ Node.js หากคุณเพิ่งเริ่มใช้ Admin SDK โปรดดู เพิ่ม Firebase ไปยังเซิร์ฟเวอร์ เพื่อเริ่มต้น

ในโฟลว์ทั่วไป Admin SDK จะสร้างงานใหม่ จัดคิวงานไว้ใน Cloud Tasks และตั้งค่าการกำหนดค่าสำหรับงาน:

exports.enqueueBackupTasks = functions.https.onRequest(
async (_request, response) => {
  const queue = getFunctions().taskQueue("backupApod");
  const enqueues = [];
  for (let i = 0; i <= 10; i += 1) {
    // Enqueue each task with i*60 seconds delay. Our task queue function
    // should process ~1 task/min.
    const scheduleDelaySeconds = i * 60 
    enqueues.push(
        queue.enqueue(
          { id: `task-${i}` },
          {
            scheduleDelaySeconds,
            dispatchDeadlineSeconds: 60 * 5 // 5 minutes
          },
        ),
    );
  }
  await Promise.all(enqueues);
  response.sendStatus(200);

});
  • scheduleDelaySeconds : โค้ดตัวอย่างพยายามกระจายการดำเนินงานโดยการเชื่อมโยงความล่าช้าของนาทีที่ N สำหรับงานที่ N ซึ่งแปลเป็นการทริกเกอร์ ~ 1 งาน/นาที โปรดทราบว่าคุณยังใช้ scheduleTime ได้หากต้องการให้ Cloud Tasks ทริกเกอร์งานในเวลาที่กำหนด
  • dispatchDeadlineSeconds : ระยะเวลาสูงสุดที่ Cloud Tasks จะรอให้งานเสร็จสิ้น Cloud Tasks จะพยายามงานอีกครั้งหลังจากลองกำหนดค่าคิวอีกครั้งหรือจนกว่าจะถึงกำหนดเวลานี้ ในตัวอย่าง คิวได้รับการกำหนดค่าให้ลองงานใหม่สูงสุด 5 ครั้ง แต่งานจะถูกยกเลิกโดยอัตโนมัติหากกระบวนการทั้งหมด (รวมถึงความพยายามลองใหม่) ใช้เวลามากกว่า 5 นาที

การแก้ไขปัญหา

เปิดการบันทึก Cloud Tasks

บันทึกจาก Cloud Tasks มีข้อมูลการวินิจฉัยที่เป็นประโยชน์ เช่น สถานะของคำขอที่เกี่ยวข้องกับงาน ตามค่าเริ่มต้น บันทึกจาก Cloud Tasks จะถูกปิดเนื่องจากมีบันทึกจำนวนมากที่อาจสร้างได้ในโปรเจ็กต์ของคุณ เราขอแนะนำให้คุณเปิดบันทึกการแก้ไขข้อบกพร่องในขณะที่คุณกำลังพัฒนาและแก้ไขฟังก์ชันคิวงานของคุณ ดู การเปิดการบันทึก

สิทธิ์ IAM

คุณอาจเห็นข้อผิดพลาด PERMISSION DENIED เมื่อจัดคิวงานหรือเมื่อ Cloud Tasks พยายามเรียกใช้ฟังก์ชันคิวงานของคุณ ตรวจสอบให้แน่ใจว่าโปรเจ็กต์ของคุณมีการเชื่อมโยง IAM ต่อไปนี้:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudtasks.enqueuer

  • ข้อมูลระบุตัวตนที่ใช้ในการจัดคิวงานให้กับ Cloud Tasks ต้องได้รับสิทธิ์เพื่อใช้บัญชีบริการที่เชื่อมโยงกับงานใน Cloud Tasks

    ในตัวอย่างนี้ นี่คือ บัญชีบริการเริ่มต้นของ App Engine

ดู เอกสารประกอบของ Google Cloud IAM สำหรับคำแนะนำเกี่ยวกับวิธีเพิ่มบัญชีบริการเริ่มต้นของ App Engine เป็นผู้ใช้บัญชีบริการเริ่มต้นของ App Engine

gcloud functions add-iam-policy-binding $FUNCTION_NAME \
  --region=us-central1 \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudfunctions.invoker