Funkcje umieszczania w kolejce za pomocą zadań w chmurze


Funkcje kolejki zadań korzystają z Google Cloud Tasks , aby pomóc Twojej aplikacji asynchronicznie wykonywać czasochłonne, wymagające dużej ilości zasobów lub ograniczonej przepustowości zadania, poza głównym przepływem aplikacji.

Załóżmy na przykład, że chcesz utworzyć kopie zapasowe dużego zestawu plików obrazów, które są obecnie hostowane w interfejsie API z ograniczeniem szybkości. Aby być odpowiedzialnym konsumentem tego API, musisz przestrzegać jego limitów stawek. Ponadto tego rodzaju długotrwałe zadanie może być podatne na awarie ze względu na przekroczenia limitu czasu i limity pamięci.

Aby złagodzić tę złożoność, możesz napisać funkcję kolejki zadań, która ustawia podstawowe opcje zadania, takie scheduleTime i dispatchDeadline , a następnie przekazuje tę funkcję do kolejki w Cloud Tasks. Środowisko Cloud Tasks zostało zaprojektowane specjalnie w celu zapewnienia skutecznej kontroli zatorów i zasad ponawiania prób dla tego rodzaju operacji.

Pakiet Firebase SDK dla Cloud Functions dla Firebase w wersji 3.20.1 i nowszych współpracuje z Firebase Admin SDK w wersji 10.2.0 i nowszych, aby obsługiwać funkcje kolejki zadań.

Korzystanie z funkcji kolejki zadań w Firebase może skutkować naliczeniem opłat za przetwarzanie zadań w chmurze. Więcej informacji znajdziesz w cenniku Cloud Tasks .

Utwórz funkcje kolejki zadań

Aby skorzystać z funkcji kolejki zadań, postępuj zgodnie z poniższą procedurą:

  1. Napisz funkcję kolejki zadań, korzystając z pakietu SDK Firebase dla Cloud Functions.
  2. Przetestuj swoją funkcję, uruchamiając ją za pomocą żądania HTTP.
  3. Wdróż swoją funkcję za pomocą interfejsu CLI Firebase. Podczas pierwszego wdrażania funkcji kolejki zadań interfejs CLI utworzy kolejkę zadań w Cloud Tasks z opcjami (ograniczanie szybkości i ponawianie prób) określonymi w kodzie źródłowym.
  4. Dodaj zadania do nowo utworzonej kolejki zadań, przekazując parametry, aby w razie potrzeby ustawić harmonogram wykonania. Można to osiągnąć, pisząc kod przy użyciu pakietu Admin SDK i wdrażając go w Cloud Functions for Firebase.

Napisz funkcje kolejki zadań

Użyj onDispatch aby rozpocząć pisanie funkcji kolejki zadań. Ważną częścią pisania funkcji kolejki zadań jest ustawienie liczby ponownych prób dla każdej kolejki i konfiguracji ograniczającej szybkość. Przykłady kodu na tej stronie opierają się na aplikacji, która konfiguruje usługę tworzenia kopii zapasowych wszystkich obrazów z Astronomicznego Zdjęcie Dnia NASA:

Skonfiguruj funkcje kolejki zadań

Funkcje kolejki zadań obejmują rozbudowany zestaw ustawień konfiguracyjnych umożliwiających precyzyjną kontrolę limitów szybkości i zachowania kolejki zadań ponawiania:

exports.backupApod = functions
    .runWith( {secrets: ["NASA_API_KEY"]})
    .tasks.taskQueue({
      retryConfig: {
        maxAttempts: 5,
        minBackoffSeconds: 60,
      },
      rateLimits: {
        maxConcurrentDispatches: 6,
      },
    }).onDispatch(async (data) => {
index.js
  • retryConfig.maxAttempts=5 : Każde zadanie w kolejce zadań jest automatycznie ponawiane maksymalnie 5 razy. Pomaga to ograniczyć błędy przejściowe, takie jak błędy sieciowe lub tymczasowe zakłócenia usług zależnej usługi zewnętrznej.
  • retryConfig.minBackoffSeconds=60 : Każde zadanie jest ponawiane w odstępie co najmniej 60 sekund od każdej próby. Zapewnia to duży bufor pomiędzy każdą próbą, więc nie śpieszymy się z wyczerpaniem 5 ponownych prób zbyt szybko.
  • rateLimits.maxConcurrentDispatch=6 : W danym momencie wysyłanych jest maksymalnie 6 zadań. Pomaga to zapewnić stały strumień żądań do podstawowej funkcji i pomaga zmniejszyć liczbę aktywnych instancji i zimnych startów.

Przetestuj funkcje kolejki zadań

Funkcje kolejki zadań w pakiecie Firebase Local Emulator Suite są udostępniane jako proste funkcje HTTP. Możesz przetestować emulowaną funkcję zadania, wysyłając żądanie HTTP POST z ładunkiem danych JSON:

 # start the Firebase Emulators
 firebase emulators:start

 # trigger the emulated task queue function
 curl \
  -X POST                                            # An HTTP POST request...
  -H "content-type: application/json" \              # ... with a JSON body
  http://localhost:$PORT/$PROJECT_ID/$REGION/$NAME \ # ... to function url
  -d '{"data": { ... some data .... }}'              # ... with JSON encoded data

Wdróż funkcje kolejki zadań

Wdróż funkcję kolejki zadań za pomocą interfejsu CLI Firebase:

$ firebase deploy --only functions:backupApod

Podczas pierwszego wdrażania funkcji kolejki zadań interfejs CLI tworzy kolejkę zadań w Cloud Tasks z opcjami (ograniczanie szybkości i ponawianie prób) określonymi w kodzie źródłowym.

Jeśli podczas wdrażania funkcji napotkasz błędy uprawnień, upewnij się, że użytkownikowi uruchamiającemu polecenia wdrażania przypisano odpowiednie role IAM .

Kolejkuj funkcje kolejki zadań

Funkcje kolejki zadań można kolejkować w Cloud Tasks z zaufanego środowiska serwerowego, takiego jak Cloud Functions for Firebase, przy użyciu pakietu Firebase Admin SDK dla Node.js. Jeśli dopiero zaczynasz korzystać z zestawów Admin SDK, zobacz Dodawanie Firebase do serwera , aby rozpocząć.

W typowym procesie pakiet Admin SDK tworzy nowe zadanie, umieszcza je w kolejce w Cloud Tasks i ustawia konfigurację zadania:

exports.enqueueBackupTasks = functions.https.onRequest(
async (_request, response) => {
  const queue = getFunctions().taskQueue("backupApod");
  const enqueues = [];
  for (let i = 0; i <= 10; i += 1) {
    // Enqueue each task with i*60 seconds delay. Our task queue function
    // should process ~1 task/min.
    const scheduleDelaySeconds = i * 60 
    enqueues.push(
        queue.enqueue(
          { id: `task-${i}` },
          {
            scheduleDelaySeconds,
            dispatchDeadlineSeconds: 60 * 5 // 5 minutes
          },
        ),
    );
  }
  await Promise.all(enqueues);
  response.sendStatus(200);

});
  • scheduleDelaySeconds : Przykładowy kod próbuje rozłożyć wykonywanie zadań, powiązując opóźnienie N-tych minut z N-tym zadaniem. Przekłada się to na uruchomienie ~ 1 zadania/minutę. Pamiętaj, że możesz także użyć scheduleTime , jeśli chcesz, aby Zadania w chmurze uruchamiały zadanie o określonej godzinie.
  • dispatchDeadlineSeconds : Maksymalny czas oczekiwania Cloud Tasks na zakończenie zadania. Cloud Tasks ponawia próbę wykonania zadania po ponownej konfiguracji kolejki lub do momentu osiągnięcia tego terminu. W przykładzie kolejka jest skonfigurowana tak, aby ponawiać wykonanie zadania maksymalnie 5 razy, ale zadanie jest automatycznie anulowane, jeśli cały proces (w tym ponowne próby) zajmie więcej niż 5 minut.

Rozwiązywanie problemów

Włącz rejestrowanie zadań w chmurze

Dzienniki z Cloud Tasks zawierają przydatne informacje diagnostyczne, takie jak stan żądania powiązanego z zadaniem. Domyślnie logi z Cloud Tasks są wyłączone ze względu na dużą liczbę logów, które mogą potencjalnie wygenerować w Twoim projekcie. Zalecamy włączenie dzienników debugowania podczas aktywnego tworzenia i debugowania funkcji kolejki zadań. Zobacz Włączanie rejestrowania .

Uprawnienia

Podczas kolejkowania zadań lub gdy Cloud Tasks próbuje wywołać funkcje kolejki zadań, mogą pojawić się błędy PERMISSION DENIED . Upewnij się, że Twój projekt ma następujące powiązania uprawnień:

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudtasks.enqueuer

  • Tożsamość używana do kolejkowania zadań w Cloud Tasks wymaga uprawnień do korzystania z konta usługi powiązanego z zadaniem w Cloud Tasks.

    W przykładzie jest to domyślne konto usługi App Engine .

Instrukcje dodawania domyślnego konta usługi App Engine jako użytkownika domyślnego konta usługi App Engine znajdziesz w dokumentacji Google Cloud IAM .

gcloud functions add-iam-policy-binding $FUNCTION_NAME \
  --region=us-central1 \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudfunctions.invoker