Les fonctions de file d'attente de tâches tirent parti de Google Cloud Tasks pour aider votre application à exécuter des tâches longues, gourmandes en ressources ou limitées en bande passante de manière asynchrone, en dehors du flux principal de votre application.
Imaginons que vous souhaitiez créer des sauvegardes d'un grand ensemble de fichiers image actuellement hébergés sur une API avec une limite de débit. Pour être un consommateur responsable de cette API, vous devez respecter ses limites de débit. De plus, ce type de tâche de longue durée peut être vulnérable aux échecs en raison des délais avant expiration et des limites de mémoire.
Pour atténuer cette complexité, vous pouvez écrire une fonction de file d'attente de tâches qui définit des options de tâche de base
telles que scheduleTime, et dispatchDeadline, puis transmet la
fonction à une file d'attente dans Cloud Tasks. L'Cloud Tasks
environnement est conçu spécifiquement pour garantir un contrôle efficace de la congestion et
des règles de nouvelle tentative pour ces types d'opérations.
Le SDK Firebase pour Cloud Functions for Firebase v3.20.1 et versions ultérieures interagit avec Firebase Admin SDK v10.2.0 et versions ultérieures pour prendre en charge les fonctions de file d'attente de tâches.
L'utilisation de fonctions de file d'attente de tâches avec Firebase peut entraîner des frais de Cloud Tasks traitement. Pour en savoir plus, consultez la tarification Cloud Tasks.
Créer des fonctions de file d'attente de tâches
Pour utiliser les fonctions de file d'attente de tâches, suivez ce workflow :
- Écrivez une fonction de file d'attente de tâches à l'aide du Firebase SDK pour Cloud Functions.
- Testez votre fonction en la déclenchant avec une requête HTTP.
- Déployez votre fonction avec la Firebase CLI. Lorsque vous déployez votre fonction de file d'attente de tâches pour la première fois, la CLI crée une file d'attente de tâches dans Cloud Tasks avec les options (limitation du débit et nouvelle tentative) spécifiées dans votre code source.
- Ajoutez des tâches à la file d'attente de tâches nouvellement créée, en transmettant des paramètres pour configurer un calendrier d'exécution si nécessaire. Pour ce faire, écrivez le code à l'aide du Admin SDK et déployez-le dans Cloud Functions for Firebase.
Écrire des fonctions de file d'attente de tâches
Utilisez onDispatch
pour commencer à écrire des fonctions de file d'attente de tâches. Une partie importante de l'écriture d'une fonction de file d'attente de tâches consiste à définir une configuration de nouvelle tentative et de limitation du débit par file d'attente. Les exemples de code de cette page sont basés sur une application qui configure
un service qui sauvegarde toutes les images de la photo d'astronomie du jour de la NASA
:
Configurer les fonctions de file d'attente de tâches
Les fonctions de file d'attente de tâches sont fournies avec un ensemble puissant de paramètres de configuration permettant de contrôler précisément les limites de débit et le comportement de nouvelle tentative d'une file d'attente de tâches :
exports.backupApod = functions
.runWith( {secrets: ["NASA_API_KEY"]})
.tasks.taskQueue({
retryConfig: {
maxAttempts: 5,
minBackoffSeconds: 60,
},
rateLimits: {
maxConcurrentDispatches: 6,
},
}).onDispatch(async (data) => {
retryConfig.maxAttempts=5: chaque tâche de la file d'attente de tâches fait automatiquement l'objet de cinq tentatives au maximum. Cela permet d'atténuer les erreurs temporaires telles que les erreurs réseau ou l'interruption temporaire du service d'un service externe dépendant.retryConfig.minBackoffSeconds=60: chaque tâche fait l'objet d'une nouvelle tentative au moins 60 secondes après chaque tentative. Cela fournit un tampon important entre chaque tentative afin de ne pas épuiser trop rapidement les cinq tentatives.rateLimits.maxConcurrentDispatch=6: au maximum six tâches sont distribuées à un moment donné. Cela permet de garantir un flux constant de requêtes vers la fonction sous-jacente et de réduire le nombre d'instances actives et de démarrages à froid.
Tester les fonctions de file d'attente de tâches
Dans la plupart des cas, l'émulateur Cloud Functions est le meilleur moyen de tester les fonctions de file d'attente de tâches. Consultez la documentation de la suite d'émulateurs pour découvrir comment instrumenter votre application pour l'émulation de fonctions de file d'attente de tâches.
De plus, les fonctions de file d'attente de tâches sont exposées en tant que fonctions HTTP simples dans le Firebase Local Emulator Suite. Vous pouvez tester une fonction de tâche émulée en envoyant une requête HTTP POST avec une charge utile de données JSON :
# start the Firebase Emulators
firebase emulators:start
# trigger the emulated task queue function
curl \
-X POST # An HTTP POST request...
-H "content-type: application/json" \ # ... with a JSON body
http://localhost:$PORT/$PROJECT_ID/$REGION/$NAME \ # ... to function url
-d '{"data": { ... some data .... }}' # ... with JSON encoded data
Déployer des fonctions de file d'attente de tâches
Déployez la fonction de file d'attente de tâches à l'aide de la CLI Firebase :
$ firebase deploy --only functions:backupApod
Lorsque vous déployez une fonction de file d'attente de tâches pour la première fois, la CLI crée une file d'attente de tâches dans Cloud Tasks avec les options (limitation du débit et nouvelle tentative) spécifiées dans votre code source.
Si vous rencontrez des erreurs d'autorisation lors du déploiement de fonctions, assurez-vous que les rôles IAM appropriés sont attribués à l'utilisateur qui exécute les commandes de déploiement.
Mettre en file d'attente des fonctions de file d'attente de tâches
Les fonctions de file d'attente de tâches peuvent être mises en file d'attente dans Cloud Tasks à partir d'un environnement de serveur approuvé tel que Cloud Functions for Firebase à l'aide du Firebase Admin SDK pour Node.js. Si vous n'avez jamais utilisé les Admin SDKs, consultez Ajouter Firebase à un serveur pour commencer.
Dans un flux typique, le Admin SDK crée une tâche, la met en file d'attente dans Cloud Tasks, et définit la configuration de la tâche :
exports.enqueueBackupTasks = functions.https.onRequest(
async (_request, response) => {
const queue = getFunctions().taskQueue("backupApod");
const enqueues = [];
for (let i = 0; i <= 10; i += 1) {
// Enqueue each task with i*60 seconds delay. Our task queue function
// should process ~1 task/min.
const scheduleDelaySeconds = i * 60
enqueues.push(
queue.enqueue(
{ id: `task-${i}` },
{
scheduleDelaySeconds,
dispatchDeadlineSeconds: 60 * 5 // 5 minutes
},
),
);
}
await Promise.all(enqueues);
response.sendStatus(200);
});
scheduleDelaySeconds: l'exemple de code tente de répartir l'exécution des tâches en associant un délai de N minutes à la Nème tâche. Cela se traduit par le déclenchement d'environ une tâche par minute. Notez que vous pouvez également utiliserscheduleTimesi vous souhaitez que Cloud Tasks déclenche une tâche à un moment spécifique.dispatchDeadlineSeconds: durée maximale pendant laquelle Cloud Tasks attendra qu'une tâche se termine. Cloud Tasks tentera de nouveau d'exécuter la tâche en suivant la configuration de nouvelle tentative de la file d'attente ou jusqu'à ce que ce délai soit atteint. Dans l'exemple, la file d'attente est configurée pour réessayer d'exécuter la tâche jusqu'à cinq fois, mais la tâche est automatiquement annulée si l'ensemble du processus (y compris les tentatives) prend plus de cinq minutes.
Dépannage
Activer la journalisation Cloud Tasks
Les journaux de Cloud Tasks contiennent des informations de diagnostic utiles, telles que l' état de la requête associée à une tâche. Par défaut, les journaux de Cloud Tasks sont désactivés en raison du volume important de journaux qu'ils peuvent potentiellement générer dans votre projet. Nous vous recommandons d'activer les journaux de débogage lorsque vous développez et déboguez activement vos fonctions de file d'attente de tâches. Consultez Activer la journalisation.
Autorisations IAM
Des erreurs PERMISSION DENIED peuvent s'afficher lors de la mise en file d'attente de tâches ou lorsque
Cloud Tasks tente d'appeler vos fonctions de file d'attente de tâches. Assurez-vous que votre projet dispose des liaisons IAM suivantes :
L'identité utilisée pour mettre en file d'attente des tâches dans Cloud Tasks doit disposer de
cloudtasks.tasks.createl'autorisation IAM.Dans l'exemple, il s'agit du App Engine compte de service par défaut
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
--role=roles/cloudtasks.enqueuer
L'identité utilisée pour mettre en file d'attente des tâches dans Cloud Tasks doit être autorisée à utiliser le compte de service associé à une tâche dans Cloud Tasks.
Dans l'exemple, il s'agit du App Engine compte de service par défaut.
Consultez la documentation Google Cloud IAM pour savoir comment ajouter le compte de service par défaut App Engine en tant qu'utilisateur du compte de service par défaut App Engine.
L'identité utilisée pour déclencher la fonction de file d'attente de tâches doit disposer de l'autorisation
cloudfunctions.functions.invoke.Dans l'exemple, il s'agit du App Engine compte de service par défaut
gcloud functions add-iam-policy-binding $FUNCTION_NAME \
--region=us-central1 \
--member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
--role=roles/cloudfunctions.invoker