Fonctions de mise en file d'attente avec Cloud Tasks

Les fonctions de file d'attente de tâches tirent parti de Google Cloud Tasks pour aider votre application à exécuter des tâches chronophages, gourmandes en ressources ou limitées en bande passante de manière asynchrone, en dehors de votre flux d'application principal.

Par exemple, imaginons que vous souhaitiez créer des sauvegardes d'un grand nombre de fichiers image actuellement hébergés sur une API avec une limite de débit. Pour être un consommateur responsable de cette API, vous devez respecter ses limites de débit. De plus, ce type de travail de longue durée peut être vulnérable à l'échec en raison des délais d'attente et des limites de mémoire.

Pour atténuer cette complexité, vous pouvez écrire une fonction de file d'attente de tâches qui définit des options de tâche de base telles que scheduleTime et dispatchDeadline , puis transmet la fonction à une file d'attente dans Cloud Tasks. L'environnement Cloud Tasks est conçu spécifiquement pour assurer un contrôle efficace de la congestion et des politiques de nouvelle tentative pour ce type d'opérations.

Le SDK Firebase pour Cloud Functions for Firebase v3.20.1 et versions ultérieures interagit avec Firebase Admin SDK v10.2.0 et versions ultérieures pour prendre en charge les fonctions de file d'attente de tâches.

L'utilisation des fonctions de file d'attente de tâches avec Firebase peut entraîner des frais pour le traitement de Cloud Tasks. Consultez les tarifs de Cloud Tasks pour plus d'informations.

Création de fonctions de file d'attente de tâches

Pour utiliser les fonctions de file d'attente de tâches, suivez ce workflow :

Écrivez une fonction de file d'attente de tâches à l'aide du SDK Firebase pour Cloud Functions.
Testez vos fonctions à l'aide de Firebase Local Emulator Suite.
Déployez votre fonction avec la CLI Firebase. Lorsque vous déployez votre fonction de file d'attente de tâches pour la première fois, la CLI crée une file d'attente de tâches dans Cloud Tasks avec des options (limitation du débit et nouvelle tentative) spécifiées dans votre code source.
Ajoutez des tâches à la file d'attente de tâches nouvellement créée, en transmettant des paramètres pour configurer un calendrier d'exécution si nécessaire. Vous pouvez y parvenir en écrivant le code à l'aide du SDK Admin et en le déployant sur Cloud Functions pour Firebase.

Écrire des fonctions de file d'attente de tâches

Utilisez onDispatch pour commencer à écrire des fonctions de file d'attente de tâches. Une partie importante de l'écriture d'une fonction de file d'attente de tâches consiste à définir une nouvelle tentative par file d'attente et une configuration de limitation de débit. Les exemples de code de cette page sont basés sur une application qui met en place un service qui sauvegarde toutes les images de l'image d'astronomie du jour de la NASA :

Configuration de la file d'attente des tâches

Les fonctions de file d'attente de tâches sont fournies avec un ensemble puissant de paramètres de configuration pour contrôler avec précision les limites de débit et le comportement des nouvelles tentatives d'une file d'attente de tâches :

exports.backupApod = functions
    .runWith( {secrets: ["NASA_API_KEY"]})
    .tasks.taskQueue({
      retryConfig: {
        maxAttempts: 5,
        minBackoffSeconds: 60,
      },
      rateLimits: {
        maxConcurrentDispatches: 6,
      },
    }).onDispatch(async (data) => {index.js

retryConfig.maxAttempts=5 : chaque tâche de la file d'attente des tâches est automatiquement réessayée jusqu'à 5 fois. Cela permet d'atténuer les erreurs transitoires telles que les erreurs de réseau ou l'interruption de service temporaire d'un service externe dépendant.
retryConfig.minBackoffSeconds=60 : Chaque tâche est réessayée au moins 60 secondes entre chaque tentative. Cela fournit un grand tampon entre chaque tentative afin que nous ne nous précipitions pas pour épuiser les 5 tentatives trop rapidement.
rateLimits.maxConcurrentDispatch=6 : Au plus 6 tâches sont réparties à un instant donné. Cela permet d'assurer un flux constant de requêtes vers la fonction sous-jacente et de réduire le nombre d'instances actives et de démarrages à froid.

Test des fonctions de file d'attente de tâches à l'aide de la suite d'émulateurs locaux Firebase

Les fonctions de file d'attente de tâches dans Firebase Local Emulator Suite sont exposées comme de simples fonctions HTTP. Vous pouvez tester une fonction de tâche émulée en envoyant une requête HTTP POST avec une charge utile de données json :

 # start the Firebase Emulators
 firebase emulators:start

 # trigger the emulated task queue function
 curl \
  -X POST                                            # An HTTP POST request...
  -H "content-type: application/json" \              # ... with a JSON body
  http://localhost:$PORT/$PROJECT_ID/$REGION/$NAME \ # ... to function url
  -d '{"data": { ... some data .... }}'              # ... with JSON encoded data

Déploiement de la fonction de file d'attente de tâches

Déployez la fonction de file d'attente des tâches à l'aide de la CLI Firebase :

$ firebase deploy --only functions:backupApod

Lorsque vous déployez une fonction de file d'attente de tâches pour la première fois, la CLI crée une file d'attente de tâches dans Cloud Tasks avec des options (limitation du débit et nouvelle tentative) spécifiées dans votre code source.

Si vous rencontrez des erreurs d'autorisations lors du déploiement de fonctions, assurez-vous que les rôles IAM appropriés sont attribués à l'utilisateur exécutant les commandes de déploiement.

Mettre la fonction en file d'attente

Les fonctions de file d'attente de tâches peuvent être mises en file d'attente dans Cloud Tasks à partir d'un environnement de serveur de confiance comme Cloud Functions pour Firebase à l'aide du SDK Firebase Admin pour Node.js. Si vous débutez avec les SDK d'administration, consultez Ajouter Firebase à un serveur pour commencer.

Dans un flux typique, le SDK Admin crée une nouvelle tâche, la met en file d'attente dans Cloud Tasks et définit la configuration de la tâche :

exports.enqueueBackupTasks = functions.https.onRequest(
async (_request, response) => {
  const queue = getFunctions().taskQueue("backupApod");
  const enqueues = [];
  for (let i = 0; i <= 10; i += 1) {
    // Enqueue each task with i*60 seconds delay. Our task queue function
    // should process ~1 task/min.
    const scheduleDelaySeconds = i * 60 
    enqueues.push(
        queue.enqueue(
          { id: `task-${i}` },
          {
            scheduleDelaySeconds,
            dispatchDeadlineSeconds: 60 * 5 // 5 minutes
          },
        ),
    );
  }
  await Promise.all(enqueues);
  response.sendStatus(200);

});

scheduleDelaySeconds : L'exemple de code tente d'étaler l'exécution des tâches en associant un délai de Nième minutes pour la Nième tâche. Cela se traduit par le déclenchement d'environ 1 tâche/minute. Notez que vous pouvez également utiliser scheduleTime si vous souhaitez que Cloud Tasks déclenche une tâche à une heure précise.
dispatchDeadlineSeconds : durée maximale pendant laquelle Cloud Tasks attendra qu'une tâche se termine. Cloud Tasks réessayera la tâche après la configuration des nouvelles tentatives de la file d'attente ou jusqu'à ce que ce délai soit atteint. Dans l'exemple, la file d'attente est configurée pour réessayer la tâche jusqu'à 5 fois, mais la tâche est automatiquement annulée si l'ensemble du processus (y compris les nouvelles tentatives) prend plus de 5 minutes.

Dépannage

Activer la journalisation Cloud Tasks

Les journaux de Cloud Tasks contiennent des informations de diagnostic utiles, telles que l'état de la requête associée à une tâche. Par défaut, les journaux de Cloud Tasks sont désactivés en raison du volume important de journaux qu'il peut potentiellement générer sur votre projet. Nous vous recommandons d'activer les journaux de débogage pendant que vous développez et déboguez activement les fonctions de votre file d'attente de tâches. Voir Activer la journalisation .

Autorisations IAM

Vous pouvez voir des erreurs PERMISSION DENIED lors de la mise en file d'attente de tâches ou lorsque Cloud Tasks tente d'appeler les fonctions de votre file d'attente de tâches. Assurez-vous que votre projet dispose des liaisons IAM suivantes :

L'identité utilisée pour mettre les tâches en file d'attente dans Cloud Tasks nécessite l'autorisation IAM cloudtasks.tasks.create .
Dans l'exemple, il s'agit du compte de service par défaut d'App Engine

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudtasks.enqueuer

L'identité utilisée pour mettre les tâches en file d'attente dans Cloud Tasks doit être autorisée à utiliser le compte de service associé à une tâche dans Cloud Tasks.
Dans l'exemple, il s'agit du compte de service par défaut d'App Engine .

Consultez la documentation Google Cloud IAM pour savoir comment ajouter le compte de service par défaut App Engine en tant qu'utilisateur du compte de service par défaut App Engine.

L'identité utilisée pour déclencher la fonction de file d'attente de tâches nécessite l'autorisation cloudfunctions.functions.invoke .
Dans l'exemple, il s'agit du compte de service par défaut d'App Engine

gcloud functions add-iam-policy-binding $FUNCTION_NAME \
  --region=us-central1 \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudfunctions.invoker