Mettre des fonctions en file d'attente avec Cloud Tasks

Les fonctions de file d'attente de tâches exploitent Google Cloud Tasks pour permettre à votre application d'exécuter une application qui demande beaucoup de temps, de ressources ou de bande passante les tâches de manière asynchrone, en dehors du flux principal de votre application.

Par exemple, imaginez que vous souhaitiez créer des sauvegardes pour un vaste ensemble d'images qui sont actuellement hébergés sur une API avec une limite de débit. Pour devenir responsable de l'API, vous devez respecter ses limites de débit. De plus, ce type de job de longue durée peut être vulnérable aux échecs en raison des délais avant expiration et les limites de mémoire.

Pour atténuer cette complexité, vous pouvez écrire une fonction de file d'attente de tâches qui définit des options de tâche telles que scheduleTime et dispatchDeadline, puis transmet au dans une file d'attente dans Cloud Tasks. Cloud Tasks est conçu spécifiquement pour garantir un contrôle efficace des embouteillages stratégies de nouvelle tentative pour ce type d'opérations.

Le SDK Firebase pour Cloud Functions for Firebase version 3.20.1 ou ultérieure fonctionne avec Firebase Admin SDK v10.2.0 ou version ultérieure pour prendre en charge les fonctions de file d'attente de tâches.

L'utilisation de fonctions de file d'attente de tâches avec Firebase peut entraîner des frais de traitement Cloud Tasks. Voir Tarifs de Cloud Tasks pour en savoir plus.

Créer des fonctions de file d'attente de tâches

Pour utiliser les fonctions de file d'attente de tâches, procédez comme suit:

Écrivez une fonction de file d'attente de tâches à l'aide du SDK Firebase pour Cloud Functions.
Testez votre fonction en la déclenchant avec une requête HTTP.
Déployez votre fonction avec la CLI Firebase. Lors du déploiement de votre tâche file d'attente pour la première fois, la CLI crée file d'attente de tâches dans Cloud Tasks avec des options (limitation du débit et nouvelle tentative) spécifiées dans votre code source.
Ajoutez des tâches à la file d'attente de tâches que vous venez de créer, en transmettant des paramètres pour configurer un calendrier d'exécution si nécessaire. Pour ce faire, vous pouvez écrire le code en utilisant Admin SDK et en le déployant dans Cloud Functions for Firebase.

Écrire des fonctions de file d'attente des tâches

Utiliser onDispatch pour commencer à écrire des fonctions de file d'attente de tâches. Un élément une partie de l'écriture d'une fonction de file d'attente de tâches consiste à définir les nouvelles tentatives par file d'attente et le taux une configuration restreinte. Les exemples de code de cette page sont basés sur une application qui définit un service qui sauvegarde toutes les images Image astronomique du jour:

Configurer les fonctions de la file d'attente de tâches

Les fonctions de file d'attente de tâches sont fournies avec un ensemble performant de paramètres de configuration pour contrôler avec précision les limites de débit et le comportement de nouvelle tentative d'une file d'attente de tâches:

exports.backupApod = functions
    .runWith( {secrets: ["NASA_API_KEY"]})
    .tasks.taskQueue({
      retryConfig: {
        maxAttempts: 5,
        minBackoffSeconds: 60,
      },
      rateLimits: {
        maxConcurrentDispatches: 6,
      },
    }).onDispatch(async (data) => {index.js

retryConfig.maxAttempts=5: chaque tâche de la file d'attente est automatiquement 5 tentatives maximum. Cela permet de limiter les erreurs temporaires, telles que les erreurs ou l'interruption temporaire d'un service externe dépendant.
retryConfig.minBackoffSeconds=60: chaque tâche est relancée pendant au moins 60 secondes à l'exception de chaque tentative. Ainsi, vous disposez d'un espace de stockage important entre chaque tentative. Nous ne nous précipitons donc pas pour épuiser trop rapidement les 5 tentatives de relance.
rateLimits.maxConcurrentDispatch=6: six tâches au maximum sont envoyées à la fois à un moment donné. Cela permet de garantir un flux constant de requêtes au niveau et permet de réduire le nombre d'instances actives et de démarrages à froid.

Tester les fonctions de la file d'attente de tâches

Dans la plupart des cas, l'émulateur Cloud Functions est le meilleur moyen de tester les fonctions de file d'attente de tâches. Consultez la documentation de la suite d'émulateurs pour découvrir comment instrumenter votre application pour l'émulation des fonctions de file d'attente de tâches.

De plus, les fonctions de file d'attente de tâches sont exposées de manière simple Fonctions HTTP dans le Firebase Local Emulator Suite. Vous pouvez tester une fonction de tâche émulée en envoyant une requête HTTP POST avec une charge utile de données JSON:

 # start the Firebase Emulators
 firebase emulators:start

 # trigger the emulated task queue function
 curl \
  -X POST                                            # An HTTP POST request...
  -H "content-type: application/json" \              # ... with a JSON body
  http://localhost:$PORT/$PROJECT_ID/$REGION/$NAME \ # ... to function url
  -d '{"data": { ... some data .... }}'              # ... with JSON encoded data

Déployer des fonctions de file d'attente de tâches

Déployez la fonction de file d'attente de tâches à l'aide de la CLI Firebase :

$ firebase deploy --only functions:backupApod

Lors du déploiement d'une fonction de file d'attente de tâches pour la première fois, la CLI crée un file d'attente de tâches dans Cloud Tasks avec des options (limitation du débit et nouvelle tentative) spécifié dans votre code source.

Si vous rencontrez des erreurs d'autorisation lors du déploiement de fonctions, assurez-vous que le les rôles IAM appropriés sont attribués à l'utilisateur qui exécute les commandes de déploiement.

Fonctions de file d'attente de tâches

Les fonctions de file d'attente de tâches peuvent être mises en file d'attente dans Cloud Tasks à partir d'une environnement de serveur tel que Cloud Functions for Firebase, en utilisant Firebase Admin SDK pour Node.js. Si vous ne connaissez pas les Admin SDK, consultez Pour commencer, ajoutez Firebase à un serveur.

Dans un flux typique, Admin SDK crée une tâche, l'enfile dans Cloud Tasks et définit la configuration de la tâche :

exports.enqueueBackupTasks = functions.https.onRequest(
async (_request, response) => {
  const queue = getFunctions().taskQueue("backupApod");
  const enqueues = [];
  for (let i = 0; i <= 10; i += 1) {
    // Enqueue each task with i*60 seconds delay. Our task queue function
    // should process ~1 task/min.
    const scheduleDelaySeconds = i * 60 
    enqueues.push(
        queue.enqueue(
          { id: `task-${i}` },
          {
            scheduleDelaySeconds,
            dispatchDeadlineSeconds: 60 * 5 // 5 minutes
          },
        ),
    );
  }
  await Promise.all(enqueues);
  response.sendStatus(200);

});

scheduleDelaySeconds: l'exemple de code tente d'étaler l'exécution de tâches en associant un délai de Nièmes minutes à la Nième tâche. Ce se traduit par un déclenchement d'environ 1 tâche/minute. Notez que vous pouvez également utiliser scheduleTime si vous voulez que Cloud Tasks se déclenche une tâche à un moment précis.
dispatchDeadlineSeconds: durée maximale Cloud Tasks va patienter pour une tâche. Cloud Tasks va réessayer la tâche après la requête la configuration de la file d'attente ou jusqu'à ce que ce délai soit atteint. Dans l'exemple, la file d'attente est configurée pour retenter la tâche jusqu'à 5 fois, mais la tâche est sont automatiquement annulées si l'ensemble du processus (y compris les nouvelles tentatives) prend plus de cinq minutes.

Dépannage

Cloud Tasks">Activer la journalisation Cloud Tasks

Les journaux de Cloud Tasks contiennent des informations de diagnostic utiles telles que le état de la requête associée à une tâche. Par défaut, les journaux de Cloud Tasks sont désactivés en raison du grand volume de journaux qu'ils peuvent potentiellement générer sur votre projet. Nous vous recommandons d'activer les journaux de débogage pendant que vous développez et déboguez activement vos fonctions de file d'attente de tâches. Voir L'activation Logging.

Autorisations IAM

Des erreurs PERMISSION DENIED peuvent s'afficher lors de la mise en file d'attente de tâches ou lorsque Cloud Tasks tente d'appeler vos fonctions de file d'attente de tâches. Vérifiez que vos comporte les liaisons IAM suivantes:

L'identité utilisée pour mettre les tâches en file d'attente dans les besoins de Cloud Tasks Autorisation IAM cloudtasks.tasks.create.

Dans l'exemple, il s'agit du compte de service par défaut App Engine.

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudtasks.enqueuer

L'identité utilisée pour mettre des tâches en file d'attente dans Cloud Tasks a besoin d'une autorisation pour utiliser le compte de service associé à une tâche dans Cloud Tasks.

Dans l'exemple, il s'agit du compte de service par défaut App Engine.

Consultez la documentation Google Cloud IAM pour savoir comment ajouter le compte de service par défaut App Engine en tant qu'utilisateur du compte de service par défaut App Engine.

L'identité utilisée pour déclencher la fonction de file d'attente de tâches a besoin Autorisation cloudfunctions.functions.invoke.

Dans l'exemple, il s'agit du compte de service par défaut App Engine.

gcloud functions add-iam-policy-binding $FUNCTION_NAME \
  --region=us-central1 \
  --member=serviceAccount:${PROJECT_ID}@appspot.gserviceaccount.com \
  --role=roles/cloudfunctions.invoker