Cette page a été traduite par l'API Cloud Translation.
Switch to English

Exporter des collections vers BigQuery

Firebase
Fabriqué par Firebase

Envoie des mises à jour incrémentielles en temps réel d'une collection Cloud Firestore spécifiée à BigQuery.

Comment fonctionne cette extension

Utilisez cette extension pour exporter les documents d'une collection Cloud Firestore vers BigQuery. Les exportations sont en temps réel et incrémentielles. Les données de BigQuery sont donc un miroir de votre contenu dans Cloud Firestore.

L'extension crée et met à jour un ensemble de données contenant les deux ressources BigQuery suivantes:

  • Un tableau de données brutes qui stocke un historique complet des modifications des documents de votre collection. Ce tableau comprend un certain nombre de champs de métadonnées afin que BigQuery puisse afficher l'état actuel de vos données. Les principaux champs de métadonnées sont l' timestamp , le nom du document_name et l' operation de modification du document.
  • Une vue qui représente l'état actuel des données de votre collection. Il affiche également un journal de la dernière operation pour chaque document ( CREATE , UPDATE ou IMPORT ).

Si vous créez, mettez à jour, supprimez ou importez un document dans la collection spécifiée, cette extension envoie cette mise à jour à BigQuery. Vous pouvez ensuite exécuter des requêtes sur cet ensemble de données en miroir.

Notez que cette extension écoute uniquement les modifications de document dans la collection, mais pas les modifications dans aucune sous-collection . Vous pouvez cependant installer des instances supplémentaires de cette extension pour écouter spécifiquement une sous-collection ou d'autres collections de votre base de données. Ou si vous avez la même sous-collection dans les documents d'une collection donnée, vous pouvez utiliser la notation {wildcard} pour écouter toutes ces sous-collections (par exemple: chats/{chatid}/posts ).

Configuration supplémentaire

Avant d'installer cette extension, vous devrez:

Remplissez votre ensemble de données BigQuery

Cette extension envoie uniquement le contenu des documents qui ont été modifiés. Elle n'exporte pas l'ensemble de données de vos documents existants dans BigQuery. Ainsi, pour remplir votre ensemble de données BigQuery avec tous les documents de votre collection, vous pouvez exécuter le script d'importation fourni par cette extension.

Important: exécutez le script d'importation sur l'ensemble de la collection après l' installation de cette extension, sinon toutes les écritures dans votre base de données pendant l'importation pourraient être perdues.

Générer des vues de schéma

Une fois vos données dans BigQuery, vous pouvez exécuter le script de vues de schéma (fourni par cette extension) pour créer des vues qui facilitent l'interrogation des données pertinentes. Il vous suffit de fournir un fichier de schéma JSON qui décrit votre structure de données, et le script de vues de schéma créera les vues.

Facturation

Pour installer une extension, votre projet doit être sur le plan Blaze (pay as you go)

  • Un petit montant vous sera facturé (généralement environ 0,01 USD / mois) pour les ressources Firebase requises par cette extension (même si elle n'est pas utilisée).
  • Cette extension utilise d'autres services Firebase et Google Cloud Platform, qui ont des frais associés si vous dépassez le niveau gratuit du service:
  • BigQuery (cette extension écrit dans BigQuery avec des insertions de diffusion en continu )
  • Cloud Firestore
  • Cloud Functions (environnement d'exécution Node.js 10+. Voir FAQ )

Comment installer cette extension

Utilisation de la console Firebase

Pour installer et gérer des extensions, vous pouvez utiliser la console Firebase.

Installer à l'aide de la console

Utilisation de la CLI Firebase

Pour installer et gérer les extensions, vous pouvez également utiliser la CLI Firebase:

Étape 1: exécutez la commande npm suivante pour installer l'interface de ligne de commande ou mettre à jour la dernière version de l'interface de ligne de commande.

npm install -g firebase-tools
Ne fonctionne pas? Jetez un œil à la référence de la CLI Firebase ou modifiez vos autorisations npm .

Étape 2: Installez cette extension en exécutant la commande suivante

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
Auteur
Licence
Apache-2.0
Version
0,1,9