Google 致力于为黑人社区推动种族平等。查看具体举措
Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Eksportuj kolekcje do BigQuery

Firebase
Stworzone przez Firebase

Wysyła w czasie rzeczywistym przyrostowe aktualizacje z określonej kolekcji Cloud Firestore do BigQuery.

Jak działa to rozszerzenie

Użyj tego rozszerzenia, aby wyeksportować dokumenty z kolekcji Cloud Firestore do BigQuery. Eksport odbywa się w czasie rzeczywistym i odbywa się przyrostowo, więc dane w BigQuery są lustrzanym odbiciem Twoich treści w Cloud Firestore.

Rozszerzenie tworzy i aktualizuje zbiór danych zawierający następujące dwa zasoby BigQuery:

  • Tabela nieprzetworzonych danych, która przechowuje pełną historię zmian dokumentów w Twojej kolekcji. Ta tabela zawiera kilka pól metadanych, dzięki czemu BigQuery może wyświetlać aktualny stan Twoich danych. Podstawowe pola metadanych timestamp , document_name , a operation na zmiany dokumentu.
  • Widok, który reprezentuje aktualny stan danych w Twojej kolekcji. Pokazuje również dziennik ostatnich operation dla każdego dokumentu ( CREATE , UPDATE lub IMPORT ).

Jeśli utworzysz, zaktualizujesz, usuniesz lub zaimportujesz dokument w określonej kolekcji, to rozszerzenie wyśle ​​tę aktualizację do BigQuery. Następnie możesz uruchamiać zapytania na tym lustrzanym zestawie danych.

Zwróć uwagę, że to rozszerzenie nasłuchuje tylko zmian dokumentów w kolekcji, ale nie nasłuchuje zmian w żadnej podkolekcji . Możesz jednak zainstalować dodatkowe wystąpienia tego rozszerzenia, aby w szczególności nasłuchiwać kolekcji podrzędnej lub innych kolekcji w bazie danych. Lub jeśli masz tę samą podkolekcję w dokumentach w danej kolekcji, możesz użyć notacji {wildcard} aby odsłuchać wszystkie te podkolekcje (na przykład: chats/{chatid}/posts ).

Dodatkowa konfiguracja

Przed zainstalowaniem tego rozszerzenia musisz:

Uzupełnij zbiór danych BigQuery

To rozszerzenie wysyła tylko treść zmienionych dokumentów - nie eksportuje pełnego zbioru danych istniejących dokumentów do BigQuery. Aby więc uzupełnić zbiór danych BigQuery wszystkimi dokumentami ze swojej kolekcji, możesz uruchomić skrypt importu udostępniany przez to rozszerzenie.

Ważne: Uruchom skrypt importu na całej kolekcji po zainstalowaniu tego rozszerzenia, w przeciwnym razie wszystkie zapisy w bazie danych podczas importu mogą zostać utracone.

Generuj widoki schematu

Gdy dane znajdą się w BigQuery, możesz uruchomić skrypt widoków schematu (udostępniany przez to rozszerzenie), aby utworzyć widoki, które ułatwią wyszukiwanie odpowiednich danych. Wystarczy dostarczyć plik schematu JSON, który opisuje strukturę danych, a skrypt widoków schematu utworzy widoki.

Dane do faktury

Aby zainstalować rozszerzenie, projekt musi być objęty abonamentem Blaze (płatność zgodnie z rzeczywistym użyciem )

  • Za zasoby Firebase wymagane przez to rozszerzenie (nawet jeśli nie jest używane) zostanie naliczona niewielka opłata (zwykle około 0,01 USD miesięcznie).
  • To rozszerzenie korzysta z innych usług Firebase i Google Cloud Platform, z którymi są powiązane opłaty, jeśli przekroczysz bezpłatny poziom usługi:
  • BigQuery (to rozszerzenie zapisuje w BigQuery za pomocą funkcji wstawiania strumieniowego )
  • Cloud Firestore
  • Cloud Functions (środowisko wykonawcze Node.js 10+. Zobacz często zadawane pytania )

Jak zainstalować to rozszerzenie

Korzystanie z konsoli Firebase

Aby zainstalować rozszerzenia i zarządzać nimi, możesz użyć konsoli Firebase.

Zainstaluj za pomocą konsoli

Korzystanie z interfejsu wiersza polecenia Firebase

Aby zainstalować rozszerzenia i zarządzać nimi, możesz również użyć interfejsu wiersza polecenia Firebase:

Krok 1: Uruchom następujące polecenie npm, aby zainstalować interfejs CLI lub zaktualizować do najnowszej wersji CLI.

npm install -g firebase-tools
nie działa? Zapoznaj się z dokumentacją dotyczącą interfejsu wiersza polecenia Firebase lub zmień swoje uprawnienia npm .

Krok 2: Zainstaluj to rozszerzenie, uruchamiając następujące polecenie

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
Autor
Licencja
Apache-2.0
Wersja
0.1.13