Eksportuj kolekcje do BigQuery
Stworzone przez Firebase
Wysyła w czasie rzeczywistym przyrostowe aktualizacje z określonej kolekcji Cloud Firestore do BigQuery.
Jak działa to rozszerzenie
Użyj tego rozszerzenia, aby wyeksportować dokumenty z kolekcji Cloud Firestore do BigQuery. Eksport odbywa się w czasie rzeczywistym i odbywa się przyrostowo, więc dane w BigQuery są lustrzanym odbiciem Twoich treści w Cloud Firestore.
Rozszerzenie tworzy i aktualizuje zbiór danych zawierający następujące dwa zasoby BigQuery:
- Tabela nieprzetworzonych danych, która przechowuje pełną historię zmian dokumentów w Twojej kolekcji. Ta tabela zawiera kilka pól metadanych, dzięki czemu BigQuery może wyświetlać aktualny stan Twoich danych. Podstawowe pola metadanych
timestamp,document_name, aoperationna zmiany dokumentu. - Widok, który reprezentuje aktualny stan danych w Twojej kolekcji. Pokazuje również dziennik ostatnich
operationdla każdego dokumentu (CREATE,UPDATElubIMPORT).
Jeśli utworzysz, zaktualizujesz, usuniesz lub zaimportujesz dokument w określonej kolekcji, to rozszerzenie wyśle tę aktualizację do BigQuery. Następnie możesz uruchamiać zapytania na tym lustrzanym zestawie danych.
Zwróć uwagę, że to rozszerzenie nasłuchuje tylko zmian dokumentów w kolekcji, ale nie nasłuchuje zmian w żadnej podkolekcji . Możesz jednak zainstalować dodatkowe wystąpienia tego rozszerzenia, aby w szczególności nasłuchiwać kolekcji podrzędnej lub innych kolekcji w bazie danych. Lub jeśli masz tę samą podkolekcję w dokumentach w danej kolekcji, możesz użyć notacji {wildcard} aby odsłuchać wszystkie te podkolekcje (na przykład: chats/{chatid}/posts ).
Dodatkowa konfiguracja
Przed zainstalowaniem tego rozszerzenia musisz:
Uzupełnij zbiór danych BigQuery
To rozszerzenie wysyła tylko treść zmienionych dokumentów - nie eksportuje pełnego zbioru danych istniejących dokumentów do BigQuery. Aby więc uzupełnić zbiór danych BigQuery wszystkimi dokumentami ze swojej kolekcji, możesz uruchomić skrypt importu udostępniany przez to rozszerzenie.
Ważne: Uruchom skrypt importu na całej kolekcji po zainstalowaniu tego rozszerzenia, w przeciwnym razie wszystkie zapisy w bazie danych podczas importu mogą zostać utracone.
Generuj widoki schematu
Gdy dane znajdą się w BigQuery, możesz uruchomić skrypt widoków schematu (udostępniany przez to rozszerzenie), aby utworzyć widoki, które ułatwią wyszukiwanie odpowiednich danych. Wystarczy dostarczyć plik schematu JSON, który opisuje strukturę danych, a skrypt widoków schematu utworzy widoki.
Dane do faktury
Aby zainstalować rozszerzenie, projekt musi być objęty abonamentem Blaze (płatność zgodnie z rzeczywistym użyciem )
- Za zasoby Firebase wymagane przez to rozszerzenie (nawet jeśli nie jest używane) zostanie naliczona niewielka opłata (zwykle około 0,01 USD miesięcznie).
- To rozszerzenie korzysta z innych usług Firebase i Google Cloud Platform, z którymi są powiązane opłaty, jeśli przekroczysz bezpłatny poziom usługi:
- BigQuery (to rozszerzenie zapisuje w BigQuery za pomocą funkcji wstawiania strumieniowego )
- Cloud Firestore
- Cloud Functions (środowisko wykonawcze Node.js 10+. Zobacz często zadawane pytania )
Jak zainstalować to rozszerzenie
Korzystanie z konsoli Firebase
Aby zainstalować rozszerzenia i zarządzać nimi, możesz użyć konsoli Firebase.
Zainstaluj za pomocą konsoliKorzystanie z interfejsu wiersza polecenia Firebase
Aby zainstalować rozszerzenia i zarządzać nimi, możesz również użyć interfejsu wiersza polecenia Firebase:
Krok 1: Uruchom następujące polecenie npm, aby zainstalować interfejs CLI lub zaktualizować do najnowszej wersji CLI.
npm install -g firebase-toolsnie działa? Zapoznaj się z dokumentacją dotyczącą interfejsu wiersza polecenia Firebase lub zmień swoje uprawnienia npm .
Krok 2: Zainstaluj to rozszerzenie, uruchamiając następujące polecenie
firebase ext:install firestore-bigquery-export --project=projectId_or_alias