Экспорт коллекций в BigQuery
Сделано Firebase
Отправляет в реальном времени инкрементные обновления из указанной коллекции Cloud Firestore в BigQuery.
Как работает это расширение
Используйте это расширение для экспорта документов из коллекции Cloud Firestore в BigQuery. Экспорт осуществляется в реальном времени и инкрементально, поэтому данные в BigQuery являются зеркалом вашего контента в Cloud Firestore.
Расширение создает и обновляет набор данных, содержащий следующие два ресурса BigQuery:
- Таблица необработанных данных, в которой хранится полная история изменений документов в вашей коллекции. Эта таблица включает ряд полей метаданных, чтобы BigQuery мог отображать текущее состояние ваших данных. Основными полями метаданных являются
timestamp,document_nameиoperationизменения документа. - Вид , который представляет текущее состояние данных в пределах вашей коллекции. Он также показывает журнал последней
operationдля каждого документа (CREATE,UPDATEилиIMPORT).
Если вы создаете, обновляете, удаляете или импортируете документ в указанной коллекции, это расширение отправляет это обновление в BigQuery. Затем вы можете запускать запросы к этому зеркальному набору данных.
Обратите внимание, что это расширение отслеживает только изменения документов в коллекции, но не изменения в какой-либо вложенной коллекции . Однако вы можете установить дополнительные экземпляры этого расширения, чтобы специально прослушивать подколлекцию или другие коллекции в вашей базе данных. Или, если у вас есть одна и та же вложенная коллекция для всех документов в данной коллекции, вы можете использовать нотацию {wildcard} для прослушивания всех этих вложенных коллекций (например: chats/{chatid}/posts ).
Дополнительная настройка
Перед установкой этого расширения вам необходимо:
Заполните свой набор данных BigQuery
Это расширение отправляет только содержимое измененных документов - оно не экспортирует полный набор данных существующих документов в BigQuery. Итак, чтобы заполнить набор данных BigQuery всеми документами из вашей коллекции, вы можете запустить сценарий импорта, предоставляемый этим расширением.
Важно: запустите сценарий импорта для всей коллекции после установки этого расширения, иначе все записи в базу данных во время импорта могут быть потеряны.
Создание представлений схемы
После того, как ваши данные помещены в BigQuery, вы можете запустить сценарий представления схемы (предоставляемый этим расширением), чтобы создать представления, которые упростят запрос соответствующих данных. Вам нужно только предоставить файл схемы JSON, который описывает вашу структуру данных, и сценарий представления схемы создаст представления.
Биллинг
Чтобы установить расширение, ваш проект должен быть включен в тарифный план Blaze (оплата по мере использования).
- С вас будет взиматься небольшая сумма (обычно около 0,01 доллара США в месяц) за ресурсы Firebase, необходимые для этого расширения (даже если оно не используется).
- Это расширение использует другие сервисы Firebase и Google Cloud Platform, за которые взимается дополнительная плата в случае превышения уровня бесплатного пользования сервисом:
- BigQuery (это расширение записывает в BigQuery потоковые вставки )
- Cloud Firestore
- Облачные функции (среда выполнения Node.js 10+. См. Часто задаваемые вопросы )
Как установить это расширение
Использование консоли Firebase
Для установки расширений и управления ими вы можете использовать консоль Firebase.
Установить с помощью консолиИспользование интерфейса командной строки Firebase
Для установки расширений и управления ими вы также можете использовать интерфейс командной строки Firebase:
Шаг 1. Выполните следующую команду npm, чтобы установить интерфейс командной строки или обновить его до последней версии.
npm install -g firebase-toolsНе работает? Взгляните на справочник по интерфейсу командной строки Firebase или измените разрешения npm .
Шаг 2. Установите это расширение, выполнив следующую команду
firebase ext:install firestore-bigquery-export --project=projectId_or_alias