Как экспортировать данные Crashlytics в BigQuery

Вы можете экспортировать данные Firebase Crashlytics из мобильного приложения в BigQuery. После того как данные будут импортированы в BigQuery, вы сможете анализировать их с помощью SQL-запросов, создавать визуализации данных и настраиваемые панели управления и даже экспортировать данные в другие сервисы.

В этой статье рассказывается, как настроить экспорт данных о сеансах Crashlytics и Firebase (необязательно) в BigQuery.

Настроить экспорт в BigQuery

  1. В консоли Firebase перейдите на страницу Settings (Настройки) > Integrations (Интеграции).

  2. На карточке BigQuery нажмите Связать.

  3. Следуйте инструкциям на экране, чтобы настроить экспорт в BigQuery, включая следующие параметры:

Если вы отмените связь с BigQuery, то заполнение соответствующих наборов данных в BigQuery будет прекращено,

Обратите внимание:

  • Все данные, которые уже экспортированы в BigQuery, будут храниться в течение разрешенного срока. При этом может взиматься плата за хранение и запросы. Чтобы предотвратить такие расходы, вы можете удалить эти наборы данных вручную.

  • Если у вас есть данные BigQuery, хранящиеся в других сервисах, на них могут распространяться другие условия хранения данных.

Отменить связь с BigQuery можно на уровне проекта Firebase, на уровне продукта или на уровне приложения для определенного продукта.

Чтобы отменить связь с BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции).

  2. На карточке BigQuery нажмите Управление.

  3. Выберите, что вы хотите сделать: отменить связь с определенным продуктом или отменить связь определенных приложений с определенным продуктом.

    Чтобы полностью отменить связь с проектом Firebase, нажмите кнопку внизу страницы.

  4. Подтвердите, что хотите остановить экспорт.


Что происходит после включения экспорта?

  • Firebase экспортирует данные из мобильных приложений, связанных с BigQuery.

    • По умолчанию все мобильные приложения в проекте связываются с BigQuery, но вы можете отменить связь с определенными приложениями во время настройки.

    • Все мобильные приложения, которые вы позже добавите в проект Firebase, будут автоматически связаны с BigQuery.

    • Вы можете в любое время указать, из каких приложений следует экспортировать данные.

  • Firebase экспортирует данные в набор данных, местоположение которого вы выбрали при настройке.

    • Это местоположение применяется как к набору данных Crashlytics, так и к набору данных сеансов Firebase (если для данных сеансов включен экспорт).

    • Это местоположение применяется только к данным, экспортированным в BigQuery, и не влияет на местоположение данных, хранящихся для использования на панели управления Crashlytics в консоли Firebase или в Android Studio.

    • После создания набора данных местоположение изменить нельзя, но можно скопировать набор данных в другое место или вручную переместить (воссоздать) набор данных в другое местоположение. Подробнее о том, как изменить место хранения существующих экспортированных данных…

  • Firebase настраивает ежедневную синхронизацию пакетных данных с BigQuery.

    • После связывания с BigQuery может пройти до 48 часов, прежде чем начнется первый пакетный экспорт данных.

    • Ежедневная синхронизация выполняется один раз в день независимо от того, настроен ли у вас запланированный экспорт в BigQuery. Обратите внимание, что время и продолжительность синхронизации могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания на основе определенного времени экспорта.

  • Firebase экспортирует копию существующих данных в BigQuery.

    • Для каждого связанного мобильного приложения в экспорт включается таблица с данными, полученными в результате ежедневной синхронизации.

    • Вы можете вручную запланировать заполнение данными для таблицы пакетной загрузки за последние 30 дней или за последнюю дату, когда вы включили экспорт в BigQuery (в зависимости от того, что было позже).

  • Если вы включите потоковый экспорт в BigQuery, Firebase будет выполнять следующие действия:

    • Для каждого связанного мобильного приложения также будет создана таблица, в которую данные будут поступать в режиме реального времени (в дополнение к таблице для ежедневного пакетного экспорта).

    • После включения потоковой передачи может пройти до часа, прежде чем начнется передача данных.


Преимущества потокового экспорта в BigQuery

По умолчанию данные экспортируются в BigQuery ежедневно. Кроме того, вы можете передавать данные Crashlytics и сеансы Firebase в режиме реального времени с помощью потоковой передачи BigQuery. Потоковую передачу данных можно использовать для любых целей, требующих данных в реальном времени, например для представления информации на панели управления трансляциями, наблюдения за развертыванием или отслеживания проблем с приложениями, которые вызывают оповещения и настраиваемые рабочие процессы.

Если вы включите потоковый экспорт в BigQuery, то помимо пакетных таблиц у вас также будут таблицы в реальном времени. Оба типа таблиц будут иметь одинаковую схему набора данных, но между ними есть важные различия.

Таблица пакетной загрузки Таблица в реальном времени
  • Данные экспортируются один раз в день.
  • События надежно хранятся до пакетной записи в BigQuery.
  • Данные можно добавить за период до 30 дней*.
  • Данные экспортируются в реальном времени.
  • Заполнение недоступно.

Пакетная таблица идеально подходит для долгосрочного анализа и выявления тенденций, поскольку мы надежно храним события перед их записью, и они могут быть добавлены в таблицу в течение 30 дней*. Когда мы записываем данные в таблицу реального времени, мы сразу же записываем их в BigQuery, поэтому она идеально подходит для панелей управления и специальных оповещений. Эти две таблицы можно объединить с помощью запроса на объединение, чтобы получить преимущества обеих.

По умолчанию срок хранения данных в таблице составляет 30 дней. Чтобы узнать, как изменить этот параметр, ознакомьтесь с разделом Как задать срок хранения раздела в документации BigQuery.

* Дополнение данных поддерживается за последние 30 дней или с даты, когда вы включили экспорт в BigQuery (в зависимости от того, что было позже).


Цены и тестовая среда BigQuery

Если в вашем проекте Firebase используется бесплатный тарифный план Spark, вы можете использовать изолированную среду BigQuery, которая предоставляет бесплатный пробный доступ к BigQuery. Подробную информацию о тестовой среде BigQuery и ее возможностях вы найдете в статье Использование тестовой среды BigQuery.

Если в вашем проекте Firebase используется тарифный план Blaze с оплатой по мере использования, вам доступны все функции BigQuery. Использование BigQuery регулируется ценами на BigQuery, которые включают ограниченное бесплатное использование.


Что дальше?