Экспорт данных Firebase в BigQuery

В консоли Firebase доступны инструменты Firebase для просмотра и анализа статистики приложений, в которых используются продукты Firebase. Эти инструменты помогут вам ответить на многие вопросы о том, как используются ваши приложения. Однако иногда вам также может потребоваться настроить собственные запросы, чтобы ответить на свои вопросы.

Для этого экспортируйте данные из различных продуктов Firebase в BigQuery. С помощью BigQuery вы можете анализировать данные, используя SQL BigQuery, или экспортировать их для работы в собственных инструментах.

Экспорт данных в BigQuery поддерживается в следующих продуктах:

Требуемые права доступа и рекомендуемые роли

Чтобы просматривать параметры экспорта данных в BigQuery и управлять ими, нужен определенный уровень доступа.

Если у вас нет нужного уровня доступа, попросите владельца проекта Firebase назначить вам подходящую роль в настройках IAM консоли Firebase. Если у вас есть вопросы о доступе к проекту Firebase, в том числе о том, как найти или назначить владельца, ознакомьтесь с часто задаваемыми вопросами о разрешениях и доступе к проектам Firebase.



Настроить экспорт в BigQuery

  1. Войдите в консоль Firebase и выберите проект.

  2. Перейдите в раздел Settings (Настройки) > Integrations (Интеграции).

  3. На карточке BigQuery нажмите Связать.

  4. Следуйте инструкциям на экране, чтобы настроить экспорт в BigQuery.

Если вы отмените связь с BigQuery, то заполнение соответствующих наборов данных в BigQuery будет прекращено,

Обратите внимание:

  • Все данные, которые уже экспортированы в BigQuery, будут храниться в течение разрешенного срока. При этом может взиматься плата за хранение и запросы. Чтобы предотвратить такие расходы, вы можете удалить эти наборы данных вручную.

  • Если у вас есть данные BigQuery, хранящиеся в других сервисах, на них могут распространяться другие условия хранения данных.

Отменить связь с BigQuery можно на уровне проекта Firebase, на уровне продукта или на уровне приложения для определенного продукта.

Чтобы отменить связь с BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции).

  2. На карточке BigQuery нажмите Управление.

  3. Выберите, что вы хотите сделать: отменить связь с определенным продуктом или отменить связь определенных приложений с определенным продуктом.

    Чтобы полностью отменить связь с проектом Firebase, нажмите кнопку внизу страницы.

  4. Подтвердите, что хотите остановить экспорт.



Что происходит после включения экспорта?

  • Вы выбираете местоположение набора данных. После создания набора данных местоположение изменить нельзя, но можно скопировать набор данных в другое место или вручную переместить (воссоздать) набор данных в другое местоположение. Подробнее о том, как изменить местоположение для существующих экспортов…

    Это местоположение применяется только к данным, экспортированным в BigQuery, и не влияет на местоположение данных, хранящихся для использования в консоли Firebase.

  • По умолчанию все приложения в проекте связаны с BigQuery, и любые приложения, которые вы позже добавите в проект, будут автоматически связаны с BigQuery. Но вы можете указать, из каких приложений следует экспортировать данные.

  • Firebase экспортирует копию существующих данных в BigQuery. Первоначальная передача данных для экспорта может занять до 48 часов.

  • Firebase настраивает ежедневную синхронизацию данных с BigQuery.

    • После того как вы свяжете проект, обычно нужно дождаться синхронизации на следующий день, чтобы первый набор данных был экспортирован в BigQuery.

    • Ежедневная синхронизация выполняется один раз в день независимо от того, настроен ли у вас запланированный экспорт в BigQuery. Обратите внимание, что время и продолжительность синхронизации могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания на основе определенного времени экспорта.



Как изменить регион хранения экспортируемых данных

После того как вы настроите экспорт данных продукта в BigQuery и создадите набор данных, вы не сможете изменить его местоположение. Однако вы можете скопировать существующий набор данных в новый набор данных, который находится в другом месте, и сбросить экспорт данных в это новое место. Подробнее о местоположении наборов данных BigQuery…

Выберите продукт, для которого нужно изменить местоположение экспорта данных.

Google Аналитика

Чтобы изменить местоположение существующего экспорта Google Analytics в BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции). Затем выполните следующие действия:

    1. На карточке BigQuery нажмите Управление.
    2. Чтобы отключить BigQuery, сдвиньте ползунок Google Analytics влево.
  2. В консоли Google Cloud перейдите на страницу BigQuery. Затем выполните следующие действия:

    1. Создайте временный набор данных, чтобы сохранить копию существующих данных из исходного набора. Присвойте временному набору данных другое название.
    2. Скопируйте или переместите данные из исходного набора данных во временный.
    3. Удалите исходный набор данных.
    4. Создайте новый постоянный набор данных с тем же названием, что и у исходного набора (analytics_ANALYTICS_PROPERTY_ID), а затем выберите новый регион.
    5. Скопируйте или переместите данные из временного набора данных в новый, а затем удалите временный набор данных.
  3. Вернитесь в консоль Firebase и откройте карточку BigQuery. Затем выполните следующие действия:

    1. Чтобы снова включить интеграцию с BigQuery, сдвиньте переключатель Google Analytics вправо.
    2. Выберите приложения, для которых нужно включить экспорт.

Cloud Messaging

Чтобы изменить местоположение существующего экспорта Cloud Messaging в BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции). Затем выполните следующие действия:

    1. На карточке BigQuery нажмите Управление.
    2. Чтобы отключить BigQuery, сдвиньте ползунок Cloud Messaging влево.
  2. В консоли Google Cloud перейдите на страницу BigQuery. Затем выполните следующие действия:

    1. Создайте временный набор данных, чтобы сохранить копию существующих данных из исходного набора. Присвойте временному набору данных другое название.
    2. Скопируйте или переместите данные из исходного набора данных во временный.
    3. Удалите исходный набор данных.
    4. Создайте новый постоянный набор данных с тем же названием, что и у исходного набора (firebase_messaging), а затем выберите новый регион.
    5. Скопируйте или переместите данные из временного набора данных в новый, а затем удалите временный набор данных.
  3. Вернитесь в консоль Firebase и откройте карточку BigQuery. Затем выполните следующие действия:

    1. Чтобы снова включить интеграцию с BigQuery, сдвиньте переключатель Cloud Messaging вправо.
    2. Выберите приложения, для которых нужно включить экспорт.
  4. Вернитесь в консоль Google Cloud и откройте страницу BigQuery, чтобы убедиться, что конфигурация переноса для Cloud Messaging создана в новом регионе.

Crashlytics

Чтобы изменить местоположение существующего экспорта Crashlytics в BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции). Затем выполните следующие действия:

    1. На карточке BigQuery нажмите Управление.
    2. Чтобы отключить BigQuery, сдвиньте ползунок Crashlytics влево.
  2. В консоли Google Cloud перейдите на страницу BigQuery. Затем выполните следующие действия:

    1. Создайте временный набор данных, чтобы сохранить копию существующих данных из исходного набора. Присвойте временному набору данных другое название.
    2. Скопируйте или переместите данные из исходного набора данных во временный.
    3. Удалите исходный набор данных.
    4. Создайте новый постоянный набор данных с тем же названием, что и у исходного набора (firebase_crashlytics), а затем выберите новый регион.
    5. Скопируйте или переместите данные из временного набора данных в новый, а затем удалите временный набор данных.
  3. Вернитесь в консоль Firebase и откройте карточку BigQuery. Затем выполните следующие действия:

    1. Чтобы снова включить интеграцию с BigQuery, сдвиньте переключатель Crashlytics вправо.
    2. Выберите приложения, для которых нужно включить экспорт.
  4. Вернитесь в консоль Google Cloud и откройте страницу BigQuery, чтобы убедиться, что конфигурация переноса для Crashlytics создана в новом регионе.

Performance Monitoring

Чтобы изменить местоположение существующего экспорта Performance Monitoring в BigQuery, выполните следующие действия:

  1. В консоли Firebase перейдите в раздел Settings (Настройки) > Integrations (Интеграции). Затем выполните следующие действия:

    1. На карточке BigQuery нажмите Управление.
    2. Чтобы отключить BigQuery, сдвиньте ползунок Performance Monitoring влево.
  2. В консоли Google Cloud перейдите на страницу BigQuery. Затем выполните следующие действия:

    1. Создайте временный набор данных, чтобы сохранить копию существующих данных из исходного набора. Присвойте временному набору данных другое название.
    2. Скопируйте или переместите данные из исходного набора данных во временный.
    3. Удалите исходный набор данных.
    4. Создайте новый постоянный набор данных с тем же названием, что и у исходного набора (firebase_performance), а затем выберите новый регион.
    5. Скопируйте или переместите данные из временного набора данных в новый, а затем удалите временный набор данных.
  3. Вернитесь в консоль Firebase и откройте карточку BigQuery. Затем выполните следующие действия:

    1. Чтобы снова включить интеграцию с BigQuery, сдвиньте переключатель Performance Monitoring вправо.
    2. Выберите приложения, для которых нужно включить экспорт.
  4. Вернитесь в консоль Google Cloud и откройте страницу BigQuery, чтобы убедиться, что конфигурация переноса для Performance Monitoring создана в новом регионе.



Цены и тестовая среда BigQuery

Если в вашем проекте Firebase используется бесплатный тарифный план Spark, вы можете использовать изолированную среду BigQuery, которая предоставляет бесплатный пробный доступ к BigQuery. Подробную информацию о тестовой среде BigQuery и ее возможностях вы найдете в статье Использование тестовой среды BigQuery.

Если в вашем проекте Firebase используется тарифный план Blaze с оплатой по мере использования, вам доступны все функции BigQuery. Использование BigQuery регулируется ценами на BigQuery, которые включают ограниченное бесплатное использование.