Начало работы с инструментальными тестами

В этом руководстве описано, как подготовить и запустить инструментальный тест с помощью Firebase Test Lab. Чтобы воспользоваться этим руководством, вам понадобится инструментальный тест (написанный вами или вашей командой), в котором используются фреймворки Espresso или UI Automator. Инструментальные тесты могут выполняться до 45 минут на физических устройствах и до 60 минут на виртуальных устройствах.

На следующих шагах вы загрузите APK-файлы приложения и теста в Firebase.

Добавьте в приложение библиотеку скриншотов (необязательно)

В Firebase Test Lab есть библиотека testlab-instr-lib, которая позволяет обрабатывать скриншоты, сделанные с помощью ScreenCapture из AndroidX, при выполнении инструментальных тестов, например написанных с использованием фреймворка Espresso. В этом разделе описывается, как создавать объекты ScreenCapture с помощью библиотеки AndroidX и как обрабатывать их с помощью testlab-instr-lib.

После выполнения инструментального теста вы можете посмотреть скриншоты в консоли Firebase.

Попробуйте пример приложения

Чтобы попробовать эту функцию, скачайте пример приложения NotePad. Возможность делать скриншоты уже встроена в проект NotePad.

1. Добавьте библиотеку скриншотов в проект

  1. В файле Gradle настроек корневого уровня тестового проекта (settings.gradle.kts или settings.gradle) добавьте репозиторий Maven от Google в каждый раздел repositories:

    pluginManagement {
        repositories {
            // Add the following line:
            google() // Google's Maven repository
            mavenCentral()
            gradlePluginPortal()
        }
    }
    dependencyResolutionManagement {
        repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_REPOS)
        repositories {
            // Add the following line:
            google() // Google's Maven repository
            mavenCentral()
        }
    }
    // ...
  2. В файле Gradle модуля (на уровне приложения) (обычно <project>/<app-module>/build.gradle.kts или <project>/<app-module>/build.gradle) добавьте зависимость для библиотеки скриншотов Test Lab.

    dependencies {
      // ...
      // Add Test Lab's instrumentation test screenshot library:
      androidTestImplementation("com.google.firebase:testlab-instr-lib:0.2")
      // ...
  3. В файле AndroidManifest.xml теста зарегистрируйте FirebaseScreenCaptureProcessor в теге метаданных внутри элемента <instrumentation>. Вы также можете указать процессор в качестве аргумента в AndroidJUnitRunner (инструкции см. в справочной документации по AndroidJUnitRunner).

    <instrumentation
      // Check that you have the following line (if not, add it):
      android:name="androidx.test.runner.AndroidJUnitRunner" // Specifies AndroidJUnitRunner as the test runner
      android:targetPackage="com.your.package.name">
    
    // Add the following:
    <meta-data
      android:name="screenCaptureProcessors"
      android:value="com.google.firebase.testlab.screenshot.FirebaseScreenCaptureProcessor" />
    </instrumentation>
    ...
    
  4. В файле AndroidManifest.xml приложения добавьте следующие строки в элемент <manifest>:

     <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
    
  5. В файле AndroidManifest.xml укажите системные разрешения для приложения, добавив следующие строки в тег <manifest>. Если вы проводите тестирование на устройстве с Android 10 (уровень API 29) или более поздней версии, не указывайте разрешение WRITE_EXTERNAL_STORAGE. Оно не требуется для чтения и записи скриншотов на устройстве.

    <manifest ... >
        <!-- WRITE_EXTERNAL_STORAGE is not needed on Android 10 (API level 29) or higher. -->
        <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
        <uses-permission android:name="android.permission.INTERNET"/>
        ...
    </manifest>

Шаг 2. Делайте скриншоты во время тестирования

Чтобы сделать скриншот в любой момент тестирования, вызовите метод Screenshot.capture() из библиотеки AndroidX. В результате будет создан объект ScreenCapture. Когда вы вызываете process() для объекта ScreenCapture, он обрабатывается с помощью ScreenCaptureProcessor, зарегистрированного в AndroidManifest.xml. Если обработчики не зарегистрированы, используется BasicScreenCaptureProcessor. Поскольку вы зарегистрировали FirebaseScreenCaptureProcessor, ваши скриншоты будут обрабатываться через FirebaseScreenCaptureProcessor и будут доступны вам вместе с результатами при запуске теста с помощью Firebase Test Lab.

Примеры использования ScreenCapture:

  • Чтобы сделать скриншот всего экрана в API Build.VERSION_CODES.JELLY_BEAN_MR2 и более поздних версиях, выполните следующие действия:

    Screenshot.capture()
    
  • Сделайте ScreenCapture действия на любом уровне API. Обратите внимание, что это единственный вариант для устройств с версией ОС ниже Build.VERSION_CODES.JELLY_BEAN_MR2.

    @Rule
      public ActivityTestRule<MainActivity> activityRule = new ActivityTestRule<>(MainActivity.class);
    ...
    Screenshot.capture(activityRule.getActivity());
    ...
    

Примеры использования ScreenCapture

  • Как обработать ScreenCapture через FirebaseScreenCaptureProcessor:

    Screenshot.capture().process();
    
  • Обработать ScreenCapture с помощью указанного ScreenCaptureProcessor (это позволяет пропустить регистрацию обработчика):

    Set<ScreenCaptureProcessor> processors = new HashSet<>();
    processors.add(new FirebaseScreenCaptureProcessor());
    Screenshot.capture().process(processors);
    
  • Задайте название и формат ScreenCapture и обработайте его с помощью зарегистрированного обработчика:

    Screenshot.capture().setName("myscreenshot").setFormat(CompressFormat.JPEG).process();
    

Шаг 3. Как создать и запустить тест

  1. Создайте приложение и протестируйте APK-файлы (см. инструкции).

  2. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования) и загрузите APK-файлы.

  3. Запустите тестирование.

Шаг 4. Как посмотреть скриншоты тестирования

После завершения тестирования вы можете посмотреть все сделанные скриншоты. Для этого выполните следующие действия:

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования).

  2. На вкладке Тестирование выберите завершенное тестирование и откройте вкладку Результаты.

  3. Снова выберите тест и перейдите на вкладку Скриншоты.

Как включить дополнительные функции тестирования (необязательно)

Перед запуском теста с помощью Test Lab вы можете включить следующие функции:

Включить Orchestrator

Инструмент оркестрации тестов Android позволяет запускать каждый инструментальный тест приложения независимо от других. Test Lab всегда использует последнюю версию Orchestrator.

Чтобы включить Orchestrator для Test Lab, в разделе Настройка инструментального теста нажмите Дополнительные настройки > Запустить с Orchestrator.

Преимущества Orchestrator:

  • Нет общего состояния. Каждый тест выполняется в собственном экземпляре инструментария, поэтому общее состояние не накапливается в тестах.
  • Единичные сбои. Если тест завершается сбоем, прекращается только его выполнение, а другие тесты в наборе могут продолжать работу.

Помните, что при использовании Orchestrator каждый тест запускает собственный экземпляр инструментария, а это означает, что процесс приложения перезапускается после каждого тестового примера. Увеличение времени выполнения может повлиять на использование квоты или оплачиваемое время и привести к превышению лимитов времени ожидания устройств. Если вы сократите время запуска приложения, то и эти накладные расходы уменьшатся.

Чтобы задать дополнительные параметры для Orchestrator, укажите их в поле environmentVariables. Например, чтобы использовать clearPackageData, укажите в gcloud следующий параметр:

--environment-variables clearPackageData=true

Включить сегментирование

Разделение тестов на сегменты позволяет разбить набор тестов на подгруппы (сегменты), которые выполняются отдельно друг от друга. Test Lab автоматически запускает каждый фрагмент параллельно на нескольких устройствах и выполняет весь набор тестов за меньшее время.

Например, если вы создадите N сегментов, то для каждого выбранного устройства Test Lab запустит N идентичных устройств и выполнит на каждом из них поднабор тестов. Это означает, что сегментированные отчеты о тестировании могут привести к нескольким выполнениям тестов на одном устройстве. Если же сегментирование не используется, то для каждого устройства будет выполнено по одному тесту. Чтобы узнать больше о понятиях, связанных с Test Lab, ознакомьтесь с разделом Основные понятия.

Чтобы включить сегментирование тестов в консоли Firebase, выполните следующие действия:

  1. В разделе Настройка инструментального теста нажмите Дополнительные настройки.

  2. В разделе Сегментирование укажите количество сегментов, которые нужно запустить.

Оплата тестовых сегментов

Test Lab реализует сегменты, используя встроенный механизм сегментирования AndroidJUnitRunner. Чтобы не платить за пустые сегменты (без назначенных тестовых сценариев), создавайте меньше сегментов, чем у вас тестовых сценариев. В зависимости от того, сколько времени занимает выполнение каждого тестового примера, обычно рекомендуется назначать от 2 до 10 тестовых примеров на сегмент.

Подробнее об использовании, квотах и оплате…