El agente de pruebas de apps es un agente de generación, administración y ejecución de casos de prueba potenciado por Gemini en Firebase. Tú defines los objetivos de prueba en lenguaje natural, y el agente usa la IA para comprender tu app y navegar por ella, simular interacciones del usuario y entregar resultados de prueba detallados.
Si no utilizas ningún otro producto de Firebase, solo debes crear un proyecto y registrar tu app. No es necesario que agregues ningún SDK a tu app. Sin embargo, si decides usar productos adicionales en el futuro, asegúrate de completar todos los pasos que se indican en Agrega Firebase con Firebase console.
Cuando tengas todo listo para distribuir una versión previa al lanzamiento de tu app a los verificadores,
compila el APK o AAB usando el proceso normal y súbelo a App Distribution en Firebase console.
Debes firmar el APK con tu clave de depuración o la clave de firma de la app.
Crea un caso de prueba
Para ejecutar pruebas guiadas por IA, el agente de pruebas de apps usa tus casos de prueba con lenguaje natural para probar la app.
Cada caso de prueba se divide en pasos, que se ejecutarán en secuencia.
Los pasos te permiten dividir tu caso de prueba en fases, cada una con sus propios criterios de éxito. El agente puede realizar muchas acciones durante un paso.
Para crear un caso de prueba, abre la página App Distribution de
Firebase console
y sigue estos pasos:
En la pestaña Casos de prueba, haz clic en Caso de prueba nuevo. Si no quieres crear tu propio caso de prueba, puedes modificar o usar el caso de prueba de ejemplo proporcionado.
En el diálogo Agregar caso de prueba, asigna un nombre al caso de prueba. Este se usa para identificar la prueba, pero el agente lo ignora.
Considera dividir la prueba en varios pasos. Para ello, haz clic en el botón Agregar otro paso.
Asigna a cada paso un Objetivo en el que se describa lo que debe hacer el agente de pruebas de apps durante ese paso.
Opcional: Agrega una Pista para proporcionar información adicional que ayude al agente de pruebas de apps a comprender tu app y navegar por ella durante ese paso.
Opcional: Agrega Criterios de éxito para ayudar al agente de pruebas de apps a determinar cuándo se completó correctamente un paso.
Haz clic en Guardar cuando termines de personalizar la prueba.
Ejemplo de caso de prueba
A continuación, se muestra un ejemplo de cómo crear un caso de prueba con el agente de pruebas de apps:
Prueba la página principal
Título de prueba
Carga de la página principal
Objetivo
Cargar la página principal
Pista
Navega por las pantallas de integración. Descarta las ventanas emergentes. No accedas.
Criterios para alcanzar el éxito
La página principal de la app se puede ver en la pantalla, se cargaron todas las imágenes y no se muestran errores.
Ejecutar una prueba
El agente de pruebas de apps te permite ejecutar pruebas guiadas por IA en la consola. Para ello, haz clic en el botón Ejecutar pruebas en la página Versiones o en la página Casos de prueba.
Se abrirá la pantalla de personalización del agente de pruebas de apps, en la que puedes elegir uno
o más de tus casos de prueba existentes para que el agente los ejecute. También puedes elegir los dispositivos en los que quieres realizar la prueba y si deseas proporcionar credenciales de acceso.
Además, puedes optar por ejecutar una prueba de rastreo aleatorio cambiando el tipo de prueba.
Las pruebas de rastreo aleatorio usan la función de Verificador automatizado.
Puedes ver los resultados de tus pruebas en la página Versiones, en la pestaña Agente de pruebas de apps de una versión. El botón Ver detalles abrirá el diálogo Resultados de la prueba y te mostrará los problemas, las capturas de pantalla de la app y el recorrido que realizó Gemini durante la prueba.
Cómo probar tus compilaciones automáticamente
Para ejecutar pruebas del agente de pruebas de apps automáticamente en tus compilaciones nuevas, por ejemplo, desde las canalización de CI/CD, puedes distribuir las compilaciones al agente con los
complementos de Gradle o fastlane de App Distribution, o Firebase CLI.
Prueba automáticamente tus compilaciones con Firebase CLI
Debes especificar al menos un dispositivo de prueba y un ID de caso de prueba para usar la función del agente de pruebas de apps. Los IDs de casos de prueba se pueden encontrar y descargar en la página Casos de prueba de Firebase console. Si quieres obtener más información sobre cómo comenzar a usar Firebase CLI y las diferentes maneras de configurar tu distribución, consulta Distribuye apps para Android a los verificadores con Firebase CLI.
Ejecuta el comando appdistribution:distribute para subir la app y usa los siguientes parámetros para configurar la distribución en la función Agente de pruebas de apps:
Opciones de appdistribution:distribute
--test-devices o
--test-devices-file
Los dispositivos de prueba a los que deseas distribuir las compilaciones con la función del agente de pruebas de aplicaciones.
Puedes especificar los dispositivos de prueba como una lista de dispositivos de prueba separada por punto y coma:
También puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una lista de dispositivos de prueba separados por punto y coma:
--test-devices-file: "/path/to/test-devices.txt"
--test-username
El nombre de usuario del acceso automático que se usará durante las pruebas automatizadas.
--test-password o
--test-password-file
La contraseña del acceso automático que se usará durante las pruebas automatizadas.
O bien, puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una contraseña:
Ejecuta pruebas de forma asíncrona. Visita Firebase console para ver los resultados de la prueba automática.
--test-case-ids o
--test-case-ids-file
Una lista separada por comas de los IDs de casos de prueba para ejecutar pruebas automatizadas potenciadas por IA:
--test-case-ids: "load-app,play-the-first-level"
También puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una lista de IDs de casos de prueba separados por comas o por línea nueva:
Cómo probar automáticamente tus compilaciones con Gradle
Debes especificar al menos un dispositivo de prueba y un ID de caso de prueba para usar la función del agente de pruebas de apps. Los IDs de casos de prueba se pueden encontrar y descargar en la página Casos de prueba de Firebase console. Si quieres obtener más información para comenzar a usar Gradle y las diferentes maneras de configurar tu distribución, consulta Distribuye apps para Android a los verificadores usando Gradle.
Para configurar App Distribution, agrega al menos una sección de firebaseAppDistribution y usa los siguientes parámetros para configurar la distribución a la función de agente de pruebas de apps:
Parámetros de compilación de App Distribution
testDevices o
testDevicesFile
Los dispositivos de prueba a los que deseas distribuir las compilaciones con la función del agente de pruebas de aplicaciones.
Puedes especificar los dispositivos de prueba en una lista de especificaciones de dispositivos separada por punto y coma
También puedes especificar la ruta de acceso a un archivo que contenga una lista separada por punto y coma con las especificaciones del dispositivo:
testDevicesFile="/path/to/testDevices.txt"
testUsername
El nombre de usuario del acceso automático que se usará durante las pruebas automatizadas.
testPassword o
testPasswordFile
La contraseña del acceso automático que se usará durante las pruebas automatizadas.
O bien, puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una contraseña:
testPasswordFile="/path/to/testPassword.txt"
testNonBlocking
Ejecuta pruebas de forma asíncrona. Visita Firebase console para ver los resultados de la prueba automática.
testCaseso
testCasesFile
Una lista separada por comas de los IDs de casos de prueba para ejecutar pruebas automatizadas potenciadas por IA:
testCases: "load-app,play-the-first-level"
También puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una lista de IDs de casos de prueba separados por comas o por línea nueva:
testCasesFile: "/path/to/test-case-ids.txt"
Prueba automáticamente tus compilaciones con fastlane
Debes especificar al menos un dispositivo de prueba y un ID de caso de prueba para usar la función del agente de pruebas de apps. Los IDs de casos de prueba se pueden encontrar y descargar en la página Casos de prueba de Firebase console. Si quieres obtener más información para comenzar a usar fastlane y las diferentes formas de configurar tu distribución, consulta Distribuye apps para Android a los verificadores con fastlane.
En un carril de ./fastlane/Fastfile, agrega un bloque firebase_app_distribution. Usa los siguientes parámetros para configurar la distribución en la función de agente de pruebas de apps:
Parámetros de firebase_app_distribution
test_devices o
test_devices_file
Los dispositivos de prueba a los que deseas distribuir las compilaciones con la función del agente de pruebas de aplicaciones. Puedes especificar los dispositivos de prueba como una lista de dispositivos de prueba separada por punto y coma:
También puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una lista de dispositivos de prueba separados por punto y coma:
test_devices_file: "/path/to/test-devices.txt"
test_username
El nombre de usuario del acceso automático que se usará durante las pruebas automatizadas.
test_password o
test_password_file
La contraseña del acceso automático que se usará durante las pruebas automatizadas.
O bien, puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una contraseña:
test_password_file: "/path/to/test-password.txt"
test_non_blocking
Ejecuta pruebas de forma asíncrona. Visita Firebase console para ver los resultados de la prueba automática.
--test_case_ids o
--test_case_ids_file
Una lista separada por comas de los IDs de casos de prueba para ejecutar pruebas automatizadas potenciadas por IA:
--test_case_ids: "load-app,play-the-first-level"
También puedes especificar la ruta de acceso a un archivo de texto sin formato que contenga una lista de IDs de casos de prueba separados por comas o por línea nueva:
Si los resultados de la prueba son diferentes de lo que esperabas, puedes depurar la
prueba con el botón de activación Mostrar vista del agente en Ver detalles en la página
Resultados de la prueba. En la vista del agente, se muestran los elementos en pantalla que el agente de pruebas de apps pudo detectar cuando se usó la información de accesibilidad de la app.
Si deseas analizar con mayor detalle lo que vio el agente, puedes descargar esa información desde el menú ampliado de acciones.
También puedes usar el botón Ver artefactos en la página Resultados de la prueba para ver
todos los videos, registros y artefactos de Cloud de los resultados de la prueba.
Problemas conocidos y limitaciones
La vista previa del agente de pruebas de apps tiene algunas limitaciones conocidas:
Debido a que el agente de pruebas de apps usa IA generativa para probar tu app, a veces realizará acciones diferentes sin dejar de seguir las mismas instrucciones.
El agente de pruebas de apps solo admite las siguientes acciones: presionar, ingresar texto, desplazarse hacia arriba, desplazarse hacia abajo y esperar.
El agente de pruebas de apps tiene problemas para ejecutar pruebas que contienen un solo paso que requiere muchas acciones para completarse. Tiene un mejor rendimiento cuando las tareas complejas se dividen en varios pasos más cortos.
A veces, el agente de pruebas de apps no se desplaza para exponer otros elementos fuera de la pantalla. Esto ocurre con mayor frecuencia cuando no hay una indicación visual de la capacidad de desplazamiento. Como solución alternativa, se puede usar el campo "Pistas" para sugerir el desplazamiento.
A veces, el agente de pruebas de apps tiene problemas para contar, por ejemplo, realizar una acción una cantidad específica de veces.
Cuotas de prueba
Durante la vista previa, las pruebas guiadas por IA se ofrecerán sin costo dentro de un límite de cuota. El límite de cuota predeterminado es de 100 pruebas por mes.
Ten en cuenta que, si eliges ejecutar varios casos de prueba o el mismo caso de prueba en varios dispositivos, esto se cuenta como varias pruebas. Por ejemplo, si ejecutas 2 casos de prueba en 2 dispositivos, esto se cuenta como un total de 4 pruebas.
Para aumentar tu cuota por encima del límite predeterminado, comunícate con el equipo de asistencia de Firebase con tu caso de uso.
