- Recurso: Paso
- TestExecutionStep
- Ejecución de herramientas
- ToolExitCode
- Problemadeprueba
- Cualquiera
- Gravedad
- Tipo
- Categoría
- TestTiming
- ToolExecutionStep
- Varios pasos
- Paso principal
- Resultado individual
- Métodos
Recurso: Paso
Un paso representa una única operación realizada como parte de una ejecución. Se puede usar un paso para representar la ejecución de una herramienta ( por ejemplo, la ejecución de un ejecutor de pruebas o de un compilador).
Los pasos pueden superponerse (por ejemplo, dos pasos pueden tener la misma hora de inicio si algunas operaciones se realizan en paralelo).
Aquí hay un ejemplo; consideremos que tenemos una compilación continua que ejecuta un ejecutor de pruebas para cada iteración. El flujo de trabajo se vería de la siguiente manera: - El usuario crea una ejecución con el ID 1 - El usuario crea un TestExecutionStep con el ID 100 para la Ejecución 1 - El usuario actualiza TestExecutionStep con el ID 100 para agregar un registro XML sin procesar + el servicio analiza los registros XML y muestra un TestExecutionStep con TestResult(s) actualizados. - actualiza el estado de TestExecutionStep con el ID 100 a COMPLETE.
Un paso se puede actualizar hasta que su estado se configure como COMPLETE. En ese momento, se volverá inmutable.
Representación JSON |
---|
{ "stepId": string, "creationTime": { object ( |
Campos | |
---|---|
stepId |
Un identificador único dentro de una ejecución para este paso. Muestra INVALID_ARGUMENT si el llamador configuró o reemplazó este campo.
|
creationTime |
Indica la hora a la que se creó el paso.
|
completionTime |
Indica la hora a la que se configuró el estado del paso como completado. Este valor se establecerá automáticamente cuando el estado pase a COMPLETE.
|
name |
Es un nombre corto legible por humanos para mostrar en la IU. 100 caracteres como máximo. Por ejemplo: Compilación limpia Se mostrará una PRECONDITION_FAILED después de crear un paso nuevo si este comparte su nombre y dimensionValue con un paso existente. Si dos pasos representan una acción similar, pero tienen valores de dimensión diferentes, deben compartir el mismo nombre. Por ejemplo, si el mismo conjunto de pruebas se ejecuta en dos plataformas diferentes, los dos pasos deben tener el mismo nombre.
|
description |
Una descripción de esta herramienta. Por ejemplo: mvn clean package -D skipTests=true.
|
state |
El estado inicial es IN_PROGRESS. Las únicas transiciones de estado legal son * IN_PROGRESS -> COMPLETA Se mostrará una PRECONDITION_FAILED si se solicita una transición no válida. Es válido crear un paso con un estado establecido en COMPLETE. El estado solo se puede establecer como COMPLETE una vez. Se mostrará una PRECONDITION_FAILED si el estado se configura como COMPLETE varias veces.
|
outcome |
Clasificación del resultado, por ejemplo, EXITOSO o FAILURE
|
hasImages |
Si alguno de los resultados de este paso son imágenes cuyas miniaturas se pueden recuperar con miniaturas.list.
|
labels |
Pares clave-valor arbitrarios proporcionados por el usuario que se asocian con el paso. Los usuarios son responsables de administrar el espacio de nombres de claves para que las claves no entren en conflicto de forma accidental. Se mostrará un INVALID_ARGUMENT si la cantidad de etiquetas supera las 100 o si la longitud de cualquiera de las claves o los valores supera los 100 caracteres.
Un objeto que contiene una lista de pares |
dimensionValue |
Si la ejecución que contiene este paso tiene establecida alguna dimensión_definition, entonces este campo permite que el elemento secundario especifique los valores de las dimensiones. Las claves deben coincidir exactamente con el valor de dimension_definition de la ejecución. Por ejemplo, si la ejecución tiene Si un paso no participa en una dimensión de la matriz, el valor de esa dimensión debe ser una cadena vacía. Por ejemplo, si un ejecutor que no admite reintentos ejecuta una de las pruebas, el paso podría tener Si el paso no participa en ninguna dimensión de la matriz, es posible que deje sin configurar dimensionValue. Se mostrará un error PRECONDITION_FAILED si alguna de las claves no existe en la dimensión_definition de la ejecución. Se mostrará un PRECONDITION_FAILED si otro paso de esta ejecución ya tiene el mismo nombre y dimensionValue, pero difiere en otros campos de datos; por ejemplo, el campo de paso es diferente. Se mostrará un PRECONDITION_FAILED si se establece el valor de la dimensión y hay una definición de dimensión en la ejecución que no se especifica como una de las claves.
Un objeto que contiene una lista de pares |
runDuration |
Cuánto tiempo tardó en ejecutarse este paso. Si no la estableces, se establecerá como la diferencia entre creatorTime ycompletionTime cuando el paso se establece en el estado COMPLETE. En algunos casos, es apropiado configurar este valor por separado. Por ejemplo, si se crea un paso, pero la operación que representa está en cola durante unos minutos antes de ejecutarse, sería apropiado no incluir el tiempo en cola en su runDuration. Se mostrará PRECONDITION_FAILED si se intenta establecer una runDuration en un paso que ya tiene configurado este campo.
|
deviceUsageDuration |
Cuánto se usa el recurso del dispositivo para realizar la prueba. Este es el uso del dispositivo con fines de facturación, que es diferente de runDuration. Por ejemplo, no se cobrará por el uso del dispositivo ante fallas de infraestructura. Se mostrará PRECONDITION_FAILED si se intenta configurar un elemento device_usage en un paso que ya tiene configurado este campo.
|
multiStep |
Se detalla cuando se ejecutan varios pasos con la misma configuración que un grupo. Estos detalles se pueden usar para identificar a qué grupo forma parte este paso. También identifica el "paso principal" del grupo. que indexa todos los miembros del grupo.
|
Campo de unión
|
|
testExecutionStep |
Es la ejecución de un ejecutor de pruebas. |
toolExecutionStep |
La ejecución de una herramienta (que se usa en pasos que no admitimos de forma explícita). |
Paso de ejecución de prueba
Un paso que representa la ejecución de pruebas.
Acepta archivos xml ant-junit que el servicio analizará en resultados de prueba estructurados. Las rutas de los archivos XML se actualizan para agregar más archivos, pero no se pueden borrar.
Los usuarios también pueden agregar los resultados de la prueba de forma manual con el campo test_result.
Representación JSON |
---|
{ "testSuiteOverviews": [ { object ( |
Campos | |
---|---|
testSuiteOverviews[] |
Lista de la descripción general del paquete de pruebas. Esto se puede analizar desde el registro XML de xUnit por servidor o se puede subir directamente por el usuario. Solo se debe llamar a estas referencias cuando los conjuntos de pruebas se analizan o se suben por completo. La cantidad máxima permitida de descripciones generales de paquetes de pruebas por paso es 1,000.
|
toolExecution |
Representa la ejecución del ejecutor de pruebas. El código de salida de esta herramienta se utilizará para determinar si se aprobó la prueba.
|
testIssues[] |
Problemas observados durante la ejecución de prueba. Por ejemplo, si la aplicación para dispositivos móviles sometida a prueba falló durante el proceso, el mensaje de error y el contenido del seguimiento de pila se pueden registrar aquí para facilitar la depuración.
|
testTiming |
El desglose de tiempo de la ejecución de prueba.
|
Ejecución de herramientas
La ejecución de una herramienta arbitraria. Puede ser un ejecutor de pruebas o una herramienta que copia artefactos o implementa código.
Representación JSON |
---|
{ "commandLineArguments": [ string ], "toolLogs": [ { object ( |
Campos | |
---|---|
commandLineArguments[] |
La línea de comandos con asignación de token completa que incluye el nombre del programa (equivalente a argv en un programa en C).
|
toolLogs[] |
Las referencias a cualquier registro de texto sin formato generan la ejecución de la herramienta. Este campo se puede configurar antes de que la herramienta salga para tener acceso a una visualización en vivo de los registros mientras se ejecuta la herramienta. La cantidad máxima permitida de registros de herramientas por paso es 1,000.
|
exitCode |
Código de salida de la ejecución de la herramienta. Este campo se establecerá una vez que la herramienta haya salido.
|
toolOutputs[] |
Referencias a archivos opacos de cualquier formato de salida por la ejecución de la herramienta. La cantidad máxima permitida de resultados de la herramienta por paso es 1,000.
|
Código de salida de la herramienta
Sal del código de la ejecución de una herramienta.
Representación JSON |
---|
{ "number": integer } |
Campos | |
---|---|
number |
Código de salida de la ejecución de la herramienta. El valor 0 significa que la ejecución se realizó correctamente.
|
Problemadeprueba
Se detectó un problema que ocurre durante una ejecución de prueba.
Representación JSON |
---|
{ "errorMessage": string, "stackTrace": { object ( |
Campos | |
---|---|
errorMessage |
Un breve mensaje legible por humanos que describe el problema. Obligatorio. |
stackTrace |
Obsoleto y se reemplazó por los campos de seguimiento de pila dentro de advertencias específicas. |
warning |
Mensaje de advertencia con detalles adicionales del problema. Siempre debe ser un mensaje de com.google.devtools.toolresults.v1.warnings |
severity |
Gravedad del problema. Obligatorio. |
type |
Tipo de problema. Obligatorio. |
category |
Categoría del problema. Obligatorio. |
Cualquiera
Any
contiene un mensaje de búfer de protocolo serializado arbitrario junto con una URL que describe el tipo de mensaje serializado.
La biblioteca de Protobuf proporciona compatibilidad para empaquetar y desempaquetar cualquier valor en forma de funciones de utilidad o métodos generados adicionales de cualquier tipo.
Ejemplo 1: Empaqueta y descomprime un mensaje en C++.
Foo foo = ...;
Any any;
any.PackFrom(foo);
...
if (any.UnpackTo(&foo)) {
...
}
Ejemplo 2: Empaqueta y descomprime un mensaje en Java.
Foo foo = ...;
Any any = Any.pack(foo);
...
if (any.is(Foo.class)) {
foo = any.unpack(Foo.class);
}
Ejemplo 3: Empaqueta y descomprime un mensaje en Python.
foo = Foo(...)
any = Any()
any.Pack(foo)
...
if any.Is(Foo.DESCRIPTOR):
any.Unpack(foo)
...
Ejemplo 4: Empaqueta y desempaqueta un mensaje en Go
foo := &pb.Foo{...}
any, err := ptypes.MarshalAny(foo)
...
foo := &pb.Foo{}
if err := ptypes.UnmarshalAny(any, foo); err != nil {
...
}
Los métodos de empaquetado que proporciona la biblioteca de protobuf usarán, de forma predeterminada, “type.googleapis.com/full.type.name”. ya que la URL de tipo y los métodos de desempaquetado solo usan el nombre del tipo completamente calificado después del último '/' en la URL de tipo, por ejemplo, "foo.bar.com/x/y.z" generará el nombre de tipo "y.z".
JSON
La representación JSON de un valor Any
usa la representación normal del mensaje incorporado deserializado, con un campo adicional @type
que contiene el tipo de URL. Ejemplo:
package google.profile;
message Person {
string first_name = 1;
string last_name = 2;
}
{
"@type": "type.googleapis.com/google.profile.Person",
"firstName": <string>,
"lastName": <string>
}
Si el tipo de mensaje incorporado es conocido y tiene una representación JSON personalizada, esa representación se incorporará, agregando un campo value
que, además del campo @type
, contiene el JSON personalizado. Ejemplo (para el mensaje google.protobuf.Duration
):
{
"@type": "type.googleapis.com/google.protobuf.Duration",
"value": "1.212s"
}
Representación JSON |
---|
{ "typeUrl": string, "value": string } |
Campos | |
---|---|
typeUrl |
Un nombre de URL o recurso que identifica de forma única el tipo de mensaje del búfer de protocolo serializado. Esta cadena debe contener al menos una “/” carácter. El último segmento de la ruta de acceso de la URL debe representar el nombre completamente calificado del tipo (como en En la práctica, los equipos suelen precompilar en el objeto binario todos los tipos que esperan que use en el contexto de Any. Sin embargo, en el caso de las URLs que usen el esquema
Nota: Por el momento, esta funcionalidad no está disponible en la versión oficial de protobuf y no se usa para URLs de tipos que comiencen con type.googleapis.com. Se pueden usar esquemas que no sean |
value |
Debe ser un búfer de protocolo serializado válido del tipo especificado anteriormente. String codificada en base64. |
Gravedad
Gravedad de los problemas.
Enums | |
---|---|
unspecifiedSeverity |
Gravedad predeterminada sin especificar. No se debe usar. Solo para control de versiones. |
info |
Problema no crítico que proporciona a los usuarios información sobre la ejecución de la prueba. |
suggestion |
Problema no crítico que proporciona a los usuarios algunas sugerencias para mejorar su experiencia de prueba, p.ej., sugerencias para usar bucles de juego. |
warning |
Problema potencialmente crítico. |
severe |
Problema crítico. |
Tipo
Tipos de problemas.
Enums | |
---|---|
unspecifiedType |
Tipo predeterminado sin especificar. No se debe usar. Solo para control de versiones. |
fatalException |
El problema es una excepción irrecuperable. |
nativeCrash |
El problema es una falla por error en código nativo. |
anr |
El problema es una falla de ANR. |
unusedRoboDirective |
El problema es una directiva de Robo no utilizada. |
compatibleWithOrchestrator |
El problema es una sugerencia para usar Orchestrator. |
launcherActivityNotFound |
Problema al encontrar una actividad de selector |
startActivityNotFound |
Problema con la resolución de un intent proporcionado por el usuario para iniciar una actividad |
incompleteRoboScriptExecution |
No se ejecutó por completo una secuencia de comandos de Robo. |
completeRoboScriptExecution |
Una secuencia de comandos de Robo se ejecutó de forma completa y correcta. |
failedToInstall |
No se pudo instalar el APK. |
availableDeepLinks |
La app que está a prueba tiene vínculos directos, pero ninguno se proporcionó a Robo. |
nonSdkApiUsageViolation |
La app accedió a una API que no es del SDK. |
nonSdkApiUsageReport |
La app accedió a una API que no es del SDK (nuevo informe detallado) |
encounteredNonAndroidUiWidgetScreen |
El rastreo de Robo encontró al menos una pantalla con elementos que no son widgets de la IU de Android. |
encounteredLoginScreen |
El rastreo de Robo encontró al menos una pantalla de acceso probable. |
performedGoogleLogin |
Robo accedió con Google. |
iosException |
La app para iOS falló con una excepción. |
iosCrash |
La app para iOS falló sin una excepción (p.ej., cerrada). |
performedMonkeyActions |
El rastreo de Robo implicó realizar algunas acciones de prueba semialeatorias. |
usedRoboDirective |
El rastreo de Robo usó una directiva de Robo. |
usedRoboIgnoreDirective |
El rastreo de Robo usó una directiva de Robo para ignorar un elemento de la IU. |
insufficientCoverage |
Robo no rastreó algunas partes potencialmente importantes de la app. |
inAppPurchases |
El rastreo de Robo involucró algunas compras directas desde la aplicación. |
crashDialogError |
Se detectó un diálogo de falla durante la ejecución de prueba |
uiElementsTooDeep |
La profundidad de los elementos de la IU es mayor que el umbral |
blankScreen |
Se encontró una pantalla en blanco en el rastreo de Robo |
overlappingUiElements |
Se encontraron elementos superpuestos de la IU en el rastreo de Robo |
unityException |
Se detectó una excepción de Unity no detectada (estas apps no generan fallas). |
deviceOutOfMemory |
Se detectó que el dispositivo se está quedando sin memoria |
logcatCollectionError |
Se detectaron problemas durante la recopilación de logcat |
detectedAppSplashScreen |
Robo detectó una pantalla de presentación que proporcionó la app (en comparación con una pantalla de presentación del SO Android). |
assetIssue |
Hubo un problema con los elementos de esta prueba. |
Categoría
Categorías de problemas.
Enums | |
---|---|
unspecifiedCategory |
Categoría predeterminada sin especificar. No se debe usar. Solo para control de versiones. |
common |
El problema no es específico de un tipo de prueba en particular (p.ej., una falla por error en código nativo). |
robo |
El problema es específico de la ejecución Robo. |
Tiempo de prueba
Las pruebas se desglosan para conocer las fases.
Representación JSON |
---|
{
"testProcessDuration": {
object ( |
Campos | |
---|---|
testProcessDuration |
El tiempo que se tardó en ejecutar el proceso de prueba.
|
Paso de ejecución de herramienta
Es un paso genérico de la herramienta que se usará para objetos binarios que no admitimos explícitamente. Por ejemplo: ejecutar cp para copiar artefactos de una ubicación a otra.
Representación JSON |
---|
{
"toolExecution": {
object ( |
Campos | |
---|---|
toolExecution |
Una ejecución de Herramienta.
|
Varios pasos
Se detalla cuando se ejecutan varios pasos con la misma configuración que un grupo.
Representación JSON |
---|
{
"primaryStepId": string,
"multistepNumber": integer,
"primaryStep": {
object ( |
Campos | |
---|---|
primaryStepId |
Es el ID del paso principal (original), que podría ser este paso. |
multistepNumber |
Int único asignado a cada paso. Va de 0(inclusive) a la cantidad total de pasos(exclusivo). El paso principal es 0. |
primaryStep |
Está presente si es un paso principal (original). |
Paso principal
Almacena el estado de la prueba de fusión de varios pasos que se ejecutaron como grupo y el resultado de cada paso individual.
Representación JSON |
---|
{ "rollUp": enum ( |
Campos | |
---|---|
rollUp |
Estado de la prueba de fusión de varios pasos que se ejecutaron con la misma configuración que un grupo. |
individualOutcome[] |
ID del paso y resultado de cada paso individual. |
Resultado individual
El ID del paso y el resultado de cada paso individual que se ejecutó como un grupo con otros pasos con la misma configuración.
Representación JSON |
---|
{ "stepId": string, "outcomeSummary": enum ( |
Campos | |
---|---|
stepId |
|
outcomeSummary |
|
multistepNumber |
Int único asignado a cada paso. Va de 0(inclusive) a la cantidad total de pasos(exclusivo). El paso principal es 0. |
runDuration |
Cuánto tiempo tardó en ejecutarse este paso. |
Métodos |
|
---|---|
|
Enumera los clústeres de accesibilidad para un paso determinado Puede mostrar cualquiera de los siguientes códigos de error canónicos:
|
|
Crea un paso. |
|
Recibe un paso. |
|
Recupera un PerfMetricsSummary. |
|
Enumera los pasos de una ejecución determinada. |
|
Actualiza un paso existente con la entidad parcial proporcionada. |
|
Publica archivos XML en un paso existente. |