En esta guía, se proporciona información sobre los conceptos clave relacionados con los lanzamientos de Remote Config para que puedas hacer lo siguiente:
- Comprende cómo funciona la pertenencia a grupos de lanzamiento.
- Sabe cuándo usar un lanzamiento y cuándo usar una prueba A/B.
- Obtén información para interpretar los resultados del lanzamiento.
Información sobre la pertenencia a grupos de lanzamiento
Cuando creas un nuevo lanzamiento y le asignas un porcentaje, Firebase coloca una porción del mismo tamaño de tu público en un grupo de control para obtener resultados precisos cuando comparas el rendimiento de la función habilitada, lo que genera los siguientes grupos.
- Habilitado: Los dispositivos de usuario asignados a este grupo recibirán el valor que configures en el lanzamiento.
- Control: Los dispositivos de usuario asignados a este grupo reciben el valor que, de lo contrario, habrían recibido de Remote Config, no el valor del lanzamiento.
- Sin asignar: Los dispositivos de usuario de este grupo recibirán el valor que, de lo contrario, hubieran obtenido de Remote Config, pero no se usan en los resultados de la comparación de lanzamientos.
Es decir, si lanzas para un 2% de tus usuarios, estos se agregan al grupo habilitado y un 2% adicional de tus usuarios se agrega al grupo de control, que se usa para la comparación. El 96% de sus usuarios permanecen en el grupo Sin asignar.
Con este enfoque, se garantiza una comparación justa entre el rendimiento de los usuarios y los dispositivos que reciben tu valor de lanzamiento y los que no lo hacen, y te permite determinar de manera efectiva el éxito o el fracaso del lanzamiento en la página Resultados del lanzamiento.
La asignación de los grupos de lanzamiento es coherente en todas las fases de un lanzamiento. Es decir, dentro del mismo lanzamiento, si reduces el porcentaje a un 0%, todos los usuarios volverán a recibir el valor del parámetro definido en la plantilla de Remote Config. Si luego decides aumentar el porcentaje de lanzamiento, los usuarios que formaban parte de los grupos habilitados o de control anteriores regresarán al grupo que se les asignó originalmente y recibirán valores coherentes con esos grupos.
Una vez que verifiques que tu versión es exitosa y decidas lanzarla por completo al 100% de los usuarios de destino, Firebase ya no usará el grupo de control, y todos los usuarios y dispositivos segmentados recibirán el valor del lanzamiento.
¿Cuándo usar un lanzamiento y cuándo usar una prueba A/B?
Los lanzamientos de Remote Config y A/B Testing son apropiados para casos de uso ligeramente diferentes y se pueden usar de manera complementaria.
Los lanzamientos son graduales y, a menudo, se usan para lanzar una función nueva a un grupo selecto de usuarios. Te recomendamos segmentarla para usuarios de un país específico o con una versión específica de tu app. Usa lanzamientos para mitigar el riesgo y probar funciones nuevas en un entorno real, con controles estrictos para que puedas ver su rendimiento. También puedes supervisar el rendimiento de tus servicios de backend con la carga adicional de la función nueva y un uso aproximado para garantizar que el cambio sea escalable antes de lanzarlo a un público más amplio.
Los lanzamientos son excelentes herramientas para situaciones en las que implementas funciones nuevas que cambian de manera significativa la funcionalidad, cambios que pueden generar resultados impredecibles o cambios que pueden afectar la infraestructura de backend, los servicios o las APIs externas.
A/B Testing te permite presentar varias versiones de una función o un elemento de la app, por ejemplo, actualizar el aspecto de la IU, cambiar el texto publicitario o actualizar la dificultad a nivel del juego. Luego, puedes exponer diferentes variaciones a tus usuarios para conocer qué opción genera mejores resultados según la métrica que hayas elegido (como la participación del usuario, los clics en los anuncios y los ingresos).
Usa A/B Testing para la toma de decisiones basada en datos y la optimización, y para comprender las preferencias de los usuarios. Es perfecto para situaciones en las que tienes varias opciones comparables y objetivos muy específicos. Por ejemplo, A/B Testing es adecuado para cambios en los que deseas ajustar tu app para mejorar una métrica específica, como probar qué posición de anuncios de banner genera más clics.
También es una buena idea combinar los lanzamientos de Remote Config y A/B Testing en una estrategia general: primero, crea una prueba A/B con un conjunto limitado de usuarios para determinar la variante que produzca los resultados óptimos para tus métricas clave. Una vez que A/B Testing haya determinado que es un líder, crea un lanzamiento con la variante ganadora. Supervisa la estabilidad y las métricas clave a medida que aumentas de forma incremental la cantidad de usuarios expuestos y, cuando estés seguro de su rendimiento, impleméntalo al 100%.
Comprende los resultados del lanzamiento
Después de publicar un lanzamiento, deberías comenzar a ver resultados casi de inmediato.
Puedes ver los resultados de varias maneras:
- En la página Parámetros, expande el parámetro que configuraste para el lanzamiento y, debajo del lanzamiento, haz clic en Ver resultados.
- En la página Lanzamientos, haz clic en el nombre del lanzamiento.
El selector de apps en la parte superior de la página de resultados te permite seleccionar vistas para apps específicas. Los resultados se dividen en varias secciones:
- La sección Resumen, en la que se muestra el Porcentaje de lanzamiento configurado y se proporciona la capacidad de revertir o editar el lanzamiento Cuando se expande, muestra una Descripción general de los detalles de configuración del lanzamiento y el Historial de cambios.
En la sección Usuarios, que muestra la cantidad de instalaciones únicas de la app que recuperaron una plantilla de lanzamiento en los siguientes grupos:
- Habilitado: Cantidad de instancias de app que coinciden con la condición de lanzamiento objetivo y que recuperaron el valor del lanzamiento.
- Control: Cantidad de instancias de la app que coinciden con la condición de lanzamiento objetivo y que recuperaron el valor sin cambios.
- Destino: Cantidad total estimada de instancias que coinciden con la condición que estableciste en el lanzamiento, que debería recibir el lanzamiento o un valor sin cambios.
Para obtener más información, consulta Información sobre las membresías de los grupos de lanzamiento.
Las secciones Crashlytics y Analytics, en las que se muestran datos de comparación de los grupos habilitados y de control. Puedes filtrar los datos recopilados por Últimas 24 horas, Desde la última publicación o Últimos 7 días. La vista predeterminada es las últimas 24 horas.
Resultados de Crashlytics para los lanzamientos
Puedes ver la cantidad total de fallas, errores recuperables y ANR que ocurrieron durante el lanzamiento. Cada categoría de resultado muestra un gráfico de barras que compara los totales sin procesar de los usuarios Enabled y Control que cumplieron con la condición del lanzamiento.
- Fallas: Muestra la cantidad y el porcentaje de fallas, así como la cantidad de usuarios únicos que experimentaron fallas en los grupos habilitados y de control.
- Errores recuperables: Muestra la cantidad y el porcentaje de errores recuperables, así como la cantidad de usuarios únicos que experimentaron errores recuperables.
- ANR (solo en apps para Android): Muestra la cantidad y el porcentaje de eventos de "Aplicación no responde", así como la cantidad de usuarios únicos que experimentaron uno o más eventos de ANR.
Si quieres obtener información más detallada sobre las fallas, puedes hacer clic en Ver más en Crashlytics. Esta acción abrirá la página de Crashlytics con un filtro activo para el lanzamiento cuyos resultados inspeccionaste. Los resultados del lanzamiento en la página de Crashlytics miden todos los usuarios que jamás estuvieron expuestos a la variante correspondiente: Enabled o Control. Puedes elegir ver las fallas del grupo de control, las fallas de grupos habilitadas o ambas.
Resultados de Google Analytics para los lanzamientos
En la sección de resultados del lanzamiento de Google Analytics, se comparan en detalle las métricas de Analytics de todos los usuarios que alguna vez estuvieron expuestos a los grupos habilitados o de control y en vistas de gráfico. Se proporcionan tres métricas:
- Total revenue: Muestra el importe total de los ingresos, incluidos los ingresos publicitarios y por compras, en USD. Puedes filtrar tus resultados para que se muestren específicamente de Ingresos publicitarios o Ingresos por compras.
- Conversiones totales: Muestra el recuento sin procesar de la suma de todos los eventos de conversión. Puedes filtrar los resultados según la conversión que deseas destacar.
- Tiempo de participación total: Muestra el tiempo de participación total que emplearon los usuarios con una de las variantes del lanzamiento. El tiempo de participación total se muestra en el formato Horas:Minutos:Segundos. Por ejemplo, 01:31:28. En el gráfico, se muestran datos del período que seleccionaste sobre la sección de Crashlytics.