Firebase A/B Testing
Firebase A/B Testing (con la tecnología de Google Optimize) te ayuda a optimizar tu experiencia con las apps y facilita la ejecución, el análisis y el escalamiento de los experimentos de productos y de marketing. Te da la posibilidad de probar los cambios que realices en la IU de la app, sus funciones o las campañas de participación para ver si modifican las métricas clave (como los ingresos y la retención) antes de implementarlos en forma general.
A/B Testing funciona con FCM para que puedas probar diferentes mensajes de marketing, y con Remote Config, a fin de que puedas probar los cambios en la app.
Funciones clave
| Prueba y mejora tu experiencia de producto | Crea experimentos con Remote Config para hacer cambios en el comportamiento y el aspecto de la app entre las variantes de tu experimento, y prueba qué experiencia de producto es más eficaz para lograr los resultados que más te interesan. |
| Encuentra formas de volver a atraer a tus usuarios con el Compositor de Notifications | Usa A/B Testing para encontrar la configuración de redacción y mensaje más efectiva con el fin de atraer a los usuarios a tu app. |
| Implementa funciones nuevas con seguridad | No implementes una función nueva sin asegurarte de que logre tus objetivos con una pequeña cantidad de usuarios primero. Una vez que te sientas seguro de los resultados de la prueba A/B, implementa la función para todos los usuarios. |
| Segmenta los grupos de usuarios con datos de Google Analytics | Ejecuta pruebas A/B para clientes que segmentas con datos de Google Analytics. Por ejemplo, podrías segmentar un subconjunto de usuarios (de un segmento demográfico que ejecuten una versión de una app en una plataforma y un idioma específicos) que coincidan con una propiedad del usuario determinada de Google Analytics. |
¿Cómo funciona?
Cuando creas un experimento, pruebas una o más variantes de una acción y mides qué tan bien estas variantes avanzan hacia un objetivo que deseas cumplir (como un aumento en las compras directas desde la aplicación). Tu grupo de usuarios segmentados se puede definir según varios criterios encadenados con la lógica de “Y”. Por ejemplo, puedes limitar el grupo a usuarios de una versión particular de la app que pertenecen a un público de Analytics, como “usuarios con fallas”, que coinciden con una propiedad del usuario personalizada de Google Analytics configurada por el cliente.
Con Remote Config, puedes experimentar con cambios en varios parámetros entre distintas variantes para alterar el comportamiento y el aspecto de la app de diferentes formas en cada grupo de variantes. Puedes usar esto para probar cambios leves, como elegir la mejor combinación de colores y la mejor posición del menú, o cambios importantes, como probar una característica o un diseño de IU totalmente nuevo. Con el Compositor de Notifications, puedes experimentar para encontrar la redacción correcta del mensaje de notificación.
Si tus experimentos usan Remote Config o el Compositor de Notifications, puedes supervisar el experimento hasta que tengas un conjunto de resultados válidos y, luego, identificar la variante líder, aquella que cumple de mejor manera tu objetivo. Puedes comenzar el experimento con un porcentaje pequeño de tu base de usuarios y, luego, aumentar ese porcentaje en el tiempo. Si el primer experimento no revela una variante que cumpla tu objetivo mejor que tu app actualmente, puedes comenzar una nueva ronda de experimentos para encontrar la forma ideal de mejorar la app.
También puedes hacer un seguimiento de otras métricas (participación, retención y fallas de la app) junto con tu objetivo, de modo que puedas entender mejor el resultado del experimento y su impacto en la experiencia de uso de la app.
Ruta de implementación
| Agrega Remote Config o Firebase Cloud Messaging a tu app | Si tu aplicación ya usa Remote Config o Cloud Messaging (o ambos), puedes omitir este paso. | |
| Define las variantes que quieres evaluar con una prueba A/B |
No importa si el cambio es sutil o si agregas una característica o una IU nueva; si puedes controlar ese cambio con Remote Config, puedes probar diferentes variantes en ese cambio con A/B Testing. También puedes usar A/B Testing con el Compositor de Notifications a fin de probar diferentes variantes de tu campaña para volver a generar participación antes de implementarla a todos los usuarios. |
|
| Define cómo medirás el éxito | Con un experimento que usa el Compositor de Notifications, puedes usar un evento de Analytics para definir el objetivo del experimento y comparar sus variantes. Con un experimento de Remote Config, puedes usar un evento de Analytics o un embudo de conversión para definir el objetivo de tu experimento. | |
| Supervisa tu experimento para encontrar la variante ganadora | Puedes comenzar tu experimento con unos pocos usuarios y, luego, implementarlo a más usuarios si los primeros resultados lucen bien. A medida que supervisas el experimento, verás si algunas variantes generan más fallas de la app o tienen otros efectos en la experiencia, y también puedes ver qué variante tiene el mejor progreso hacia tu objetivo. |
Próximos pasos
- Revisa la serie de videos sobre A/B Testing, que abarcan desde aspectos básicos hasta temas avanzados.
- Comienza a crear experimentos para Remote Config o el Compositor de Notifications.
- Obtén más información sobre las funciones de Firebase que interactúan con A/B Testing: Google Analytics, Firebase Remote Config, mensajes de Notifications, AdMob y personalización de Remote Config.
- Obtén más información sobre Optimize, que usa las mismas estadísticas bayesianas sofisticadas que A/B Testing.