Test A/B inteligente
testea automáticamente tus notificaciones
Indice
El Test A/B es una técnica usada por los equipos de marketing y comunicación para optimizar el contenido de una campaña. Consiste en probar distintas versiones de una campaña para ver cuál es la mejor.
La plataforma de indigitall ofrece una versión 'inteligente' basada en Machine Learning de esta funcionalidad para que este proceso sea muy sencillo y cómodo, de forma que puedas utilizar esta técnica de test A/B de forma habitual en tu día a día, y que de esta manera puedas optimizar tus campañas en base a datos reales de respuesta de los usuarios.
Versiones: Crear un Test A/B
La creación de cada notificación es igual que cuando creas una nueva campaña.
Puedes encontrar información más detallada sobre cómo crear campañas push en este enlace.
En el panel de uso podrás ver que hay dos opciones la A y la B, aunque tienes hasta 5 opciones/versiones C, D y E que podrás usar al mismo tiempo en una misma campaña, tan solo pulsando en el icono/símbolo de mas. Para borrar una versión, debe estar seleccionada aquella que quieres eliminar y luego hacer click sobre el símbolo de menos.
Durante el test cada dispositivo recibe sólo una notificación, independientemente del número de versiones. Algunos usuarios recibirán la notificación A, otros la B, …, pero en ningún caso dos versiones de la misma campaña.
Cómo Funciona el Envío Inteligente
El método que usamos es conocido como testeo Multi Armed Bandit, MBA, inspirado en el algoritmo de Tompson Sampling.
Mientra que los test A/B con envío manual están basado en la exploración, recopilar datos para ver cuál es la mejor versión y tomar una decisión,
los MBA están diseñados para la explotación, mostrar la versión que parece mejor mientras que se siguen haciendo pruebas.
Nuestro algoritmo envia de forma progresiva y automática a todos los dispositivos una de las versiones.
Durante la primera hora haremos cuatro envios con todas las versiones y así poder analizar cuál parece mejor.
A partir de la segunda hora cada quince minutos y según el éxito que tengan las versiones irá enviando a más usuarios aquella que tenga mayor tasa de conversión.
Cuanto más tiempo dure el test, el modelo matemático aprenderá mejor y enviará a más dispositivos la versión de mayor éxito. Las notificaciones se enviarán en una venta de 1 a 7 días de forma constante y gradual en horario diurno, dependiendo del número de dispositivos totales y de los filtros horarios.
Estadísticas del Test A/B con Envío Inteligente
Haciendo clic en el botón de estadísticas de la sección Campaña > Push Test A/B, podrás consultar las notificaciones enviadas y cuántas han sido clickada por cada versión y dispositivo: web, android, iOS como el total.
Obtendrás uns vista como la siguiente:
A la izquierda se encuentra el detalle por campaña y en la última línea el total de la campaña:
- Recibidos: Número de dispositivos que lo han recibido. Puede ser menor que los enviados si se ha producido algún error en la recepción de una push enviada.
- % Recibidos: Porcentaje de recibidos respecto el total de recibidos de la campaña.
- Clicks: Número de dispositivos que han clickado.
- % Clicks: Porcentaje de clickados respecto el total de recibidos.
A la derecha se encuentra el total de la campaña:
- Dispositivos: Número de dispositivos total
- Enviados: Total y porcentaje de dispositivos enviados respecto del total de dispositivos de la campaña.
- Clicks: Total y porcentaje de dispositivos que han clickado respecto del total de dispositivos de la campaña.
Al pinchar sobre una versión aparece una ventana emergente con el detalle por cada dispositivo (web, android, iOS) y el total del CTR (Click Through Rate), número de notificaciones clickadas entre las recibidas.
Estado de un Test A/B
Los test creados pueden se encontraran en uno de estos estados:
-
Finalizado: se ha enviado a todos los dispositivos de la campaña.
-
Enviado: ha finalizado el envío manual de todas las versiones.
-
En progreso: se está enviando la campaña mediante envío inteligente.
-
Cancelado: se ha cancelado el test.
-
Error: se ha producido un error.
-
Pendiente: se ha creado correctamente el test pero aún no ha comenzado el envío inteligente.
Recursos
Test Inteligente: Inteligencia artificial para aumentar tus ventas