En este post compartimos un simple experimento que ilustra dos aspectos fundamentales a considerar en una estrategia de pruebas A/B:
- Un pequeño cambio puede dar lugar a una significativa mejora.
- Seleccionar adecuadamente el indicador clave de rendimiento para evaluar el éxito de un experimento.
Tabla de contenidos
El entorno
Al analizar y evaluar el sitio web de un cliente, descubrimos que la forma predeterminada de ordenar los productos en las páginas de categorías (conocida como listado de productos) era por precio (de menor a mayor). Esta práctica es más habitual de lo que se piensa en varios sitios web. Quizá la razón detrás de esta decisión sea presentar al usuario productos más económicos y transmitir la impresión de que el sitio ofrece precios bajos.
No obstante, diversos estudios de experiencia de usuario (UX) (https://baymard.com/blog/default-sort-type) han revelado que utilizar este orden predeterminado puede acarrear ciertos problemas significativos.
Uno de ellos es que puede hacer que el usuario piense que está en una categoría incorrecta. ¿Por qué? Si los primeros productos mostrados en una categoría no representan adecuadamente la misma, es probable que el usuario perciba que se encuentra en el sitio equivocado, lo que aumenta la probabilidad de que abandone la página.
Frecuentemente los artículos de coste más bajo en una clase tienden a ser ciertos elementos accesorios o suplementarios de los productos principales. Por ejemplo, en una sección de Lámparas led, es sencillo encontrar también accesorios para su instalación: aros, bornas, etc., los cuales tienen un coste inferior al del producto más destacado de la sección. Mostrar estos artículos en primer lugar podría inducir fácilmente a confusión.
Otro incidente que este tipo de clasificación puede ocasionar es que suele crear conjuntos de productos muy parecidos al inicio (al clasificar por precio es común que variantes del mismo producto se presenten muy próximas), lo cual impide al usuario tener una visión precisa del abanico de diversos productos y categorías que ofrece el sitio.
De acuerdo al análisis de Baymard mencionado anteriormente, lo más adecuado sería exhibir al usuario un tipo de clasificación ‘por relevancia’. En nuestro caso, optamos por examinar cómo esto podría afectar el desempeño del comercio electrónico de nuestro cliente.
La prueba
Para ello planteamos una prueba muy simple: mostrar a una parte del tráfico una variante en la que la clasificación de los productos por defecto fuera ‘por relevancia’.
Iniciamos la prueba con la herramienta de evaluación A/B VWO y la llevamos a cabo tanto para computadoras como para dispositivos móviles. En esta ocasión, optamos por una prueba dividida. Para ello, el equipo de desarrollo de nuestro cliente preparó una variante en la que la clasificación por defecto en las páginas de categoría era por relevancia. La URL de la variante incorporaba un parámetro que nos permitía configurar la prueba en VWO. Dirigimos el 50% del tráfico a la versión original (clasificada por defecto por precio de menor a mayor) y el otro 50% a la variante con la clasificación porrelevancia.
Recomendado: Pruebas divididas para CRO: todo lo que necesitas saber
Los hallazgos
Después de unas semanas de funcionamiento recopilamos suficiente datos para tomar una decisión apoyada en información concreta. A pesar de que los resultados nos sorprendieron inicialmente.
Descubrimos que la proporción de compras respecto a usuarios totales no se veía favorecida por el cambio que habíamos propuesto (de hecho disminuía un 3,4%). No obstante, los ingresos aumentaban significativamente: un 84%.
¿Por qué?
El AOV (promedio de compra) prácticamente se había duplicado (incremento del 92%), pasando de 576,14 € a 1.106,12 € (se trata de un sector con un promedio de compra elevado).
Analizándolo detenidamente, todo tenía sentido. La ordenación por relevancia de la versión mostraba productos más adecuados a las expectativas del usuario en cada categoría, en lugar de priorizar productos más económicos. Esto penalizaba ligeramente las ventas al disminuir la proporción de compras total, pero al aumentar el promedio de compra, los ingresos se incrementaban.
La enseñanza
Como indicamos al comienzo de este caso de éxito, este experimento trajo consigo dos principales aprendizajes:
- La importancia de no descartar ideas (por más simples que parezcan). En ocasiones no se puede estimar adecuadamente el impacto que puede tener un cambio hasta que se prueba.
- No siempre se puede evaluar el éxito de un experimento por el aumento de la Conversión. Este es un indicador clave a considerar, pero no siempre debe ser el determinante en nuestras decisiones. En este caso, es positivo para la empresa que la conversión disminuya ligeramente si el promedio de compra se duplica y genera una mejora tan sustancial en los ingresos. Por ello, nunca dejaremos de resaltar la importancia de tener una visión más holística sobre cómo están afectando nuestras acciones a los intereses del negocio.
Mejorar la proporción de conversión de tu sitio web y optimizar los indicadores principales del negocio es viable. Sin embargo, es esencial seguir una metodología y establecer un plan de acción que nos permita tener claro hacia dónde nos dirigimos.
En ICRONO podemos orientarte sobre cómo el CRO puede tener impacto en tu empresa y los beneficios de implementar un programa de experimentación en tu estrategia de crecimiento.
¿Charlamos?
