Skip to content

No te fíes de Google Analytics. Valida la significancia estadística de los datos

julio 3, 2012

Post creado por Daniel Rodriguez via Trucos de Optimización

Imaginemos que en nuestro ecommerce tenemos un ratio de conversión del 10% para un producto y del 15% para otro producto. ¿Quiere esto decir que el producto que rinde al 15% es mejor que el que rinde al 10%? Y en consecuencia ¿Debemos centrar esfuerzos en posicionar mejor aquel con mayor ratio de conversión?

De entrada, lo primero que tenemos que tener claro es que mirar el ratio de conversión de manera aislada es un error. Como también es un error mirar de manera aislada cualquier otra métrica y extraer conclusiones comparando tan sólo si los valores son mayores o menores entre si. Independientemente de si las diferencias resultan aparentemente significativas.

Significancia estadística

Lo correcto es que siempre se debería validar la significancia estadística de cualquier dato analizado. De esta manera, sabremos en que medida los valores observados suceden por azar o bien hay una correlación real.

Siempre que hablamos de un cierto nivel de significancia, nos referimos a la probabilidad de que un cierto resultado se de por mero azar.
Formalmente, sólo deberíamos creernos aquello que tome un nivel de significancia igual o menor al 0,05. Es decir, se deba por azar en un 5% o, lo que es lo mismo, existen un 95% de posibilidades de que sea cierto.

Herramientas como Google Website Optimizer o cualquier herramienta de test, realizan esta validación de manera automática y dan por concluido el experimento cuando se llegan a unos niveles de certeza estadística superiores al 95%.
En el informe de resultados de GWO, por ejemplo, la columna llamada “Probabilidad de ganar al original” nos da este valor. Esto nos garantiza que, mientras el experimento se ha ejecutado, el ratio de conversión que obtiene una versión de diseño alternativa no se ha debido al azar.

En cambio herramientas de analítica web como Google Analytics, más allá del conjunto de métricas estándar, no ofrecen por defecto ninguna validación estadística de los datos reportados.
El problema es que normalmente vamos a extraer conclusiones y tomar decisiones sin una previa validación formal y estadística. Por ejemplo, observando el ratio de conversión asociado a ciertas palabras clave de entrada podríamos (alegremente) priorizar aquellas que mayor rendimiento ofrecen. Pero ¿Qué grado de confianza ofrece la métrica ratio de conversión? ¿Nos permiten estos datos invertir con garantías en ciertas palabras clave por encima de otras?
Por suerte, un bookmarklet llamado Z-Test desarrollado por Michael Whitaker se integra directamente con Google Analytics y nos da la significancia estadística para las métricas de objetivos y e-commerce.

Y aunque no este integrado con Google Analytics, la calculadora de significancia estadística de KISSinsights también nos ayudará en momentos puntuales ;)

Anuncios

From → WEB Analytics

Dejar un comentario

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: