Calculadora de test A/B — significancia estadística
Comprueba si el resultado de tu test A/B es estadísticamente significativo: tasas de conversión, mejora, puntuación z, valor p y un veredicto claro.
🔒 Funciona por completo en tu navegador. Tu entrada y salida no se envían a ningún servidor ni se guardan: totalmente privado.
Usa la prueba z de dos proporciones con varianza combinada (bilateral). Un resultado es significativo al 95% cuando p < 0,05 (90%: p < 0,10; 99%: p < 0,01). La significación estadística no es una garantía de negocio: revisa también el tamaño de la mejora. Haz clic en un resultado para copiar.
Acerca de esta herramienta
Esta calculadora de test A/B te dice si la diferencia entre dos variantes es real o solo ruido. Introduce las visitas y conversiones de A y B, y calcula cada tasa de conversión, la mejora relativa, una prueba z de dos proporciones con su valor p y un intervalo de confianza de la diferencia. Indica con claridad si el resultado es estadísticamente significativo al 95% (y muestra también los umbrales del 90% y 99%), para decidir con evidencia y no por corazonada. Todo se calcula en tu navegador.
Preguntas frecuentes
¿Qué significa realmente el valor p?
El valor p es la probabilidad de ver una diferencia al menos así de grande si las dos variantes fueran en realidad idénticas. Un p pequeño (menor de 0,05) significa que tal brecha sería improbable por azar, así que lo llamas significativo. NO es la probabilidad de que B gane a A, ni el tamaño del efecto: una mejora minúscula e inútil puede ser significativa con suficiente tráfico. Lee significancia y mejora juntas: la significancia dice si el efecto es real; la mejora, si vale la pena.
¿Por qué no parar el test en cuanto sale significativo?
Porque mirar repetidamente y parar en el primer momento significativo dispara los falsos positivos: el ruido aleatorio cruza la línea de 0,05 temporalmente con sorprendente frecuencia. Decide el tamaño de muestra por adelantado (ayuda una calculadora de tamaño de muestra), ejecuta hasta ese tamaño y solo entonces lee el resultado. Y déjalo correr ciclos completos: los efectos de entre semana/fin de semana o día de pago pueden hacerse pasar por una variante ganadora.
¿Mis datos de tráfico salen de mi equipo?
No. La prueba z, el valor p y el intervalo de confianza los calcula JavaScript en tu navegador, así que las visitas y conversiones que introduces nunca se suben ni se guardan, y funciona sin conexión una vez cargado. Eso mantiene privadas las cifras comerciales. La herramienta asume que cada visitante se cuenta una vez y se asigna de forma independiente; si los mismos usuarios están en ambos grupos, se rompen los supuestos.