Itqualityassurance
- ¿Cómo eliges el efecto mínimo detectable??
- ¿Cuál es el efecto mínimo detectable en relación con las pruebas de hipótesis??
- Al ejecutar una prueba A B cuando es el momento adecuado para determinar las métricas de éxito clave?
- ¿Cómo sabría si un experimento en B en línea es exitoso??
¿Cómo eliges el efecto mínimo detectable??
Establecer un MDE apropiado
Tiene que estar informado por los riesgos, los costos y las expectativas asociadas con los experimentos subyacentes. Su MDE mínimo debe ser el efecto más pequeño que justifique la implementación del cambio que se está probando. Por supuesto, siempre puede dominar la prueba para aprender más de ella.
¿Cuál es el efecto mínimo detectable en relación con las pruebas de hipótesis??
El efecto mínimo detectable es el tamaño del efecto establecido por el investigador de que una evaluación de impacto está diseñada para estimar para un nivel determinado de importancia. El efecto mínimo detectable es una entrada crítica para los cálculos de energía y está estrechamente relacionado con la potencia, el tamaño de la muestra y los presupuestos de encuestas y proyectos.
Al ejecutar una prueba A B cuando es el momento adecuado para determinar las métricas de éxito clave?
Si lanza una prueba A/B para monitorear los ingresos generados por dos sistemas, es posible que deba ejecutarla durante meses antes de confiar en los impactos positivos o negativos de la iteración.
¿Cómo sabría si un experimento en B en línea es exitoso??
Tome medidas basadas en sus resultados.
Si una variación es estadísticamente mejor que la otra, tienes un ganador. Complete su prueba deshabilitando la variación perdedora en su herramienta de prueba A/B.
