Valor p

Aunque cuando el valor de p es inferior al nivel de significación ${\displaystyle \alpha }$, lo más verosímil es que la hipótesis de partida sea falsa, también es posible que estemos ante una observación atípica. Por eso, estaríamos cometiendo el error estadístico de rechazar la hipótesis nula cuando ésta es cierta, basándonos en que hemos tenido la mala suerte de encontrar una observación atípica. Este tipo de errores se puede subsanar siendo más estrictos y rebajando el máximo valor p esperado; un ${\displaystyle \alpha }$ de 0,05 es usado en investigaciones habituales sociológicas mientras que un ${\displaystyle \alpha }$ más bajo de 0,01 se utiliza en investigaciones médicas, en las que cometer un error puede acarrear consecuencias más graves. También se puede tratar de subsanar dicho error aumentando el tamaño de la muestra obtenida, lo que reduce la posibilidad de que el dato obtenido sea casualmente raro.

Considere una prueba estadística observada ${\displaystyle t}$ de distribución desconocida ${\displaystyle T}$. Entonces el valor p ${\displaystyle p}$ es la probabilidad a priori de observar un valor estadístico de prueba al menos tan "extremo" como ${\displaystyle t}$ si la hipótesis nula ${\displaystyle H_{0}}$ fuera cierta. Es decir:

• ${\displaystyle p=\Pr(T\geq t\mid H_{0})}$ para una prueba de cola derecha unilateral,
• ${\displaystyle p=\Pr(T\leq t\mid H_{0})}$ para una prueba de cola izquierda unilateral,
• ${\displaystyle p=2\min\{\Pr(T\geq t\mid H_{0}),\Pr(T\leq t\mid H_{0})\}}$ para una prueba de dos caras. Si la distribución de ${\displaystyle T}$ es simétrica respecto a cero, entonces ${\displaystyle p=\Pr(|T||\geq |t|\mid H_{0})}$

En una prueba de significación, la hipótesis nula ${\displaystyle H_{0}}$ se rechaza si el valor p es menor o igual que un valor umbral predefinido ${\displaystyle \alpha }$, que se denomina nivel alfa o nivel de significación. ${\displaystyle \alpha }$ no se deriva de los datos, sino que lo establece el investigador antes de examinarlos. ${\displaystyle alfa}$ se establece comúnmente en 0,05, aunque a veces se utilizan niveles alfa más bajos. En 2018, un grupo de estadísticos liderado por Daniel Benjamin propuso la adaptación del valor 0,005 como valor estándar para la significación estadística en todo el mundo.[1]

El valor p es una función de la estadística de prueba elegida ${\displaystyle T}$ y, por tanto, es una variable aleatoria. Si la hipótesis nula fija la distribución de probabilidad de ${\displaystyle T}$ con precisión, y si esa distribución es continua, entonces cuando la hipótesis nula es verdadera, el valor p se distribuye uniformemente entre 0 y 1. Por lo tanto, el valor p no es fijo. Si se repite la misma prueba de forma independiente con datos nuevos, normalmente se obtendrá un valor p diferente en cada iteración. Si la hipótesis nula es compuesta, o la distribución de la estadística es discreta, la probabilidad de obtener un valor p menor o igual que cualquier número entre 0 y 1 es menor o igual que ese número, si la hipótesis nula es cierta. Sigue siendo cierto que los valores muy pequeños son relativamente improbables si la hipótesis nula es cierta, y que una prueba de significación al nivel ${\displaystyle \alpha }$ se obtiene rechazando la hipótesis nula si el nivel de significación es menor o igual que ${\displaystyle \alpha }$.

Se pueden combinar diferentes valores p basados en conjuntos independientes de datos, por ejemplo utilizando la prueba de probabilidad combinada de Fisher.

Cuando la hipótesis nula es verdadera, si toma la forma ${\displaystyle H_{0}:\theta =\theta _{0}}$, y la variable aleatoria subyacente es continua, entonces la distribución de probabilidad del valor p es uniforme en el intervalo [0,1]. En cambio, si la hipótesis alternativa es verdadera, la distribución depende del tamaño de la muestra y del valor verdadero del parámetro estudiado.[2][3]

La distribución de los valores p para un grupo de estudios a veces se denomina curva p.[4] Una curva p puede utilizarse para evaluar la fiabilidad de la literatura científica, por ejemplo detectando sesgos de publicación o p-hacking.[4][5]

Se puede hacer un experimento estadístico para determinar si una moneda es justa (es decir, que la probabilidad de caer en cara o sello sea igual) o injusta (es decir, que la moneda esté arreglada para que uno de los dos resultados sea mucho más frecuente que el otro). Supongamos que lanzamos al aire una moneda 20 veces seguidas, y los resultados experimentales muestran que la moneda cae en cara 14 veces de las 20 lanzadas. ¿Es la moneda justa o injusta?

Para determinarlo, definimos como hipótesis nula «la moneda es justa», y como estadístico de prueba el «número de caras». La probabilidad de que una moneda justa caiga al menos 14 veces en cara si es lanzada 20 veces es el valor p de este experimento. Esta probabilidad puede ser calculada usando coeficientes binomiales, así:[6]

${\displaystyle {\begin{aligned}&\operatorname {Prob} (14{\text{ caras}})+\operatorname {Prob} (15{\text{ caras}})+\cdots +\operatorname {Prob} (20{\text{ caras}})\\&={\frac {1}{2^{20}}}\left[{\binom {20}{14}}+{\binom {20}{15}}+\cdots +{\binom {20}{20}}\right]={\frac {60,\!460}{1,\!048,\!576}}\approx 0.058\end{aligned}}}$

Esta probabilidad de 0.058 es el valor p, considerando solo resultados extremos que favorecen las caras, obtenido al aplicar una prueba unilateral. Sin embargo, en una moneda la desviación puede favorecer a caras o cruces. Por esto, usamos una prueba bilateral que simplemente considera la desviación posible en ambas direcciones. Como una moneda justa tiene una distribución binomial simétrica, el valor p bilateral es simplemente el doble del valor p unilateral. Es decir, 0.115.[7]

De esta forma, tenemos que

• Hipótesis nula (H₀): la moneda es justa, con Prob(cara) = 0.5
• Estadística de prueba: número de caras
• Observación O: 14 caras en 20 lanzamientos;
• Nivel de significación ${\displaystyle \alpha }$ elegido arbitrariamente: 0.05
• Un valor p bilateral para la observación O dado H₀: 0.115

Así, el valor p calculado, 0.115, es mayor que el nivel de significación 0.05, que elegimos. Eso significa que el resultado de 14 caras en 20 lanzamientos no es inverosímil para una moneda justa, estando este resultado dentro del rango de resultados que se obtendría el 95% de las veces que se repita el experimento con una moneda justa. Por esta razón, no se rechaza la hipótesis nula; es decir, asumimos que la moneda es justa.

Nótese que, de obtenerse una sola cara más, es decir, 15 en 20 lanzamientos, el valor p resultante (bilateral) habría sido 0.0414 (4.14%); en este caso, la hipótesis nula tendría que ser rechazada para el nivel de significación elegido de 0.05; es decir, en tal caso asumiríamos que la moneda es injusta.

Supongamos que dos amigos están en un bar y uno le dice a otro que es capaz de distinguir un whisky barato de uno caro. Como el otro amigo no lo cree, deciden hacer una prueba. El amigo bravucón dice que acierta qué tipo de whisky está tomando al menos el 90% de las veces, ya que a veces los hielos le distorsionan la cata. Deciden hacerle probar 20 whiskies (en noches distintas) y obtienen el resultado de que acertó sobre el contenido del vaso que estaba probando en 14 noches.

Dado que nuestro amigo dijo que acertaría el 90% de las veces y solo acertó el 70% de ellas (14 de 20 noches), ¿podemos creer a nuestro amigo o nos está engañando? ¿es posible que fallara por mala suerte, pero si le dejamos seguir intentándolo a la larga acertará el 90%? Está claro que si hubiera acertado todas las noches, o 19 de ellas, le creeríamos sin lugar a dudas; también si hubiera fallado todas, o casi todas, sabríamos que nos está engañando, pero con 14 sobre 20 es algo dudoso. Esto es lo que podemos medir con el valor de p.

Si suponemos que la hipótesis nula es cierta, es decir, que las catas de nuestro amigo se distribuyen según una binomial de parámetro 0,90, esto es, como una moneda que saliera cara el 90% de las veces y sello el 10%. ¿Cuál es la probabilidad de que una distribución binomial de parámetro 0,9 repetida 20 veces nos dé como resultado 14 caras y 6 sellos? Calculando esa probabilidad nos queda p = 0,008867 ≃ 0,89%. Si a este valor le sumamos la probabilidad de que acierte solo 13 veces, más la probabilidad de que acierte solo 12 veces y así hasta la probabilidad de que no acierte ninguna vez, es decir, la probabilidad de que acierte 14 o menos veces, esto nos da p = 0,011253 ≃ 1,13%. Este es el valor de p.

¿Qué significa esto? Pues significa que si realmente suponemos que nuestro amigo acierta el 90% de las veces que prueba una copa y ha probado 20 copas, la probabilidad de que acierte menos de 15 copas es del 1,13%. Por tanto, si elegimos un nivel de significación usual de 0,05, que significa que aceptamos equivocarnos el 5% de las veces si repitiéramos el experimento, como el valor de p es inferior al nivel de significación, rechazamos la hipótesis nula, y declaramos que nuestro amigo es un fanfarrón. Estadísticamente, esto lo hacemos porque el resultado observado (14 aciertos de 20 intentos) es muy poco probable si suponemos que acierta el 90% de las veces, por lo tanto asumimos que no era cierta la hipótesis nula.

¿Qué hubiera pasado si hubiera acertado las 20 veces? En ese caso el valor de p saldría muy alto, ya que es muy probable que una distribución binomial de parámetro 0,90 repetida 20 veces nos dé 20. Por tanto no rechazaríamos la hipótesis nula. Es decir, diríamos que es verosímil que acierte el 90% de las veces, es posible que lleve razón, no tenemos evidencias significativas en contra de ello ya que el valor de p nos ha resultado muy favorable.

El valor de p es la probabilidad de que de la población propuesta por la hipótesis nula se obtenga la muestra observada o una aún más alejada. El valor de p está relacionado con la probabilidad de error de tipo I.