Estimateur de Laplace–Bayes

Si ${\displaystyle X_{1},...,X_{n}}$ sont des variables aléatoires indépendantes à valeur binaire :

${\displaystyle P(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s+1 \over n+2}.}$

Soit p, la probabilité de succès sur chaque essai. Cette probabilité est supposée constante mais inconnue et incertaine. Nous la considérons donc comme une variable aléatoire et lui attribuons une distribution de probabilité pour exprimer notre incertitude.

Soit X_i ayant la valeur 1 si l’on observe un « succès » sur le i^ème essai, et ayant la valeur 0 dans le cas contraire. Chaque X_i a ainsi pour valeur 0 ou 1 et suit donc une distribution de Bernoulli.

Supposons que ces X_i soient conditionnellement indépendants pour une probabilité p donnée. Nous pouvons alors utiliser le théorème de Bayes pour trouver la distribution de probabilité conditionnelle de p étant donné les données X_i (i = 1, ..., n).

Pour la mesure de la probabilité a priori de p, nous attribuons à cette v.a. une loi non informative de probabilité a priori, c'est-à-dire une distribution uniforme sur l’intervalle ouvert (0,1) ayant donc comme fonction de densité :

${\displaystyle f(p)={\begin{cases}0&{\text{si }}p\leq 0\\1&{\text{si }}0<p<1\\0&{\text{si }}p\geq 1\end{cases}}}$

Pour la vraisemblance des observations, nous calculons la fonction de vraisemblance :

${\displaystyle L(p)=P(X_{1}=x_{1},\ldots ,X_{n}=x_{n}\mid p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{s}(1-p)^{n-s}}$

où s = x₁ + ... + x_n est le nombre de "succès" et n est le nombre d’essais (X en majuscule désigne la variable aléatoire et x minuscule les données réellement observées).

En utilisant les deux définitions précédentes, nous pouvons alors déterminer la densité de probabilité de la distribution a posteriori :

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={L(p)f(p) \over \int _{0}^{1}L(r)f(r)\,dr}={p^{s}(1-p)^{n-s} \over \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr}}$

Calculons alors la constante de normalisation :

${\displaystyle \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr={s!(n-s)! \over (n+1)!}}$

(voir la fonction bêta pour plus d’informations sur les intégrales de cette forme).

La fonction de densité de la loi a postériori est donc :

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={(n+1)! \over s!(n-s)!}p^{s}(1-p)^{n-s}.}$

Il s’agit d’une distribution bêta ayant pour espérance mathématique :

${\displaystyle \operatorname {E} (p\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)=\int _{0}^{1}pf(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})\,dp={s+1 \over n+2}.}$

Laplace a utilisé la règle de succession pour calculer la probabilité que le soleil se lève demain, étant donné qu'il s'est levé tous les jours depuis les 5 000 dernières années. On obtient un facteur d'environ 5 000×365,25, ce qui donne une cote de 1826251:1 en faveur du lever du soleil demain.

Cependant, l'hypothèse de base pour utiliser la règle de succession serait que nous n'avons aucune connaissance préalable de la question de savoir si le soleil se lèvera ou non demain.

• Inférence bayésienne

• Portail des mathématiques