Loi de Dirichlet

Illustration du changement de la log-densité avec K=3 lorsque le vecteur α varie de α=(0.3, 0.3, 0.3) à (2.0, 2.0, 2.0), en conservant toutes les composantes individuelles ${\displaystyle \alpha _{i}}$ égales entre elles.

La loi de Dirichlet d'ordre K ≥ 2 de paramètres α₁, ..., α_K > 0 possède pour densité de probabilité :

${\displaystyle f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

pour tous les x₁, ..., x_K > 0 vérifiant x₁ + ... + x_K-1 < 1, où x_K est une abréviation pour 1 – x₁ – ... – x_K–1. La densité est nulle en dehors de ce simplexe ouvert de dimension (K − 1).

La constante de normalisation est la fonction bêta multinomiale, qui s'exprime à l'aide de la fonction gamma :

${\displaystyle \mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).}$

Soit ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$, signifiant que les K – 1 premières composantes possèdent la distribution précédente et que

${\displaystyle X_{K}=1-X_{1}-\cdots -X_{K-1}.}$

Posons ${\displaystyle \textstyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$. Alors

${\displaystyle \mathrm {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

et

${\displaystyle \mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},}$

En fait, les densités marginales sont des lois bêta :

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Qui plus est,

${\displaystyle \mathrm {Cov} [X_{i}X_{j}]=-{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Le mode de la distribution est le vecteur (x₁, ..., x_K) avec

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$

• Si, pour ${\displaystyle i\in \{1,2,\ldots ,K\},}$

${\displaystyle Y_{i}\sim \gamma (\alpha _{i},1),}$, où γ désigne la distribution Gamma, indépendamment

alors

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \gamma \left(\sum _{i=1}^{K}\alpha _{i},1\right),}$

et

${\displaystyle (X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).}$

Bien que les X_i ne soient pas indépendants, ils peuvent néanmoins générer un échantillon de ${\displaystyle K}$ variables aléatoires, distribuées selon une distribution Gamma. Malheureusement, puisque la somme ${\displaystyle V}$ est perdue lors de la génération de X = (X₁, ..., X_K), il n'est pas possible de retrouver les variables Gamma initiales.

• Les marginales d'une loi de Dirichlet sont des lois bêta :

${\displaystyle X_{i}\sim \operatorname {Beta} \left(\alpha _{i},\sum _{k=1}^{K}\alpha _{k}-\alpha _{i}\right).}$

Une méthode pour obtenir un vecteur aléatoire ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ à partir de la distribution de Dirichlet de dimension K de paramètres ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ est fournie par la remarque précédente. Tout d'abord, on tire K variables indépendantes ${\displaystyle y_{1},\ldots ,y_{K}}$ selon des distributions Gamma, chacune avec la densité

${\displaystyle {\textrm {Gamma}}(\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

et on pose finalement

${\displaystyle x_{i}=y_{i}/\sum _{j=1}^{K}y_{j}.\!}$