Loi de probabilité

Loi normale bidimensionnelle, ou produit de deux lois normales unidimensionnelles.

Intuitivement, une loi de probabilité est dite multidimensionnelle, ou n-dimensionnelle[19], lorsque la loi décrit plusieurs valeurs (aléatoires) d'un phénomène aléatoire. Par exemple lors du jet de deux dés, la loi de probabilité des deux résultats obtenus est une loi bidimensionnelle. Le caractère multidimensionnel apparaît ainsi lors du transfert, par une variable aléatoire, de l'espace probabilisé ${\displaystyle (\Omega ,{\mathcal {A}})}$ vers un espace numérique ${\displaystyle E^{n}}$ de dimension n. Dans l'exemple des deux dés, la dimension est n = 2 et l'espace ${\displaystyle E^{2}}$ est ${\displaystyle \{1,\dots ,6\}\times \{1,\dots ,6\}}$. La loi est également appelée loi jointe[20].

Un exemple important de loi multidimensionnelle est la loi de probabilité produit ${\displaystyle \mathbb {P} =\mathbb {P} _{1}\otimes \mathbb {P} _{2}}$ où ${\displaystyle \mathbb {P} _{1}}$ et ${\displaystyle \mathbb {P} _{2}}$ sont deux lois unidimensionnelles. Cette loi de probabilité est la loi d'un couple de variables aléatoires indépendantes[21], c'est le cas de l'exemple des deux dés.

La variable aléatoire ${\displaystyle X}$ est alors identifiée[22] à un vecteur aléatoire à n dimensions : ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$. Le théorème de Cramer-Wold[23] assure que la loi (n-dimensionnelle) de ce vecteur aléatoire est entièrement déterminée par les lois (unidimensionnelles) de toutes les combinaisons linéaires de ses composantes : ${\displaystyle \sum _{i=1}^{n}a_{i}X_{i}}$ pour tous ${\displaystyle a_{1},a_{2},\dots ,a_{n}}$.

Les deux coordonnées (dimension 1 et dimension 2) des points s'approchent chacune d'une loi normale. C'est-à-dire qu'il s'agit d'une simulation de loi bidimensionnelle dont les deux lois marginales sont normales.

Une loi bidimensionnelle (ou n-dimensionnelle) est dite[24] absolument continue sur ${\displaystyle \mathbb {R} ^{2}}$ si la loi est absolument continue par rapport à la mesure de Lebesgue sur ${\displaystyle \mathbb {R} ^{2}}$, c'est-à-dire si la loi de la variable aléatoire correspondante s'écrit sous la forme :

${\displaystyle \mathbb {P} (X\in B)=\iint _{B}f_{X}(x_{1},x_{2})\mathrm {d} x_{1}\mathrm {d} x_{2}}$ pour tout ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} ^{2}).}$

Intuitivement, la loi marginale d'un vecteur aléatoire est la loi de probabilité d'une de ses composantes. Pour l'obtenir, on projette la loi sur l'espace unidimensionnel de la coordonnée recherchée. La loi de probabilité de la i-ème coordonnée d'un vecteur aléatoire est appelée la i-ème loi marginale[25]. La loi marginale ${\displaystyle \mathbb {P} _{i}}$ de ${\displaystyle \mathbb {P} }$ s'obtient par la formule :

${\displaystyle \mathbb {P} _{i}(A)=\mathbb {P} _{X_{i}}(A)=\iint {1}_{\omega _{i}\in A}\mathbb {P} (\mathrm {d} (\omega _{1},\dots ,\omega _{n}))}$ pour tout ${\displaystyle A\in {\mathcal {B}}(\mathbb {R} )}$.

Les lois marginales d'une loi absolument continue s'expriment à l'aide de leurs densités marginales.

Exemple d'utilisation d'une loi conditionnelle : + signifie que l'individu est positif au test de drogue ; U signifie que l'individu est consommateur de drogue. Ainsi ${\displaystyle \mathbb {P} (+|U)}$ est la probabilité que le test soit positif sur un individu consommateur de drogue.

Intuitivement, une loi de probabilité conditionnelle permet de décrire le comportement aléatoire d'un phénomène lorsque l'on connaît une information sur ce processus. Autrement dit, la probabilité conditionnelle permet d'évaluer le degré de dépendance stochastique entre deux évènements[26]. Par exemple, lors d'un lancer de dés, la loi conditionnelle permet de donner la loi de la somme des résultats sachant que l'un des deux dés a donné un résultat d'au moins quatre.

La probabilité conditionnelle se définit[27], de manière la plus intuitive, sur les évènements par la probabilité ${\displaystyle \mathbb {P} (\cdot |B)}$ d'un évènement A conditionnellement à un autre événement B. Pour tout A et B de la tribu sous-jacente tels que ${\displaystyle \mathbb {P} (B)\neq 0}$ :

${\displaystyle \mathbb {P} (A|B)={\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (B)}}.}$

La loi de probabilité[28] ${\displaystyle \mathbb {P} (\cdot |B)}$ est utilisée dans les probabilités et statistique élémentaires, pour la formule des probabilités totales ou le théorème de Bayes par exemple.

La probabilité conditionnelle est également définie pour les variables aléatoires. On étudie alors la loi d'une variable X conditionnellement à une variable Y. Lorsque ${\displaystyle \mathbb {P} (Y=y)\neq 0}$, la loi de X sachant Y = y est définie par[28] :

${\displaystyle \mathbb {P} (X\in A|Y=y)={\frac {\mathbb {P} (X\in A,Y=y)}{\mathbb {P} (Y=y)}}.}$

Cependant cette définition n'est pas valide si la loi de Y est absolument continue puisque ${\displaystyle \mathbb {P} (Y=y)=0}$, pour tout y. La définition suivante est valide pour tout couple de variables aléatoires.

De manière plus générale, la loi de probabilité se définit à partir de l'espérance conditionnelle d'une variable aléatoire X sachant une tribu ${\displaystyle {\mathcal {G}}}$. Cette espérance conditionnelle est l'unique variable aléatoire ${\displaystyle {\mathcal {G}}}$-mesurable, notée ${\displaystyle \mathbb {E} \left[X|{\mathcal {G}}\right]}$ et vérifiant[27] : ${\displaystyle \mathbb {E} \left[Z\mathbb {E} (X|{\mathcal {G}})\right]=\mathbb {E} \left[ZX\right]}$ pour toute Z, variable ${\displaystyle {\mathcal {G}}}$-mesurable. La loi conditionnelle est alors définie par[31] :

${\displaystyle \mathbb {P} (A|{\mathcal {G}})=\mathbb {E} (1_{A}|{\mathcal {G}})}$ où ${\displaystyle 1_{A}}$ est la fonction indicatrice de ${\displaystyle A}$.

Dans le cas des lois absolument continues, il existe une densité conditionnelle d'une loi par rapport à l'autre, et inversement. Si ${\displaystyle (x,y)\mapsto f(x,y)}$ est la densité de la loi bidimensionnelle, les deux densités conditionnelles sont alors données par[32] :

${\displaystyle f(x|y)={\frac {f(x,y)}{f_{Y}(y)}}={\frac {f(x,y)}{\int f(x,y)\mathrm {d} x}}}$ et ${\displaystyle f(y|x)={\frac {f(x,y)}{f_{X}(x)}}={\frac {f(x,y)}{\int f(x,y)\mathrm {d} y}}}$.

Ici, ${\displaystyle f_{X}}$ et ${\displaystyle f_{Y}}$ sont les deux lois marginales de X et Y respectivement. En remplaçant les intégrales par des sommes, on obtient des formules similaires dans le cas où les lois marginales sont discrètes ou lorsque la loi marginale de X est discrète et celle de Y est absolument continue, ou inversement[33].

Puisque ${\displaystyle \mathbb {R} }$ est un espace de Banach, les lois à valeurs dans un espace de Banach généralisent les lois à valeurs réelles. La définition est alors similaire[34].

Pour obtenir de bonnes propriétés, il est courant de considérer des mesures de probabilités tendues, c'est-à-dire qui intuitivement sont concentrées sur un ensemble compact, et de supposer que l'espace de Banach est séparable[35].

Un exemple possible d'espace de Banach est l'espace des fonctions continues ${\displaystyle {\mathcal {C}}(\mathbb {R} ^{+},\mathbb {R} )}$. Un processus stochastique est une famille de variables aléatoires ${\displaystyle (X_{t})_{t\in T}}$ indexées par un ensemble d'indices T. Une définition possible de la loi de probabilité d'un tel processus est la donnée des lois finies-dimensionnelles[36], c'est-à-dire la loi de probabilité multidimensionnelle des vecteurs ${\displaystyle (X_{t_{1}},X_{t_{2}},\dots ,X_{t_{n}})}$ lorsque ${\displaystyle t_{1},t_{2},\dots ,t_{n}\in T}$. La loi peut alors être étendue par le théorème d'extension de Carathéodory pour le processus entier. Prenons l'exemple du mouvement brownien ${\displaystyle (B_{t})_{t\in \mathbb {R} _{+}}}$ qui est à trajectoires continues, sa loi de probabilité est la mesure de Wiener[37], généralement notée W :

${\displaystyle W(A)=\mathbb {P} ((B_{t})_{t\geq 0}\in A)}$, pour tout A sous-ensemble mesurable de ${\displaystyle {\mathcal {C}}(\mathbb {R} ^{+},\mathbb {R} )}$.

Une loi de probabilité est une mesure de masse totale unitaire. L'ensemble des lois de probabilité est donc un sous-espace de l'espace des mesures finies. Cet espace est souvent noté[38] ${\displaystyle {\mathcal {P}}(\mathbb {R} )}$ ou ${\displaystyle {\mathcal {M}}_{1}(\mathbb {R} )}$ pour les lois de probabilité réelles. Dans la suite de cette section, les propriétés de cet espace sont détaillées pour les lois de probabilités réelles ; elles sont cependant vraies sur les espaces de Banach.

On peut munir cet espace d'une topologie appelée la topologie faible[38]. Cette topologie définit donc une convergence faible des lois de probabilité : une suite de lois de probabilité ${\displaystyle (\mathbb {P} _{n},n=1,2,\dots )}$ converge faiblement vers une loi de probabilité ${\displaystyle \mathbb {P} }$ si :

${\displaystyle \lim _{n\rightarrow \infty }\int \varphi (\omega )\mathbb {P} _{n}(\mathrm {d} \omega )=\int \varphi (\omega )\mathbb {P} (\mathrm {d} \omega )}$ pour toute fonction ${\displaystyle \varphi }$ continue bornée.

La convergence est notée[38] : ${\displaystyle \mathbb {P} _{n}{\xrightarrow {w}}\mathbb {P} }$. Cette convergence se répercute, par le théorème de transfert, sur les variables aléatoires ${\displaystyle (\mathbb {X} _{n},n=1,2\dots )}$ de lois respectives ${\displaystyle (\mathbb {P} _{n},n=1,2,\dots )}$ ; la convergence de variables aléatoires est alors appelée convergence en loi (ou en distribution ou faible) et est notée ${\displaystyle X_{n}{\xrightarrow {\mathcal {L}}}X}$ ou ${\displaystyle X_{n}{\xrightarrow {\mathcal {D}}}X}$. Si la convergence faible des variables aléatoires est souvent utilisée, elle ne concerne en fait que leur loi.

L'espace des lois de probabilités muni de cette topologie faible est[39] un espace métrique, complet et séparable (dans le cas d'un espace de Banach également séparable), ce qui en fait un espace polonais.

Certaines lois sont regroupées par famille par rapport à certaines propriétés de leur densité ou de leur fonction de masse, ou suivant le nombre de paramètres qui les définissent, elles sont appelées famille paramétrique de lois de probabilité.

Différents paramètres de forme (asymétrie) pour la densité de probabilité de la Loi normale asymétrique.

Différents paramètres de position (${\displaystyle \mu }$) et paramètres d'échelle (${\displaystyle \sigma }$) pour la densité de probabilité de la loi normale.

Les paramètres dits de position[40] influent sur la tendance centrale de la loi de probabilité, c'est-à-dire la ou les valeurs autour desquelles la loi prend ses plus grandes valeurs. L'espérance, la médiane, le mode, les différents quantiles ou déciles en sont des exemples.

Les paramètres dits d'échelle[40] influent sur la dispersion ou l'« aplatissement » de la loi de probabilité. La variance (ou le moment d'ordre deux), l'écart type et l'écart interquartile en sont des exemples.

Les paramètres dits de forme[40] sont les autres paramètres liés aux lois de probabilité. La queue ou traîne d'une loi de probabilité réelle fait partie de sa forme. Les queues de gauche et de droite sont[41] respectivement des intervalles du type ${\displaystyle \left]-\infty ,x\right[}$ et ${\displaystyle \left[y,+\infty \right[}$. Une loi de probabilité est dite à queue lourde si la mesure de probabilité de la queue ${\displaystyle \mathbb {P} (\left[y,+\infty \right[)}$ tend moins vite vers 0, pour x allant à l'infini, que celle de la loi normale[42]. Notamment toute loi absolument continue, centrée, réduite dont la densité vérifie[43] :

${\displaystyle \lim _{|x|\rightarrow +\infty }f(x)\exp \left({\frac {1}{2}}x^{2}\right)=+\infty }$

est une loi à queues droite et gauche lourdes. L'asymétrie (ou moment d'ordre trois[44]) est un exemple de paramètre de forme, elle permet de rendre la queue de droite est plus ou moins lourde[45]. Le kurtosis (ou moment d'ordre quatre[44]) permet de favoriser ou de défavoriser les valeurs proches de la moyenne de celles qui en sont éloignées. Une loi de probabilité est dite mésokurtique, leptokurtique ou platikurtique si son kurtosis est nul, positif ou négatif.

Une loi est dite de la famille exponentielle à un paramètre[46] si sa densité de probabilité ou sa fonction de masse ne dépend que d'un paramètre ${\displaystyle \theta }$ et est de la forme :

${\displaystyle f(y)={\begin{cases}a(\theta )b(y)\mathrm {e} ^{-c(\theta )d(y)}&{\text{ si }}\alpha <y<\beta \\0&{\text{ sinon.}}\end{cases}}}$

Cette famille regroupe beaucoup de lois classiques : loi normale, loi exponentielle, loi Gamma, loi du χ², loi bêta, loi de Bernoulli, loi de Poisson, etc.

Une loi est dite de la famille puissance à deux paramètres[46] ${\displaystyle \alpha }$ et ${\displaystyle \theta }$ si sa densité est de la forme :

${\displaystyle f(y)={\begin{cases}\displaystyle \alpha {\frac {y^{\alpha -1}}{\theta ^{\alpha }}}&{\text{ si }}0\leq y\leq \theta \\0&{\text{ sinon.}}\end{cases}}}$

Lorsqu'une loi de probabilité multidimensionnelle représente la direction aléatoire d'un phénomène, elle est dite loi directionnelle. Elle est alors la loi d'un vecteur aléatoire unitaire d-dimensionnel où ${\displaystyle d\geq 2}$ ou, de manière équivalente, c'est une loi de probabilité sur la sphère d-dimensionnelle. Une loi directionnelle d-dimensionnelle peut alors être représenté par un vecteur (d-1-dimensionnel) en coordonnées polaires. Les lois de von Mises et de Bingham en sont des exemples[a 1].

S'il existe, le n-ième moment d'une loi de probabilité ${\displaystyle \mathbb {P} }$ est défini par :

${\displaystyle m_{n}=\int _{\Omega }\omega ^{n}\mathbb {P} (\mathrm {d} \omega )}$.

Cette formule s'écrit[47] plus simplement ${\displaystyle m_{n}=\mathbb {E} [X^{n}]}$ dans le cas où la loi est définie à partir de la variable aléatoire ${\displaystyle X}$.

Le premier moment, ou moment d'ordre 1, est également appelé l'espérance de la loi ; lorsque ce moment est nul, la loi est dite centrée. Le deuxième moment d'une loi centrée est également appelé la variance de la loi [48] ; lorsque ce moment vaut un, la loi est dite réduite.

D'une manière générale, la collection de tous les moments ${\displaystyle (m_{n},n\in \mathbb {N} )}$ d'une loi de probabilité ne suffit pas à caractériser cette dernière[49]. Certaines lois sont définies par un nombre fini de leur moments : la loi de Poisson est complètement définie par son espérance[50] ; la loi normale est complètement définie par ses deux premiers moments[51]. Certaines lois ne possèdent pas de moments, c'est le cas de la loi de Cauchy.

Les lois de probabilité permettent de représenter des phénomènes aléatoires. L'entropie de Shannon d'une loi de probabilité a été introduite en thermodynamique pour quantifier l'état de désordre moléculaire d'un système[52]. Le but est de mesurer par une fonction le manque d'information de la loi de probabilité[53]. L'entropie a d'abord été définie pour les lois discrètes puis étendue pour les lois absolument continues. Pour une loi discrète ${\displaystyle \mathbb {P} _{1}=\sum _{i\leq n}p_{i}\delta _{x_{i}}}$ et une loi ${\displaystyle \mathbb {P} _{2}}$ de densité ${\displaystyle f}$, l'entropie H est définie respectivement par[52]^,[54] :

${\displaystyle H(\mathbb {P} _{1})=-\sum _{i=1}^{n}p_{i}\log _{2}(p_{i})}$ et ${\displaystyle H(\mathbb {P} _{2})=-\int _{\mathbb {R} }f(x)\ln(f(x))dx}$.

• La loi normale est celle d'entropie maximale parmi toutes les lois possibles ayant même moyenne et même écart-type[11].
• La loi géométrique est celle d'entropie maximale parmi toutes lois discrètes de même moyenne[11].
• La loi uniforme continue est celle d'entropie maximale parmi les lois à support borné.
• La loi exponentielle est celle d'entropie maximale parmi les lois portées par ${\displaystyle \mathbb {R} _{+}}$ et ayant la même moyenne[11].
• Les lois de la famille puissance, comme celle de Zipf, sont d'entropie maximale parmi celles auxquelles on impose la valeur du logarithme d'une moyenne.

L'état d'entropie maximale est l'état le plus désordonné, le plus stable et le plus probable d'un système[53]. Ces lois sont donc les moins prévenues de toutes les lois compatibles avec les observations ou les contraintes, et donc les seules admissibles objectivement comme distributions de probabilités a priori. Cette propriété joue un grand rôle dans les méthodes bayésiennes.

Le support de cette loi discrète est composé des singletons {1}, {3} et {7}, les probabilités associées sont respectivement 0,2, 0,5 et 0,3.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est concentrée[50] ou est portée sur un ensemble ${\displaystyle A\in {\mathcal {A}}}$ lorsque ${\displaystyle \mathbb {P} (A)=1}$. Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite discrète[13]^,[15] s'il existe un ensemble fini ou dénombrable sur lequel elle est concentrée.

L'élément ${\displaystyle \omega \in \Omega }$ est appelé atome d'une loi de probabilité ${\displaystyle \mathbb {P} }$ lorsque ${\displaystyle \{\omega \}\in {\mathcal {A}}}$ et ${\displaystyle \mathbb {P} (\{\omega \})\neq 0}$. L'ensemble des atomes d'une loi de probabilité est fini ou dénombrable. Plus généralement, cette propriété est valable pour toute mesure σ-finie. Pour une loi de probabilité réelle, l'ensemble des atomes est exactement l'ensemble des points de discontinuité de sa fonction de répartition[55] ; dans ce cas, la finitude de l'ensemble des atomes se retrouve à partir du fait que la fonction de répartition est bornée[56].

Un critère suffisant pour qu'une loi soit discrète est que ${\displaystyle \Omega }$ soit fini ou dénombrable.

Si ${\displaystyle \mathbb {P} }$ est discrète alors elle est concentrée en particulier sur l'ensemble (fini ou dénombrable) de ses atomes ${\displaystyle \Omega _{a}}$. Pour définir ${\displaystyle \mathbb {P} }$ il suffit donc de définir l'ensemble des couples[50] : ${\displaystyle \{(\omega ,p(\omega ))\in \Omega _{a}\times ]0,1]\}}$ où ${\displaystyle p}$ est la fonction de masse de ${\displaystyle \mathbb {P} }$. On obtient ainsi :

${\displaystyle \mathbb {P} =\sum _{\omega \in \Omega _{a}}p(\omega )\delta _{\omega }.}$

où ${\displaystyle \delta _{\omega }}$ est la mesure de Dirac[16]^,[24] au point ${\displaystyle \omega \in \Omega _{a}}$.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire, les précédentes notions s'utilisent pour la variable aléatoire : une variable aléatoire ${\displaystyle X}$ est concentrée sur un ensemble ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$, respectivement est discrète si sa loi ${\displaystyle \mathbb {P} _{X}}$ est concentrée sur ${\displaystyle B}$, respectivement est discrète. De même Les atomes de ${\displaystyle X}$ sont les atomes de ${\displaystyle \mathbb {P} _{X}}$.

Pour une variable aléatoire discrète ${\displaystyle X}$, le théorème de transfert s'exprime sous forme de sommes (ou de séries)[57] :

${\displaystyle \mathbb {E} \left[\varphi (X)\right]=\sum _{x\in \Omega _{a}}\varphi (x)p_{X}(x)}$, pour toute fonction ${\displaystyle \varphi$ :\mathbb {R} \longrightarrow \mathbb {R} } positive ou nulle ou telle que la série converge absolument,

${\displaystyle \mathbb {P} (X\in A)=\sum _{k\in A}\mathbb {P} (X=k)}$, pour tout ${\displaystyle A\in {\mathcal {B}}(\mathbb {R} )}$.

Généralement la fonction de répartition d'une loi discrète est constante par morceaux[50]. Une loi discrète peut être représentée par un diagramme en bâtons[13].

Voici une liste non exhaustive de lois de probabilités discrètes à support fini ou dénombrable.

La mesure de Dirac est la plus simple des lois discrètes au sens où le support de la loi ne contient qu'une valeur[58]. Si une variable aléatoire est de loi de Dirac ${\displaystyle \delta _{x}}$, alors ${\displaystyle X}$ vaut ${\displaystyle x}$ avec une probabilité égale à 1. Cette loi modélise un phénomène déterministe (non aléatoire) puisque le résultat de l'expérience est (presque sûrement) égal à la valeur connue ${\displaystyle x}$.

La loi uniforme discrète modélise un phénomène aléatoire dont les résultats sont équiprobables. C'est le cas du choix d'un entier au hasard entre 1 et ${\displaystyle n}$. Par exemple, un lancer d'un dé. Si le support ${\displaystyle S}$ de la loi est l'ensemble à ${\displaystyle n}$ éléments distincts ${\displaystyle \{x_{1},x_{2},\dots ,x_{n}\}}$, alors cette loi est définie par :

${\displaystyle \mathbb {P} (X=x_{1})=\mathbb {P} (X=x_{2})=\ldots =\mathbb {P} (X=x_{n})={\frac {1}{n}}.}$

Son univers image est ${\displaystyle \{1,...,n\}}$

La loi de Bernoulli correspond à une expérience à deux issues (succès–échec), généralement codées respectivement par les valeurs 1 et 0, lors d'une expérience à deux issues et dont la probabilité de succès est ${\displaystyle p}$. Cette loi dépendant d'un paramètre ${\displaystyle p\in [0,1]}$ mesurant la probabilité de succès, elle est définie par :

${\displaystyle \mathbb {P} (X=1)=p}$ et ${\displaystyle \mathbb {P} (X=0)=1-p}$

Son univers image est ${\displaystyle \{0,1\}}$

C'est la loi du nombre de succès obtenus à l'issue de ${\displaystyle n}$ épreuves de Bernoulli indépendantes et de même paramètre ${\displaystyle p\in [0,1]}$, autrement dit c'est la loi de la somme de ${\displaystyle n}$ variables aléatoires indépendantes de loi de Bernoulli de même paramètre. Cette loi à support fini est définie par :

${\displaystyle \mathbb {P} (X=k)={n \choose k}p^{k}(1-p)^{n-k}}$

pour tout ${\displaystyle k\in \{0,1,\dots ,n\}}$.

Son univers image est ${\displaystyle \{0,...,n\}}$

C’est une distribution concentrée sur un ensemble du type ${\displaystyle \{k\cdot d,k\in \mathbb {Z} \}}$ où ${\displaystyle d>0}$.

C'est la loi du numéro de l'épreuve amenant le premier succès lors d'une succession d'épreuve de Bernoulli indépendantes et de même paramètre ${\displaystyle p}$. Elle peut ainsi modéliser le temps d'attente du premier succès dans une série d'épreuves de Bernoulli indépendantes à probabilité de succès ${\displaystyle p\in [0,1]}$. C'est l'unique loi discrète à posséder la propriété de perte de mémoire. Cette loi à support infini dénombrable est définie par :

${\displaystyle \mathbb {P} (X=n)=(1-p)^{n-1}p}$

pour tout ${\displaystyle n\in \mathbb {N} ^{*}}$.

Son univers image est ${\displaystyle \mathrm {N} ^{*}}$.

La loi de Poisson est la loi qui décrit le comportement du nombre d'évènements se produisant dans un laps de temps fixé lorsque l’écart entre deux événements successifs suit une loi exponentielle, ce qui est le cas dans la plupart des applications. Cette loi à support infini dénombrable dépend d'un paramètre ${\displaystyle \lambda >0}$ et est définie par :

${\displaystyle \mathbb {P} (X=n)={\frac {\lambda ^{n}}{n!}}\mathrm {e} ^{-\lambda }}$

pour tout ${\displaystyle n\in \mathbb {N} }$.

Son univers image est ${\displaystyle \mathrm {N} }$.

La loi hypergéométrique décrit le nombre de boules gagnantes extraites lors d'un tirage simultané de ${\displaystyle n}$ boules dans une urne contenant ${\displaystyle pA}$ boules gagnantes et ${\displaystyle (1-p)A}$ boules perdantes. Cette loi à support fini dépend de trois paramètres ${\displaystyle n\in \mathbb {N} ^{*}}$, ${\displaystyle p\in [0,1]}$ et ${\displaystyle A\in \mathbb {N} ^{*}}$, et est définie par :

${\displaystyle \mathbb {P} (X=k)={\frac {{pA \choose k}{(1-p)A \choose n-k}}{A \choose n}}}$

pour tout ${\displaystyle k\in \{0,1,\dots ,n\}}$.

La courbe rouge est la densité de probabilité de la loi normale centrée réduite. Elle est appelée courbe de Gauss ou courbe en cloche.

Une loi de probabilité réelle ${\displaystyle \mathbb {P} }$ est dite absolument continue[59] ou à densité[24] lorsqu'elle est absolument continue par rapport à la mesure de Lebesgue.

Si ${\displaystyle \mathbb {P} }$ est absolument continue alors en vertu du théorème de Radon-Nikodym[60], elle possède une densité de probabilité par rapport à la mesure de Lebesgue, c'est-à-dire qu'il existe[24] une unique (à égalité Lebesgue-presque partout près) fonction mesurable positive ${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} _{+}}$ telle que pour tout ${\displaystyle A\in {\mathcal {B}}(\mathbb {R} )}$ :

${\displaystyle \mathbb {P} (A)=\int _{A}f(x)\,\mathrm {d} x=\int _{\mathbb {R} }\mathbf {1} _{A}(x)f(x)\,\mathrm {d} x}$

où ${\displaystyle \mathbf {1} _{A}}$ est la fonction caractéristique du borélien ${\displaystyle A}$. Cette densité de probabilité n'a pas toujours d'expression analytique (voir les exemples ci-dessous).

Lorsqu'une loi de probabilité absolument continue est définie à partir d'une variable aléatoire ${\displaystyle X}$, la variable aléatoire est dite absolument continue[16] ou à densité et la densité de la loi ${\displaystyle \mathbb {P} _{X}}$ est également appelée la densité de ${\displaystyle X}$, elle est parfois notée ${\displaystyle f_{X}}$.

Pour une variable aléatoire absolument continue ${\displaystyle X}$, le théorème de transfert s'écrit[61] à l'aide d'une intégrale de Lebesgue[59], pour toute fonction ${\displaystyle \varphi$ :\mathbb {R} \longrightarrow \mathbb {R} } intégrable par rapport à ${\displaystyle \mathbb {P} _{X}(\mathrm {d} x)=f_{X}(x)\,\mathrm {d} x}$ ou positive ou nulle :

${\displaystyle \mathbb {E} \left[\varphi (X)\right]=\int _{\mathbb {R} }\varphi (x)f_{X}(x)\,\mathrm {d} x}$.

La fonction de répartition d'une loi absolument continue est localement absolument continue, c'est une propriété nécessaire et suffisante. Une loi absolument continue ne possède pas d'atome[62]. Toutefois, cette propriété, qui oppose les lois absolument continues aux lois discrètes, n'est pas caractéristique des lois absolument continues mais des lois continues (voir la section Lois singulières ci-dessous).

Les lois absolument continues sont parfois appelées plus simplement lois continues[63]. C'est un abus de langage dû au fait que dans la plupart des applications en statistique, les lois continues sont absolument continues[64], mais ce n'est pas vrai dans le cas général.

La loi uniforme sur un intervalle indique, intuitivement, que toutes les valeurs de l'intervalle ont les mêmes chances d'apparaître. Plus formellement, chaque sous-intervalle ${\displaystyle \left[c,d\right]\subset \left[a,b\right]}$ a une probabilité égale à la mesure de Lebesgue de ${\displaystyle \left[c,d\right]}$ (multipliée par une constante) d'apparaître. La loi uniforme ne dépend que de l'intervalle, son support est compact et sa densité est donnée par :

${\displaystyle f(x)={\frac {1}{b-a}}}$ pour ${\displaystyle x\in \left[a,b\right]}$.

${\displaystyle f(x)=0}$ sinon.

La loi exponentielle est la loi communément utilisée pour modéliser le temps de vie d'un phénomène puisque c'est l'unique loi absolument continue possédant la propriété de perte de mémoire. En ce sens elle est l'analogue continu de la loi géométrique. Cette loi à support semi-infini ne dépend que d'un paramètre (parfois appelé l'intensité), sa densité est donnée par, pour tout ${\displaystyle x\geq 0}$ :

${\displaystyle f(x)=\lambda \mathrm {e} ^{-\lambda x}}$.

La loi normale, ou loi gaussienne, est une loi centrale en théorie des probabilités et en statistique. Elle décrit le comportement des séries d'expériences aléatoires lorsque le nombre d'essais est très grand. C'est la loi limite dans le théorème central limite, elle est également l'unique loi stable de paramètre 2. La loi normale est caractérisée par sa moyenne (qui est également sa médiane) et par son écart-type, son support est la droite réelle. Sa densité est symétrique et sa forme est communément appelée la courbe de Gauss ou courbe en cloche :

${\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\mathrm {e} ^{-{\frac {(x-m)^{2}}{2\sigma ^{2}}}}.}$

La loi de Cauchy est la loi stable de paramètre 1, ce qui lui donne de bonnes propriétés. Elle est cependant un exemple typique de loi n'admettant pas de moments, en particulier ni moyenne, ni variance. Son support est la droite réelle et sa densité est symétrique et définie par :

${\displaystyle f(x)={\frac {1}{\pi }}{\frac {1}{1+x^{2}}}}$.

La loi de la position d'un mouvement brownien plan au moment où celui-ci atteint la droite ${\displaystyle y={\frac {1}{2}}}$ est une loi de Cauchy[a 2].

La loi de Tukey-lambda est une loi absolument continue, elle possède donc une densité de probabilité mais cette dernière n'a pas d'expression analytique. Cette loi dépend d'un paramètre, son support est soit un intervalle borné centré à l'origine, soit la droite réelle (en fonction du paramètre). La loi de Tuckey-lambda est définie à partir de sa fonction quantile (voir section Autres caractérisations ci-dessous) :

${\displaystyle Q(p)={p^{\lambda }-(1-p)^{\lambda } \over \lambda }}$.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite continue ou diffuse[55] lorsqu'elle ne possède pas d'atome.

En particulier, les lois absolument continues sont continues, la réciproque n'est cependant pas vraie. La fonction de répartition d'une loi de probabilité réelle continue est continue[55], c'est une propriété nécessaire et suffisante.

Une loi de probabilité ${\displaystyle \mathbb {P} }$ est dite singulière lorsqu'elle est continue mais pas absolument continue. C'est-à-dire qu'une loi singulière ne possède ni atome, ni densité.

Ces notions se disent également pour les lois de probabilité définies à partir de variables aléatoires : une variable aléatoire ${\displaystyle X}$ est continue (ou diffuse), respectivement singulière, lorsque sa loi de probabilité associée ${\displaystyle \mathbb {P} _{X}}$ est continue (ou diffuse), respectivement singulière.

Fonction de répartition de la loi de Cantor.

C'est une loi singulière. Elle est définie à partir de l'ensemble de Cantor : ${\displaystyle \left\{\sum _{n=1}^{\infty }{\frac {x_{n}}{3^{n}}}\mid x_{n}\in \{0,2\}\right\}}$. Lorsque ${\displaystyle X_{n}}$ sont des variables indépendantes et identiquement distribuées de loi uniforme discrète sur ${\displaystyle \{0,2\}}$, alors

${\displaystyle X=\sum _{n=1}^{\infty }{\frac {X_{n}}{3^{n}}}}$

est une variable aléatoire de loi de Cantor[65]. Cette loi de probabilité[66] s'écrit sous la forme ${\displaystyle \mathbb {P} _{X}=\left({\tfrac {1}{2}}\delta _{0}+{\tfrac {1}{2}}\delta _{2}\right)^{\otimes \mathbb {N} }}$, c'est la loi uniforme sur l'ensemble de Cantor. Sa fonction de répartition est l'escalier de Cantor, elle est dérivable presque partout et de dérivée nulle presque partout[65].

Dans les applications, il est rare que les lois continues contiennent une partie singulière[64]. L'ensemble de Cantor apparaît toutefois dans certains exemples bien connus : l'ensemble des zéros du mouvement brownien est un ensemble de type Cantor.

Il existe des lois de probabilité qui ne sont ni discrètes, ni absolument continues, ni singulières, elles sont parfois appelées lois mixtes[67]^,[68].

D'un point de vue plus général, toute loi de probabilité ${\displaystyle \mathbb {P} }$ peut se décomposer[64]^,[56] en une combinaison linéaire d'une loi continue ${\displaystyle \mathbb {P} _{\text{c}}}$ et d'une loi discrète ${\displaystyle \mathbb {P} _{\text{d}}}$. De plus le théorème de décomposition de Lebesgue appliqué[64] à ${\displaystyle \mathbb {P} _{\text{c}}}$ indique que cette loi continue se décompose en une combinaison linéaire de deux lois continues, l'une ${\displaystyle \mathbb {P} _{\text{ac}}}$ est absolument continue par rapport à la mesure de Lebesgue et l'autre ${\displaystyle \mathbb {P} _{\text{s}}}$ est singulière, étrangère à la mesure de Lebesgue. La décomposition s'écrit donc[69] :

${\displaystyle \mathbb {P} =\alpha \mathbb {P} _{\text{d}}+(1-\alpha )\mathbb {P} _{\text{c}}=\alpha \mathbb {P} _{\text{d}}+\beta \mathbb {P} _{\text{ac}}+\gamma \mathbb {P} _{\text{s}}}$

avec ${\displaystyle \alpha ,\beta ,\gamma \in \left[0,1\right]}$ et ${\displaystyle \alpha +\beta +\gamma =1}$. La présence de ${\displaystyle (\alpha ,\beta ,\gamma )}$ assure que ${\displaystyle \mathbb {P} (\Omega )=1}$.

Exemple de fonction de répartition d'une loi mixte.

La loi de probabilité réelle suivante est un exemple de loi mixte obtenue en mélangeant une loi discrète, définie par ses atomes ${\displaystyle \{x_{k},k\in \mathbb {N} \}}$ et sa fonction de masse ${\displaystyle p}$, avec une loi absolument continue[64] de densité ${\displaystyle f}$ :

${\displaystyle \mathbb {P} (\mathrm {d} x)=\alpha f(x)\,\mathrm {d} x+(1-\alpha )\sum _{k\in \mathbb {N} }p(x_{k})\delta _{x_{k}}(\mathrm {d} x)}$

où ${\displaystyle \alpha \in \left]0,1\right[}$. Sa fonction de répartition est une fonction continue par morceaux[70], mais pas constante par morceaux ce qui est le cas des fonctions de répartition des lois discrètes.

Intuitivement, cela correspond à un phénomène aléatoire dont la loi est absolument continue. Cependant l'appareil de mesure ne peut mesurer les données qu'à partir d'un certain seuil c. Toutes les mesures non détectées par l'appareil seront assignées à 0, ainsi la loi est nulle sur toute partie « plus petite » que c alors qu'un saut apparaît au singleton c. Les mesures suivent la loi absolument continue pour les valeurs plus grandes que c[67]. Dans cet exemple la fonction de répartition est discontinue en c.

Fonction de répartition de la loi normale centrée réduite.

D'après le lemme de classe monotone, les ensembles ${\displaystyle \left]-\infty ,x\right]}$, appelés pavés ou rectangles, engendrent[71] la tribu borélienne réelle ${\displaystyle {\mathcal {B}}(\mathbb {R} )}$ et sont stables par intersection finie, il suffit alors de définir une loi de probabilité sur les pavés. On suppose que la loi de probabilité est réelle, c'est-à-dire ${\displaystyle (\Omega ,{\mathcal {A}})=(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$.

La fonction de répartition d'une loi de probabilité ${\displaystyle \mathbb {P} }$ réelle, notée par ${\displaystyle F}$, est[72] la fonction définie par, pour tout ${\displaystyle x\in \mathbb {R} }$ :

${\displaystyle F(x)=\mathbb {P} {\big (}\left]-\infty ,x\right]{\big )}.}$

Une loi de probabilité est caractérisée par sa fonction de répartition, c'est-à-dire que deux lois de probabilités sont égales si et seulement si leurs fonctions de répartitions sont égales[73].

Plus généralement, toute fonction ${\displaystyle F}$ croissante, continue à droite et vérifiant : ${\displaystyle \lim _{x\to -\infty }F(x)=0}$ et ${\displaystyle \lim _{x\to \infty }F(x)=1}$ est la fonction de répartition d'une unique[74] loi de probabilité sur ${\displaystyle \mathbb {R} }$. La loi de probabilité définie à partir d'une fonction de répartition est appelée mesure de Lebesgue-Stieltjes[73].

Un des avantages de la fonction est qu'elle est bien définie pour toute loi de probabilité[74]. Cependant elle n'a pas toujours d'expression explicite, un exemple étant la fonction de répartition de la loi normale. La fonction de répartition permet parfois des calculs de lois aisés (loi du maximum ou du minimum d'un échantillon, par exemple) et fournit un critère commode[75] de convergence des lois de probabilités via le théorème porte-manteau.

Fonction caractéristique de la loi uniforme continue sur [-1,1]. Puisque la loi est symétrique, la fonction caractéristique est réelle.

On appelle fonction caractéristique d'une loi de probabilité ${\displaystyle \mathbb {P} }$, et l'on note ${\displaystyle \Phi }$, la « symétrie » de la transformée de Fourier de ${\displaystyle \mathbb {P} }$. Pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle \Phi (t)={\mathcal {F}}(\mathbb {P} )(-t)=\int _{\Omega }\mathrm {e} ^{\mathrm {i} t\omega }\,\mathbb {P} (\mathrm {d} \omega ).}$

Suivant la définition de la transformée de Fourier, la fonction caractéristique est sa symétrique ou non[76]. Comme son nom l'indique, la fonction caractéristique détermine la loi de manière unique[77], c'est-à-dire que deux lois de probabilité sont égales si et seulement si leurs fonctions caractéristiques sont égales.

Un des avantages de la fonction caractéristique est qu'elle existe pour toute loi de probabilité[75]^,[76]. De plus, en utilisant la formule d'inversion de la transformée de Fourier[78], la loi de probabilité s'obtient à partir de la fonction caractéristique. La représentation des lois par la fonction caractéristique permet également de caractériser[79] la convergence des lois de probabilités via le théorème porte-manteau.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire ${\displaystyle X}$, d'après le théorème de transfert, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle \Phi _{X}(t)=\int _{\mathbb {R} }\mathrm {e} ^{\mathrm {i} tx}\,\mathbb {P} _{X}(\mathrm {d} x)=\int _{\Omega }\mathrm {e} ^{\mathrm {i} tX(\omega )}\,\mathbb {P} (\mathrm {d} \omega )=\mathbb {E} \left[\mathrm {e} ^{\mathrm {i} tX}\right].}$

Fonction génératrice des moments de la loi uniforme continue sur [-1,1].

La fonction génératrice des moments d'une loi de probabilité ${\displaystyle \mathbb {P} }$, notée ${\displaystyle M}$, est la « symétrie » de la transformée de Laplace de ${\displaystyle \mathbb {P} }$[65]^,[80]. Lorsque la fonction ${\displaystyle \omega \mapsto \mathrm {e} ^{t\omega }}$ est intégrable par rapport à la mesure ${\displaystyle \mathbb {P} }$, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle M(t)={\mathcal {L}}(\mathbb {P} )(-t)=\int _{\Omega }\mathrm {e} ^{t\omega }\,\mathbb {P} (\mathrm {d} \omega ).}$

La fonction génératrice des moments détermine la loi de probabilité de manière unique si cette fonction existe sur un intervalle contenant l'origine[75].

Un des avantages de cette fonction génératrice des moments est qu'elle permet de retrouver les moments de la loi de probabilité par les dérivées[80]. Pour tout ${\displaystyle k\in \mathbb {N} }$, la ${\displaystyle k}$-ième dérivée de la fonction génératrice des moments en 0 est le moment d'ordre ${\displaystyle k}$ de la loi de probabilité :

${\displaystyle M^{(k)}(0)=\int _{\Omega }\omega ^{k}\mathbb {P} (\mathrm {d} \omega )}$.

La représentation des lois par la fonction génératrice des moments permet également de caractériser[75] la convergence des lois de probabilités via le théorème porte-manteau.

Dans le cas où la loi de probabilité est définie à partir d'une variable aléatoire ${\displaystyle X}$, d'après le théorème de transfert, pour tout ${\displaystyle t\in \mathbb {R} }$ :

${\displaystyle M_{X}(t)=\int _{\mathbb {R} }\mathrm {e} ^{tx}\,\mathbb {P} _{X}(\mathrm {d} x)=\int _{\Omega }\mathrm {e} ^{tX(\omega )}\,\mathbb {P} (\mathrm {d} \omega )=\mathbb {E} \left[\mathrm {e} ^{tX}\right]}$.

De plus, pour des lois définies à partir de variables aléatoires, cette fonction permet aisément de montrer l'indépendance des variables[80].

Il existe un cas particulier pour les lois discrètes. La fonction génératrice des probabilités d'une loi de probabilité discrète ${\displaystyle \mathbb {P} =\sum _{k}p_{k}\delta _{k}}$ est définie[80] comme l'espérance de la série génératrice : ${\displaystyle g(t)=\sum _{k}t^{k}p_{k}}$, sous réserve d’existence de cette série. Cette fonction génératrice détermine la loi de probabilité de manière unique[80].

Exemple de quantiles.

La fonction quantile[81] d'une loi de probabilité réelle ${\displaystyle \mathbb {P} }$, notée ${\displaystyle Q}$, est la fonction qui donne les quantiles de la loi. Elle est définie par[82], pour tout ${\displaystyle p\in \left]0,1\right[}$ :

${\displaystyle Q(p)=\inf\{u\in \mathbb {R} \mid F(u)\geq p\}}$

où ${\displaystyle F}$ est la fonction de répartition de ${\displaystyle \mathbb {P} }$.

Certaines lois de probabilité sont plus faciles à définir, via leur fonction quantile. Intuitivement, ${\displaystyle Q(p)}$ est la valeur telle qu'une proportion ${\displaystyle x}$ des valeurs possibles de la loi lui soit inférieure. ${\displaystyle Q\left({\tfrac {1}{4}}\right)}$, ${\displaystyle Q\left({\tfrac {1}{2}}\right)}$ et ${\displaystyle Q\left({\tfrac {3}{4}}\right)}$ sont respectivement le 1^er quartile, la médiane et le 3^e quartile de la loi.

Si ${\displaystyle F}$ est bicontinue alors[81] ${\displaystyle Q}$ est la fonction réciproque de la fonction de répartition[81] : ${\displaystyle Q=F^{-1}}$ ; c'est pour cela que dans le cas général on appelle aussi la fonction quantile réciproque généralisée de ${\displaystyle F}$ ou fonction inverse continue à droite de ${\displaystyle F}$.

Cette fonction quantile détermine la loi associée[82] ${\displaystyle \mathbb {P} }$ au sens où, si ${\displaystyle U}$ est une variable aléatoire de loi uniforme continue sur [0, 1], alors ${\displaystyle Q(U)}$ est une variable aléatoire de loi ${\displaystyle \mathbb {P} }$ initiale. Cette représentation est particulièrement utile pour simuler des lois de probabilité[83] puisqu'il suffit alors de simuler une loi uniforme continue et d'y appliquer la fonction quantile (voir la section ci-dessous sur la simulation des lois de probabilités).

Certaines lois n'ont pas de fonction de répartition explicite mais sont définies à partir de leur fonction quantile, c'est le cas de la loi de Tukey-lambda.

Simulation de la loi uniforme continue sur le carré unitaire.

Afin d'étudier les lois de probabilité, il est important de pouvoir les simuler, ceci est dû notamment à l’utilisation de l'informatique dans les sciences. Comme indiqué ci-dessus, les lois de probabilité sont caractérisées par la fonction quantile via une variable aléatoire de loi uniforme continue. Cette méthode générale comprend deux étapes[86] : la génération de valeurs dites pseudo-aléatoires de loi uniforme et l'inversion de la fonction de répartition de la loi étudiée. Cette deuxième étape n'est pas évidente à réaliser pour toutes les lois, d'autres méthodes sont alors utilisées.

Pour obtenir des valeurs suivant la loi uniforme continue, l'ordinateur simule des valeurs de la loi uniforme discrète. Plusieurs méthodes ont été utilisées[87] : l'utilisation de tables de données qui pouvaient en contenir plus d'un million est de moins en moins utilisée ; l'utilisation de processus physique comme la création d'un bruit électronique est assez coûteuse pour la récupération des données ; l'utilisation d'algorithmes arithmétiques est la méthode la plus simple. Ces algorithmes étant déterministes (non aléatoires), les valeurs obtenues sont appelées pseudo-aléatoires. De nombreux algorithmes ont été créés pour améliorer l'indépendance entre les valeurs et leur répartition dans l'intervalle ${\displaystyle \left[0,1\right]}$.

Lorsque la fonction de répartition est inversible, on utilise la caractérisation par la fonction quantile. Quelques exemples illustrent des cas où cette fonction n'est pas inversible : la méthode de Box-Muller permet de simuler la loi normale[88], la méthode de rejet de von Neumann est fondé sur un test statistique et est applicable pour plusieurs lois[89], d'autres méthodes spécifiques aux lois existent[90].

Une utilisation importante d'une simulation de loi de probabilité est la méthode de Monte-Carlo, pour faire des calculs approchés d’intégrales.

Par exemple pour approcher la valeur de π, la méthode consiste à simuler un grand nombre de valeurs suivant une loi uniforme continue sur ${\displaystyle \left[0,1\right]}$ et de compter la proportion des couples ${\displaystyle (x,y)}$ d'entre eux qui vérifient ${\displaystyle x^{2}+y^{2}\leq 1}$. Cette proportion se rapproche de ${\displaystyle {\frac {\pi }{4}}}$ lorsque le nombre de points tend vers l'infini[91].

Illustration du théorème central limite. Les données empiriques sont les valeurs possibles de la somme de ${\displaystyle n}$ dés (${\displaystyle n\in \{1,2,3,4,5\}}$) à six faces lancés au hasard. Lorsque ${\displaystyle n}$ augmente, les histogrammes convergent vers la courbe de Gauss qui est la densité de la loi normale.

Plusieurs approximations d'une loi de probabilité existent en utilisant les différentes caractérisations détaillées ci-dessus. C'est généralement les techniques utilisées dans les cas pratiques. La première étape est la récolte des données, ce qui permet de construire les objets empiriques comme la fonction de répartition empirique. Ces derniers sont parfois appelés, par abus de langage, des lois de probabilité mais ce sont en fait des lois empiriques appelées distributions statistiques[84]. Des théorèmes limites ou des tests statistiques permettent finalement d'identifier la meilleure loi de probabilité qui modélise le phénomène aléatoire initial[85].

« Les probabilités doivent être regardées comme analogues à la mesure des grandeurs physiques, c'est-à-dire qu'elles ne peuvent jamais être connues exactement mais seulement avec une certaine approximation. »

— Émile Borel[92]

Le test statistique de Kolmogorov-Smirnov, basé sur le théorème porte-manteau, permet d'identifier la fonction de répartition empirique calculée à partir des données à une fonction de répartition d'une loi de probabilité, en fonction d'un taux de rejet. L'avantage de la convergence des fonctions de répartition est que ces fonctions existent pour toutes lois de probabilités. Cette convergence permet en particulier d'approcher une loi absolument continue par une suite de lois discrètes[93].

Différents théorèmes de convergence de variables aléatoires permettent de construire une suite de lois de probabilité qui converge vers une loi donnée, ou inversement de construire une loi comme limite de lois de probabilité. Le théorème central limite concerne la loi normale pour loi limite. Le théorème de continuité de Paul Lévy concerne la convergence des fonctions caractéristiques.

Exemple de droite de Henry dans un diagramme Quantile-Quantile qui permet de comparer visuellement les quantiles empiriques aux quantiles théoriques. Ici la loi normale n'est pas adéquate.

La régression quantile permet d'approcher les quantiles de la loi par les quantiles empiriques, c'est-à-dire calculés à partir d'éventuelles données. On peut utiliser un test statistique pour comparer les quantiles empiriques (observés) avec les quantiles de la loi qui est supposée modéliser le phénomène.

Cette approche est particulièrement utile pour étudier certaines lois qui ne sont pas connues explicitement par leur densité ou leur fonction de répartition mais par leurs quantiles, c'est le cas de la loi de Tukey-lambda.

Plusieurs tests statistiques existent pour comparer deux lois. Plus précisément, les tests d'adéquation permettent de comparer une loi empirique (c'est-à-dire calculée à partir des données issues d'échantillons) à une loi de probabilité dite a priori qui est censée modéliser le phénomène étudié. Les deux principaux tests sont : le test de Kolmogorov-Smirnov mentionné ci-dessus qui compare les fonctions de répartition et le test d'adéquation du χ² qui compare les effectifs observés en utilisant une loi du χ². Parmi ces tests, ceux qui concernent la loi normale sont dits tests de normalité.

Les tests d’homogénéité permettent de comparer deux lois empiriques pour savoir si elles sont issues du même phénomène ou, de manière équivalente, si elles peuvent être modélisées par la même loi de probabilité a priori. Ces tests comparent certaines propriétés des lois empiriques à la propriété de la loi a priori. Ils sont utiles dans la pratique puisqu'ils permettent de comparer non pas des lois entières mais des valeurs issues des lois[94] : le test de Fisher estime le rapport des variances empiriques via la loi de Fisher[94], le test de Student estime la moyenne empirique via la loi de Student[95], etc.

Les lois de probabilité sont utilisées pour représenter les phénomènes observés. Une loi de probabilité, dite a priori, est supposée modéliser les données récupérées, des tests statistiques sont alors réalisés pour affirmer ou infirmer la concordance de la loi de probabilité avec les données. Dans bien des domaines, les méthodes ont évolué et de meilleures lois de probabilité ont été créées afin de mieux correspondre au problème posé. Voici une liste d'exemples concrets qui proposent des modélisations :

• en économie : la bourse est une institution qui permet d'échanger des biens ou des titres. Afin de mieux estimer le prix futur d'un bien ou d'un titre, une étude de l'évolution historique de son prix est réalisée, notamment par la modélisation des variations des cours des prix. Ces variations ont d'abord été modélisées par une loi normale (Bachelier, 1900), puis une amélioration a été faite avec les lois stables de Pareto (Mandelbrot, 1963). Depuis, de nouveaux modèles sont toujours recherchés pour améliorer la perception des risques[a 3] ;
• aux jeux de hasard : pour jouer au loto français, il faut choisir six numéros parmi les quarante-neuf possibles. Si les joueurs choisissent leurs numéros au hasard, c'est-à-dire avec une loi uniforme discrète, alors le nombre de gagnants suit une loi de Poisson. Grâce à cette considération, une étude peut être réalisée puisque le nombre de gagnants est une donnée connue. Il apparaît que le choix n'est pas uniforme mais que les petits numéros ont été plus choisis[a 4] ;
• en maintenance : une bonne compréhension de la dégradation permet d'améliorer la performance de la maintenance. Plusieurs lois a priori ont été utilisées pour modéliser l'évolution de la fissure des chaussées : la loi exponentielle, la loi de Weibull, la loi log-normale, la loi log-logistique, etc. Pour une utilisation de la méthode du maximum de vraisemblance, la loi log-logistique fait partie des lois les plus adaptées[a 5] ;
• en médecine : pour tester l'efficacité des médicaments, un essai clinique est réalisé auprès d'un échantillon d'utilisateurs. Cette méthode fait partie de la théorie de la décision. Une des méthodes est de sélectionner un malade pour réaliser un test avec deux issues (succès ou échec), c'est-à-dire de modéliser par une loi de Bernoulli, puis de recommencer le plus de fois possibles ; c'est la méthode des urnes de Bernoulli. Une meilleure méthode est d'utiliser la loi hypergéométrique, ce choix permet de ne considérer qu'une population d'individus de taille fixée préalablement[a 6] ;
• en météorologie : en hydrologie, la pluviométrie est l'étude de la quantité d'eau issue de la pluie tombée en un point du sol pendant une durée de temps fixée. Le choix de la loi a priori ne fait pas consensus au sein de la communauté scientifique internationale. Certains auteurs préconisent l'utilisation de la loi log-normale qui s'ajuste bien aux petites valeurs. D'autres proposent la loi Gamma qui s'ajuste bien aux valeurs expérimentales. L'utilisation de la loi de Pareto a son intérêt pour représenter les valeurs moyennes[a 7].