Loi gamma-normale
En théorie des probabilités et en statistiques, la loi gamma-normale (ou Gamma- Gaussienne) est une distribution bivariée continue à quatre paramètres. Elle est la prieure conjuguée de la loi normale de moyenne et variance inconnues [1].
Loi Gamma-Normale | |
Paramètres | réel (position) réel réel réel |
---|---|
Support | |
Densité de probabilité | |
Espérance | |
Mode | |
Variance | |
Définition
Soit une paire de variable aléatoires (X,T).
Si la distribution conditionnelle de X sur T est normale de moyenne et variance
et si la distribution marginale de T est une loi gamma
alors (X,T) suit une loi gamma-normale, que l'on note
Distributions marginales
Par définition, la distribution marginale de est une loi gamma .
La distribution marginale de est une t de Student non-standardisée de paramètres .
Calibrage
Si (X,T) ,
alors pour tout b > 0, (bX,bT)
Famille exponentielle
Les lois gamma-normales forment une famille exponentielle de paramètre naturel et de statistique suffisante .
Moments des statistiques suffisantes
Ces moments se calculent à l'aide de la fonction génératrice des moments de la statistique suffisante :
- ,
où est la fonction digamma,
- ,
- ,
- .
Distribution a posteriori des paramètres
Soit X distribuée selon une normale de moyenne et variance inconnues
Supposons que la distribution a priori de suive une distribution gamma-normale
Étant donné un échantillon constitué de n variables aléatoires indépendantes et identiquement distribuées (i.i.d) , la distribution a posteriori de et conditionnellement à cet échantillon se calcule par la formule de Bayes.
- ,
où est la vraisemblance des données observées pour ces paramètres.
Pour des données i.i.d, la vraisemblance conjointe de l'échantillon est égale au produit des vraisemblances individuelles :
Ainsi,
où , moyenne d'échantillon, et , variance d'échantillon.
La distribution a posteriori des paramètres devient ainsi
Développant le terme de la deuxième exponentielle, on a :
ce qui donne :
Cette dernière expression est bien celle d'une distribution Gamma-Normale,
Interprétation bayesienne des paramètres
- La nouvelle moyenne est la moyenne pondérée de l'ancienne pseudo-moyenne et de la moyenne d'échantillon observée, avec des poids relatifs proportionnels aux nombres de (pseudo-)observations.
- Le nombre de pseudo-observations () est adapté simplement en y additionnant le nombre correspondant de nouvelles observations ().
- La concentration (l'inverse de la variance) a priori revient à estimer sur base de pseudo-observations (c.à.d. un nombre éventuellement différent de pseudo-observations, afin de permettre de contrôler séparément la variance de la moyenne et de la concentration) de moyenne et variance .
- Une nouvelle somme d'écarts quadratiques est constituée de l'addition des sommes d'écarts quadratiques respectives. Toutefois, un "terme d'interaction" doit être ajouté parce que les deux ensembles d'écarts étaient mesurés par rapport à des moyennes distinctes, ce qui sous-estime l'écart quadratique total réel.
Par conséquent, si on a une moyenne a priori basée sur observations et une concentration a priori basée sur observations, la distribution a priori de est
et la distribution a posteriori après échantillon de observations de moyenne et variance sera
Distributions associées
- La loi gamma-normale inverse est essentiellement la même distribution, paramétrisée par la variance plutôt que la concentration.
- La loi normale-exponentielle-gamma (NEG).
Notes
- Bernardo & Smith (1993, p. 434)
Sources
- Bernardo, J.M.; Smith, A.F.M. (1993) Bayesian Theory, Wiley. (ISBN 0-471-49464-X)
- Dearden et al. "Bayesian Q-learning", Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), July 26–30, 1998, Madison, Wisconsin, USA.