Échantillonnage de Gibbs
L'échantillonnage de Gibbs est une méthode MCMC. Étant donné une distribution de probabilité π sur un univers Ω, cet algorithme définit une chaîne de Markov dont la distribution stationnaire est π. Il permet ainsi de tirer aléatoirement un élément de Ω selon la loi π (on parle d'échantillonnage).
Nature | |
---|---|
Inventeurs | |
Date d'invention | |
Nommé en référence à | |
Aspect de |
Introduction
Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov,
- on se place dans un espace vectoriel Ɛ de dimension finie n ;
- on veut générer aléatoirement N vecteurs x(i) suivant une distribution de probabilité π ;
- pour simplifier le problème, on détermine une distribution qx(i) permettant de générer aléatoirement x(i + 1) à partir de x(i).
La spécificité de l'échantillonnage de Gibbs consiste à « découper » qx(i) en n probabilités conditionnelles :
- la première composante du vecteur, x(i + 1)1, est générée à partir de la probabilité conditionnelle π(x1|x(i)2, x(i)3, …, x(i)n) ;
- la seconde composante du vecteur, x(i + 1)2, est générée à partir de la probabilité conditionnelle π(x2|x(i + 1)1, x(i)3, …, x(i)n) ;
- la composante j du vecteur, x(i + 1)j, est générée à partir de la probabilité conditionnelle π(xj|x(i + 1)1, x(i + 1)2, …, x(i + 1)j - 1, x(i)j + 1, …, x(i)n).
On remplace donc le problème de génération aléatoire de x(i + 1) par n problèmes que l'on espère plus simples.
Principe
Soit X=(Xi, i∈S) une variable de loi π dans l'espace de sites S=⟦1;n⟧ vers l'espace des états Ω. Pour x = (x1;…;xn)∈Ω et les densités conditionnelles πi(xi|x¬i) où x¬i = (xj, j≠i), i∈S, on construit l'échantillonneur de Gibbs sur les noyaux π-invariants : Pi(x,y) = πi(yi|x¬i)1(x¬i = y¬i).
Échantillonneur par balayage systématique
On visite S séquentiellement, en relaxant à chaque pas i la valeur suivant la loi πi conditionnelle à l'état courant. La transition de x à y s'écrit:
Échantillonneur par balayage aléatoire
Soit ν une probabilité jamais nulle sur S. À chaque pas, un site i est choisi avec la probabilité νi>0 et la valeur y est relaxée selon la loi conditionnelle πi à l'état courant. La transition s'écrit:
Propriétés
- Si Ω est fini, la transition P est positive strictement et la vitesse de convergence de νPk est exponentielle.
- π peut être connu à un facteur multiplicatif près.
Bibliographie
C. Gaetan et X. Guyon, chap. 9 « Simulation des modèles spatiaux », dans Jean-Jacques Droesbeke, Michel Lejeune et Gilbert Saporta, Analyse statistique des données spatiales : 10e Journées d'étude en statistique, 4-8 novembre 2002, Marseille, Société française de statistique, Paris, Technip, , 468 p. (ISBN 978-2-7108-0873-2, BNF 40225776)
- Portail des probabilités et de la statistique