Loi forte des grands nombres

Posons

${\displaystyle A_{n}=\left\{\omega \in \Omega \,\left|\,X_{n}(\omega )\neq X_{n}^{\prime }(\omega )\right.\right\}}$

Alors

${\displaystyle {\begin{aligned}\sum _{n\geq 1}\,\mathbb {P} \left(A_{n}\right)&=\sum _{n\geq 1}\,\mathbb {P} \left(X_{n}\neq X_{n}^{\prime }\right)\\&=\sum _{n\geq 1}\,\mathbb {P} \left(\left|X_{n}\right|>n\right)\\&=\sum _{n\geq 1}\,\mathbb {P} \left(\left|X_{1}\right|>n\right)\\&=\sum _{n\geq 1}\,\mathbb {E} \left[1_{\left|X_{1}\right|>n}\right]\\&=\mathbb {E} \left[\sum _{n\geq 1}\,1_{\left|X_{1}\right|>n}\right],\end{aligned}}}$

la 3^e égalité car ${\displaystyle X_{1}}$ et ${\displaystyle X_{n}}$ ont même loi, la dernière égalité en vertu du Théorème de convergence monotone pour les séries à termes positifs. Notons que la fonction ${\displaystyle \phi }$ définie pour ${\displaystyle x\geq 0}$ par

${\displaystyle \phi (x)=\sum _{n\geq 1}\,1_{x>n}}$

satisfait, pour ${\displaystyle x\geq 0}$,

${\displaystyle \phi (x)=\lceil x\rceil -1\leq x.}$

Ainsi

${\displaystyle {\begin{aligned}\sum _{n\geq 1}\,\mathbb {P} \left(A_{n}\right)&=\mathbb {E} \left[\sum _{n\geq 1}\,1_{\left|X_{1}\right|>n}\right]\\&=\mathbb {E} \left[\phi \left(\left|X_{1}\right|\right)\right]\\&\leq \mathbb {E} \left[\left|X_{1}\right|\right]<+\infty .\end{aligned}}}$

En vertu du lemme de Borel-Cantelli, il suit que

${\displaystyle 1=\mathbb {P} \left(\left(\limsup A_{n}\right)^{c}\right).}$

On note

${\displaystyle {\begin{aligned}{\hat {\Omega }}&=\left(\limsup A_{n}\right)^{c}\\&=\left\{\omega \in \Omega \,|\,\left\{n\geq 1\,|\,X_{n}(\omega )\neq X_{n}^{\prime }(\omega )\right\}{\text{ est un ensemble fini}}\right\},\\{\tilde {\Omega }}&=\left\{\omega \in \Omega \,|\,\lim _{n}\ n^{-1}\,\left(S_{n}(\omega )-S_{n}^{\prime }(\omega )\right)\ =0\right\}\\\Omega _{1}&=\left\{\omega \in \Omega \,|\,\lim _{n}\ n^{-1}\,S_{n}(\omega )\ =0\right\}\\\Omega _{2}&=\left\{\omega \in \Omega \,|\,\lim _{n}\ n^{-1}\,S_{n}^{\prime }(\omega )\ =0\right\}\end{aligned}}}$

et on remarque que si ${\displaystyle \omega \in {\hat {\Omega }}}$, la série

${\displaystyle \sum _{k\geq 1}\left(X_{k}(\omega )-X_{k}^{\prime }(\omega )\right)}$

est une série convergente, puisque, en dehors d'un nombre fini d'entre eux, tous ses termes sont nuls. Ainsi la suite des sommes partielles,

${\displaystyle \sum _{k=1}^{n}\left(X_{k}(\omega )-X_{k}^{\prime }(\omega )\right)=S_{n}(\omega )-S_{n}^{\prime }(\omega ),}$

est une suite convergente, donc bornée, ce qui entraîne que

${\displaystyle \lim _{n}\ {\frac {S_{n}(\omega )-S_{n}^{\prime }(\omega )}{n}}\ =0.}$

Autrement dit, en vertu du lemme de Borel-Cantelli, dont les hypothèses ont été vérifiées lors de la première partie de cette démonstration,

${\displaystyle \ \mathbb {P} \left({\hat {\Omega }}\right)=1.}$

De plus, les quelques lignes qui précèdent montrent que

${\displaystyle \ {\hat {\Omega }}\subset {\tilde {\Omega }},}$

et il suit donc que

${\displaystyle \ \mathbb {P} \left({\tilde {\Omega }}\right)=1.}$

Par ailleurs, il est clair que

${\displaystyle {\tilde {\Omega }}\cap \Omega _{1}\subset \Omega _{2}{\text{ et }}{\tilde {\Omega }}\cap \Omega _{2}\subset \Omega _{1}\ .}$

On a donc bien

${\displaystyle \left\{\mathbb {P} \left(\Omega _{1}\right)=1\right\}\Leftrightarrow \left\{\mathbb {P} \left(\Omega _{2}\right)=1\right\},}$

puisque, par exemple,

${\displaystyle \left\{\mathbb {P} \left({\tilde {\Omega }}\right)=1\ {\textrm {et}}\ \mathbb {P} \left(\Omega _{1}\right)=1\right\}\Rightarrow \left\{\mathbb {P} \left({\tilde {\Omega }}\cap \Omega _{1}\right)=1\right\}.}$

Un calcul simple donne que

${\displaystyle {\begin{aligned}{\frac {S_{n}^{\prime }(\omega )}{n}}-{\frac {C_{n}(\omega )}{n}}&={\frac {\mathbb {E} \left[X_{1}^{\prime }\right]+\mathbb {E} \left[X_{2}^{\prime }\right]+\dots +\mathbb {E} \left[X_{n}^{\prime }\right]}{n}},\end{aligned}}}$

la différence ne dépendant pas de ${\displaystyle \omega }$ (n'étant pas aléatoire). Par ailleurs

${\displaystyle \lim _{n}\mathbb {E} \left[X_{n}^{\prime }\right]=\lim _{n}\mathbb {E} \left[X_{n}1_{\left|X_{n}\right|\leq n}\right]=\lim _{n}\mathbb {E} \left[X_{1}1_{\left|X_{1}\right|\leq n}\right]=0.}$

En effet ${\displaystyle X_{1}}$ et ${\displaystyle X_{n}}$ ont même loi, et, d'autre part, pour tout ${\displaystyle \omega \in \Omega }$,

${\displaystyle {\begin{aligned}\lim _{n}X_{1}(\omega )1_{\left|X_{1}(\omega )\right|\leq n}&=X_{1}(\omega ),\\\left|X_{1}(\omega )1_{\left|X_{1}(\omega )\right|\leq n}\right|&\leq \left|X_{1}(\omega )\right|.\end{aligned}}}$

On peut donc appliquer le Théorème de convergence dominée de Lebesgue, et obtenir

${\displaystyle \lim _{n}\mathbb {E} \left[X_{n}^{\prime }\right]=\lim _{n}\mathbb {E} \left[X_{1}1_{\left|X_{1}\right|\leq n}\right]=\mathbb {E} \left[\lim _{n}\,X_{1}1_{\left|X_{1}\right|\leq n}\right]=\mathbb {E} \left[X_{1}\right]=0.}$

Finalement, on sait, en vertu du lemme de Cesàro, que la convergence d'une suite (${\displaystyle u_{n}\rightarrow \ell }$) entraîne sa convergence en moyenne de Cesàro (${\displaystyle {\frac {u_{1}+u_{2}+\dots +u_{n}}{n}}\rightarrow \ell }$), donc, pour tout ${\displaystyle \omega \in \Omega }$,

${\displaystyle {\begin{aligned}\lim _{n}{\frac {S_{n}^{\prime }(\omega )}{n}}-{\frac {C_{n}(\omega )}{n}}&=0.\end{aligned}}}$

La Proposition 2 est donc démontrée.

Si ${\displaystyle \textstyle \sum _{n\geq 1}{\text{Var}}\left(Y_{n}\right)=+\infty }$, l'inégalité est vérifiée. Dans la suite, on suppose que

${\displaystyle \sum _{n\geq 1}{\text{Var}}\left(Y_{n}\right)<+\infty .}$

On pose

${\displaystyle \sigma =\left\{{\begin{array}{lll}+\infty &\ \ &{\text{si }}\left\{k\geq 1\ |\ \left|W_{k}\right|>x\right\}=\emptyset ,\\&&\\\inf \left\{k\geq 1\ |\ \left|W_{k}\right|>x\right\}&\ \ &{\text{sinon.}}\end{array}}\right.}$

On remarque alors que, pour ${\displaystyle k\leq n}$,

${\displaystyle W_{k}1_{\sigma =k}\ \bot \ W_{n}-W_{k}.}$

En effet ${\displaystyle W_{n}-W_{k}=Y_{k+1}+Y_{k+2}+\dots +Y_{n}}$, alors que

${\displaystyle {\begin{aligned}\left\{\sigma =k\right\}&=\left\{\left|W_{1}\right|\leq x,\left|W_{2}\right|\leq x,\dots ,\left|W_{k-1}\right|\leq x{\text{ et }}\left|W_{k}\right|>x\right\}\\&=\left\{\left|Y_{1}\right|\leq x,\ \left|Y_{1}+Y_{2}\right|\leq x,\ \dots ,\ \left|Y_{1}+\dots +Y_{k-1}\right|\leq x{\text{ et }}\left|Y_{1}+\dots +Y_{k}\right|>x\right\}.\end{aligned}}}$

Ainsi pour deux boréliens quelconques ${\displaystyle A}$ et ${\displaystyle B}$, les deux évènements

${\displaystyle \left\{W_{k}1_{\sigma =k}\in A\right\}{\text{ et }}\left\{W_{n}-W_{k}\in B\right\}}$

appartiennent aux tribus ${\displaystyle \sigma \left(Y_{1},Y_{2},\dots ,Y_{k}\right)}$ et ${\displaystyle \sigma \left(Y_{k+1},Y_{k+2},\dots ,Y_{n}\right)}$, respectivement. Ils sont donc indépendants en vertu du lemme de regroupement, ce qui implique bien ${\displaystyle W_{k}1_{\sigma =k}\ \bot \ W_{n}-W_{k}}$. On a

${\displaystyle {\begin{aligned}\sum _{k=1}^{n}\,{\text{Var}}\left(Y_{k}\right)&={\text{Var}}\left(W_{n}\right)\ =\ \mathbb {E} \left[W_{n}^{2}\right]\\&\geq \mathbb {E} \left[W_{n}^{2}1_{\sigma <+\infty }\right]\\&=\sum _{k\geq 1}\ \mathbb {E} \left[W_{n}^{2}\ 1_{\sigma =k}\right]\\&\geq \sum _{k=1}^{n}\ \mathbb {E} \left[W_{n}^{2}1_{\sigma =k}\right]\\&=\sum _{k=1}^{n}\ \mathbb {E} \left[\left(W_{n}-W_{k}+W_{k}\right)^{2}1_{\sigma =k}\right]\\&\geq \sum _{k=1}^{n}\ \mathbb {E} \left[W_{k}^{2}1_{\sigma =k}\right]+2\mathbb {E} \left[W_{n}-W_{k}\right]\mathbb {E} \left[W_{k}1_{\sigma =k}\right]\\&=\sum _{k=1}^{n}\ \mathbb {E} \left[W_{k}^{2}1_{\sigma =k}\right]\\&\geq \sum _{k=1}^{n}\ \mathbb {E} \left[x^{2}1_{\sigma =k}\right]\\&=x^{2}\mathbb {P} \left(\sigma \leq n\right),\end{aligned}}}$

où la troisième inégalité s'obtient en développant le carré en deux termes carrés (dont l'un est supprimé pour minorer l'expression précédente) et un double produit (de deux variables indépendantes, en vertu de ${\displaystyle W_{k}1_{\sigma =k}\ \bot \ W_{n}-W_{k}}$). L'égalité suivante tient à ce que ${\displaystyle W_{n}-W_{k}}$ est centrée (comme somme de v.a. centrées), et la dernière inégalité découle de la définition du temps d'arrêt ${\displaystyle \sigma }$ : par définition, au temps ${\displaystyle \sigma }$, on a ${\displaystyle W_{\sigma }>x}$. En faisant tendre ${\displaystyle n}$ vers l'infini on obtient

${\displaystyle {\begin{aligned}\sum _{k\geq 1}\,{\text{Var}}\left(Y_{k}\right)&\geq x^{2}\ \mathbb {P} \left(\sigma <+\infty \right),\\&=x^{2}\ \mathbb {P} \left(\left\{k\geq 1\ |\ \left|W_{k}\right|>x\right\}\neq \emptyset \right),\\&=x^{2}\ \mathbb {P} \left(\sup \left\{\left|W_{n}\right|\,|\,n\geq 1\right\}>x\right),\end{aligned}}}$

C.Q.F.D.

On pose

${\displaystyle r_{M}=\sum _{k>M}{\text{Var}}\left(U_{k}\right).}$

En vertu de la convergence de la série de terme général ${\displaystyle {\text{Var}}\left(U_{k}\right)}$, la suite ${\displaystyle (r_{M})_{M\geq 1}}$ converge vers 0. On applique l'inégalité de Kolmogorov à la suite

${\displaystyle Y_{n}=U_{M+n}.}$

Avec les notations de l'inégalité de Kolmogorov, on a

${\displaystyle {\begin{aligned}W_{n}&=T_{M+n}-T_{M},\\\sum _{k\geq 1}{\text{Var}}\left(Y_{k}\right)&=r_{M}.\end{aligned}}}$

Donc l'inégalité de Kolmogorov nous donne, pour tout ${\displaystyle x>0}$ et ${\displaystyle M\geq 1}$,

${\displaystyle \mathbb {P} \left(\sup _{n\geq 1}\left|T_{M+n}-T_{M}\right|>x\right)\leq {\frac {r_{M}}{x^{2}}}.}$

Notons que la suite de variables aléatoires ${\displaystyle (V_{M})_{M\geq 0}}$, définie par

${\displaystyle {\begin{aligned}V_{M}&=\sup _{n,m\geq 1}\left|T_{M+n}-T_{M+m}\right|\\&=\sup _{k,\ell >M}\left|T_{k}-T_{\ell }\right|,\end{aligned}}}$

est décroissante, puisque la suite d'ensembles ${\displaystyle (C_{M})_{M\geq 0}}$, définie par

${\displaystyle C_{M}=\{\left|T_{k}-T_{\ell }\right|\ |\ k,\ell >M\},}$

est décroissante. De plus ${\displaystyle V_{M}}$ satisfait à

${\displaystyle {\begin{aligned}V_{M}&\leq \sup _{n,m\geq 1}\left(\left|T_{M+n}-T_{M}\right|+\left|T_{M}-T_{M+m}\right|\right)\\&=2\sup _{n\geq 1}\left|T_{M+n}-T_{M}\right|.\end{aligned}}}$

On en déduit que, pour tout ${\displaystyle k,M\geq 1}$,

${\displaystyle {\begin{aligned}\mathbb {P} \left(V_{M}>{\tfrac {1}{k}}\right)&\leq \mathbb {P} \left(\sup _{n\geq 1}\left|T_{M+n}-T_{M}\right|>{\tfrac {1}{2k}}\right)\\&\leq 4k^{2}r_{M}.\end{aligned}}}$

La suite ${\displaystyle (r_{M})_{M\geq 1}}$ convergeant vers 0, il suit que, pour tout ${\displaystyle k\geq 1}$, on peut choisir ${\displaystyle M(k)>M(k-1)}$ tel que

${\displaystyle \mathbb {P} \left(V_{M(k)}>{\tfrac {1}{k}}\right)\leq 2^{-k}.}$

Ainsi

${\displaystyle \sum _{k}\mathbb {P} \left(V_{M(k)}>{\tfrac {1}{k}}\right)<+\infty ,}$

et le lemme de Borel-Cantelli entraîne que, presque sûrement, à partir d'un certain rang, ${\displaystyle V_{M(k)}}$ est majorée par ${\displaystyle {\tfrac {1}{k}},}$ et donc que ${\displaystyle V_{M(k)}}$ converge presque sûrement vers 0. Par ailleurs, on a vu plus haut que pour tout ${\displaystyle \omega }$, ${\displaystyle V_{M}(\omega )}$ est une suite décroissante en ${\displaystyle M.}$ Une suite décroissante possédant une sous-suite convergente est elle-même convergente, donc ${\displaystyle V_{M}}$ converge presque sûrement vers 0. Or

${\displaystyle {\begin{aligned}\left\{\lim _{M}V_{M}(\omega )=0\right\}\ &{\stackrel {\scriptstyle {\text{def.}}}{\Leftrightarrow }}\ \left\{T_{n}(\omega ){\text{ est une suite de Cauchy}}\right\}\\&\Leftrightarrow \ \left\{T_{n}(\omega ){\text{ est une suite convergente}}\right\}\\&\Leftrightarrow \ \left\{\sum _{n}U_{n}(\omega )\ \mathrm {est~une~s{\acute {e}}rie~convergente} \right\}\end{aligned}}}$

C.Q.F.D.

La démonstration ci-dessous vaut seulement pour ${\displaystyle a_{n}=n^{-\beta }}$, ${\displaystyle \beta >0}$, mais la démonstration de la loi forte utilise le lemme de Kronecker pour ${\displaystyle a_{n}=n^{-1}}$, ${\displaystyle \beta =1}$. On peut trouver une démonstration générale du Lemme de Kronecker ici. Posons

${\displaystyle b_{n}=a_{n}u_{n}=n^{-\beta }u_{n}\ {\text{ et }}\ b=\sum _{n\geq 1}b_{n}.}$

Alors

${\displaystyle {\begin{aligned}-a_{n}\left(u_{1}+u_{2}+\cdots +u_{n}\right)+\sum _{k=1}^{n}a_{k}u_{k}&=-n^{-\beta }\sum _{k=1}^{n}u_{k}+\sum _{k=1}^{n}b_{k}\\&=-\sum _{k=1}^{n}\left({\tfrac {k}{n}}\right)^{\beta }b_{k}+\sum _{k=1}^{n}b_{k}\\&=\sum _{k=1}^{n}\ \ b_{k}\int _{\tfrac {k}{n}}^{1}\,\beta x^{\beta -1}\,dx\\&=\sum _{k=1}^{n}\ \ b_{k}\int _{0}^{1}\,\beta x^{\beta -1}1_{k\leq nx}\,dx\\&=\int _{0}^{1}\,\beta x^{\beta -1}\left(\sum _{1\leq k\leq nx}\ b_{k}\right)\,dx\end{aligned}}}$

Comme la suite ${\displaystyle \left(\sum _{1\leq k\leq n}\ b_{k}\right)_{n}}$ est convergente, il existe un réel ${\displaystyle M}$ tel que

${\displaystyle \forall n\geq 1,\ \left|\sum _{1\leq k\leq n}\ b_{k}\right|\leq M.}$

Donc la suite de fonctions ${\displaystyle (\phi _{n})_{n}}$ définies sur ${\displaystyle [0,1]}$ par

${\displaystyle \phi _{n}(x)=\sum _{1\leq k\leq nx}\ b_{k}}$

est une suite de fonctions uniformément bornées par ${\displaystyle M}$ (en valeur absolue). De plus, pour tout ${\displaystyle x\in [0,1]}$,

${\displaystyle \lim _{n}\phi _{n}(x)=b\ 1_{x>0}.}$

Ainsi le théorème de convergence dominée de Lebesgue donne

${\displaystyle {\begin{aligned}\lim _{n}\int _{0}^{1}\,\beta x^{\beta -1}\left(\sum _{1\leq k\leq nx}\ b_{k}\right)\,dx&=b\ \int _{0}^{1}\,\beta x^{\beta -1}1_{x>0}\,dx\\&=b.\end{aligned}}}$

Comme on a ${\displaystyle \lim _{n}\sum _{k=1}^{n}b_{k}=b}$, en observant le second terme de l'identité

${\displaystyle -a_{n}\left(u_{1}+u_{2}+\cdots +u_{n}\right)+\sum _{k=1}^{n}b_{k}=\int _{0}^{1}\,\beta x^{\beta -1}\left(\sum _{1\leq k\leq nx}\ b_{k}\right)\,dx,}$

démontrée plus haut, on en déduit que

${\displaystyle \lim _{n}a_{n}\left(u_{1}+u_{2}+\cdots +u_{n}\right)=0.}$

C.Q.F.D.

Cette démonstration est empruntée à Sydney Resnik, A probability path.

Les calculs s'arrangent mieux si on remplace ${\displaystyle k}$ par ${\displaystyle k+1}$ au dénominateur. Pour ${\displaystyle k\geq 2}$ on a

${\displaystyle {\text{Var}}\left({\frac {Z_{k}}{k+1}}\right)\ =\ {\frac {\mathbb {E} \left[X_{k}^{\prime 2}\right]}{(k+1)^{2}}}\ -\ {\frac {\mathbb {E} \left[X_{k}^{\prime }\right]^{2}}{(k+1)^{2}}}.}$

Comme ${\displaystyle \lim _{n}\mathbb {E} \left[X_{n}^{\prime }\right]=0}$,

${\displaystyle {\frac {\mathbb {E} \left[X_{k}^{\prime }\right]^{2}}{(k+1)^{2}}}=o\left({\frac {1}{k^{2}}}\right),}$

et la convergence de la série

${\displaystyle \sum _{k}\ {\text{Var}}\left({\frac {Z_{k}}{k+1}}\right)}$

est équivalente à la convergence de la série

${\displaystyle \sum _{k}\ {\frac {\mathbb {E} \left[X_{k}^{\prime 2}\right]}{(k+1)^{2}}}.}$

Or

${\displaystyle {\begin{aligned}\sum _{k\geq 1}\ {\frac {\mathbb {E} \left[X_{k}^{\prime 2}\right]}{(k+1)^{2}}}&=\sum _{k\geq 1}\ (k+1)^{-2}\ \mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|\leq k}\right]\\&\leq \sum _{k\geq 1}\ \int _{k}^{k+1}x^{-2}\ \mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|\leq x}\right]\ dx\\&=\int _{1}^{+\infty }x^{-2}\ \mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|\leq x}\right]\ dx\\&=\mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|}\ \int _{1}^{+\infty }x^{-2}\ 1_{\left|X_{1}\right|\leq x}\ dx\right]\\&\leq \mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|}\ \int _{\left|X_{1}\right|}^{+\infty }\ x^{-2}\ dx\right]\\&=\mathbb {E} \left[X_{1}^{2}\,1_{0<\left|X_{1}\right|}\left|X_{1}\right|^{-1}\right]\\&=\mathbb {E} \left[\left|X_{1}\right|\right]\ <\ +\infty ,\end{aligned}}}$

par hypothèse.