Entropie métrique

Soit α une partition finie de X en ensembles mesurables. Un point ${\displaystyle x\in X}$ est d'autant mieux localisé qu'il se situe dans une partie ${\displaystyle A\in \alpha }$ de faible mesure ${\displaystyle \mu (A)}$. Ceci justifie l'introduction de la fonction information ${\displaystyle I(\alpha ):X\to [0;+\infty ]}$ définie par :

${\displaystyle \forall x\in X,I(\alpha )(x)=-\sum _{A\in \alpha }\log \mu (A)\chi _{A}(x)}$

c'est-à-dire ${\displaystyle I(\alpha )(x)=-\log \mu (A)}$ si ${\displaystyle x\in A}$.

L'entropie de la partition α est la moyenne de ${\displaystyle I(\alpha )}$ :

${\displaystyle {\mathcal {H}}(\alpha )={\frac {1}{\mu (X)}}\int _{X}I(\alpha )(x)d\mu (x)=-\sum _{A\in \alpha }\mu (A)\log \mu (A)}$

On prend ${\displaystyle 0\log 0}$ égal à 0. Si α et β sont deux partitions mesurables de X, on définit le joint de α et β, ${\displaystyle \alpha \vee \beta }$ la plus grande partition plus fine que α et β : ${\displaystyle \alpha \vee \beta =\{A\cap B:A\in \alpha ,B\in \beta ,A\cap B\neq \emptyset \}}$. On dit que β est plus fine que α, et on note ${\displaystyle \beta \geq \alpha }$ si tout élément de A de α s'écrit comme union d'éléments de β.

L'entropie d'une partition vérifie les propriétés intuitives suivantes :

• Si α et β sont deux partitions mesurables, alors ${\displaystyle {\mathcal {H}}(\alpha \vee \beta )\leq {\mathcal {H}}(\alpha )+{\mathcal {H}}(\beta )}$.
• Notons ${\displaystyle f^{-1}(\alpha )=\{f^{-1}(A):A\in \alpha \}}$. On a : ${\displaystyle {\mathcal {H}}(\alpha )={\mathcal {H}}(f^{-1}(\alpha ))}$.

La première propriété signifie que l'information apportée par la connaissance simultanée des positions des états du système relativement à deux partitions est supérieure à la somme des informations apportées relativement à chacune des partitions. La deuxième propriété provient du fait que f préserve la mesure.

α est une partition mesurable. On définit l'entropie ${\displaystyle h(f,\alpha )}$ de la transformation f relativement à α par :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{n}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$

On peut voir la transformation f comme le passage d'un jour au suivant lors d'une expérience. Au temps zéro, on ne parvient pas à distinguer tous les états, on regroupe les états non distinguables par paquets, on forme de cette manière une partition α. ${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )}$ représente ainsi tous les résultats possibles au bout de n jours. ${\displaystyle h(f,\alpha )}$ est donc l'information moyenne quotidienne que l'on obtient en réalisant l'expérience.

La limite définie existe bien. Si on note ${\displaystyle a_{n}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$, alors la suite ${\displaystyle (a_{n})_{n\in \mathbb {N} ^{*}}}$ est sous-additive car :

${\displaystyle a_{n+p}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}+{\mathcal {H}}{\Bigg (}\bigvee _{i=n}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq a_{n}+a_{p}}$

On a utilisé respectivement les deux propriétés de la section précédente. ${\displaystyle (a_{n}/n)_{n\in \mathbb {N} ^{*}}}$ admet donc une limite.

L'entropie métrique de f, notée h(f) est la borne supérieure des entropies de f relativement aux partitions finies mesurables de X

${\displaystyle h(f)=\sup _{\alpha }h(f,\alpha )}$

h(f) est éventuellement infinie.

${\displaystyle \mathbb {U} =\mathbb {R} /\mathbb {Z} }$ est le cercle unité, muni de la mesure d'angle dθ. Analysons l'effet d'une rotation

${\displaystyle f:x\mapsto a+x\mod 1}$

lorsque ${\displaystyle a=p/q}$ est rationnel. Soit α une partition :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{qn}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{qn-1}f^{-i}(\alpha ){\Bigg )}=\lim _{n\to +\infty }{\frac {1}{qn}}{\Bigg (}\bigvee _{i=0}^{q-1}f^{-i}(\alpha ){\Bigg )}=0}$

Dans le cas où a est irrationnel, on montre également que l'entropie métrique de f est nulle.

Toujours sur le cercle unité, on prend cette fois l'application

${\displaystyle f:x\mapsto 2x\mod 1}$

qui double les angles. On considère la même partition

${\displaystyle \alpha ={\Big \{}{\Big [}0,\displaystyle {\frac {1}{2}}{\Big [},{\Big [}\displaystyle {\frac {1}{2}},1{\Big [}{\Big \}}}$

On observe que :

${\displaystyle \alpha \vee f^{-1}(\alpha )={\Big \{}{\Big [}0,{\frac {1}{4}}{\Big [},{\Big [}{\frac {1}{4}},{\frac {1}{2}}{\Big [},{\Big [}{\frac {1}{2}},{\frac {3}{4}}{\Big [},{\Big [}{\frac {3}{4}},1{\Big [}{\Big \}}}$

Puis par récurrence, on déduit plus généralement que :

${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )={\Big \{}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}:0\leq i\leq 2^{n}-1{\Big \}}}$

Comme les ensembles du type ${\displaystyle {\Big [}\displaystyle {\frac {i}{2^{n}}},\displaystyle {\frac {i+1}{2^{n}}}{\Big [}}$ engendrent la tribu ${\displaystyle {\mathfrak {M}}}$, le théorème de Kolmogorov-Sinai montre que ${\displaystyle h(f)=h(f,\alpha )}$ et :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}=-\sum _{i=0}^{2^{n}-1}\mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}\log \mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}=n\log 2}$

L'entropie métrique de f est donc log 2.

On dispose d'un alphabet fini ${\displaystyle \Lambda =\{1,\dots ,k\}}$. Soit ${\displaystyle (p_{i})_{1\leq i\leq k}}$ des nombres strictement positifs de somme 1. On assigne à chaque lettre i la probabilité ${\displaystyle m(\{i\})=p_{i}}$ d'apparition. ${\displaystyle (\Lambda ,2^{\Lambda },m)}$ est un espace de probabilité. On introduit l'espace des mots infinis ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu )=\displaystyle \prod _{-\infty }^{+\infty }(\Lambda ,2^{\Lambda },m)}$. On définit l'application décalage σ par ${\displaystyle \sigma (x)_{n}=x_{n+1}}$ pour ${\displaystyle n\in \mathbb {Z} }$. ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu ,\sigma )}$ est un système dynamique inversible. On partitionne ${\displaystyle \Lambda ^{\mathbb {Z} }}$ en ${\displaystyle \alpha =\{P_{i}\}_{1\leq i\leq k}}$ où ${\displaystyle P_{i}}$ est l'ensemble des mots ${\displaystyle (x_{n})_{n\in \mathbb {Z} }}$ tels que ${\displaystyle x_{0}=i}$. ${\displaystyle \bigvee _{i=-n}^{n}f^{-i}(\alpha )}$ est la partition par les cylindres ${\displaystyle {\mathcal {C}}_{\lambda _{-n},\dots ,\lambda _{n}}=\{(x_{n})\in \Lambda ^{\mathbb {Z} }:x_{i}=\lambda _{i},-n\leq i\leq n\}}$. L'ensemble de ces cylindres engendrent la tribu de ${\displaystyle \Lambda ^{\mathbb {Z} }}$ et le théorème de Kolmogorov-Sinai s'applique. On calcule alors facilement :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}\sigma ^{-i}(\alpha ){\Bigg )}=-\sum _{(\lambda _{0},\dots ,\lambda _{n-1})\in \Lambda ^{n}}p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}}\log(p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}})=-n\sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$

Donc ${\displaystyle h(\sigma )=h(\sigma ,\alpha )=-\displaystyle \sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$.