Geometría de la información

Se define un n-conjunto como un conjunto V de cardinalidad ${\displaystyle |V|=n}$. Para escoger un elemento v (valor, estado, punto, resultado) de un n-conjunto V, se necesita especificar ${\displaystyle \log _{b}n}$ b-conjuntos (usualmente se considera b=2), si lo único que se tiene en cuenta es la cardinalidad. Es decir, se requieren ${\displaystyle I(v)=\log n}$ nates de información para especificar v o equivalentemente, ${\displaystyle I(v)=\log _{2}n}$ bits de información.

Considerando el subconjunto de apariciones ${\displaystyle C}$ tomados de ${\displaystyle V}$, hay una forma alternativa de referirse a ${\displaystyle v\in V}$ a través de ${\displaystyle C}$. Primero, se escoge una aparición ${\displaystyle c\in C}$, que requiere una información de ${\displaystyle I(c)=\log _{2}|C|}$ bits para ser especificada. Entonces, para especificar v, se resta el exceso de información usado para escoger un ${\displaystyle c}$ de entre todos las apariciones de ese tipo relacionadas con ${\displaystyle v}$, es decir ${\displaystyle I(c_{v})=\log _{2}|C_{v}|}$. Así se tiene que ${\displaystyle {\frac {|C|}{|C_{v}|}}}$ es el número de ${\displaystyle |C_{v}|}$ partes que juntas forman una partición de ${\displaystyle |C|}$. Así se necesitan ${\displaystyle I(v)=\log _{2}{\frac {|C|}{|C_{v}|}}}$ bits para escoger una de ellas. De esta manera la cantidad de información (tamaño de una variable, longitud del código, o número de bits) necesaria para especificar un ${\displaystyle v}$, considerando el número de veces que aparece en un mensaje viene dada por

${\displaystyle I(v)=-\log _{2}p(v)}$

Finalmente, ${\displaystyle p(v)I(v)}$ es la cantidad normalizada de información necesaria para codificar todas las apariciones de un ${\displaystyle v}$. La longitud de código promediada sobre todos los valores posibles es ${\displaystyle H(V)=-\sum p(v)\log p(v)}$. Esta magnitud ${\displaystyle H(V)}$ se denomina entropía de una variable aleatoria ${\displaystyle V}$.

Cuando se observa una determinada variable aleatoria en un cierto contexto, cuyos valores pertenecen a ${\displaystyle V}$, se parte usualmente de la distribución de probabilidad asociada a la observación de un determinado valor en un determinado contexto, como un mensaje codificado o un montaje experimental.

El contexto mencionado anteriormente, es una situación que se especifica mediante un conjunto de parámetros (frecuentemente usando el razonamiento combinatorio). Los parámetros pueden tener un número arbitrario de dimensiones, y por tanto una observación puede caracterizarse por n parámetros ${\displaystyle \xi =[\xi ^{i}]\in \mathbb {R} ^{n}}$ que puede asociarse a un valor de ${\displaystyle V}$, i.e. el soporte ${\displaystyle {\text{supp}}(V)}$ no cambia como función de. Cada ${\displaystyle \xi }$ determina una distribución de probabilidad para ${\displaystyle V}$. Nótese al cambiar de contexto o situación, la probabilidad con la que se observa un determinado resultado cambia acorde a los parámetros que definen el contexto. Frecuentemente un conjunto de parámetros se asocia a una determinada familia de distribuciones, por lo que los parámetros en esos casos tienen una interpretación concreta, que constituye un modelo estadístico para el contexto en el que se observa ${\displaystyle V}$.

Los parámetros son muy diferentes en su naturaleza a los elementos del propio ${\displaystyle V}$ itself, porque no describen ${\displaystyle V}$, sino el contexto de observación para ${\displaystyle V}$. Una parametrización de la forma:

${\displaystyle p(v)=\sum \xi ^{i}p_{i}(v)=\xi ^{i}p_{i}}$

donde ${\displaystyle \sum p_{i}(v_{j})=1}$ y ${\displaystyle \sum \xi ^{i}=1}$, que mezcla diferentes distribuciones ${\displaystyle p_{i}(v)}$, se denomina una distribución mixta, o mixtura de distribuciones o ${\displaystyle m}$-parametrization. Todas las parametrizaciones de ese tipo están relacionadas a través de una transformación afín ${\displaystyle \rho =A\xi +B}$. Una parametrización asociada a una regla de transformación de ese tipo se denomina plana.

Una paremetrización plana para ${\displaystyle I(v)=\log p(v)=E(v)+\sum \xi ^{i}F_{i}(v)}$ es una exponencial o ${\displaystyle e}$-parametrización, porque los parámetros se encuentran en el exponente de ${\displaystyle p(v)}$. Existen muchas distribuciones notables, como la distribución normal o la distribución de Poisson, que caen dentro de esta categoría. Estas distribuciones se denominan colectivamente como una "familia exponencial" o ${\displaystyle e}$-familia. La ${\displaystyle p}$-variedad de todas las distribuciones de ese tipo, no es una variedad afín, pero ${\displaystyle \log p}$ sí es una variedad afín. La parametrización ${\displaystyle \log p(v)=E(v)+\sum \xi ^{i}F_{i}(v)-\psi (\xi )}$ para una familia exponencial puede ponerse en relación con la anterior reparametrizando como ${\displaystyle \psi (\xi )}$ y extendiendo ${\displaystyle [F_{i}]\rightarrow [F_{i},1]}$.

En geometría de información, los métodos de la geometría diferencial se aplican para describir el espacio abstracto de distribuciones de probabilidad posibles para un conjunto de observaciones de ${\displaystyle V}$. Esto se hace mediante una carta coordenada o un conjunto de ellas que conforma un atlas ${\displaystyle \xi \in \mathbb {R} ^{n}}$. Más aún, la distribución de probabilidad ${\displaystyle p(v;\xi )}$ debe ser una función diferenciable e invertible de ${\displaystyle \xi }$. En este caso, las ${\displaystyle [\xi ^{i}]}$ forman un conjunto de coordenadas de para las ${\displaystyle p(v;\xi )}$-spacio de distribuciones, que de hecho tiene la estructura de variedad diferenciable, y se denota por ${\displaystyle {\mathcal {M}}}$.

Las derivadas sobre esta variedad se definen como usualmente se hace para otras variedades diferenciables:

${\displaystyle \partial _{i}f={\frac {\partial f}{\partial \xi ^{i}}}:={\frac {\partial {\bar {f}}}{\partial \xi ^{i}}}}$

con ${\displaystyle {\bar {f}}=f\circ \xi ^{-1}}$, para ${\displaystyle f\in {\mathcal {F}}(M)}$ una función real sobre ${\displaystyle {\mathcal {M}}}$. Dadao una función ${\displaystyle f}$ sobre ${\displaystyle M}$, se puede "geometrizar" tomándola para definir una nueva variedad. Esto se hace definiendo funciones coordenadas sobre esta otra nueva variedad mediante las relaciones:

${\displaystyle \phi =(f\circ \xi ^{-1})^{-1}=\xi \circ f^{-1}}$

De esta forma se "geometriza" una función ${\displaystyle f}$, codificándola en las coordenadas usadas para describir el sistema. Para ${\displaystyle f=\log }$ la inversa es ${\displaystyle f^{-1}=\exp }$ y la variedad resultante de ${\displaystyle \log p}$ se denomina ${\displaystyle e}$-representación. La ${\displaystyle p}$-variedad en sí misma se denomina la ${\displaystyle m}$-representación.

En geometría diferencial ordinaria, el espacio tangente a una variedad diferenciable ${\displaystyle {\mathcal {M}}}$ en un punto ${\displaystyle q}$ vienen dado por:

${\displaystyle T_{q}M=\left\{X^{i}\partial _{i}{\Big |}X\in \mathbb {R} ^{n},\partial _{i}={\frac {\partial }{\partial \xi ^{i}}}\right\}}$

En geometría diferencial ordinaria, no existe ningún sistema canónico de coordenadas sobre la variedad; así típicamente, toda discusión debe hacerse con respecto al atlas, sin necesidad explícita de coordenadas, por esa razón los vectores tangentes (y el conjunto de ellos que es el espacio tangente) se definen como operadores que actúan sobre funciones definidas sobre la variedad. Sin embargo, cuando se usan distribuciones de probabilidad ${\displaystyle p(v;\xi )}$, se es posible expresar el espacio tangente directamente como ${\displaystyle X^{i}\partial _{i}p}$ ( ${\displaystyle m}$-representación) o ${\displaystyle X^{i}\partial _{i}\log p}$ ( ${\displaystyle e}$-representación), sin necesidad de especificarlos como operadores.

Diversas funciones definidas sobre la variedad de distribuciones ${\displaystyle p}$ pueden codificarse por un parámetro ${\displaystyle \alpha }$ (que asume tres valores ${\displaystyle 1}$, ${\displaystyle 0}$ y ${\displaystyle -1}$):

• mezcla o ${\displaystyle m}$-representación (${\displaystyle \alpha =-1}$):

${\displaystyle \ell ^{(-1)}={\frac {2}{1-\alpha }}p^{\frac {1-\alpha }{2}}=p}$

• exponencial o ${\displaystyle e}$-representación (${\displaystyle \alpha =1}$):

${\displaystyle \ell =\ell ^{(1)}=\log p(X^{(e)}={\frac {1}{p}}X^{(m)}}$

• ${\displaystyle 0}$-representación ( ${\displaystyle \alpha =0}$ ):

${\displaystyle \ell ^{(0)}={\frac {2}{1-\alpha }}p^{\frac {1-\alpha }{2}}=2{\sqrt {p}},\quad X^{(0)}={\frac {1}{\sqrt {p}}}X^{(m)}}$

Las distribuciones que admiten una representación plana ${\displaystyle \ell ^{\alpha }(v;\xi )=E(v)+\xi ^{i}F_{i}(v)}$ se denominan colectivamente ${\displaystyle \alpha }$-familia (${\displaystyle m}$-, ${\displaystyle e}$- o ${\displaystyle 0}$-familia) de distribuciones y la correspondiente variedad se denomina ${\displaystyle \alpha }$-afín. El ${\displaystyle \alpha }$-vector tangente es ${\displaystyle X^{(\alpha )}=X^{i}\partial _{i}\ell ^{\alpha }}$.