Ratio de entropía

• Consideremos el caso de una máquina de escribir que tiene m teclas con igual probabilidad de ser tecleada. Podemos decir que ${\displaystyle H(X_{1},...,X_{N})=\log m^{n}}$ y por tanto ${\displaystyle H(X)=\log m}$. Podemos generalizar, si ${\displaystyle \{X_{i}\}}$ es un proceso estocástico con variables aleatorias independientes e idénticamente distribuida. Entonces:

${\displaystyle H(X)=\lim _{n\to \infty }{\dfrac {H(X_{1},...,X_{N})}{n}}=\lim _{n\to \infty }{\dfrac {nH(X_{1})}{n}}=H(X_{1})}$

• Supongamos un proceso estocástico con variables aleatorias independientes pero no idénticamente distribuidas. Por tanto:

${\displaystyle H(X_{1},...,X_{N})=\sum _{i=1}^{n}H(X_{i})}$

Sin embargo depende de la distribución de las variables aleatorias que exista, o no, el límite y por tanto la tasa de entropía. Por ejemplo si definimos una secuencia binaria aleatoria en la que ${\displaystyle p_{i}=P(X_{i}=1)}$ no es constante sino una función de i de la forma

${\displaystyle p_{i}=0.5}$ si ${\displaystyle 2k<\log \log i\leq 2k+1}$

${\displaystyle p_{i}=0}$ si ${\displaystyle 2k+1<\log \log i\leq 2k+2}$

para k=0,1,2...

Entonces H(X) no está definida para este proceso.

Un idioma o lengua, es un sistema de comunicación verbal o gestual propio de una comunidad humana. Podemos observar que en los idiomas existen letras, conjuntos de letras y palabra más comunes que otras. La gramática del idioma también restringe qué palabras y en que orden se pueden encontrar. Además el resto del mensaje (el contexto) también afecta a la probabilidad de aparición de una palabra. Por ejemplo si estamos en un contexto judicial y aparecen las letras "im", podemos determinar que la palabra "impugnar" es más probable que la palabra "imbécil". En este caso podríamos decir que hay una probabilidad de las palabras condicionada por el contexto (resto de palabras).

Por tanto podemos decir que los idiomas son 'ineficientes', es decir, contienen mucha redundancia. No sería necesario usar todos los símbolos que usamos para expresar algo. Por ejemplo si queremos transmitir el mensaje "This is a suny day" podríamos usar la expresión "This is a suny dy" de forma que el receptor nos entendería igual.[1] Esta es el fundamento en el que se basa el uso habitual de un montón de abreviaturas cuando la gente se comunica con SMSs.

Podemos considerar un idioma como un proceso estocástico ${\displaystyle \{X_{i}\}}$ de variables aleatorias donde cada una tiene como valor un símbolo del lenguaje. Debido a las características vistas de los lenguajes, y usando la entropía condicionada, podemos decir:

${\displaystyle H(X_{1},...,X_{n})=H(X_{1})+H(X_{2}/X_{1})+H(X_{3}/X_{1},X_{2})+...+H(X_{n}/X_{1},...,X_{n})}$

Definimos la ratio de entropía de un idioma (vamos a denotar por R), también llamada simplemente ratio del idioma, como la ratio de entropía del proceso:

${\displaystyle R=H(X)=\lim _{n\to \infty }{\dfrac {1}{n}}H(X_{1},...,X_{n})}$

Es decir, la ratio de entropía de un idioma es el límite de la entropía de un ejemplo de texto en el idioma, cuando la longitud del texto se hace muy grande. La ratio de un idioma la podemos interpretar como la cantidad de información que contiene cada letra de nuestro alfabeto. En otras palabras, si un alfabeto consta de L elementos, existirán ${\displaystyle 2^{(\log _{2}N)*N}}$ mensajes posibles de longitud N. Sin embargo como los mensajes son redundante solo obtendremos ${\displaystyle 2^{r*N}}$ (con r la ratio del idioma) mensajes que tengan sentido

Para el castellano se estima que el ratio está entre 1.2 y 1.5. Para el inglés se estima en torno al 1.3.

Se llama ratio absoluta (vamos a denotar por ${\displaystyle R_{0}}$) de un idioma al valor máximo que puede tener la ratio de un idioma. Es decir si tenemos un idioma con n símbolos la ratio máxima del idioma será aquel en el que todos los símbolos son equiprobables e independientes. Por tanto ${\displaystyle R_{0}=\log _{2}n}$. Este valor identifica el máximo número de bits que pueden ser codificados con cada carácter (símbolo) asumiendo que cada carácter de la secuencia es equiprobable.

Se llama redundancia de un idioma (vamos a denotar por ${\displaystyle D}$) a la diferencia entre la ratio absoluta y la ratio de un idioma. Por tanto ${\displaystyle D=R_{0}-R}$. Este valor muestra cuanto puede ser reducido la longitud de un texto en un idioma sin perder ninguna información.

Dado que la redundancia ${\displaystyle D}$ nos indica el número de bits extra usados para codificar un mensaje (bits redundantes) y ${\displaystyle R_{0}}$ es el número de bits para codificar un alfabeto de n símbolos letra a letra, entonces la relación ${\displaystyle D/R}$ expresará porcentualmente que tan redundante es el lenguaje utilizado. Para el castellano tenemos ${\displaystyle 68.42<D/R_{0}<74.73}$ como porcentaje de redundancia

• Thomas M. Cover, Joy A. Thomas,"Elements of Information Theory", John Wiley & Sons. Second Edition 2006
• Jorge Ramió Aguirre, Aplicaciones criptográficas. Libro guía de la asignatura de Seguridad Informática. Escuela Universitaria de Informática. Universidad Politécnica de Madrid. Enero 1998.