Entropía condicional
La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.
Definición
Supóngase que es una variable aleatoria sobre un espacio de probabilidad y sea un evento. Si toma valores sobre un conjunto finito , se define de manera natural la entropía condicional de dado como:
De la misma manera si es otra variable aleatoria que toma valores se define la entropía condicional como:
Puede interpretarse la anterior magnitud como la incertidumbre de dado un valor particular de , promediado por todos los valores posibles de .
Propiedades
- Trivialmente se tiene que
- si e son variables independientes.
- Dadas dos variables que toman un conjunto finito de valores:
- Como consecuencia de lo anterior y de que , se tiene: .
Referencias
Bibliografía
- Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3
Este artículo ha sido escrito por Wikipedia. El texto está disponible bajo la licencia Creative Commons - Atribución - CompartirIgual. Pueden aplicarse cláusulas adicionales a los archivos multimedia.