Información y Entropia

Publicado: 17 enero 2011 en Clase 2, Uncategorized

Informacion

Como dijimos en entradas anteriores, la información es aquello que nos reduce la incertidumbre. Cuanto menos probable es un suceso, mayor información nos aporta conocer este suceso de antemano. Según Shanon, la información que nos aporta conocer un suceso es:

Donde Px es la probabilidad del suceso x, y b define la unidad en la que se medirá la Información. Así, si b vale 2, I se medirá en bits (binary digits) por símbolo de fuente y si b vale e, I se medirá en nats (natural digits) por símbolo de fuente. Observe que en este último caso, la operación log es la operación Ln. Por otra parte, si los sucesos son independientes, se cumple la propiedad I(A,B)=I(A)+I(B).

Entropia

La entropía, en la teoría de la información, es una magnitud que mide la información provista por una fuente de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.

Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba de llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen que las calles están mojadas y sabemos que no ha llovido, aporta mucha información (porque no las riegan todos los días).

Nótese que en el ejemplo anterior la cantidad de información es diferente, pese a tratarse del mismo mensaje: Las calles están mojadas. En ello se basan las técnicas de compresión de datos, que permiten empaquetar la misma información en mensajes más cortos.

La medida de la entropía puede aplicarse a fuentes de información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia. (Para indicar el resultado de una carrera de caballos basta con transmitir el código asociado al caballo ganador, no hace falta contar que es una carrera de caballos ni su desarrollo).

La entropía nos indica el límite teórico para la compresión de datos.

Su cálculo se realiza mediante la siguiente fórmula:

H = \sum_{k=1}^m p_k \log {1 \over p_k}

donde H es la entropía, las p son las probabilidades de que aparezcan los diferentes códigos y m el número total de códigos. Si nos referimos a un sistema, las p se refieren a las probabilidades de que se encuentre en un determinado estado y m el número total de posibles estados

Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía se mide en bits.

Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos estados con probabilidad 0,5) tiene una entropía:

H = 0,5 \log_2 {1 \over 0,5} + 0,5 \log_2 {1 \over 0,5} = (0,5 + 0,5) \log_2 2 = 1 bit

Ahora, vamos a aplicar lo que acabamos de ver al caso de que la variable aleatoria que caracteriza la fuente tenga solo dos símbolos: X={xa,xb}. Si consideramos p como la probabilidad de uno de los símbolos, entonces obtenemos la siguiente gráfica:

Como comentario a esta gráfica, cabe destacar que se obtiene una entropía mayor en caso de símbolos equiprobables (cosa que sucede para cualquier número de símbolos); y que en caso de certeza, la entropía es nula.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s