Entropía de una fuente de información
Elegí cuántos símbolos tiene la fuente, cargá sus probabilidades y calculá la información, la entropía y la entropía normalizada.
| Símbolo | pi | I(si) [bit] | pi·I(si) [bit] |
|---|
Cómo funciona
Elegí cuántos símbolos
Indicá el tamaño del alfabeto de la fuente (M): se habilitan exactamente esos casilleros.
Cargá las probabilidades
Una por símbolo, entre 0 y 1, y que sumen 1. Podés usar "Equiprobables" o "Completar el último".
Mirá el resultado
La entropía, su máximo, la entropía normalizada, la información de cada símbolo y un gráfico.
Información y entropía de una fuente
Cuanto menos probable es un suceso, más información aporta cuando ocurre. Para un símbolo si de probabilidad pi, la información es:
I(si) = log(1 / pi)La entropía de una fuente es la información media de sus símbolos: cada información pesada por la probabilidad con que aparece. Esta calculadora trabaja con fuentes sin memoria, donde los símbolos son estadísticamente independientes.
H(S) = Σ pi · log(1 / pi) 0 ≤ H(S) ≤ log₂(M)La entropía es máxima cuando los M símbolos son equiprobables (H = log₂ M) y es cero cuando un símbolo tiene probabilidad 1. Para comparar fuentes con distinta cantidad de símbolos se usa la entropía normalizada:
Ĥ(S) = H(S) / log₂(M) 0 ≤ Ĥ(S) ≤ 1La unidad depende de la base del logaritmo: el bit (o shannon) usa base 2, el nat usa base e y el hartley usa base 10. La entropía además marca el límite teórico para la compresión de datos: no se puede codificar la fuente con menos de H bits por símbolo, en promedio.
Ejemplo resuelto paso a paso
Caso 1: una fuente de 3 símbolos. Elegí M = 3 y cargá 0.5, 0.3 y 0.2. La información de cada símbolo es:
I(S1) = log₂(1/0.5) = 1 bit · I(S2) = log₂(1/0.3) = 1.737 bit · I(S3) = log₂(1/0.2) = 2.3219 bitLa entropía es el promedio pesado de esas tres informaciones:
H = 0.5×1 + 0.3×1.737 + 0.2×2.3219 = 1.4855 bit/símboloEl máximo posible con 3 símbolos es log₂ 3 = 1.585, así que la entropía normalizada es Ĥ = 1.4855 / 1.585 = 0.9372: la fuente está bastante cerca de ser equiprobable.
Caso 2: probabilidades que son potencias de ½. Con M = 4 y las probabilidades 0.5, 0.25, 0.125 y 0.125, las informaciones son 1, 2, 3 y 3 bits:
H = 0.5×1 + 0.25×2 + 0.125×3 + 0.125×3 = 1.75 bit/símboloCon la entropía máxima log₂ 4 = 2, resulta Ĥ = 0.875. En promedio alcanza con 1.75 bits por símbolo, menos que los 2 bits de un código de longitud fija para 4 símbolos.
Caso 3: una fuente binaria desbalanceada. Con M = 2 y las probabilidades 0.9 y 0.1:
H = 0.9×log₂(1/0.9) + 0.1×log₂(1/0.1) = 0.469 bit/símboloUn dígito binario no siempre transporta 1 bit de información: si el 0 y el 1 no son equiprobables, cada dígito aporta menos. El gráfico de la calculadora muestra esta curva y marca tu punto sobre ella.
Caso 4: 32 símbolos equiprobables. Un alfabeto de 26 letras, 5 signos de puntuación y el espacio en blanco tiene 32 símbolos. Elegí M = 32 y apretá "Equiprobables":
H = log₂ 32 = 5 bit/símboloHacen falta 5 bits para codificar cada símbolo. Es la misma relación M = 2bits que usa la calculadora de cuantización. Podés comprobar los cuatro casos cargando estos valores arriba.
Preguntas frecuentes
¿Qué es la entropía de una fuente de información?
Es la información media por símbolo que entrega una fuente: H = Σ pᵢ · log(1/pᵢ), donde pᵢ es la probabilidad de cada símbolo. Mide la incertidumbre promedio que hay antes de recibir cada símbolo y, usando logaritmo en base 2, se expresa en bits por símbolo.
¿Cómo se calcula la información de un símbolo?
Con I(sᵢ) = log(1/pᵢ). Cuanto menos probable es un símbolo, más información aporta cuando aparece: un símbolo seguro (p = 1) aporta 0, y uno con p = 0.5 aporta 1 bit.
¿Qué diferencia hay entre bit, nat y hartley?
Es la base del logaritmo: el bit usa base 2, el nat usa base e (ln) y el hartley usa base 10. Se convierten multiplicando: 1 bit = 0.693 nat = 0.301 hartley.
¿Cuándo la entropía es máxima y cuándo es cero?
Es máxima, H = log₂(M), cuando los M símbolos son equiprobables, porque la incertidumbre es la mayor posible. Es cero cuando un símbolo tiene probabilidad 1 y los demás 0, porque no hay nada que adivinar.
¿Qué es la entropía normalizada?
Es Ĥ = H / log₂(M): la entropía dividida por su máximo posible. Vale entre 0 y 1 y permite comparar fuentes con distinta cantidad de símbolos.
¿Por qué tengo que elegir primero la cantidad de símbolos?
Porque M forma parte del cálculo: determina la entropía máxima log₂(M) y la entropía normalizada. Un casillero vacío no es lo mismo que una probabilidad 0, así que esta calculadora no completa nada por su cuenta: habilita exactamente M casilleros y vos cargás todos.
¿Qué pasa si una probabilidad es 0 o si no suman 1?
Una probabilidad 0 es válida: ese símbolo no aporta información (0 · log(1/0) se toma como 0), pero igual cuenta dentro de M. Si las probabilidades suman casi 1 (por redondeos) se normalizan para el cálculo; si la diferencia es mayor, la calculadora te avisa cuánto falta o sobra.