13.4.05

Claude E. Shannon: la información ante todo

Corría el año 1948 cuando un matemático e ingeniero de Michigan publicó el artículo Una teoría matemática de la comunicación [1]. El hombre se llamaba Claude E. Shannon (#). El artículo es una de las construcciones más perfectas de todo el siglo pasado: la teoría de la información. No sólo inicia la teoría, sino que enuncia todos sus teoremas importantes.

En los últimos 4 años me he encontrado regularmente con citas al artículo de Shannon. En cada una de ellas he descubierto un nuevo aspecto de las Tecnologías de la Información que bebe directamente de él. Por eso lo coloco el primero en mi desordenada lista de científicos que uno debe mencionar. También lo hago, claro, porque en un curso de doctorado estoy volviendo, de nuevo, sobre aspectos de la teoría de la información.

Lo mejor para acercarse a su obra es, sin duda, leer el artículo famoso. Sin embargo, para hacer parte de mi trabajo (y por si alguien me lee y, además, no quiere enredarse con las matemáticas), se puede decir que Shannon:
  • Estrena el término bit (que significa, claro, binary digit, es decir, dígito binario). Un bit describe un número binario (0 ó 1), pero también la cantidad de información representada por un ese número.
  • Comienza a hablar de cantidad de información. Es decir, establece una medida numérica para la información, sea del tipo que sea. Las fuentes de información se modelan como distribuciones de probabilidad. Por ejemplo, una moneda lanzada al aire se puede considerar una fuente de información ("cara" o "cruz"). La cantidad de información (o incertidumbre o entropía) depende de la distribución de probabilidades.
  • Define el famoso modelo de sistema de comunicación:
Fuente -> Emisor -> Canal (+ Ruido) -> Receptor -> Destino
  • Establece el mínimo número de bits que pueden representar, en media, una determinada fuente de información. Por tanto, establece un límite para todos los algoritmos de compresión de datos. Hay un límite teórico, pues, para el winzip y el winrar; que no se puede superar (de hecho, este tipo de formatos se aproxima mucho a ese límite, especialmente para ficheros grandes).
  • Y determina, para un caso general, la capacidad de un canal de comunicaciones. Es decir, el máximo número de bits por segundo (tasa de transmisión) que es posible transmitir, sin errores, por un canal de comunicaciones. Los límites son únicamente el ancho de banda disponible y la relación potencia de señal a potencia de ruido.
C = B log2(1+S/N) bps

Las ecuaciones de Shannon son de una simplicidad asombrosa, especialmente si consideramos que marcan los límites teóricos de la comunicación. Estas ecuaciones determinan, por ejemplo, la cantidad de información que cabe en nuestra conexión de Internet.

Es pertinente, por tanto, hacer un pequeño homenaje a Shannon. Él fabricó la primera vara de medir este nuevo y fascinante mundo que hemos llamado "sociedad de la información".

---Referencias---

[1] C. E. Shannon: A mathematical theory of communication. Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948.

2 comentarios:

Ediren dijo...

Curioso. Jamás pensé que la información y la comunicación se pudiesen medir. Me he leído la biografía en castellano y me leería la tesis... si no fuese por que está en inglés y ahora mismo mi cerebro no da para más ^^UUUUUU Pero tu resumen ha sido interesante, sip. Espero que sigas haciendo más cositas de estas, que están bien y se conocen cosas nuevas (porque yo al hombre este no lo conocía de nada ^^UUU)

Hairanakh dijo...

He estado buscando algún enlace bueno en español sobre teoría de la información. Pero no lo he encontrado :-( Casi todo está en inglés y, además, está más orientado al estudio que a la divulgación. Si algún día encuentro algo más "de andar por casa", lo pondré por aquí.