Sobre a Teoria da Informação

retalhos recolhidos da web

...Raciocinio básico e primeiro da Teoria da Informação: a relação entre recorrência (portanto probabilidade) e quantidadede de informação.

Recorrência aqui no exemplo da letra "e" no código Morse, por ser a letra mais usada no idioma inglês atribuiu-se a codificação "." (ponto) a ela, ou seja a recorrência (probabilidde) desta letra neste idioma é maior.

Segundo Wiener, "a soma de informação em um sistema é a medida de seu grau de organização; de seu grau de desorganização; um é o negativo do outro".

a expressão "um é o negativo do outro" remete a cologaritmos
colog x = log 1/x ou log a^-1 ou ainda pelas propriedades  -log x

tradução de parte do livro SYMBOLS, SIGNALS AND NOISE de J.R.PIERCE
em fisica, entropia está associada com a possibilidade de converter energia termica em energia mecânica... se a entropia aumenta, a energia disponível diminui. A mecânica estatística interpreta um aumento da entropia como um decrescimo na Ordem (disposição, arrumação), ou se preferirmos, em uma diminuição de nosso conhecimento...
A quantidade de informação transmitida pela mensagem aumenta à medida que a quantidade de incerteza quanto ao que mensagem realmente será produzido se torna maior. (A quantidade de informação transmitida pela mensagem aumenta à medida que a quantidade de incerteza se torna maior.) ... A entropia na teoria da informação é uma medida dessa incerteza... e a incerteza, ou entropia, é tomado como a medida da quantidade de informação transportada por uma mensagem de uma fonte. Quanto mais se sabe sobre que mensagem a fonte vai produzir, menor é a incerteza, menor a entropia, e menor é a informação.


ex. quando se olha uma paisgem, no primeiro momento leva tempo para assimilar todos os detalhes, muita informação (maior a incerteza- do que se esta vendo) assim maior é a entropia

está correto este exemplo? Li num site "Então alta Entropia significa baixa informação. " contradiz meu exemplo. Neste memo site tem uma imagem interessante.

Aqui se faz o cálculo da Entropia (h(pi))  de cada letra do alfabeto dada sua probabilidade (pi) na lingua inglesa. Notar a entropia da letra "e"  (3.5),  menor de todas significando uma maior probabilidade de aparecer o que de fato é verdade ser esta letra a mais usada em ingles, como citado no início

Fazendo a pesquisa achei um texto legal, segue uma parte :
...A análse de Fourier ...está montada, na verdade, na hipótese que os sistemas descritos tenham a característica peculiar de serem lineares.
link
https://www.ift.unesp.br/br/Home/extensao/historia2.pdf