Pular para o conteúdo
Even3

Conceitos fundamentais da Teoria da Informação

Trecho de 1 min 41 s de Processamento Estatístico de Imagens PolSAR, gravado no evento 2a Conferência Brasileira de Planejamento Experimental e Análise de Dados.

Assistir à gravação completaNo Even3 Conteúdos · 51 min

Sobre este trecho

Apresentação dos conceitos essenciais propostos por Shannon: informação, entropia do sistema e divergência estatística.

Vai de a da gravação.

O que é dito neste trecho

Então, eh, grosso modo grosso modo a proposta de Shannon estava fundamentada em três medidas, a saber informação, entropia e divergência. Então só para a gente ter uma ideia geral dessas medidas, né, considere x como sendo uma variável aleatória, tá? Discreta ah, cuja probabilidade de x ser igual a um evento epsilon i é igual a p i, tá? Então informação segundo Shannon, né, a informação de um evento epsilon i ela é definida como menos o log na base alfa da probabilidade de x ser igual a epsilon i. A gente percebe por essa definição que a noção de informação ela é, de certa forma, inversa à noção de probabilidade. Ou seja, quanto maior for a probabilidade menor a informação e quanto menor for a probabilidade maior então é a informação. A a entropia, por sua vez, ela pode ser entendida como a a a informação média associada a um determinado sistema estocástico, tá? E ela é definida aqui desse modo, o valor esperado de menos o log na base alfa de probabilidade de x, tá? Se x for uma variável aleatória contínua, né, ela vai ser definida em termos da sua densidade, dessa forma e sendo chamada aí de entropia diferencial, tá? Finalmente a divergência, que é a entropia conhecida também como entropia relativa, né? Ela pode ser entendida como a mensuração da ineficiência de se escolher um modelo de probabilidade dado que um outro modelo, na verdade, é o correto, tá?

Outros trechos deste conteúdo