Legatura dintre informatie si entropie

Legatura dintre informatie si entropie

Legatura dintre informatie si entropie: Informatia valoroasa daca are probabilitate de realizare scazuta

Definirea probabilitatii in matematica: P= (numarul de cazuri favorabile)/(numarul de cazuri posibile)

Deosebiri intre probabilitatea termodinamica si probabilitatea matematica (informationala): W >1; 0 < P <1

Dar I=f(P)

I=K ln P : Ecuatia lui Shannon; Unitatea de masura a lui I este determinata de unitatea de masura a lui K

Cea mai frecventa unitate de masura este Bit; Decizie binara = da/nu; Exemplu: ghicirea unei fete a monedei=1 bit

I=K ln P

K = - 1 / ln 2 = -1,443 I= -1,443 ln P= - log2 P (I in biti)

Termodinamica : Entropie, S=k ln P, Ecuatia Boltzmann: Un sistem izolat tinde spre maximul de entropie

Teoria informatiei : Informatie, I=K ln P, Ecuatia Shannon: In trasmiterea informatiei se pierde din valoarea informatiei

"Sistemele vii se hranesc cu entropie negativa": Exemplu: AND de 15000 perechi de baze 30.000 biti

Care este continutul de informatie dintr-o carte? Frecventa de utilizare a unei litere: Continutul de informatie din: cuvant, propozitie

Parametrul calculat NU are legatura cu "valoarea informatiei": Aceeasi informatie (I) poate fi continuta si in alt carte care contine acelasi numar de siruri de caractere