Entropi (informationsteori)

Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som:

$H=-\sum _i{p}_i\log p_i$

Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter.

Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi.

Se även

• information
• informationsteori
• signalteori