Informationsteori

Informationsteori är läran om hur överföring av information kan ske mest effektivt.

Den så kallade statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade, där det informationsteoretiska begreppet entropi har en central roll. I hans teori är informationsmått ett mått på den ökade bestämningsgrad man erhåller då en mängd möjliga alternativ reduceras till en mindre mängd alternativ. Denna mäts som logaritmen av kvoten mellan antalet alternativ före och efter reduktionen.

Detta informationsmått används bland annat inom kommunikationsteori för att beräkna en kanals kapacitet att överföra information och inom kodningsteori för att beräkna redundans och graden av möjlig datakomprimering.

Exempel på områden där teorin har fått stor betydelse är telekommunikation, datateknik, rymdteknik och biologi. I de flesta fall handlar det om att sända ett komplett meddelande från en sändare till en mottagare.

Det diskreta fallet

Det mest kända konceptet är den så kallade entropin inom informationsteorin:

H=-\sum _{i}p_{i}\log p_{i}\,

Denna entropi kan beräknas för vilken som helst diskret fördelningsfunktion sådan att summan av alla $p_{i}$ = 1. $H$ blir maximal och lika med logaritmen för antalet $p_{i}$ när alla $p_{i}$ är lika stora. Inom fysiken tolkas entropi också som oordning.

H kan också tolkas som ett medelvärde av information ugående från axiomet att när en händelse inträffar med sannolikheten $p_{i}$ så fås information = -log( $p_{i}$ ). Denna information saknar mental mening och handlar enbart om sannolikheter.

Shannon härledde formeln utifrån axiom som på ett naturligt sätt kan tolkas som information. När vi singlar slant så kan vi få två olika meddelanden vardera med sannolikheten 0.5 och som kan betecknas '0' respektive '1'. Åslund kallar detta ett schema med två lika sannolika händelser. När vi singlar slanten två gånger får vi dubbelt så långa meddelanden - '00', '01', '10' och '11' (ett schema med 4 lika sannolika händelser) - vardera med sannolikheten 0.25.

Det kontinuerliga fallet

vid övergången från ett diskret schema till en kontinuerlig frekvensfunktion, f(x), kan informationsentropin skrivas

H=-\int f(x)\log[f(x)dx]dx\

Ett problem här är att log(dx) gör H obestämd och beroende av det oändligt lilla dx. Ett sätt att kringgå problemet är att definiera H så att H blir lika med logaritmen för volymen av ett godtyckligt område, som täcks av en likformig frekvensfunktion, f(x), över området. Detta är i analogi med logaritmen av antalet möjliga lika sannolika händelser i ett diskret schema. Då gäller

H=-\int f(x)\log[f(x)]dx\

Den volym som täcks av en normal frekvensfunktion med momentmatris M är proportionell mot koncentrationsellipsoidens volym och lika med kvadratrot{ $(2pie)^{n}$ determinant(M) }.

Generellt utgör erhållen information en skillnad i Entropi före och efter händelsen som gett information:

I=H_{\text{fore}}-H_{\text{efter}}\,

Ömsesidig information

Baserad på Claude Shannons entropibegrepp har en teori för ömsesidig information utvecklats. Två händelser X and Y ger varandra ömsesidig information I(X, Y) enligt:

I(X,Y)=H(X)+H(Y)-H(X,Y)\,

där

H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)\,

Se även

Referenser

Brooks, D. R. & Wiley, E. O. Evolution as Entropy, Towards a unified theory of Biology. The University of Chicago Press, 1986.
Shannon, C.E. A Mathematical Theory of Communication, Bell Syst. Techn. J., Vol. 27, pp 379-423, (Part I), 1948.
Åslund, N. The fundamental theorems of information theory (Swedish). Nordisk Matematisk Tidskrift, Band 9, Oslo 1961.