Teoria informației

Nu confundați cu Informatica.

Teoria informației este o ramură a matematicii aplicate și a ingineriei electrice care se ocupă cu studierea cuantificării, stocării și comunicării informației. Aceasta a fost propusă inițial de Claude E. Shannon în anul 1948, pentru a găsi limitele fundamentale ale procesării semnalelor și ale operațiilor din telecomunicații, precum compresia datelor, într-un articol remarcabil, intitulat „O teorie matematică a comunicației”. Apoi, cu timpul, teoria informației a fost extinsă, fiind aplicată în multe alte domenii, inclusiv în neurobiologie ^[1], evoluție ^[2], genetică ^[3], ecologie ^[4], termodinamică ^[5], calculatoare cuantice, detecția plagiatelor ^[6] și alte discipline care implică analiza datelor și exploatare de date (data mining) ^[7].

O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații printr-un șir de simboluri. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.

Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor telecomunicaționale (codurile detectoare și corectoare de erori).

Acest sector științific se află la intersecția mai multor domenii de studiu tradiționale : matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesul misiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne în lingvistică și psihologia cognitivă (percepția senzorială umană), înțelegerii găurilor negre, genomică și multor altor domenii .

Istoric

Teoria informației a fost inițiată de Ralph Hartley în 1928, pornind de la tratarea teoretică a problemelor de telecomunicații.

Evenimentul care a dus la crearea științei teoriei informației și care a adus-o în atenția publicului a fost publicarea de către Claude Shannon, un matematician și inginer american, a articolului său „O teorie matematică a comunicației” în revista Bell System Technical Journal în iulie și octombrie 1948, articol care a devenit demult o lucrare clasică în domeniu. Shannon și-a propus să studieze din punct de vedere matematic problemele ce apar la transmiterea informațiilor cu ajutorul semnalelor de natură electromagnetică.

Înaintea acestei lucrări la Laboratoarele Bell din Statele Unite se obținuseră unele rezultate limitate privind teoria informației, toate presupunând evenimente de probabilități egale. Lucrarea din 1924 a lui Harry Nyquist, „Anumiți factori care afectează viteza telegrafului”, conține o secțiune teoretică ce cuantifică "informația" și "viteza liniei" pe care ea poate fi transmisă de către un sistem de comunicații, dând relația $W=K\log m$ , unde W este viteza de transmisie a informației, m este numărul de nivele diferite de tensiune dintre care se poate alege la fiecare tact de timp, iar K este o constantă. Lucrarea lui Ralph Hartley din 1928, Transmisia informației, folosea cuvântul informație drept cantitate măsurabilă, care reflecta capacitatea receptorului de a distinge un șir de simboluri de un altul, cuantificând astfel informația ca $H=\log S^{n}=n\log S$ , unde S era numărul de simboluri posibile, iar n numărul de simboluri dintr-o transmisie. Unitatea naturală de informație era deci cifra zecimală, numită mai târziu hartley în cinstea autorului. Și britanicul Alan Turing a folosit în 1940-1942 idei similare în analiza statistică, conducând la spargerea cifrurilor mașinii germane de cifrat Enigma în timpul celui de-al Doilea Război Mondial.

Mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și Josiah Willard Gibbs.

În lucrarea revoluționară a lui Shannon, elaborată în cea mai mare parte la Laboratoarele Bell până în 1944, el a introdus pentru prima oară un model calitativ și cantitativ al comunicației ca proces statistic ce stă la baza teoriei informației, deschizând cu propoziția:

„Problema fundamentală a comunicației este aceea a reproducerii într-un punct, fie exact, fie aproximativ, a unui mesaj ales dintr-un alt punct.”

În această lucrare au fost definite următoarele idei:

Entropia informațională și redundanța unei surse, și relevanța acesteia, prin teorema codificării sursei;
Informația mutuală și capacitatea unui canal de comunicație afectat de zgomot, inclusiv promisiunea comunicației fără zgomote dată de Teorema codificării canalului zgomotos;
Rezultatul practic al legii Shannon-Hartley pentru capacitatea unui canal gaussian;
Bitul — o nouă modalitate de a vedea unitatea fundamentală de informație.

Contribuții la dezvoltarea teoriei informației au adus Norbert Wiener (din 1948), Alexander Hincin (ru) (1953), Andrei Kolmogorov (1956).

Note

^ F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).
^ cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
^ Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider Arhivat în 4 februarie 2012, la Wayback Machine., Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
^ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
^ Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
^ Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories Arhivat în 7 octombrie 2007, la Wayback Machine., Scientific American 288:6, 76-81
^ David R. Anderson (1 noiembrie 2003). „Some background on why people in the empirical sciences may want to better understand the information-theoretic methods”. Arhivat din original (pdf) la 24 decembrie 2008. Accesat în 30 decembrie 2007.

Legături externe

Wikicitat

La Wikicitat găsiți citate legate de Teoria informației.

Lambert F. L. (1999), „Cărți bătute, mese vraiște și dormitoare dezordonate - exemple de creșteri ale entropiei? Aiurea!”, Jurnalul de educație chimică (en.)
Societatea IEEE pentru Teoria Informației (ITSOC) a IEEE și pagina acesteia Monografii, studii și analize ale ITSOC Arhivat în 12 iunie 2018, la Wayback Machine. (en.)

[1] F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).

[2] . Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314

[3] Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider Arhivat în 4 februarie 2012, la Wayback Machine., Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122

[4] Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.

[5] Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620

[6] Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories Arhivat în 7 octombrie 2007, la Wayback Machine., Scientific American 288:6, 76-81

[7] David R. Anderson (1 noiembrie 2003). „Some background on why people in the empirical sciences may want to better understand the information-theoretic methods”. Arhivat din original (pdf) la 24 decembrie 2008. Accesat în 30 decembrie 2007.

[1]

[2]

[3]

[4]

[5]

[6]

[7]