Мәғлүмәт теорияһы

Мәғлүмәт теорияһы
	Мәғлүмәт теорияһы
Булдырыусы	Клод Элвуд Шеннон[d]
Вики-проект	Проект:Математика[d]
ACM коды (2012)	10003712
	Мәғлүмәт теорияһы Викимилектә

Мәғлүмәт теорияһы — ҡулланма математика, радиотехника (сигналдарҙы эшкәртеү теорияһы) һәм информатиканың бүлеге, мәғлүмәттең иҫәбен алыу, уның үҙенсәлектәрен хисаплау һәм бирелмәләрҙе тапшырыу системалары өсөн сикке нисбәттәр билдәләүгә ҡағыла. Теләһә ҡайһы математик теория кеүек үк, математик моделдәр менән эш итә, ә реаль физик объекттар (элемтә сығанаҡтары һәм каналдары) менән түгел. Башлыса ихтималлыҡтар теорияһының һәм математик статистиканың математик аппаратын ҡуллана.

Мәғлүмәт теорияһының төп киҫәктәре — сығанаҡты кодлау (ҡыҫыусы кодлау) һәм каналлы (ҡамасауҙарға тотороҡло) кодлау. Мәғлүмәт теорияһы мәғлүмәт энтропияһы, аралашыу системалары, криптография һәм башҡа аралаш дисциплиналар менән тығыҙ бәйле.

Инеш

Мәғлүмәт теорияһы 1948 йылда Клод Шеннондың «Элемтәнең математик теорияһы» тигән хеҙмәте быҫылып сыҡҡас барлыҡҡа килә. Шеннон ҡарашынса, мәғлүмәт теорияһы — элемтәнең математик теорияһы бүлеге. Мәғлүмәт теорияһы мәғлүмәт тапшырыу системалары мөмкинлектәренең төп сиктәрен нығыта, уларҙы эшләүҙең һәм ғәмәлгә ашырыуҙың сығанаҡ принциптарын билдәләй. Мәғлүмәт теорияһының бурыстар даирәһе мәғлүмәт тапшырыу йә һаҡлауҙың структур схемаһы, типик системаһы ярҙамында аныҡлана.

Схемала ғаләмдең арауыҡ һәм ваҡыт киңлегендә таралырға тейешле хәбәрҙәр сығарып торған теләһә ҡайһы объекты сығанаҡ булып тора. Тәү физик тәбиғәте ниндәй булһа ла, таралырға тейешле бөтә хәбәрҙәр электр сигналдары формаһына әүерелә.

Сығанаҡтың кодеры мәғлүмәтте иң ыҡсым формаға төрә. Канал кодеры элемтә каналы буйлап тапшырғанда ҡамасауҙарҙан ҡурсалау йә һаҡлағанда боҙолоуҙан һаҡлау өсөн мәғлүмәтте эшкәртә. Модулятор канал кодеры төҙөгән хәбәрҙәрҙе элемтә каналының физик тәбиғәтенә йә мәғлүмәт туплағыстың мөхитенә яраҡлы сигналдарға әйләндерә. Мәғлүмәттең таралыу мөхите (элемтә каналы) мәғлүмәт тапшырыу процесына осраҡлы шау индерә һәм шуның менән уны уҡыуҙы ауырлаштыра. Ҡабул итеүсе яҡта урынлашҡан блоктар, кире операциялар башҡарып, алыусыға мәғлүмәтте ҡулай хәлгә индереп тапшыра.

Тарихы

Мәғлүмәт теорияһы барлыҡҡа килеүҙе Клод Шеннондың 1948 йылдың июль-октябрендә Америкалағы «Bell System» телефон компанияһы журналында «Элемтәнең математик теорияһы» тигән хеҙмәте баҫылып сығыуға бәйләүселәр күп. Әммә мәғлүмәт теорияһын төҙөүгә башҡа ғалимдар ҙа ҙур өлөш индерә.

Шеннон башлыса Американың электронсы ғалимы Ральф Хартлиҙың хеҙмәттәрендәге йүнәлеште дауам итә, «мәғлүмәт» төшөнсәһен ҡуллана, әммә терминға аңлатма бирмәй. Шеннон теорияһы теүәл итеп төҙөлгән математик мәсьәлә тип ҡабул ителә һәм шаулы коммуникация каналының үткәреү һәләтен асыҡлау мөмкинлеген бирә.

Бирелмәләрҙе кодлау

Кодлау элемтә каналына ингән хәбәрҙең сыҡҡанда кодҡа әйләнеү процесынан ғибәрәт, шул уҡ ваҡытта хәбәрҙең мәғлүмәти ҡиммәте үҙгәрешһеҙ ҡалырға тейеш. Мәғлүмәт теорияһында түбәндәге киҫәктәр айырыла:

1. Дискретлы сығанаҡтарҙы кодлау (бирелмәләрҙе «юғалтыуһыҙ» кодлау моделе).

2. Бирелмәләрҙе кодлап, уларҙың канал аша шау менән үтеүен тәьмин итеү.

Код алфавиты символдарының (нигеҙҙә, 0 һәм 1) теләһә ҡайһы эҙмә-эҙлелеге айырым һүҙҙәргә бүленә алһа, код һис һүҙһеҙ сиселеүсән булып тора. Әгәр кодланған бер һүҙ ҙә икенсе һүҙҙең башы булмаһа, код префикслы тип атала һәм шулай уҡ һис һүҙһеҙ сиселеүсән булып тора. Тимәк, префикслылыҡ — һис һүҙһеҙ сиселеүсәнлек өсөн етерлек, әммә мотлаҡ түгел шарт булып тора. Префикслылыҡ талабы кодлы һүҙҙәрҙең оҙонлоғон сикләй һәм кодлы һүҙҙәрҙе үтә ҡыҫҡа итеү мөмкинлеген бирмәй. Префикслы күләм коды $M$ барлыҡҡа килһен өсөн (кодлы һүҙҙәрҙең оҙонлоғо $l_{1},...,l_{M}$ ) Крафт тигеҙ түгеллеген үтәү талап ителә:

\sum _{i=1}^{M}{2}^{-l_{i}}\leqslant {1}

Йәнә Шеннон-Фано коды ҡулланыла: ул префикслы бер төрлө булмаған кодлау алгоритмы булып тора:

{q_{M}}=\sum _{i=1}^{M-1}p_{i}

3. Күп файҙаланыусылы системалар өсөн бирелмәләрҙе кодлау дөйөм ресурсты, мәҫәлән, элемтә каналын, ҡулланған абоненттарҙың үҙ-ара уңайлы эш итеүен тасуирлай.

Әҙәбиәт

Б. Д. Кудряшов Теория информации, СПбГУ НИУ ИТМО
Фурсов В. А. Лекции по теории информации ISBN 5-7883-0458-X
Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
Колмогоров А. Н. Три подхода к определению понятия «количество информации», Пробл. передачи информ., 1:1 (1965), 3-11
MacKay, David. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 9780521642989.

Һылтанмалар

Мәғлүмәт теорияһы // Энциклопедия «Кругосвет».
Норберт Винер «Кибернетика или Управление и связь в животном и машине»
К. Шеннон, «Бандвагон»
Важные публикации в теории информации^[en] (инг.)
Традиционные подходы к количественному определению информации
Синергетическая теория информации
Холево А. С. Введение в квантовую теорию информации
compression.ru
Электронный учебник по теории информации
Электронный учебник по теории информации 2016 йыл 4 март архивланған.