Уикипедия — ашық энциклопедиясынан алынған мәлімет
Ақпарат теориясы — математиканың ақпаратты сақтау, түрлендіру және тасымалдау әдістерін зерттейтін бөлімі, кибернетиканың маңызды саласы. Ақпарат теориясының негізгі ұғымы ақпарат (хабар) болып есептеледі. Ақпарат теориясында берілетін не сақталатын хабарлар көзі бар деп ұйғарылады. Бұл хабарлардың шығуы мен қабылдануы кездейсоқ сипатта болғанымен, оның шығу ықтималдығы белгілі деп қарастырылады. Мұндай хабарлардың “анықталмау” дәрежесін сипаттау үшін Ақпарат теориясына энтропия деп аталатын ұғым ендіріледі.
Энтропия — қандай да бір тәжірибенің (сынақтың) әр түрлі нәтижемен аяқталатын анықталмағандық өлшемі. Ақпарат теориясы хабардың байланыс арнасы арқылы бөгеуілдермен берілу тәсілдерін зерттейді. Әр түрлі ақпаратты жинау, оны түрлендіру, жеткізу және сақтау — кез келген басқару жүйесінің қызметінде кездесетін жағдай. Жүйенің әр түрлі бөліктерінің арасында ақпарат алмасу әрқашан болып тұрады. Кез келген ақпаратты бір жерден екінші жерге жеткізу үшін оның кодталынуы (таңбалануы), яғни арнаулы белгілерге (символдарға) және сигналдарға түрленуі керек. Сондықтан да Ақпарат теориясының негізгі мәселесі аз ғана белгілер арқылы көп мәнді ақпарат беруді тиімді түрде кодтау (таңбалау) тәсілін зерттеу болып табылады. Бұл — байланыс арнасында бөгеуіл болған не болмаған жағдайда шешілетін мәселе. Байланыс арнасы арқылы қабылдаушы буынға келіп жеткен таңбаланған ақпаратты алғашқы түріне келтіруді декодтау (таңбадан мағынаға көшіру) деп атайды. Ақпарат теориясындағы күрделі мәселенің бірі — ақпарат көзінде үздіксіз өндірілген ақпаратты байланыс арнасы арқылы басқа орынға дер кезінде және бөгеуілсіз жіберіп тұру үшін байланыс арнасының өткізгіштік сыйымдылығын анықтау. Бұл мәселені шешу ақпарат мөлшерін бағалай білуді қажет етеді. Ақпарат мөлшерін бағалау ықтималдық теориясының заңдарына негізделген. Ақпарат теориясының негізін 1948 — 1949 ж. американ ғалымы К.Э.Шеннон қалаған. Оның теориясының дамуына Ресей ғалымдары А.Н.Колмогоров (1903 — 1987), А.Я.Хинчин (1894 — 1959), ал іс жүзінде қолданылатын саласына В.А.Котельников т.б. үлкен үлес қосты.[1]
