Інформація як наукове поняття.
Тривалий час науки про інформацію як такої не існувало. Основна увага приділялася суб’єктивним оцінкам інформації, які дозволяють вважати одне те саме повідомлення інформативним або ні залежно від того, хто його сприймає .
Лише в 1940-х роках американський математик К. Шеннон створив теорію, що абстрагована від суб’єктивного значення інформації. У цій теорії, що отримала назву теорії інформації, цілком ігнорується «людський фактор», тобто такі суб’єктивні оцінки інформації, як вірогідність, корисність, актуальність, зрозумілість та повнота.
Одним із головних результатів застосування теорії Шеннона є створення об’єктивних критерії в для оцінювання обсягу інформації. Вчений помітив, що обсяг інформації в повідомленні фіксованої довжини буде тим меншим, чим більшою є надлишковість повідомлення.
Надлишковість інформаційного повідомлення — величина , що показує, у скільки разів може бути коротшим повідомлення, у якому закодовано ту саму інформацію.
Наприклад, інформацію повідомлення, що складається з 1000 літер «а», можна закодувати значно стисліше, а саме записати літеру «а» та кількість її повторів — число 1000. Тому повідомлення з 1000 однакових літер є вкрай надлишковим і малоінформативним.
К. Шеннон запропонував формулу для визначення міри надлишковості інформаційних повідомлень того чи іншого типу. Застосовуючи цю формулу, вдалося, з’ясувати, що надлишковість більшості людських мов не нижча за 50 %.
Таким чином, поняття надлишковості дає змогу визначити лише максимально можливий обсяг інформації в певному повідомленні, а скільки інформації насправді сприйме одержувач повідомлення, залежить від нього самого.
Теорія інформації відіграла важливу роль у розвитку систем комунікації та комп’ютерної техніки, адже на її основі було побудовано методи, що дають змогу зменшувати інформаційні повідомлення без втрати даних, які в них містяться, а також методи виправлення помилок у кодованих повідомленнях, алгоритми шифрування й дешифрування повідомлень.