📡 Теорія інформації🔢 Ентропія Шеннона🔐 Криптографія
1916 — 2001
Клод Шеннон
«Фундаментальна проблема зв'язку полягає у відтворенні в одній точці, точно чи приблизно, повідомлення, обраного в іншій точці» — Клод Шеннон, 1948
1948
Теорія інформації
1937
Булева алгебра схем
Bell Labs
Місце роботи
1916–2001
Роки життя
Bit
Одиниця інформації
Ентропія Шеннона — міра кількості інформації
H(X) = − Σ p(x) · log₂ p(x)
Середня кількість інформації (у бітах), яку несе повідомлення джерела X з розподілом ймовірностей p(x)
Ентропія Шеннона
H(X) = −Σ p(x)·log₂p(x)
Міра середньої невизначеності (у бітах) джерела повідомлень. Максимальна при рівноймовірних варіантах, нульова — коли результат заздалегідь відомий.
Теорема Шеннона–Хартлі
C = B·log₂(1+S/N)
Максимальна пропускна здатність каналу зв'язку (біт/с) залежно від смуги пропускання B та відношення сигнал/шум S/N.
Булева алгебра схем (1937)
AND, OR, NOT → реле/перемикачі
Магістерська дисертація показала, що логічні операції 0/1 можна реалізувати релейними схемами — основа цифрової електроніки.
Одноразовий блокнот
Шифротекст = Повідомлення ⊕ Ключ
1949: математично доведена абсолютна стійкість шифру за умови випадкового, одноразового ключа довжиною не меншою за повідомлення.
💡 «A Mathematical Theory of Communication» (1948)
У липні та жовтні 1948 р. Bell System Technical Journal опублікував двочастинну працю Клода Шеннона, яка заснувала теорію інформації як окрему наукову дисципліну.
Шеннон формально визначив ентропію як міру інформації, ввів термін «біт» (двійкова одиниця, запропонований його колегою Джоном Тьюкі) та довів теореми про межі стиснення даних без втрат і надійної передачі каналом із шумом.
Ці ідеї стали математичним фундаментом для цифрового зв'язку, стиснення даних, кодів з корекцією помилок та, зрештою, всієї сучасної цифрової інфраструктури.
Ентропія простого прикладу (симетрична монета):
p(орел) = 0.5, p(решка) = 0.5
H = −(0.5·log₂0.5 + 0.5·log₂0.5)
H = −(0.5·(−1) + 0.5·(−1))
H = 1 біт
→ Один підкид монети несе рівно 1 біт інформації.
→ Якщо монета нечесна (p=0.9/0.1), H < 1 біт —
результат більш передбачуваний, менше нової інформації.
🔬 Відкриття та внески
1948
«A Mathematical Theory of Communication»
Праця, що заснувала теорію інформації: формальне визначення інформації, ентропії та меж передачі даних каналом зв'язку.
1948
Ентропія Шеннона як міра інформації
Кількісна міра невизначеності джерела повідомлень у бітах — основа стиснення даних (архіватори, кодеки) і сьогодні.
1948
Теорема Шеннона–Хартлі
Формула максимальної пропускної здатності каналу зв'язку через смугу пропускання й відношення сигнал/шум.
У праці «Communication Theory of Secrecy Systems» математично довів абсолютну (теоретичну) нерозкривність цього шифру.
🕐 Хронологія
1916
Народився в штаті Мічиган, США. Дитинство провів у місті Гейлорд.
1936
Закінчив Мічиганський університет за спеціальностями математика та електротехніка.
1937
Магістерська дисертація в MIT «A Symbolic Analysis of Relay and Switching Circuits» — застосування булевої алгебри до проєктування перемикальних схем.
1940
Захистив докторську дисертацію в MIT з теоретичної генетики.
1941
Приєднався до Bell Labs, де під час Другої світової війни працював над математичними основами криптографії та системами наведення.
1948
Публікує «A Mathematical Theory of Communication» — засновує теорію інформації.
1949
Публікує розсекречену працю «Communication Theory of Secrecy Systems», доводячи абсолютну стійкість одноразового блокнота.
1950-ті
Дослідницькі проєкти в Bell Labs: механічна миша «Тезей», що вчилася проходити лабіринт, робота над принципами програмування шахів для комп'ютера, а також захоплення жонглюванням і побудова жонглювальних машин.
1956
Стає професором Массачусетського технологічного інституту (MIT).
2001
Помер у віці 84 років після тривалої хвороби Альцгеймера.
🧮 Зв'язок з калькуляторами сайту
Сигнали та інформація
Калькулятор децибел
Теорема Шеннона–Хартлі напряму пов'язує відношення сигнал/шум (у децибелах) із пропускною здатністю каналу — спробуйте розрахунок у калькуляторі децибел.
Дискретна математика
Категорія «Комп'ютерні науки»
Ентропія, кодування та булева логіка Шеннона — базові теми розділу комп'ютерних наук сайту з калькуляторами й довідниками.
Відповіді на найпоширеніші питання про засновника теорії інформації.
Чому Клода Шеннона називають батьком теорії інформації? +
У 1948 р. Шеннон опублікував працю «A Mathematical Theory of Communication» у Bell System Technical Journal. У ній він вперше формально визначив поняття інформації через ймовірність, ввів термін «біт» як одиницю її виміру та довів фундаментальні межі стиснення і передачі даних каналом зв'язку. Ця праця заклала основи цілої наукової дисципліни — теорії інформації, яка сьогодні лежить в основі цифрового зв'язку, стиснення даних та обчислювальної техніки.
Що вимірює ентропія Шеннона? +
Ентропія Шеннона H(X) = −Σ p(x)·log₂p(x) вимірює середню кількість інформації (у бітах), яку несе повідомлення з джерела X, або, еквівалентно, ступінь невизначеності результату випадкової події. Що рівномірніший розподіл ймовірностей p(x), то вища ентропія — джерело менш передбачуване і потребує більше бітів для кодування в середньому. Якщо результат повністю передбачуваний, ентропія дорівнює нулю — нової інформації немає.
Що стверджує теорема Шеннона–Хартлі? +
Теорема Шеннона–Хартлі задає максимальну швидкість передачі даних (пропускну здатність каналу) за формулою C = B·log₂(1+S/N), де B — смуга пропускання каналу в герцах, S/N — відношення потужності сигналу до потужності шуму. Формула показує теоретичну межу: скільки біт за секунду можна передати каналом без помилок за наявності шуму, незалежно від конкретного методу кодування. Це фундаментальний результат для проєктування систем зв'язку — від телефонних ліній до Wi-Fi та супутникового зв'язку.
Який зв'язок Шеннона з цифровими схемами? +
У магістерській дисертації 1937 р. «A Symbolic Analysis of Relay and Switching Circuits» (MIT) Шеннон показав, що булева алгебра (з операціями «і», «або», «не» — 0 і 1) може описувати й проєктувати релейні перемикальні схеми. Це стало теоретичною основою всієї цифрової електроніки: логічні елементи в кожному сучасному процесорі спираються саме на цей принцип поєднання булевої логіки з фізичними перемикачами.
Яку роль Шеннон відіграв у криптографії? +
Під час Другої світової війни Шеннон працював у Bell Labs над секретними системами зв'язку та математичними основами криптографії. У розсекреченій згодом праці «Communication Theory of Secrecy Systems» (1949) він математично довів, що одноразовий блокнот (one-time pad) є теоретично нерозкривним шифром за умови, що ключ використовується лише один раз, є повністю випадковим і не коротшим за повідомлення. Ця робота заклала основи сучасної теоретичної криптографії.
Внесок у науку
Цей вчений залишив глибокий слід у розвитку науки та технологій. На цій сторінці зібрані ключові відкриття, цитати та концепції, пов'язані з його науковою спадщиною.
Цей піонер інформатики заклав теоретичні або практичні основи обчислень, що використовуються у кожному процесорі та програмі сьогодні.
Чому важливо знати цього вченого
Розуміння внеску видатних вчених допомагає зрозуміти логіку розвитку науки. Їхні методи мислення, підходи до проблем і наукова стійкість — безцінний приклад для кожного дослідника і студента.