«Фундаментальна проблема комунікації — відтворення в одній точці повідомлення, відправленого з іншої»
1948
«Математична теорія комунікації»
біт
Ввів термін «bit» (binary digit)
H(X)
Ентропія Шеннона — міра інформації
1937
Булева алгебра в релейних схемах
Ентропія Шеннона — кількість інформації
У 1948 р. Шеннон опублікував роботу, яку Джон Пірс назвав «Magna Carta інформаційного віку». Центральне поняття — ентропія як міра невизначеності (інформаційного змісту) джерела повідомлень:
Ентропія Шеннона:
H(X) = −Σᵢ pᵢ · log₂(pᵢ) [біт/символ]
де pᵢ = імовірність i-го символу алфавіту.
Властивості:
H ≥ 0 (завжди невід'ємна)
H = 0 ↔ один символ має p = 1 (немає невизначеності)
H максимальна при рівних p (рівноімовірний алфавіт)
H_max = log₂(N) для N рівноімовірних символів
Приклад: чесна монета — максимальна ентропія H = 1 біт. «Нечесна» монета (p=0,99) — H ≈ 0,08 біт. Інформація — це кількість здивування.
Теорема про ємність каналу (Шеннон–Хартлі)
Фундаментальна межа для пропускної здатності каналу зв'язку з шумом Гаусса:
C = B · log₂(1 + S/N) [біт/с]
де B — смуга пропускання [Гц]
S/N — відношення сигнал/шум (лінійне, не дБ)
Приклад — телефонний канал:
B = 3400 Гц, SNR = 1000 (30 дБ)
C = 3400 · log₂(1001) ≈ 33 900 біт/с
Сучасний WiFi 802.11ax (6 ГГц):
B = 160 МГц, SNR = 300 → C ≈ 2,3 Гбіт/с
Теорема кодування Шеннона: якщо швидкість передачі R < C, то існує код, що забезпечує передачу з довільно малою ймовірністю помилки. Нижче C — можна, вище C — фізично неможливо.
Взаємна інформація та канальна діаграма
Взаємна інформація I(X;Y):
I(X;Y) = H(X) − H(X|Y) = H(Y) − H(Y|X)
= H(X) + H(Y) − H(X,Y)
Для бінарного симетричного каналу (BSC) з помилкою p:
H(Y|X) = H_b(p) = −p·log₂p − (1−p)·log₂(1−p)
I(X;Y) = 1 − H_b(p) (при рівноімовірному вході)
p = 0,1 → I = 1 − 0,469 = 0,531 біт/символ
Булева алгебра в цифрових схемах — 1937
У своїй магістерській роботі в MIT (1937) 21-річний Шеннон показав, що релейні електричні схеми можна описувати і проектувати за допомогою булевої алгебри (0/1, AND/OR/NOT). Це стало підвалиною цифрової електроніки і комп'ютерів.
Булевий вираз → схема:
A AND B ↔ послідовне з'єднання реле
A OR B ↔ паралельне з'єднання реле
NOT A ↔ нормально замкнений контакт
Закони де Моргана:
NOT(A AND B) = (NOT A) OR (NOT B)
NOT(A OR B) = (NOT A) AND (NOT B)
Вклад у криптографію
Під час Другої світової Шеннон працював у секретному підрозділі Bell Labs. Його секретний звіт «Теорія комунікацій секретних систем» (1945, розсекречений 1949) заклав математичні основи сучасної криптографії.
Визначення абсолютно стійкого шифру (one-time pad):
H(K) ≥ H(M)
де H(K) — ентропія ключа, H(M) — ентропія відкритого тексту.
При H(K) = H(M) і незалежному ключі: шифр є абсолютно
стійким (теорема Шеннона про досконалу таємність).
Шеннон — людина-легенда
Крім наукових здобутків, Шеннон відомий як ексцентричний геній: їздив на одноколісному велосипеді по коридорах Bell Labs, жонглював, будував механічних мишей-лабіринтоходців і «машину Тезея» — електронний пристрій, що навчається. Кажуть, він вигадував більше ніж встигав публікувати.
Хронологія
1916Народився в Петоскі, Мічиган, США. Захоплювався механікою і радіозв'язком.
1936Закінчив Університет Мічигану (математика і електроінженерія). MIT — аспірантура.
1937Магістерська дисертація: булева алгебра для релейних схем. Визнана «найважливішою магістерською роботою XX ст.»
1940Робота в Bell Telephone Laboratories (до 1956).
1945Секретний звіт з теорії криптографії. Зустрів Аланa Тюрінга — два генії обговорювали мислення машин.
1948Публікація «Математична теорія комунікації» — народження теорії інформації.
1949Книга «Математична теорія комунікацій» (спільно з Вісом Вівером).
1950Стаття «Програмування комп'ютера для гри в шахи» — перший алгоритм шахових програм.
1956Переїхав до MIT, де працював до 1978 р.
1985Несподівано «з'явився» на конференції IEEE з теорії інформації — зал аплодував стоячи.
2001Помер у Медфорді, Массачусетс, від хвороби Альцгеймера.
Внесок у науку
Цей вчений залишив глибокий слід у розвитку науки та технологій. На цій сторінці зібрані ключові відкриття, цитати та концепції, пов'язані з його науковою спадщиною.
Термодинаміка пояснює теплові процеси і визначає ефективність енергетичних систем.
Чому важливо знати цього вченого
Розуміння внеску видатних вчених допомагає зрозуміти логіку розвитку науки. Їхні методи мислення, підходи до проблем і наукова стійкість — безцінний приклад для кожного дослідника і студента.
Часті запитання (FAQ)
Які головні відкриття зробив цей вчений?
Ключові відкриття та внески вченого в науку детально описані на цій сторінці. Там ви знайдете опис основних теорій, рівнянь та концепцій, названих на честь цього науковця, а також їх вплив на розвиток науки загалом.
Де вивчав та де працював вчений?
Освіта та наукова кар'єра вченого описані в розділі «Біографія». Більшість видатних науковців здобули освіту у провідних університетах Європи та світу і зробили свої відкриття під час роботи в університетах або наукових інституціях.
Які закони, формули або теореми носять ім'я цього вченого?
На сторінці перелічені основні наукові результати, названі на честь вченого: закони, теореми, рівняння, методи та ефекти. Кожен із них пов'язаний з відповідними матеріалами та калькуляторами на нашому сайті.
Яке значення має спадщина цього вченого для сучасної науки?
Праці видатних вчених, представлених на сайті, заклали фундамент сучасної математики, фізики, хімії та інформатики. Їхні відкриття досі використовуються в науці, інженерії, медицині та технологіях. Сторінка показує, як давні теорії знаходять нові застосування у XXI столітті.
Де знайти задачі та приклади, пов'язані з роботами цього вченого?
На сайті calculator.party є тренажери, розв'язані задачі та калькулятори, що базуються на теоріях і формулах цього вченого. Відповідні посилання наведено в кінці сторінки біографії. Також скористайтеся пошуком по сайту для знаходження матеріалів за ім'ям вченого.