Шеннон, Клод: биография
Статья «Математическая теория связи»
Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Перед написанием статьи Шеннон ознакомился с работами Хартли и Найквиста. В статье Шеннон обобщил их идеи, ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения M {\displaystyle M} , Хартли и Найквист предлагали использовать логарифмическую функцию I = log ( M ) {\displaystyle I=\log \left(M\right)} .
Шеннон разделил системы связи на несколько частей следующим образом:
- Источник информации
- Передатчик
- Канал
- Приемник
- Пункт назначения
Шеннон группировал системы связи в три категории: дискретные, непрерывные и смешанные, причем утверждая, что дискретный случай — основа остальных двух, но имеет большее применение.
Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Шеннон стал рассматривать источник сообщений как множество всех возможных сообщений, а канал — как множество всевозможных шумов.
Шеннон ввел понятие энтропии, аналогичное энтропии из термодинамики, которое является мерой неопределенности информации. Также Шеннон определил бит, как количество полученной информации (или уменьшенной энтропии) при нахождении ответа на вопрос, в котором возможны только два варианта ответа (например, «да» или «нет»), причем оба — с одинаковой вероятностью (если нет — то количество полученной информации будет меньше одного бита).
Первая теорема в его статье описывает связь по зашумленному каналу следующим образом:
Пусть источник сообщений имеет энтропию H {\displaystyle H} (бит на символ), а C {\displaystyle C} — пропускная способность канала (бит в секунду). Тогда возможно такое кодирование информации, при котором средняя скорость передачи через данный канал будет равняться C / H − ϵ {\displaystyle C/H-\epsilon } символов в секунду, где ϵ {\displaystyle \epsilon } — сколь угодно малая величина. Дополнительно, средняя скорость передачи данных не может быть больше C / H {\displaystyle C/H}
Главная идея этой теоремы состоит в том, что количество информации, которое возможно передать, зависит от энтропии, или, другими словами, случайности сообщений источника. Следовательно, основываясь на статистической характеристике источника сообщений, возможно кодировать информацию так, чтобы достичь максимальную скорость, которую позволяет достичь канал, т.е. желаемую пропускную способность канала. Это было революционное утверждение, т.к. инженеры ранее полагали, что максимум информации исходного сигнала, которое можно передать через среду зависит от таких факторов, как, например, частота, но никак не свойства сигнала.
Вторая теорема Шеннона описывает связь в зашумленном канале. Шеннон утверждает:
Пусть источник сообщений имеет энтропию H {\displaystyle H} на одну секунду, а C {\displaystyle C} — пропускная способность канала. Если H ≤ C {\displaystyle H\leq C} , то возможно такое кодирование информации, при котором данные источника будут переданы через канал со сколь угодно малым количеством ошибок. Если H > C {\displaystyle H>C} , то возможно кодирование, при котором неоднозначность полученной информации будет меньше чем H − C + ϵ {\displaystyle H-C+\epsilon } , где ϵ {\displaystyle \epsilon } — сколь угодно малая величина. Дополнительно, не существует методов кодирования, которые дадут неоднозначность меньше чем H − C {\displaystyle H-C} .
