Шеннон, Клод: биография

Идея, которую высказал Шеннон, заключается в том, что не важно, как «шумит» канал, все равно существует способ кодирования, позволяющий безошибочно передать информацию через канал (пока выполняется H < C {\displaystyle H<C} ). И эта идея является революционной, поскольку люди до этого считали, что существует какой-то порог значения шума в канале, что передача желаемой информации становится невозможна.

Он вывел формулу для скорости передачи информации источником сообщений R {\displaystyle R} и для пропускной способности канала C {\displaystyle C} , размерность каждой скорости — бит в секунду. Как следствие из предыдущей теоремы, верно следующее утверждение:

Пусть R {\displaystyle R} — скорость передачи информации источником сообщений, а C {\displaystyle C} — пропускная способность канала. Тогда R < C {\displaystyle R<C} , и что возможно такое кодирование информации, при котором количество ошибочных битов в единицу времени будет меньше любой заранее выбранной положительной константы ϵ {\displaystyle \epsilon } . В его доказательстве фигурирует множество всевозможных кодирований сообщений источника в потоки бит, и он показал, что случайно выбранное из этого множества кодирование будет обладать желаемым указанным выше свойством с высокой вероятностью

.

Другими словами: любой канал с шумом характеризуется максимальнойскоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале.

После опубликования этой статьи ученые старались найти такие кодирования, которые работают так же хорошо, как и «случайное кодирование Шеннона». Конечно же, в настоящее существуют кодирования, дающие пропускную способность, близкую к пределу Шеннона.

Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ телевидения в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из СССР и США (СССР — Пинскер, Хинчин, Добрушин, Колмогоров; США — Галлагер, Вольфовиц, Файнстейн) дали строгую трактовку изложенной Шенноном теории.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.