Клод Шеннон
Что такое информация? Оставляя в стороне вопрос о содержании этого по нятия, Шеннон показал, что это измеримая величина: количество информа ции, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потен-циал информации в системе сообщений как ее “энтропию”. В термодинами ке это понятие означает степень случайности (или, если угодно, “переме-шанности”) системы. (Однажды Шеннон сказал, что понятием энтропии ему посоветовал воспользоваться математик Джон фон Нейман, указавший, что, т. к. никто не знает, что это такое, у Шеннона всегда будет преимуще-ство в спорах, касающихся его теории.)
Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: на-пример, “орел” — “решка”, или “да” — “нет”. Бит можно представить как или 0, или как присутствие или отсутствие тока в цепи.
На этом математическом фундаменте Шеннон затем показал, что любой ка-нал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона,
Каким образом можно приблизиться к пределу Шеннона? Первый шаг за-ключается в том, чтобы воспользоваться избыточностью кода. Подобно тому как влюбленный мог бы лаконично написать в своей любовной записке “я лбл в”, путем эффективного кодирования можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных ме тодов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.
Идеи Шеннона были слишком провидческими, чтобы иметь немедленный практический эффект. Схемы на вакуумных электронных лампах просто не могли еще вычислять сложные коды, требовавшиеся для того, чтобы при близиться к пределу Шеннона. На самом деле только в начале 70-х годов с появлением быстродействующих интегральных микросхем инженеры начали в полной мере пользоваться теорией информации.
Все свои мысли и идеи, связанные с новой наукой — теорией информации, Клод Шеннон изложил в монографии “Математическая теория связи”, опубликованной в 1948 году.
Теория информации, помимо связи, проникла также и в другие области, в том числе в лингвистику, психологию, экономику, биологию и даже в искусство. В подтверждение приведем, например, факт: в начале 70-х годов в журнале “IEEE Transactions on Information Theory” была опубликована редакционная статья под названием “Теория информации, фотосинтез и религия”. С точки зрения самого Шеннона применение информационной теории к биологическим системам вовсе не является таким уж неуместным, поскольку, по его мнению, в основе механических и живых систем лежат общие принципы. Когда его спрашивают, может ли машина мыслить, он отвечает: “Конечно, да. Я машина и вы машина, и мы оба мыслим, не так ли?”