Дж. Пирс
СИМВОЛЫ
СИГНАЛЫ
ШУМЫ
ЗАКОНО МЕРНОСТИ И ПРОЦЕССЫ
ПЕРЕДАЧИ ИНФОРМАЦИИ
Ϊ

КНИГА ПИРСА
ПРЕДНАЗНАЧЕНА ДЛЯ ВСЕХ, КОГО
ВОЛНУЮТ ПУТИ И СУДЬБЫ
НАУЧНЫХ ДОСТИЖЕНИЙ.
С ИНТЕРЕСОМ, А ВОЗМОЖНО,
II С ПОЛЬЗОЙ ЕЕ МОЖЕТ
ПРОЧЕСТЬ МАТЕМАТИК, ФИЗИК,
ХИМИК, БИОЛОГ. ВЕРОЯТНО,
II ЛИНГВИСТ. ПСИХОЛОГ,
МУЗЫКАНТ ИЛИ ХУДОЖНИК
ВЫЯСНЯТ, УДОВЛЕТВОРИТ ЛИ
ШЕННОНОВСНАЯ ТЕОРИЯ ПН·
ФОРМАЦИИ ИХ ЗАПРОСЫ.
ВОЗНИКАЮЩИЕ ПРИ
РЕШЕНИИ ТОЙ ИЛИ ИНОЙ
ИНФОРМАЦИОННОЙ ПРОБЛЕМЫ.
СПЕЦИАЛИСТ В ОБЛАСТИ ТЕ-
ЧГ1Ш И ТЕХНИКИ СВЯЗИ НЕ
ОТКАЖЕТ СЕБЕ В
УДОВОЛЬСТВИИ ПОСПОРИТЬ С УМНЫМ
И ЗАДИРИСТЫМ АВТОРОМ
а выяснить его точку
ЗРЕНИЯ НА НЕКОТОРЫЕ
ВОПРОСЫ.
ДАЖЕ ЛЮБОЗНАТЕЛЬНЫЕ
ШКОЛЬНИКИ СМОГУТ ВО
МНОГОМ РАЗОБРАТЬСЯ И
ПОЛУЧИТЬ БОЛЬШОЕ
УДОВОЛЬСТВИЕ ОТ ПРИОБЩЕНИЯ К
САМЫМ СОВРЕМЕННЫМ
НАУЧНЫМ ПРОБЛЕМАМ.

Дж-ITupc
СИМВОЛЫ
СИГНАЛЫ
ШУМЫ

ИЗДАТЕЛЬСТВО
«МИР»

J. JR. Pierce
SYMBOLS, SIGNALS and NOISE:
THE NATURE AND PROCESS
OF COMMUNICATION
HUTCHINSON OF L OND OJV
1962

Дою. Пирс
СИМВОЛЫ, СИГНАЛЫ, ШУМЫ
ЗАКОНОМЕРНОСТИ И ПРОЦЕССЫ
ПЕРЕДАЧИ ИНФОРМАЦИИ
ИЗДАТЕЛЬСТВО
«М И Р»
м осмва · 1967

УДК 519.92
Перевод с английского
Б. J5. ТОПЕЛЬБЕРГА
Под редакцией
д-ра техн. наук
Проф. Б. Я. МИТЯШЕВА
Редакция литературы по физике
Индекс 2-2-1

ПРЕДИСЛОВ ШЕ
РЕДАКТОРА
ПЕРЕВОДА
Перед вами научно-популярная книга, которая
рассказывает о возникновении, развитии, методах и
достижениях современной математической теории связи,
называемой еще теорией информации. Автор книги американский
ученый Джон Пирс хорошо известен в среде специалистов
по. его научным работам в области радиоэлектроники и ее
приложений. Вместе с тем он зарекомендовал себя и как
талантливый популяризатор науки. В 1961 году в
русском переводе появилась его книга «Электроны, волны
и сообщения» (Физматгиз, М., 1961), встреченная нашими
читателями с большим интересом, а сейчас готовится
перевод его новой книги «Квантовая электроника» (изд-во
«Мир»). Научно-популярные книги Джона Пирса
обладают тем блеском, который придает хорошее знание
предмета, не покидающее автора чувство юмора и присущее
ему педагогическое мастерство.
Книга «Символы, сигналы, шумы»— дань научному
нодвигу Клода Шеннона, сформулировавшего в 1948 году
основы математической теории связи в достаточно общем
виде и.получившего первые в этой областц фундаменталь-
5

ные результаты. К этому времени электрическая и
радиосвязь глубоко проникли в нашу жизнь. Ученые и
инженеры активно и настойчиво разрабатывали все более
эффективные и надежные средства связи, и перед ними
возникали технические и теоретические проблемы,
которые долгое время не находили разрешения. Но чтобы
оценить достигнутое и найти пути совершенствования,
требовался достаточно широкий и общий подход к проблеме.
Джон Пирс начал свою научную деятельность именно
в области техники связи, и весь процесс становления
математической теории связи происходил у него на глазах
и при его непосредственном участии. Трудности четкой
формулировки и решения проблемы так велики, а
найденный Шенноном путь столь эффектен и столь много обещает,
что автор не перестает восхищаться достигнутым. Это
восхищение он стремится передать и читателю.
Современная теория связи обладает общностью,
присущей любой математической теории. Это отразилось
в ее другом названии — теория информации. Как
математическая теория, теория информации приобрела и
самостоятельное значение, независимое от техники связи.
Однако термину «информация» в этой теории придается
конкретное содержание, допускающее введение
количественной меры. Именно поэтому основной областью
приложений результатов теории остается техника связи.
Далеко не все, что может быть связано со словом
информация, подвластно шенноновской теории. Недооценка
или непонимание этого обстоятельства привели к излишне
эмоциональному приему новой теории при ее появлении.
Все мы в чем-то информированы и передаем эту
информацию другим, и нам очень приятно сознавать, что на этот
счет есть теория. Когда же возлагаемые на теорию
надежды в большинстве не сбылись, она подверглась
поспешной и столь же незаслуженной критике. Автор книги
прилагает немало усилий, чтобы читатель оценил теорию
информации по достоинству такой, какова она есть, понял
б

бы ее основы, методы, достижения и возможности. Он
излагает и свою точку зрения на возможности
приложений теории в таких областях, как лингвистика,
психология и искусство. Здесь теория информации предстает
в добротном изложении, эффективно освобождающем
от иллюзий.
Книга написана в свойственной Джону Пирсу манере.
Это математическая теория связи в популярном
изложении, а не только разговоры о ней. Для чтения специальных
знаний в области техники связи не требуется, необходимо
лишь настойчивое желание понять и разобраться.
Предполагается, что читатель имеет необходимое образование,
но при этом имеется в виду, что то, чему учат в школе,
легко забывается. Автор беседует с читателем, заставляя
его думать, возражать и, наконец, логически приходить
к основным утверждениям теории. Делается это мягко,
но настойчиво. Порой автор тащит читателя почти
насильно, но затем читатель у^ке сам прочитывает увлеченно
страницу за страницей, которые будят любопытство и
манят неизведанным. Не нужно удивляться наличию
повторений. Благодаря им нужный материал всегда под рукой,
а отдельные главы приобретают известную
самостоятельность.
Книга предназначена для всех, кого волнуют пути
и судьбы научных достижений. С интересом, а возможно,
и с пользой ее может прочесть математик, физик, химик,
биолог. Вероятно, и лингвист, и психолог, и музыкант или
художник выяснят, удовлетворит ли шенноновская теория
информации их запросам, возникающим при решении той
или иной информационной проблемы. Специалист в
области теории и техники связи не откажет себе в удовольствии
поспорить с умным и задиристым автором и выяснить
его точку зрения на некоторые вопросы. Даже
любознательные школьники смогут во многом разобраться и
получить большое удовольствие от приобщения к самым
современным научным проблемам.
7

Еще в рукописи книгу читали многие крупные
специалисты по теории информации, в том числе и ее
основоположник Клод Шеннон. Автор получил множество
советов и замечаний, выслушал критику и возражения. Многое
он учел и принял, и, однако, книга сохранила цельность
и оригинальность. Некоторые высказывания и
рассуждения автора и у наших читателей могут вызвать желание
поспорить, возразить и не согласиться. Этому
способствует полемический, критичный стиль самого автора, так
захватывающий читателя, что настороженность и
здоровые сомнения становятся привычными, и ему уже не
составит труда не принимать на веру безоговорочно все
утверждения автора, а составить собственное мнение.
Профессор Б. Митяшев

ОТ АВТОРА
Предложение Джеймса Ньюмена написать книгу
о математической теории связи меня очень обрадовало.
Ведь все мои научные работы возникли под влиянием
того или иного аспекта проблемы связи, и мне,
естественно, хотелось поделиться тем, что на мой взгляд интересно,
а что и спорно в этой важной области науки.
Такую книгу вряд ли можно было бы написать, не
появись в 1948 году работа Шеннона «Математическая
теория связи». Многие проблемы связи, годами
волновавшие инженеров, нашли в ней свое логическое
завершение. На базе этой теории, которую называют еще теорией
информации, на месте многих разрозненных проблем
и идей, взаимозависимость которых не была как следует
осмыслена, возникла широкая, но четко определенная
область. И мне хочется здесь отдать Шеннону должное.
Мне кажется, что излагать математическую теорию
связи следует именно в том виде, как ее формулирует
Шеннон. Наш рассказ о теории информации должен быть
шире, чем у Шеннона, в том смысле, что мы здесь должны
поговорить о правильном ж неправильном применении
9

этой теории в различных областях науки и техники,
но в отличие от Шеннона мы должны меньше использовать
математику.
Вот тут нас и подстерегает трудность. Меньше
математики — это можно, а вот совсем исключить математику
нельзя. Ведь теория информации — теория
математическая. Опираясь на несколько основных положений,
которые определяют, с чем она будет иметь дело, теория делает
дальнейшие логические выводы. В математических
теоремах, одновременно удивительных и важных, и
заключается вся прелесть теории информации. Говорить же
о ней, не раскрывая ее истинного математического
содержания,— все равно, что бесконечно долго рассказывать
о замечательном композиторе, не дав ни разу послушать
звуков его творений.
Как же мне следовало поступить? Мне казалось, что
книгу нужно сделать самостоятельной, т. е. такой, чтобы
математические рассуждения в ней можно было понять,
не прибегая к другим книгам и не создавая особого
раздела, в котором были бы изложены некоторые разделы
элементарной математики, скажем алгебра. Означало ли это,
что я должен был вообще избегать математических объдо.-
нений? Не обязательно, но любые математические
выражения нужно было объяснить наиболее понятным способом.
Я попытался сделать это и в тексте, и в приложении.
Пользуясь и текстом книги, и приложением, даже не
очень подготовленный читатель сможет преодолеть
основные трудности. Но какую степень трудности
математических доказательств можно допустить? Я решил,
сознательно идя на то, что будут упущены некоторые очень
важные моменты, придерживаться изложения более
легкого по сравнению, скажем, с наиболее трудными местами
книги Ньюмена «Мир математики». В очень трудных
местах я просто указывал основные свойства
используемого математического выражения и не вдавался в его
сущность.
10

И все же эта книга содержит разделы, трудные для
читателя, плохо знающего математику. Таким читателям
я советую просто бегло проглядеть эти разделы,
попытавшись уловить все, что удастся. А потом, прочтя всю
книгу, читатель сам поймет, зачем понадобилось
включать в книгу эти трудные разделы. И тогда, если он
захочет, он сможет вернуться к ним снова, чтобы теперь уже
по-настоящему понять их. Но если бы я не включил эти
трудные разделы в книгу, а читатель захотел бы понять,
откуда все получается, он был бы поставлен в тупик.
Насколько мне известно, другие книги по
математической теории связи либо слишком примитивны, либо
слишком трудны. Я мог бы также заметить, что отдельные
вопросы в них изложены нечетко, а некоторые и просто
неверно.
Продолжая в том же духе, я, вероятно, вызову
справедливый вопрос: да стоит ли вообще теория
информации стольких хлопот? Я могу только ответить, что в той
же степени, в какой важен весь мир науки и техники,
важна и эта теория, так как она составляет значительную
часть этого мира. От того, что именно любознательный
читатель захочет узнать об этом мире и о теории
информации, зависит, стоит ли она того времени, которое
потребуется затратить, чтобы получить какое-то представление
о ней. В результате математическая теория связи должна
предстать перед читателем не чем-то совершенно чуждым
и недоступным пониманию, но и не слишком упрощенным,
о чем можно рассказать без труда в нескольких словах.
Написать эту книгу было нелегким делом. Она,
конечно, никогда не увидела бы свет, если бы не работа Клода
Шеннона, который не только вдохновил меня на этот
труд, но прочел рукопись и порекомендовал сделать
несколько существенных изменений. Давид Слепян еще
более энергично вытряхнул из меня привычку ошибаться
и путаться. Е. Гильберт предостерег от ошибок в
некоторых примерах, а Милтон Баббит внес успокоение в мою
11

душу относительно содержания главы «Теория
информации и искусство». П. Бриккер, Г. Дженкинс и Р. Шепард
консультировали меня в области психологии, однако
ту точку зрения, которую я в конце концов принял,
приписывать им ни в коем случае не следует. М. Мэтьюз
составил программу для вычислительной машины в
главе 11. Б. Манделброт помог мне в работе над главой 12.
Дж. Руньон внимательно прочел рукопись, а Э. Уолмен
обнаружил ужасное количество ошибок в тексте и внес
много ценных предложений. Читатель обязан Джеймсу
Ньюмену тем, что я смог дать некоторые выводы в конце
отдельных, глав, а также тем, что хоть напоследок
я сделал попытку немного яснее изложить некоторые
трудные места. Но, кроме всего, я чрезвычайно обязан
Ф. Кастелло, которая сумела выйти с честью из того
хаоса, который царил в период подготовки рукописи
и обработки рисунков.

Глава первая
МИР
и
ТЕОРИЯ
В 1948 году Клод Шеннон опубликовал статью под
названием «Математическая теория связи»; в 1949 году
она появилась уже в виде книги. До этого отдельные
ученые время от времени пытались создать
математическую теорию связи. А сейчас, двенадцать лет спустя, эта
теория, или теория информации, как ее иногда
называют, -является признанной областью исследования.
По математической теории связи опубликовано довольно
много книг и проведено несколько международных
симпозиумов и конференций. Институт радиоинженеров
13

имеет в своем составе группу специалистов по теории
информации, чьи ученые «Труды» (Transactions)
появляются ежеквартально, а журнал «Information and Control»
посвящен главным образом математической теории связи.
Все мы говорим слова «связь» и «информация» и едва ли
недооцениваем их значение. Современный философ А. Айер
толкует о большом значении и важности связи в нашей
жизни. По его словам, мы передаем не только
информацию, но и «знания, ошибки, мнения, идеи, опыт,
желания, приказы, эмоции, чувства, настроения. Можно
передать тепло и движение, а также силу, слабость
и болезнь». Он приводит и другие примеры и
рассуждает о разнообразных проявлениях и загадочных
свойствах связей в человеческом обществе.
Поскольку связь так разнообразна и важна,
правильная и полезная теория связи, естественно,
чрезвычайно ценна для нас.
Если же мы к слову теория добавим слово
математическая со всем его строгим и магическим смыслом, то
теория становится почти неотразимо привлекательной. Быть
может, всего несколько формул помогут решить все наши
проблемы связи и мы из рабов дезинформации станем
хозяевами информации. К сожалению, наука идет иным
путем. Около 2300 лет назад другой философ, Аристотель,
попытался в своей «Физике» дать определение движению,
понятию столь же универсальному, как и связь.
Аристотель определил движение как осуществление
(поскольку оно потенциально существует) того, что
потенциально существует. Он включил в понятие
движения увеличение и уменьшение того, что может быть
увеличено или уменьшено, что может возникнуть и
исчезнуть и может быть создано. Он говорил о трех
категориях движения: о величине, воздействии и месте. По его
словам, он нашел столько типов движения, сколько
имеется значений слова «быть».
Здесь мы видим движение во всем многообразии.
Возможно, это многообразие нас несколько смущает,
так как на разных языках связь слов различна, и мы
не обязательно свяжем движение со всеми изменениями,
о которых говорил Аристотель.
Однако какой же загадочной была, наверно, для
последователей Аристотеля сущность движения! Она
оставалась загадкой свыше двух тысячелетий, пока Ньютон
14

Не провозгласил закойы, йа основе которых до сих пор
инженеры конструируют машины, а астрономы изучают
движения звезд, планет и спутников. Правда, позднее
физики обнаружили, что законы Ньютона — это частный
случай более общих законов и что применимы они только
при скоростях, много меньших скорости света, и при
масштабах явлений, намного больших масштабов
явлений в атоме. И все же законы Ньютона —живая часть
нашей физики, а не памятник истории. И поскольку
движение — важная часть нашего мира, мы, конечно,
должны знать законы движения Ньютона. Вот они:
1. Тело продолжает оставаться в покое или двигаться
с постоянной скоростью по прямой линии до тех пор, пока
на него не подействует сила.
2. Изменение скорости тела происходит в направлении
действия силы, а величина изменения пропорциональна
силе, действующей на тело, умноженной на время, в
течение которого действует сила, и обратно пропорциональна
массе тела.
3. Всякий раз, когда первое тело прикладывает силу
ко второму телу, второе тело прикладывает равную и
противоположно направленную силу к первому телу.
К этим законам Ньютон добавил всемирный закон
тяготения:
4. Две частицы вещества притягивают друг друга
с силой, действующей по линии соединения, причем эта
сила пропорциональна произведению масс частиц и
обратно пропорциональна квадрату расстояния между ними.
Законы Ньютона произвели революцию в науке
и в философии. Используя их, Лаплас показал, что
Солнечная система представляет собой вполне объяснимый
механизм. Они послужили основой самолетостроения
и ракетостроения и такой науки, как астрономия. Но этих
законов оказалось недостаточно, чтобы ответить на многие
вопросы, связанные с понятием движения, которые
рассматривал Аристотель. Законы Ньютона решили проблему
движения в его формулировке, но не движения во всех
15

значениях, какие могли быть приданы этому слову в
Греции в IV столетии до нашей эры или в Англии спустя
двадцать столетий.
Наша речь приспособлена к нашим повседневным
нуждам, а быть может, к понятиям наших предков. Мы
не можем для каждого отдельного · предмета и каждого
отдельного понятия иметь разные слова. Если бы это
было возможно, мы накопили бы такое количество слов,
что общение между людьми стало бы немыслимым!
Чтобы возник язык вообще, необходимо, чтобы многие
вещи или многие явления назывались одним словом.
Вполне естественно говорить, что человек и лошадь
бегут (хотя мы предпочтем, пожалуй, сказать, что лошадь
скачет), бегут часы, бегут мысли, бежит ручей.
Сходство этих выражений обусловлено особенностями
нашего языка, а не сходством физических явлений,
которые этими выражениями описываются. Абсурдно было бы
искать некую простую, стройную и одновременно
полезную научную теорию бега, охватывающую и бег времени,
и бег мыслей. И, конечно, не менее абсурдной выглядела
бы попытка охватить одной теорией все виды движения,
рассмотренные Аристотелем, или все виды связи и
информации* открытые впоследствии учеными.
В повседневной речи мы употребляем слова так, как
нам это удобно. Науку, за исключением лингвистики,
не интересуют слова сами по себе и их взаимосвязь. Она
занимается более реальными вещами, например
исследованием человека и его деятельности, которые можно
объединить и понять. Такое понимание заключается в
способности видеть общую закономерность в сложных и, на
первый взгляд, различных явлениях (скажем, движение
планет и движение скользящего по льду фигуриста), а затем
описать их как можно проще и точнее.
Слова, используемые в таких научных описаниях, как
правило, берутся из повседневного словаря. Так, Ньютон
использовал слова: сила, масса, скорость и притяжение.
Но эти слова в науке приобрели особый, более узкий,
а часто даже новый смысл. Нельзя применять законы
Ньютона, рассуждая о силе обстоятельств, массе способов,
притягательной силе Бриджит Бардо. Точно так же слова
«связь» и «информация» можно говорить в разных случаях,
но это отнюдь не значит, что везде, где встречаются эти
слова, можно пользоваться математической теорией связи.
16

Правильная научная теория редко, если вообще это
бывает когда-нибудь, предлагает решение насущных
проблем. Почти не бывает, чтоб она давала ответы на все
наши многочисленные вопросы. Теория, как правило,
не обосновывает наши идеи и предположения, а обычно
полностью от них отказывается или, в лучшем случае,
оставляет их такими, какие они есть. Теория обычно
предлагает какой-либо новый и оригинальный способ
обобщения нашего опыта и указывает, какие выводы можно
из него сделать. Именно с этой точки зрения в этой книге
рассматривается математическая теория связи.
Когда из нашего опыта выделено то, что можно
обобщить, и когда это обобщение выполнено и сделаны
соответствующие выводы, только тогда мы имеем теорию
какого-либо вопроса. Так, на законах движения Ньютона
строится важная область теоретической физики,
называемая механикой. Сами законы — это еще не теория,
они составляют лишь ее основу, подобно тому как
аксиомы, или постулаты, составляют основу геометрии. В
теории содержатся не только предположения, но и
математическая обработка логических выводов, которые
необходимо следуют из этих предположений. Если теория
верна, то ее выводы, разумеется, должны правильно
отражать сложные явления природы, если же она неверна,
то ее выводы бесполезны.
Идеи и предположения определяют общность теории,
т. е. определяют, насколько широк круг явлений, к
которым она применима. Так, законы Ньютона, например,
имеют самый общий характер — они объясняют
движение планет, свойства маятника, поведение любых
механизмов и машин. Однако свойства радиоволн они не
объясняют.
Уравнения Максвелла * имеют самый общий
характер — они объясняют все (неквантовые) электрические
* В 1873 году Джеймс Клерк Максвелл впервые в своем труде
«Электричество и магнетизм» изложил и полностью объяснил
законы природы, связывающие электрическое поле, магнитное .поле
и электрический ток. Он показал, что должны существовать
электромагнитные волны (радиоволны), скорость распространения
которых равна скорости света. Позднее Герц обнаружил эти волны
экспериментально, а сейчас известно, что свет представляет собой
тоже электромагнитные волны. Уравнения Максвелла — это
математическая формулировка его теории электричества и магнетизма
и основа всей науки об электричестве.
17

явления. Одна из ветвей электротехники, называемая
теория цепей, занимается исследованием свойств
электрических цепей, состоящих из идеализированных
элементов трех видов: сопротивлений (устройств в виде катушек,
намотанных тонким плохо проводящим проводом, или
металлических или углеродных пленок, препятствующих
прохождению электрического тока), катушек
индуктивности (катушек, намотанных медным проводом, иногда
с сердечником из магнитного материала) и конденсаторов
(тонких металлических листиков, разделенных
диэлектриком — слюдой или пластмассой; первым конденсатором
была лейденская банка). Поскольку теория цепей
описывает лишь электрические свойства цепей, состоящих
из нескольких идеализированных элементов, то физики
считают, что она имеет менее общий характер, чем
уравнения Максвелла, которые охватывают электрические
свойства любых физических элементов и даже свойства
радиоволн.
~ Конечно, чем более общий характер имеет теория,
объясняющая широкий круг явлений, тем она сильнее
и лучше. Более общую теорию всегда можно применить
для исследования простых случаев. Вот почему физики
искали единую теорию поля, которая охватила бы и
законы механики, и законы гравитации, и все электрические
явления. На первый взгляд кажется, что все теории можно
расположить в порядке общности, по возможности
установив то место, которое занимает математическая теория
связи.
К сожалению, все не так-то просто. С одной стороны,
теория цепей имеет менее общий характер, чем
уравнения Максвелла, а с другой — более общий характер,
так как все математические выводы теории цепей
справедливы и для колебательных систем, составленных
из механических элементов, и для колебательных систем,
составленных из идеализированных электрических
элементов. Если применить теорию цепей к механике^ то
пружина будет соответствовать конденсатору, масса —
индуктивности, а амортизатор, или демпфер (какой
ставят на дверь, чтобы она не хлопала),— сопротивлению.
Теорию цепей можно было бы применить для объяснения
свойств механических систем, именно так она и
используется в акустике. Тот факт, что теория цепей появилась
в результате изучения идеализированных электрических
18

систем, скорее просто историческая случайность, а не
неизбежность.
Поскольку все математические результаты теории
цепей применимы как к механическим, так и к
электрическим идеализированным системам, то мы можем сказать,
что теория цепей в некотором смысле является более общей,
чем уравнения Максвелла, совсем неприменимые к
механическим системам. Но, с другой стороны, уравнения
Максвелла являются более общими, чем теория цепей,
так как они применимы ко всем электрическим системам,
а не только к определенному классу идеализированных
электрических цепей.
Полностью объяснить этот факт не представляется
возможным, поэтому придется просто допустить, что это
так. Все же мы попытаемся разобраться в этом
противоречии. Одни теории — чисто физические теории. К ним
относятся законы Ньютона и уравнения Максвелла.
Законы Ньютона имеют дело с явлениями механическими,
а уравнения Максвелла — с электрическими. Теория
цепей — чисто математическая теория. Использованные
в ней выражения могут иметь самый разнообразный
физический смысл. Эта теория может сказать много
интересного о различных физических явлениях, как
о механических, так и об электрических колебаниях.
Часто математическая теория представляет собой
лишь ветвь одной или нескольких физических теорий.
Она может быть изящным математическим изложением
некоторых вопросов какой-либо общей физической
теории. Именно таким изложением некоторых физических
свойств, общих и для механических, и для
электрических устройств, является теория цепей. В одном
из разделов математики — теории потенциала —
рассматриваются вопросы, одинаково важные для
исследования и электрических полей, и магнитных полей, и полей
тяготения, и даже, в известной степени, для аэродинамики.
Но не все математические теории берут свое начало
в физике. Есть теории, математические уже по своему
происхождению. При изучении материального мира мы
часто пользуемся такими теориями. Одной из них
является арифметика. Пусть имеется группа любых предметов
или объектов — яблок, собак или людей. Припишем
каждому предмету определенное число: одному —
единицу, другому — 2 и т. д. Если окажется, что первых
19

16 чисел достаточно для обозначения всех предметов
группы, то можно с уверенностью сказать, что эту группу
можно разделить на две равные части по 8 предметов
(ибо 16 : 2 = 8) и что эти предметы можно расположить
в виде квадрата — 4 ряда по 4 предмета (16 = 4 X 4).
Далее, если расположить предметы в один ряд,
то число способов, которыми это можно сделать,
будет равно 2 092 278 988 800, что соответствует
2 092 278 988 800 различным возможным
последовательностям целых чисел от 1 до 16. Если бы предметов
оказалось не 16, а 13, то нашу группу, очевидно, нельзя
было бы разделить ни на какое число равных групп,
так как 13 — число простое, и его нельзя представить
в виде произведения сомножителей. Может показаться,
что эти результаты совсем не зависят от свойств предметов.
Поскольку числами можно обозначать любые предметы,
постольку будут верны результаты сложения, вычитания,
умножения, деления чисел, а также результаты,
получаемые при расположении чисел в различной
последовательности. Связь между числами и предметами кажется
нам такой естественной, что мы легко можем упустить
из виду, что сама арифметика — теория математическая,
и ее, как и всякую математическую теорию, можно
применять лишь тогда, когда свойства чисел соответствуют
свойствам материального мира.
^Физики говорят, что можно сосчитать общее
количество элементарных частиц, например электронов, но
нельзя каждой частице приписать определенный номер,
так как частицы эти неразличимы в буквальном смысле.
Поэтому нельзя говорить и о расположении частиц в
различном порядке, тогда как с числами вполне можно это
сделать. Этот вывод очень важен для одной из областей
физики, называемой статистической механикой. Заметим
еще, что другая математическая теория, геометрия
Евклида, прекрасно служит топографам и
мореплавателям, но есть все основания полагать, что геометрия
Евклида не совсем точна, когда дело касается астрономических
явлений.
По каким же признакам можно классифицировать
теории? Теория может быть узкой или общей для той
области, где она используется. Теория еще может быть
строго физической или строго математической. Строго
физическая теория очень полно описывает некоторый
20

ограниченный круг физических явлений. Теория
становится более математической, или абстрактной, когда
она имеет дело с идеализированным классом явлений
или только с какой-то одной стороной явления. Законы
Ньютона — строго физические законы, так как с их
помощью можно полностью описать такие механические
явления, как движение планет и свойства маятника.
Теория цепей — более математическая теория, так как она
полезна при исследовании самых разнообразных
идеализированных физических явлений. Арифметика — сугубо
математическая и абстрактная наука. Она одинаково
управляется с одним общим свойством многих физических
объектов — наличием числового значения; для нее все
равно, какие объекты обладают этим свойством — собаки,
люди или электроны (вспомним, что электроны
неразличимы). Арифметика полезна даже при составлении
календарей.
Пользуясь нашими определениями, теорию
информации можно назвать теорией математической и общей.
Хотя эта теория возникла из изучения электрической
связи, она решает проблемы методами общими и
абстрактными. Пользуясь понятиями «выбор» и
«неопределенность», эта теория вводит универсальную единицу
измерения информации — бит. Один бит информации
получается в результате осуществления одной из двух
равновероятных возможностей, причем под этими
возможностями могут пониматься передаваемые сообщения или числа.
Теория информации и говорит нам, сколько битов
информации можно передать в секунду по идеальному и
неидеальному каналу связи в зависимости от их свойств. Теория
информации говорит, как измерить скорость, какой
источник сообщений, например говорящий или пишущий
человек, создает информацию. Она говорит, как лучше
представить, или как эффективнее закодировать,
сообщения от данного источника для передачи по данному
каналу, например по электрической цепи, а также
говорит нам, когда можно избежать ошибок при передаче.
Теория информации исследует вопросы в очень общем
и абстрактном виде, поэтому часто бывает трудно
использовать знания, которые она дает для решения конкретных
практических задач. Но именно благодаря абстрактной
математической форме эта теория имеет широкую область
примецения. Оца полезна в лингвистике, при изучении
91

электрической и механической передачи сообщений,
работы машин и, быть может, поведения людей. Кое-кто
из читателей, наверно, догадывается, что она очень важна
и для физики. Об этом мы поговорим попозже.
Но теория информации в том виде, в каком ее дал
Шеннон, в основном — математическая теория.
Основные положения ее формулируются на языке математики
и могут иметь самый различный физический смысл.
Пользоваться теорией информации могут и инженеры, и
психологи, и физики, однако она остается теорией
математической, а не физической, психологической или
инженерной.
Нелегко донести математическую теорию до широкой
публики. Поскольку теория информации есть теория
математическая, то было бы смешно утверждать, что о ней
можно рассказать, полностью избежав математики. Но
пусть наш читатель не пугается формул и уравнений, они
точно отображают те идеи, которые описываются и
словами. Чтобы помочь незнакомому с математикой
читателю правильно понять уравнения, я включил в книгу
приложение, в котором даны все математические
обозначения.
Я отдаю себе отчет в том, что часто со словом
«математика» в памяти всплывают малоприятные картины
умножения, деления, извлечения корней и наиболее горькие
минуты учебы в школе. Но такое представление о
математике — заблуждение, ибо главное в ней не разные
трюки и манипуляции с формулами, а теоремы и
доказательства. Возможно, читатель сталкивался с теоремами
π доказательствами в геометрии, а может, и совсем их
не встречал; как бы то ни было, самое важное и в чистой
математике, и в прикладной — это теоремы и
доказательства. И в теории информации важные выводы тоже
изложены в виде математических теорем, и это действительно
теоремы, ибо можно доказать их правильность.
Математики начинают с того, что вводят определение
и делают некоторые допущения, а затем с помощью
математических рассуждений или доказательств показывают
справедливость некоторых положений или теорем.
Именно так поступил Шеннон в своей работе «Математическая
теория связи». Правильность теоремы зависит от
обоснованности сделанных предположений и от строгости
рассуждений при ее доказательстве.
22

Фиг. 1.1.
Все это довольно отвлеченно. Сущность теоремы
и доказательства лучше всего, конечно,
продемонстрировать на примере. Но не могу же я требовать от
неискушенного читателя, чтобы он взял на абордаж трудные
теоремы теории информации и притом вникал во все
подробности. Чтобы действительно донять доказательства
таких теорем, даже для тех, кто имеет некоторую
математическую подготовку, потребуется немало времени
и сосредоточедного внимания. В лучшем случае мы только
можем попытаться уловить смысл и значение этих
теорем.
Я хочу здесь привести несколько примеров более
простых математических теорем и их доказательств.
Первый пример — игра, которая называется еекс.
Теорема, которую мы докажем, заключается в том, что игрок,
делающий первый ход, может выиграть.
В гекс играют на доске, состоящей, скажем, из 49
шестиугольных клеток (фиг. 1.1); на них можно ставить
фишки. Один из игроков играет черными фишками и
старается разместить их так, чтобы создать путь между
черными полями слева и справа, причем путь может быть
какой угодно извилистый. Другой игрок играет белыми
фишками и в свою очередь старается создать такой же
путь, но из белых фишек и между белыми полями сверху
и снизу. Ходы делаются игроками поочередно, и за один
ход разрешается доставить одну фишку. Конечно, один
23

из игроков должен начинать. Будем называть его первым
игроком.
Чтобы доказать, что первый игрок может выиграть,
покажем сначала, что игра обязательно закончится
победой одного из игроков.
Теорема I. Один из игроков обязательно выигрывает.
Рассуждение. В некоторых играх, скажем
в шахматы или в крестики-нолики, может случиться, что
никто не победит, т. е. игра закончится вничью. В других
играх, например в орлянку, один из игроков обязательно
выигрывает. Доказательство нашей теоремы будет состоять
в том, чтобы показать, что если каждая клетка доски
занята черной или белой фишкой, то должен быть
непрерывный путь из черных фишек между черными полями
или из белых фишек между белыми полями, причем
в первом случае не будет существовать никакого пути
из белых фишек между белыми полями, а во втором —
лз черных фишек между черными полями, т. е. должны
выиграть либо белые, либо черные.
Доказательство. Предположим, что каждая
клетка заполнена черной (на рисунке они соответственно
зачернены) или белой фишкой. Начнем от левого верхнего
угла доски (точка / на фиг. 1.2) и проследим границу
между белыми и черными шестиугольниками. Будем
двигаться так, чтобы черные были справа, а белые — слева.
Φ и е. 1.2.
24

""··.·»
Фиг. 1.3.
Проведенная таким образом граница будет менять
направление либо в углах на краю доски, либо в вершинах,
в которых сходятся стороны шестиугольников. И в том,
и в другом случае граница может менять направление
только двумя способами (фиг. 1.3). Либо справа будут
два черных шестиугольника, а слева один белый
(фиг. 1.3, а), либо слева будут два белых
шестиугольника, а справа один черный (фиг. 1.3, б). Отметим, что
в любом случае будет непрерывный черный путь справа
от границы и непрерывный белый путь слева от границы.
Отметим также, что ни в одном случае не может быть
самопересечения или слияния границы, так как через
вершину можно пройти только в одном направлении,
чтобы черное было справа, а белое — слева. Легко видеть,
что все сказанное относится и к границе между черными
полями и белыми шестиугольниками, и к границе
между белыми полями и черными шестиугольниками,
и к границе между черными и белыми
шестиугольниками. Таким образом, слева от границы должен
быть непрерывный путь из белых шестиугольников к
верхнему белому полю, а справа от границы — непрерывный
путь из черных шестиугольников к левому черному
полю. Граница не может иметь самопересечений,
следовательно, она не может кружить бесконечно, а в конце
концов достигнет либо черного, либо белого поля. Если
граница достигнет черного или белого поля и в соответствии
с нашим условием черное будет справа, а белое —- слева,
то в любом месте, за исключением точки // или точки ///,
границу можно продолжить, причем черное будет справа,
а белое — слева. Следовательно, граница достигнет либо
точки //, лдбо точки /77. Если граница достигнет точки //
U

(см. фиг. 1.2), то черные шестиугольники справа от
границы, соединенные с левым черным полем, соединятся
и с правым черным полем, а белые шестиугольники,
находящиеся слева от границы, соединятся только с верхним
белым полем, и черные выиграют. Невозможно, чтобы
победили одновременно и белые, так как непрерывная
цепь соприкасающихся черных фишек от левого поля
к правому помешает создать непрерывный путь из белых
фишек от верхнего поля до нижнего. Рассуждая так же,
легко видеть, что если граница достигнет точки ///, то
выиграют белые.
Теорема И. Игрок, делающий первый ход, может
выиграть.
Рассуждение. Слово может означает, что
существует способ выиграть, при условии, конечно, что
игрок сообразит, как это сделать. Способ выиграть
состоит в том, что нужно сделать определенный первый ход
(вполне возможно, по-видимому, сделать и иной первый
ход, но знать их все совершенно необязательно) и иметь
какую-то схему, формулу, инструкцию или рецепт
(называйте, как хотите), дающие возможность ответить
правильным ходом на ход противника на любом этапе игры. Если
первый игрок будет следовать этому рецепту, то он
выиграет независимо от того, какие ходы будет делать
противник.
Доказательство. Либо должен существовать
такой метод игры, следуя которому первый игрок
обязательно выиграет, либо независимо от того, как играет
первый игрок, его противник всегда может найти ход,
который не даст первому выиграть, т. е. выиграет второй
игрок. Предположим, что второй игрок действительно
имеет надежный рецепт для победы. Пусть первый игрок
сделает любой первый ход, а затем после первого хода его
противника применит рецепт, по предположению,
позволяющий второму игроку победить. Если первому игроку
на каком-то ходу потребуется поставить фишку на уже
занятую ранее клетку, пусть он поместит ее на любое
незанятое место. Так или иначе нужная клетка будет
занята. Таким образом, первый игрок имеет на доске
лишнюю фишку, ему она помешать не может, а
помешает лишь его противнику занять эту клетку.
Следовательно, первый игрок может занять клетки, согласно
20

рецепту, и должен выиграть. Это противоречит
первоначальному предположению, что может выиграть второй
игрок, и, следовательно, наше предположение неверно, т. е.
именно первый игрок должен иметь возможность выиграть.
Пуристы от математики едва ли сочтут эти
доказательства строгими. Еще одна любопытная деталь:
доказательство теоремы II не конструктивно. Иными словами, оно
не показывает первому игроку метод выигрыша, хотя
и говорит, что в принципе он может выиграть. Пример
конструктивного доказательства будет дан несколько
позже. А сейчас не мешало бы немного пофилософствовать
о том, что такое теоремы и зачем их нужно доказывать.
Строгая формулировка какой-либо задачи содержит
в себе предпосылки математических теорем. Как только
сформулированы правила игры в гекс, из них необходимо
вытекает, что первый игрок может выиграть, подобно
тому как, теоремы геометрии Евклида — необходимое
следствие ее аксиом.
При достаточном уме и интуиции можно сразу увидеть
правильность теоремы. Говорят, что молодой Ньютон
считал теоремы евклидовой геометрии очевидными и
терпеть не мог их доказывать.
Хотя обычно математики могут подозревать или
угадывать правильность того или иного положения, для
уверенности они всегда должны доказывать теоремы. Сам
Ньютон понял важность доказательства и, пользуясь
методами Евклида, вывел много новых теорем.
Безошибочное знание не приходит к математикам
сразу. Постепенно, шаг за шагом, трудолюбиво
доказывая одну теорему за другой, подходят они к знанию.
Более того, им приходится доказывать теоремы еще и для
того, чтобы убедить в их правильности других.
♦
У
.1
1
-*—дг—**|
Фиг. 1.4.
27
ГхП

Иногда математику приходится доказывать теорему
для того, чтобы самому убедиться в ее правильности, ибо
может показаться, что она противоречит здравому смыслу.
В качестве примера возьмем следующую задачу. Имеется
квадрат со стороной 1 см (фиг. 1.4). Любую точку этого
квадрата можно задать с помощью двух чисел: у (высота
точки над основанием квадрата) и χ (расстояние точки от
левой стороны квадрата). Каждое из этих чисел будет
меньше единицы. Пусть точка Ρ имеет следующие координаты:
χ =0,547000 ... (далее идет бесконечная последовательность
нулей).
у = 0,312000 ... (далее идет бесконечная последовательность
нулей).
Предположим, что точкам квадрата поставлены в
соответствие точки на отрезке прямой линии, причем каждой
точке на отрезке соответствует только одна точка квадрата,
а каждой точке квадрата— только одна точка на отрезке.
Если это так, то говорят, что получено взаимно
однозначное отображение квадрата на отрезок.
Теорема. Квадрат единичной площади можно
отобразить взаимно однозначно на отрезок единичной длины *.
Доказательство. Возьмем число у, и пусть
первая цифра этого числа будет первой цифрой числа х\
вторая — третьей, третья — пятой и т. д. Затем возьмем
число χ (расстояние точки Ρ от левого конца отрезка),
и пусть первая цифра этого числа будет второй цифрой
числа х\ вторая — четвертой, третья — шестой и т. д.
Пусть х' будет расстоянием точки Р' от левого конца
отрезка. Тогда точка Р' будет взаимно однозначным
отображением точки Ρ квадрата на отрезок.
Очевидно, что при изменении χ ж у изменится х\ а при
изменении х' изменится χ ж у. Каждой точке ж, у квадрата
соответствует только одна точка х' отрезка, а каждой
точке х' отрезка соответствует только одна точка х, у
квадрата, что отвечает требованию взаимно
однозначного соответствия **.
* Размер квадрата и отрезка значения не имеет, ограничение
сделано для удобства.
** При этом способе доказательства возникают большие
трудности, правда разрешимые при рассмотрении таких чисел, как
1/2, поскольку Vo можно записать в виде 0.500000,.. и в виде
0,499999...
98

Пользуясь приведенным выше примером, получаем
χ = 0,547000 ...,
у = 0,312000 ...,
х' = 0,351427000 ...
Следует отметить, что большинство точек
изображается числами, состоящими из бесконечного ряда цифр,
и этот ряд не становится последовательностью нулей
и никогда не повторяется.
Здесь мы имеем пример конструктивного
доказательства. Мы показали, что можно взаимно однозначно
отобразить каждую точку квадрата в точку на отрезке, задав
точный рецепт, как это сделать. Многие математики
предпочитают конструктивные доказательства
неконструктивным, а математики интуиционистской школы вообще
отвергают неконструктивные доказательства при
рассмотрении бесконечных множеств, где невозможно исследовать
отдельно каждый элемент множества на какое-либо
свойство.
Разберем теперь другое свойство отображения точек
квадрата на отрезок прямой. Представим, что вдоль
отрезка движется указатель, а по поверхности квадрата
одновременно с первым движется второй указатель.
Второй указатель показывает точки квадрата,
соответствующие точкам отрезка, которые в данный момент показывает
первый указатель. Может показаться (далее мы докажем,
что это не так), что при медленном и плавном движении
первого указателя второй указатель будет медленно
и плавно двигаться по поверхности квадрата. Все точки
отрезка, расположенные очень близко друг от друга,
казалось бы, будут соответствовать также очень близким
точкам на поверхности квадрата. Если передвинуть
первый указатель вдоль отрезка на малое расстояние, то
второй указатель тоже передвинется на малое
расстояние по поверхности квадрата, а если первый указатель
передвинуть на еще меньшее расстояние, то и второй
указатель передвинется на меньшее расстояние, и т. д. Если бы
это было так, мы могли, бы сказать, что взаимно
однозначное отображение точек квадрата в точки на отрезке
непрерывно.
Однако оказывается, что взаимно однозначное
отображение точек квадрата в точки на отрезке не может быть
29

непрерывным. Когда мы двигаемся вдоль какой-то
кривой, принадлежащей квадрату, точки этой кривой,
отображенные на отрезок, непременно окажутся хаотически
разбросанными, и это будет верно не только для
описанного способа отображения, но и для какого угодно
взаимно однозначного отображения. Любое взаимно
однозначное отображение квадрата на отрезок прямой разрывно.
Теорема. Любое взаимно однозначное отображение
квадрата на отрезок прямой должно быть разрывным.
Доказательство. Предположим, что взаимно
однозначное отображение непрерывно. Тогда все точки,
принадлежащие некоторой кривой АВ (фиг. 1.5), должны
отобразиться в точки, находящиеся между
соответствующими точками А' и В'. Если бы они не попали между
этими точками, то при движении вдоль кривой нам
пришлось бы либо прыгать от одного конца отрезка к другому
(разрывное отображение), либо пройти дважды через
одну и ту же точку отрезка (отображение не взаимно
однозначное). Выберем произвольно точку С слева от
отрезка А'В' и точку D' справа от А'В' и найдем
соответствующие точки квадрата С и D. Проведем между
точками С и D кривую так, чтобы она пересекла кривую
АВ. В месте пересечения она будет иметь точку, общую
с кривой АВ; следовательно, эта точка кривой CD должна
отобразиться в точку, лежащую между А' ж В', а. все
другие точки, не принадлежащие кривой АВ, должны
отобразиться в точки, лежащие вне А'В'. Это
противоречит предположению о непрерывности отображения, и,
следовательно, отображение не может быть непрерывным.
В дальнейшем мы увидим, что теорема о возможности
отображения точек квадрата на отрезок прямой и теорема
о разрывности такого отображения важны для теории
информации и будут нами использованы; теоремы же
об игре в гекс использоваться не будут.
Математика— это метод постепенного выяснения
некоторых положений, скрытых в поставленной задаче
и не сразу бросающихся в глаза. Обычно, используя
математику, нужно сначала найти эти положения, а затем
проверить их доказательством. Здесь мы сталкиваемся
с узловой проблемой: доказательства, удовлетворяющие
математиков прошлого, часто совсем не удовлетворяют
современных математиков.
30

Χ
С' А' В' D'
Фиг. 1.5.
Как-то один раздражительный и не очень крупный
математик в своей рецензии на работу Шеннона
«Математическая теория связи», усомнился в строгости
математических доказательств автора. Тем не менее теоремы
Шеннона верны, а доказательства были даны такие, что
удовлетворяют даже математиков, помешанных на строгости.
Те простые доказательства, которые я привел выше для
иллюстрации математических методов, не совсем строги
и могут подвергнуться критике со стороны пуристов. .
• В этой главе я попытался проиллюстрировать
характер математического рассуждения и дать некоторое
представление о том, что такое теорема и как она может быть
доказана. Усвоив это, мы приступим к математической
теории связи, к ее теоремам, которые мы уже не будем
доказывать, а также к связанным с ними аспектам,
уходящим далеко за пределы того, что можно установить
с математической определенностью.
Как я говорил выше, теория информации в том виде,
в каком ее изложил Шеннон, рассматривает очень широко
и абстрактно некоторые важные вопросы связи и передачи
информации, но это вовсе не значит, что ее можно
применять всюду, где только встречаются слова связь и
информация в их многочисленных обиходных значениях. Теория
информации имеет дело только с теми аспектами связи,
которые можно обобщить и которые имеет смысл
обобщать, подобно тому как законы Ньютона имеют дело
только с движением механическим, а не со всеми, в корне
отличными друг от друга явлениями, которые имел в виду
Аристотель, используя слово движение.
Чтобы успешно развиваться, наука должна пробовать
все возможное. У нас нет оснований считать, что можно
31

объединять факты и понятия, для которых используются
общие слова. Общее нужно искать не в словах, а в
явлениях, в нашем опыте. Теорию же мы получаем тогда,
когда удается установить взаимоотношение явлений.
Законы движения Ньютона — это теория, которую можно
использовать при исследовании механических явлений.
Уравнения Максвелла — это теория, которую можно
использовать при исследовании электрических явлений.
Теорию цепей можно использовать при исследовании
систем, состоящих из простых электрических или
механических элементов. Арифметику можно использовать
при подсчетах количества людей, камней, звезд и т. д.,
а геометрию — при измерении Земли, моря или галактик.
В отличие от законов движения Ньютона и уравнений
Максвелла, имеющих дело с определенными физическими
явлениями, теория информации абстрактна, так как ее
можно применять ко многим видам связи — письменным,
акустическим или электрическим. Эта теория имеет дело
с важными, но абстрактными сторонами связи. От ясных
и определенных предположений она переходит к теоремам
об источниках информации и к теоремам о каналах связи.
Это делает ее существенно математической, и, чтобы ее
понять, нужно усвоить мысль о том, что теорема — это
утверждение, которое нужно доказать, т. е. установить,
что данное утверждение есть необходимое следствие ряда
исходных предположений. Эта мысль — сердце
математики.

Глава вторая
ЖСТОКЖ
ТЕОРИИ ИНФОРМАЦИЯ
Историю воспринимают по-разному. Одни изучают
древние времена, чтобы найти некую универсальную
мировую систему, в неизбежном развитии которой можно
увидеть не только прошлое, но и прообраз будущего. Другие
ищут в прошлом секрет успеха для настоящего.
Некоторые, например, полагают, что по опыту сделанных
в прошлом научных открытий можно научиться
совершать новые. Некий мудрец глубокомысленно заметил,
что из истории мы лишь узнаём, что мы из нее ничего не
33

узнаем, а Генри Форд — тот прямо заявлял, что
история— это чушь.
Все это далеко и от меня, и от темы моей книги. И все
же я хотел бы сказать, что из истории науки можно сделать
по крайней мере два вывода.
Первый вывод — наиболее общие и яркие научные
открытия были сделаны не в природных условиях, а в
результате изучения явлений в приборах, созданных руками
человека, или, если хотите, созданных техникой. И это
потому, что явления, воспроизведенные человеком в
машинах или приборах, упрощены и упорядочены по
сравнению с природными и разобраться в них много легче.
Так, создание паровой машины, в которой явления,
связанные с теплотой, давлением, парообразованием и
конденсацией, происходят в простой и упорядоченной форме,
послужило основным стимулом развития весьма мощной
и общей науки — термодинамики. Это особенно хорошо
иллюстрируется работой Карно *. Наши познания в
аэродинамике и гидродинамике в основном обязаны не
наблюдениям за поведением птиц и рыб, а исключительно
бурному развитию самолетостроения и кораблестроения.
Большую часть наших знаний об электричестве мы
получили, изучая изобретения человека, а не вспышки молний.
Так и корни широкой и изящной теории связи,
созданной Шенноном, мы увидим в простых и понятных явлениях
телеграфии.
Второе, чему нас может научить история,— это то,
с какой трудностью дается понимание. Сегодня законы
Ньютона кажутся простыми и почти очевидными, а были
времена, когда эти законы никому и во сне не снились,
времена, когда самые выдающиеся люди имели весьма
смутное представление о том, что такое движение. Даже
сами первооткрыватели сейчас иногда нам кажутся
невероятными чудаками. Думалось, что Максвелл в своем
трактате по электричеству и магнетизму прямо и смело
заявит о своем открытии. А трактат загроможден такой
массой мелких вопросов, казавшихся в свое время
важными, что неискушенному читателю пришлось бы долго
докапываться до самого открытия, чтобы осмыслить его
* Карно (1796—1832) первый предложил использовать
идеальное расширение газа (цикл Карно) для извлечения максимально
возможной механической энергии из тепловой энергии пара.
34

в привычных теперь выражениях. Правда, Максвелл
впоследствии довольно ясно изложил свои идеи.
Итак, изучение зарождения научных идей поможет
нам немного лучше оценить сделанные с таким трудом
открытия. Мы часто читаем о том, как в прошлом
исследователи останавливались у самого порога открытия,
не умея сделать решительный шаг. Нам иногда даже
хочется помочь им, подсказать; ведь они были так близки
к решению и, право, должны были прийти к основному
выводу. Но это, увы, та самая западня, в которую
попадают очень многие и в своей личной жизни. Решая задачу,
о которой имеешь лишь самое общее представление, часто
думается, что понятно все и до конца.
Итак, чем лучше мы разберемся в том, как зарождалась
идея, что было известно до ее появления, и как была
достигнута ясность и единство, тем легче будет понять ее
истинное содержание. Но для этого нужно проследить
действительный путь открытия, а не тот, каким оно
должно или могло быть сделано, и постараться посмотреть
на него (если это можно сделать) глазами не
современного человека, а так, как это могли сделать в те времена.
Поиски истоков математической теории связи могут
завести в непролазное болото. Мне бы очень хотелось
избежать этого вообще, но ведь другие авторы постоянно
толкают на этот путь своих читателей. Мне же остается
только надеяться, что с помощью приведенного мною
здесь путеводителя читателю все же удастся выбраться
невредимым.
В термодинамике и в статистической механике
используется некая величина, называемая энтропией. Понятие
это есть и в математической теории связи, или теории
информации. Но термодинамика и статистическая
механика старше теории информации. Кроме того, в статье,
опубликованной в 1929 году, Л. Сциллард применил
понятие информации для решения одного физического
парадокса. Отсюда можно было бы сделать вывод, что
теория информации каким-то образом возникла из
статистической механики.
Эта простая, но противоречивая мысль запутала даже
специалистов. На самом же деле математическая теория
связи возникла в результате попытки решить некоторые
проблемы электросвязи. Энтропия в теории связи была
названа так только вследствие математической анало-
3δ

гии с энтропией, используемой в статистической
механике. Однако содержание этих двух понятий совершенно
различно.
В термодинамике энтропия некоторого количества
газа, как и энергия, зависит от его температуры, объема
и массы, а также от того, что это за газ. Если поместить
газ в теплоизолирующий цилиндр и позволить ему
медленно расширяться, толкая поршень, то газ начнет
охлаждаться, теряя часть своей тепловой энергии. Эта
энергия проявится в виде работы, проделанной поршнем,
скажем, на поднятие груза, который и запасет энергию,
потерянную газом.
Этот процесс — обратимый. Под этим понимается
следующее: если производить работу, медленно толкая
поршень назад, в направлении, противоположном давлению
газа, сжимая его таким способом до первоначального
состояния, то будут в точности восстановлены его
энергия, давление и температура. В таком обратимом процессе
энтропия газа остается постоянной, тогда как энергия
изменяется.
Итак, энтропия — это показатель обратимости
процесса. Если энтропия неизменна, то процесс обратимый.
В приведенном примере тепловую энергию газа можно
неоднократно преобразовывать в механическую энергию
поднятого груза, и обратно.
Большинство физических явлений не обладает
свойством обратимости. Необратимые явления всегда
сопровождаются возрастанием энтропии. Предположим, что
теплоизолирующий цилиндр разделен перегородкой на две
части и что по одну сторону перегородки имеется газ,
а по другую газа нет. Представим себе далее, что
перегородка вдруг исчезла, так что газ распространился по
всему объему. В этом случае тепловая энергия не изменится,
а энтропия возрастет.
До того как была убрана перегородка, тепловая
энергия газа еще могла быть преобразована в механическую
энергию, если пропускать газ в пустую часть цилиндра
через небольшое устройство. А убрав перегородку и
получив в результате увеличение энтропии, мы этого сделать
уже не можем. Можно привести и другие примеры, когда
энтропия возрастает, а энергия остается постоянной.
Это происходит, например, когда тепло течет от горячего
предмета к холодному. До выравнивания температур еще
36

можно было бы, используя разность температур,
совершить работу. После выравнивания температуры
превратить часть тепловой энергии в механическую уже
невозможно.
Таким образом, увеличение энтропии означает
уменьшение той части тепловой энергии, которая может быть
преобразована в механическую. Возрастание энтропии
означает уменьшение той части энергии, которую можно
использовать.
Хотя в термодинамике определяется понятие
энтропии, в ней не дается ее физический смысл применительно,
например, к положениям и скоростям молекул. Для
некоторых случаев это делает статистическая механика.
Вообще говоря, физический смысл энтропии состоит
в том, что увеличение энтропии означает уменьшение
упорядоченности. Но если спросить, что такое
упорядоченность, то придется до известной степени приравнять
значение этого слова к значению слова знание. Даже очень
сложное расположение молекул вряд ли может быть
беспорядочным, если известно положение и скорость
каждой. Беспорядок в том смысле, в каком он
используется в статистической механике,— это
непредсказуемость, основанная на отсутствии знания положений и
скоростей молекул. Обычно недостаток такого знания испы-
тывается тогда, когда совокупность положений и
скоростей очень сложна.
Возвратимся к рассмотренному нами примеру с
цилиндром. Когда молекулы находятся по одну сторону
перегородки, и мы это знаем, энтропия меньше, чем когда
молекулы распределены по обе стороны перегородки.
Естественно, о положении молекул мы знаем больше
тогда, когда известно, что они находятся по одну
сторону перегородки, чем тогда, когда известно, что они
находятся где-то внутри цилиндра. Чем детальнее наши
знания о состоянии физической системы, тем меньше
неопределенность (расположения молекул, например)
и тем меньше энтропия. И наоборот, чем больше
неопределенность, тем больше энтропия.
Итак, энтропия в физике связывается с возможностью
превращения тепловой энергии в механическую. Если
во время какого-то процесса энтропия не меняется, то
этот процесс обратимый. Если энтропия возрастает, то
уменьшается та часть энергии, которую можно исполь-
37

зовать. В статистической механике под увеличением
энтропии понимается уменьшение упорядоченности или,
если хотите, уменьшение нашего знания о системе.
Приведенных мною примеров явно недостаточно, чтобы
глубоко понять, что такое энтропия в физике, но, как
мне кажется, я вполне достаточно сказал об ее сущности
и об ее важности.
Давайте теперь рассмотрим, как и с какой целью
используется понятие «энтропия» в теории информации,
где оно приобретает совершенно иной смысл.
В математической теории связи рассматривается
источник сообщений, например человек, который в
определенной ситуации может создать любое из множества
возможных сообщений. Количество информации, которое
несет в себе сообщение, возрастает при увеличении
количества неопределенности относительно того, какое
сообщение из всех возможных будет выбрано. Одно из десяти
возможных сообщений несет в себе меньшее количество
информации, чем одно из миллиона. Энтропия в
математической теории связи есть мера этой неопределенности,
и эта неопределенность, или (что то же самое) энтропия,
берется в качестве меры количества. информации,
которое несет в себе сообщение от данного источника. Чем
больше известно о том, какое сообщение будет создано
источником, тем меньше неопределенность, тем меньше
энтропия и тем меньше количество информации.
Как видите, в основу понятий «энтропия в физике»
и «энтропия в математической теории связи» легли
совершенно различные идеи, и каждая из них имеет
самостоятельный смысл. Тем не менее обе эти энтропии можно
описать сходными математическими выражениями,
используя термин «неопределенность». Но существует ли в
действительности какая-либо связь между этими двумя энт-
ропиями и соответственно между физикой и
математической теорией связи?
Кое-кому из математиков и физиков очень хотелось бы
доказать, что математическая теория связи и ее
энтропия чрезвычайно важны для статистической механики.
Вопрос этот запутанный и запутывающийся дальше.
Путаница еще усугубляется, когда рассматривается не одно,
а несколько значений слова информация. Иногда
информацию, например, связывают не с неопределенностью
и разрешением неопределенности, а с одним из наиболее
38

употребительных оттенков значения слова информация —
знанием.
Мы рассмотрим взаимоотношения между
математической теорией связи и физикой в главе 10, когда уже будем
иметь некоторое представление о теории информации.
Здесь же мне хочется лишь заметить, что попытки
соединить математическую теорию связи и физику были скорее
любопытны, нежели полезны. Вполне естественно, что
эти попытки ни к чему не привели.
Математическая теория связи возникла в результате
изучения электросвязи, а не статистической механики,
а некоторые из ее наиболее важных идей относятся к тому
времени, когда электросвязь только зарождалась.
Совершая трансатлантическое путешествие в 1832 году,
Сэмюэль Морзе начал разработку первого электрического
телеграфного аппарата. В своем первоначальном виде
телеграф Морзе был намного сложнее известного нам
теперь. Тогда на бумажной ленте выводились короткие
и длинные линии и определенная последовательность
этих линий обозначала не букву, а число. Каждое число
соответствовало какому-то слову в кодовой таблице,
составленной Морзе в 1837 году. Это (как мы убедимся позже)
эффективный, но довольно грубый метод кодирования.
Затем Морзе в совместной работе с Альфредом Вайлом
отказался от этого метода кодирования, и в 1838 году
появился новый код, известный теперь как азбука Морзе.
В этом коде буквы алфавита изображаются паузами,
точками и тире. Пауза — это отсутствие электрического тока,
точка — короткий импульс тока, тире — более длинный.
Буквам алфавита очень остроумно были сопоставлены
комбинации точек и тире. Короче других, одной точкой,
была обозначена буква Е, наиболее употребительная
в английском языке, да и вообще чаще встречающиеся
буквы были обозначены короткими комбинациями точек
и тире, а редко встречающиеся— длинными.
Поразительно то, что при этом не использовались таблицы
относительной частоты повторения букв в английском тексте
и даже не делалось попыток составить такие таблицы.
Относительная частота различных букв была оценена
простым подсчетом литер в разных ячейках наборной кассы!
Мы вправе спросить: не позволит ли другое
соответствие между точками, тире, паузами и буквами еще
быстрее передавать текст по телеграфу? Современная теория
39

Посланный
1ятый
Время —**
Фиг. 2.1.
говорит, что выиграть в скорости можно каких-то 15%.
Так что Морзе с успехом справился с поставленной
задачей, и на примере его азбуки можно увидеть, как много
значит метод преобразования сообщений в электрические
сигналы. Именно это и есть один из центральных
вопросов математической теории связи.
В 1843 году конгресс США принял законопроект об
ассигновании денег на строительство телеграфной линии
между Вашингтоном и Балтиморой. Морзе начал
прокладывать кабель под землей, но столкнулся с трудностями,
от которых потом в еще большей степени страдали
подводные телеграфные линии. Задачу он решил, подвесив
провода на столбах.
Но трудность, с которой Морзе столкнулся при
прокладке подземной линии, осталась. Оказалось, что
различные линии передач, одинаково хорошо проводящие
постоянный электрический ток, не обязательно подходят
для электросвязи. Если по подводному или подземному
кабелю посылать точки и тире слишком быстро, то на
приемном конце они сольются. Если послать короткий
импульс, полученный резким включением и выключением
тока (фиг. 2.1), то на приемном конце подъем и спад тока
будут более длинными, сглаженными. Импульс станет
более длительным и может совпасть с другим импульсом
(например, отсутствием тока). Так что, даже если передан
ясный и четкий сигнал, можно принять какие-то
непонятные подъемы и спады тока, которые не поддаются
расшифровке (фиг. 2.2).
40
I

Конечно, если точки, паузы и тире будут достаточно
длительные, то ток на приемном конце больше будет
соответствовать переданному току, но это замедлит
скорость передачи. Ясно, что есть какая-то граничная
скорость передачи, зависящая от свойств линии. Для
подводных линий эта скорость чрезвычайно мала, и это
сильно заботит телеграфистов, но зато для воздушных
линий она так велика, что, естественно, их совершенно
не беспокоит. Уже на заре телеграфии было известно
это ограничение, очень существенное для
математической теории связи.
Несмотря на ограничение скорости, все же есть
способы увеличить количество букв, которое может быть
передано по данной линии за определенный промежуток
времени. Для передачи тире требуется в три раза больше
времени, чем для передачи точки. Вскоре стало ясно,
что экономии времени можно добиться с помощью
двухполюсной телеграфии. Чтобы понять ее принцип,
представим себе, что на приемном конце, между телеграфным
проводом и землей, включен гальванометр — прибор,
обнаруживающий малые токи и указывающий их
направление. Чтобы передать точку, плюс батареи с помощью
ключа соединяется с проводом, а минус — с землей. При
этом стрелка гальванометра повернется вправо. При
передаче тире ключ соединяет минус батареи с проводом,
а плюс — с землей; стрелка гальванометра
поворачивается влево. Иными словами, ток одного направления
(в провод) обозначает точку, а ток другого направления
(из провода) — тире. Полное отсутствие тока (батарея
не присоединена) обозначает паузу. В существующей
двухполюсной телеграфии вместо гальванометра
используется самая различная аппаратура.
Посланный ток
slnT~ЧЛГЧГ111-
Принятый ток
Фиг. 2.2.
41

В однополюсной телеграфии код строится из двух
элементов: ток и отсутствие тока; мы можем их
обозначать 1 и 0. В двухполюсной телеграфии имеются три
элемента: прямой ток, или ток, направленный в провод,
отсутствие тока и обратный ток, или ток, направленный
из провода. Обозначим их соответственно +1, 0, —1.
Знаки плюс или минус указывают направление тока,
а число 1 выражает силу тока, которая в данном случае
одинакова для обоих направлений.
В 1874 году Томас Эдисон пошел еще дальше. В своей
квадруплексной (учетверенной) телеграфной системе он
применил не только два разных направления, но и два
разных значения силы тока. Он использовал изменение
силы тока без изменения его направления для передачи
одного сообщения, а изменение направления тока без
изменения его силы — для передачи другого сообщения.
Если предположить, что токи отличаются на одну и ту же
величину (например, на две единицы), то все четыре тока
можно записать так: +3, +1, —1,-3. Сообщение на
приемном конце можно расшифровать g помощью табл. 1.
Пример такого кодирования двух независимых
сообщений с использованием чередования четырех различных
значений тока показан на фиг. 2.3.
Очевидно, что количество информации, которое можно
передать по линии, зависит не только от того, с какой
скоростью будут передаваться последовательные символы
(последовательные значения тока), но и от того, из какого
числа различных символов (различных значений тока)
будет производиться выбор. Если в качестве символов
взять только два значения тока, +1 и 0 или, что дает
такую же эффективность, +1 и —1, то в данный момент
можно послать только один из двух возможных символов.
Таблица 1
Переданный ток
+3
+1
-1
-3
Первое сообщение
Включено
Выключено
»
Включено
Второе сообщение
Включено
»
Выключено
»
42

Сообщение
Включено ι 1 I-
7 Г
Выключено—* 1—1
Включено
Выключет
J
ι
Ток
+ 3
+ 1
-3
ъ
Фиг. 2.3.
Однако мы уже видели, что если есть возможность
выбора любого из четырех значений тока (любого из
четырех символов), то с их помощью можно передать два
независимых кусочка информации: 0 или 1 в первом
сообщении и 0 или 1 во втором сообщении. Итак, при данной
скорости передачи символов четыре значения тока
позволяют послать два независимых сообщения так же быстро,
как два значения тока позволяют послать только одно
сообщение. С помощью четырех значений тока можно
передать за минуту в два раза больше букв, чем с помощью
двух значений.
Использование большого количества символов может
привести к трудностям. Мы уже отмечали, что точки и тире,
посланные по подводному кабелю, растягиваются и
сливаются, так что на приемном конце мы видим не один
символ, а несколько (см. фиг. 2.2). При этих условиях
легче опознать элементы простой системы символов 1, О
или +1, —1, чем более сложной: +3, +1, —1, —3.
Но возможность различать сложные сигналы
ограничивают еще и другие явления. Так, во время магнитных
бурь в телеграфных линиях и подводных кабелях
появляются побочные сигналы *. А при более тщательном
* Изменяющееся магнитное поле Земли наводит токи в кабеле.
Изменение магнитного поля Земли вызывается, по-видимому,
потоками заряженных частиц, возникающими в результате процессов,
происходящих на Солнце.
43

исследовании, скажем с помощью современных
чувствительных электронных усилителей, можно заметить, что
в проводах всегда имеются небольшие нежелательные
токи. Это явление сродни хаотическому броуновскому
движению крошечных частичек, которое можно
наблюдать под микроскопом, а также колебаниям молекул
воздуха, да и всей остальной материи, которые мы
связываем с представлением о тепле и температуре. Побочные
токи, которые называют шумами, имеются всегда и
накладываются на передаваемый сигнал.
Таким образом, даже если бы удалось избежать
взаимных помех между символами, т. е. слияния точек и пауз,
все равно шум искажал бы принятый сигнал и затруднял
различение символов. Можно, конечно, преодолеть
влияние шума, увеличив ток, а следовательно, и мощность
передаваемого сигнала. Однако и здесь имеются
ограничения. Для передачи по подводному кабелю большого тока
нужно большое напряжение, а оно может разрушить
изоляцию кабеля и привести к короткому замыканию.
Возможно, что именно большое напряжение и послужило
причиной повреждения первого трансатлантического
телеграфного кабеля в 1858 году.
Уже первые телеграфисты интуитивно довольно
хорошо понимали, что шумы, или помехи, трудность
различения сигналов, а также максимально допустимая мощность
ограничивают скорость передачи. Однако требовалась
не интуиция, а нечто большее. Необходим был строгий
математический анализ.
К решению таких проблем математику стали
применять довольно давно, но лишь в последние годы было
получено их полное решение. В 1855 году Уильям Том-
сон, ставший позднее лордом Кельвином, точно вычислил,
какова будет форма принятого тока, если по подводному
кабелю передавать точку или паузу. Еще более мощное
наступление на эти проблемы началось после изобретения
в 1875 году Александром Грэхемом Беллом телефона.
Если в телеграфии используются сигналы типа
включено — выключено и скорость их передачи невелика, то
в телефонии используются токи, сила которых изменяется
плавно и может принимать любые значения в довольно
широком диапазоне, а скорость изменения силы тока
в несколько сот раз больше скорости ручной
телеграфии.
44

Многие ученые помогали перевести явления телефонии
на язык математики. Наиболее выдающимися среди них
были великий французский математик Анри Пуанкаре,
несколько менее одаренный эксцентричный англичанин
Оливер Хевисайд, Майкл Пьюпин, прославленный автор
книги «From Immigrant to Inventor», а также Кемпбэлл
из фирмы Амэрикен Телефон энд Телеграф Ко.
Математические методы, которыми они пользовались,
были продолжением работ, выполненных еще в начале
XIX столетия французским физиком и математиком
Жозефом Фурье, исследовавшим распространение тепла.
Эти методы, применявшиеся цри исследовании колебаний,
как нельзя лучше подошли для анализа электрических
токов, изменяющихся во времени сложным образом,
подобно изменению токов в телефонии и телеграфии.
Прежде чем продолжать наш рассказ, уясним хотя бы
слегка смысл вклада Фурье в математику, ибо невозможно
себе представить, как развивалась бы связь вообще и
ее теория, не будь этих идей. К счастью, основные идеи
просты, а в сложные доказательства и в дебри применения
мы вдаваться не будем.
Фурье провел математическое исследование вопросов
теплопередачи с помощью математической функции,
которая носит название синусоида. Отрезок синусоиды
показан в правой части фиг. 2.4. Высота синусоиды h плавно
меняется во времени, и эти колебания бесконечны.
Синусоида не имеет ни начала, ни конца. Это не просто плавно
извивающаяся кривая. Высота ее (высота может
изображать силу тока или напряжение) изменяется во времени
вполне определенным образом. Это изменение можно
описать, рассмотрев движение ручки, насаженной на вал,
вращающийся с постоянной скоростью, как показано
в левой части фиг· 2.4. Высота ручки над осью вала h
меняется во времени строго синусоидально.
Синусоида — довольно простой вид изменения во
времени. Одна синусоида отличается от другой тремя
величинами. Одна из них амплитуда, или максимальная
высота, другая — фаза, или тот момент времени, когда
достигается максимум, третья — период, или время Τ
между максимумами.
Обычно вместо периода используется обратная ему
величина, которая называется частотой и обозначается
буквой /. Если период Τ равен 1 /100 сек, то частота равна
45

Время
Φ и е. 2.4.
100 герц (г^), или 100 полных колебаний в секунду от
одного гребня до другого. Синусоида периодична, так как
одно полное колебание ничем не отличается от другого.
Фурье удалось доказать теорему, которая буквально
ошеломила его скептически настроенных современников.
Он показал, что любое изменение во времени некоторой
величины можно представить в виде суммы ряда
синусоидальных колебаний с разными амплитудами, фазами
и частотами. Этой величиной может быть перемещение
вибрирующей струны, высота волн на поверхности
бушующего океана, температура электрического утюга, ток
или напряжение в телефонном или телеграфном проводе.
Все поддается анализу по методу Фурье. Простой пример
такого анализа приведен на фиг. 2.5. Периодическая
кривая а — это сумма двух синусоид Ь и с.
Столь простое представление сложного изменения во
времени какой-либо физической величины в виде суммы
ряда простых синусоидальных колебаний могло бы
показаться всего лишь математическим трюком. Но это не
трюк; использование такого представления зависит от двух
важных физических свойств. Параметры цепей,
используемых для передачи электрических сигналов, не
изменяются во времени и обладают так называемым свойством
линейности. Пошлем, например, по линии сигнал,
который в дальнейшем будем называть входным сигналом,
и начертим кривую изменения его величины во времени.
Затем пошлем по линии второй входной сигнал и начертим
кривую изменения соответствующего принятого сигнала.
Теперь пошлем сумму этих двух сигналов, т. е. сигнал,
ток которого в каждый момент времени равен сумме
токов двух различных входных сигналов. Тогда принятый
46

(выходной) сигнал окажется суммой двух выходных
сигналов, которые соответствуют двум посланным
раздельно входным сигналам.
Довольно легко допустить, что параметры цепей связи
во времени существенно не изменяются. Под линейностью
же подразумевается просто следующее: если известна
форма выходных^ сигналов, соответствующих любому
количеству входных сигналов, посланных раздельно, то
можно вычислить форму выходного сигнала, когда
несколько входных сигналов посылается одновременно,
сложив выходные сигналы, соответствующие этим
входным сигналам. В линейной линии передачи или в цепях
передающей системы сигналы ведут себя так, как если
бы они существовали независимо друг от друга; они
не взаимодействуют. Таким образом, отсутствие
взаимодействия между сигналами и есть тот критерий, по
которому цепь считается линейной.
Хотя линейность — удивительное свойство природы,
оно отнюдь не редкость. Все цепи, состоящие из
сопротивлений, конденсаторов и индуктивностей, линейны; этим
же свойством обладают телеграфные линии и кабели.
Практически линейны любые электрические цепи, если
они не содержат электронных ламп, транзисторов или
диодов, а иногда и такие цепи можно считать
практически линейными.
[Поскольку телеграфные провода обладают свойством
линейности, т. е. распространяющиеся по ним
электрические сигналы не взаимодействуют, по одному и тому
Φ и е. 2.5.
47

же проводу можно передавать одновременно два сигнала
в противоположных направлениях, и при этом взаимных
помех возникать не будет. Но хотя линейность довольно
обычна в электрических цепях, ее ни в коем случае нельзя
считать универсальным свойством природы. Два поезда
не могут пройти по одной и той же колее навстречу друг
ДРУГУ> не столкнувшись. Но если бы все физические
явления в поездах оказались линейными, то и такой
случай был бы возможен. А о жалкой участи
человечества, если бы оно шло по линейному пути, пусть уж
читатели на досуге сами поразмыслят.
Усвоив поразительное свойство линейности,
возвратимся к вопросу передачи сигналов по электрическим
цепям. Мы уже отмечали, что в большинстве случаев
форма сигнала на выходе отличается от формы сигнала
на входе. Это показано на фиг. 2.1 и 2.2. Можно, однако,
с помощью математики показать (здесь мы этого делать
не будем), что если в качестве входного сигнала взять
синусоиду и передать ее по линейной цепи, то на выходе
мы всегда получим тоже синусоиду с тем же самим
периодом, а следовательно, и с той же самой частотой.
Но амплитуда синусоиды на выходе может оказаться
меньше амплитуды входной синусоиды; это называется
ослаблением (затуханием) синусоидального сигнала. Кроме
того, синусоида на выходе может достигать максимума
позже, чем синусоида на входе; это называется фазовым
сдвигом, или задержкой синусоидального сигнала.
Величина ослабления и задержки зависит от частоты
синусоиды. Цепь может совсем не пропустить синусоиды
некоторых частот. Таким образом, входной и выходной
сигналы будут содержать одни и те же синусоидальные
составляющие, но фазы и амплитуды составляющих
выходного сигнала будут отличаться от фаз и амплитуд
составляющих входного сигнала. Таким образом, форма
выходного сигнала будет отличаться от формы входного сигнала.
Однако это различие вполне можно объяснить
изменениями фазы и амплитуды составляющих выходного
сигнала, зависящими от частоты. Если ослабление и
задержка одинаковы на всех частотах, то форма волны
на выходе будет совпадать с формой волны на входе;
такая цепь называется неискажающей.
Этот вопрос очень важен, поэтому я проиллюстрировал
его фиг. 2.6. Входной сигнал а можно представить в виде
48

Фиг. 2.6.
суммы двух синусоидальных составляющих b is. с. Волна Ь
при передаче не ослабляется и не задерживается, поэтому
выходная волна Ъ' той же самой частоты, что и 6, совпадает
с Ь. А выходная волна с\ полученная из валны с, и
ослабляется, и задерживается. Очевидно, что выходной сигнал
с' (сумма а! и b') отличается по форме от входного
сигнала а. Но все же и входной, и выходной сигналы содержат
по две составляющие, и частоты этих составляющих
одинаковы. Составляющие отличаются лишь по фазе
и по амплитуде.
Разложение Фурье позволяет изучать прохождение
любых сигналов по линейной цепи, если известны величины
ослабления и фазового сдвига, которым подвергаются
синусоиды различных частот при их прохождении через эту цепь.
4 дж. Пирс
49

Разложение Фурье — мощное орудие решения задач,
возникающих при передаче сигналов. Математики и
инженеры с его помощью получили множество
противоречивых результатов, которые поначалу не были
правильно поняты. Так, первые телеграфисты утверждали, что
они будто открыли всевозможные виды форм и
комбинаций сигналов, якобы обладающих желаемыми свойствами,
но очень часто их математические выкладки оказывались
ошибочными, а доводы — абсурдными. Очень много споров
велось о том, какие сигналы наиболее эффективны с точки
зрения ограничения передаваемой мощности, увеличения
предельной скорости передачи, уменьшения взаимных
помех, ослабления шумов.
В 1917 году Гарри Найквист, получив степень доктора
философии (в те времена доктора философии встречались
значительно реже, чем в наши дни), пришел работать
в фирму Америкен Телефон энд Телеграф Ко. Математику
Найквист знал получше, чем большинство тех* кто бился
над проблемами телеграфии, а логическая глубина его
исследований проблем связи до сих пор.поражает ясностью
и оригинальностью. Вооружась мощными методами
исследования и призвав врожденную проницательностью, он
энергично взялся за решение задач телеграфии. Результат
своего исследования он опубликовал в 1924 году в очень
важной работе, которую назвал «Некоторые факторы,
влияющие на скорость передачи телеграфных сигналов».
В ней он рассматривал ряд проблем телеграфии. Между
прочим, там была выяснена зависимость между скоростью
передачи сигналов и количеством значений тока,
использованных при передаче: +1, —1 (два значения тока) или
Таблица 2
т
1
2
3
4
8
16
logm
0
1
1,6
2
3
4
60

-|-3, +1» —1> —3 (четыре значения тока). Найквист
говорит, что если посылать символы (последовательные
значения тока) с постоянной скоростью, то скорость
передачи W связана с числом т различных символов
зависимостью
W=klogm,
где к — постоянная величина, определяемая скоростью
передачи последовательных значений тока. Стоящий
в правой части выражения log m можно брать по
разным основаниям. Если за основание взять число 2, то log m
при различных значениях т можно найти из табл. 2 *.
Что такое логарифм по основанию 2, можно определить
так: log χ есть такое число, что
'2log*=a;.
Взяв логарифм от обеих частей равенства, получим
следующее соотношение:
log2log* = loga;.
Если вместо log χ подставить Μ, то мы увидим, что
log2M = M.
Все это согласуется с табл. 2.
Приведем пример, из которого легко понять, почему
в соотношение Найквиста вошел именно логарифм, а не
какая-нибудь другая функция. Предположим, что
производится одновременно два независимых выбора из
возможных состояний типа включено — выключено, или 0—1.
Как видно из табл. 3, возможны четыре комбинации двух
независимых выборов 0—1. А если производится три
независимых выбора одновременно, то комбинаций будет
уже восемь (табл. 4).
Рассуждая таким же образом, мы видим, что если
производится четыре независимых выбора, то комбинаций
будет шестнадцать, и, наконец, если производится Μ
независимых выборов, то различных комбинаций будет 2м.
* В книге всюду вместо принятого обозначения логарифма
числа т по основанию 2, log2 m, используется сокращенная запись
log т. Это не приводит к недоразумениям, так как здесь
используются логарифмы только по основанию 2; редкие случаи
использования другого основания отмечены.— Прим. ред.
61

Таблица Н
Номер
комбинации
1
2
3
4
Первый выбор 0—1
0
0
1
1
Второй выбор 0—1
0
1
0
1
Если можно указать Μ независимых комбинаций
типа 0—1 одновременно, то это по существу означает, что
одновременно можно послать Μ независимых сообщений,
и, конечно, скорость передачи будет пропорциональна М.
Но чтобы одновременно передать Μ сообщений,
потребуется 2м различных символов, так как число возможных
комбинаций Μ независимых выборов 0—1 равно 2м.
Предположим, что символов имеется 2м. Найквист
говорит, что для получения предельной скорости передачи
следует взять логарифм по основанию 2 от числа символов
log2M = M.
Итак, логарифм числа символов оказался просто
количеством независимых выборов 0—1, которые можно
сделать одновременно, или количеством независимых
сообщений, которые можно послать одновременно.
Таблица 4
Номер комбинации
1
2
3
4
5
б
7
8
Первый выбор
0-1
0
0
0
0
1
1
1
1
Второй выбор
0-1
0
0
1
1
0
0
1
1
Третий выбор
0-1
0
1
0
1
0
1
0
1
62

Из соотношения Найквиста следует, что, переходя
от кодирования телеграфных сообщений двумя
величинами тока (включено — выключено) к кодированию тремя
значениями тока (+1, 0, —1), скорость передачи букв
или других символов можно увеличить на 60%, а если
использовать четыре значения тока (+3, +1» —1» —3),
то скорость можно удвоить. Именно -так и поступил
Эдисон, создав систему квадруплексного
телеграфирования, так как в ней посылаются сразу два сообщения
вместо одного. Найквист показал далее, что восемью
значениями тока (0, 1, 2, 3, 4, 5, 6, 7 или +7, +5, +3,
+1, —1, —3, —5, —7) можно передавать сообщения
в четыре раза быстрее, чем двумя. Однако он ясно
представлял себе трудности, которые возникнут при
использовании большого количества значений тока из-
за изменений степени ослабления сигнала в цепях,
из-за шумов и ограничения максимально допустимой
мощности.
Найквист определил предельную скорость передачи
по телеграфной линии как половину числа используемых
сигналов (точек, пауз, значений тока), которое можно
передать за 1 сек. В дальнейшем мы увидим, что это
определение вполне подходит и по ряду других
соображений, о которых Найквист в своей первой статье ничего
не сказал.
В те времена, когда Найквист писал свою работу,
довольно обычным делом было передавать по одним и тем
же проводам и телеграфные, и телефонные сообщения.
В телефонии используются частоты выше 150 гц, а
телеграфирование может вестись на более низких частотах.
Найквист показал, как нужно формировать телеграфные
сигналы, чтобы они не имели синусоидальных
составляющих слишком высоких частот и не мешали телефонным
переговорам, ведущимся по тем же проводам. Он
обратил внимание на то, что предельная скорость в линии,
а следовательно, и скорость передачи пропорциональны
ширине диапазона, или полосе частот, используемых
в телеграфии. Этот диапазон частот мы теперь называем
шириной полосы частот сигнала или цепи.
В заключение своей статьи Найквист, анализируя
один из предложенных видов телеграфного сигнала,
показал, что в нем содержится синусоидальная
составляющая с неизменной амплитудой. Хотя на создание этой
53

составляющей и расходуется некоторая часть полной
мощности передатчика, для приемника она бесполезна,
ибо постоянные правильные колебания этой
составляющей вполне можно предсказать и подать эти колебания
в приемник, минуя линию передачи. Найквист называл
эту бесполезную составляющую, которая, по его словам,
не передает ничего путного, избыточной. С этим словом
нам еще предстоит встретиться.
Найквист продолжал изучение проблем телеграфии
и в 1928 году опубликовал вторую важную статью
«Некоторые вопросы теории телеграфии». В ней он изложил
ряд очень важных положений и показал, что если посылать
2N различных значений тока в секунду, то все
синусоидальные составляющие сигнала с частотами выше N
окажутся избыточными в том смысле, что для
восстановления посланного сигнала эти составляющие
необязательны. Даже если совсем устранить эти высокие частоты,
все же можно по исходному сигналу определить
переданные значения токов. Он показал далее, как сформировать
сигнал, который не содержал бы частот выше N гц, и по
которому на приемном конце было бы легко
восстановить, каковы переданные значения тока. Вторая статья
содержала больше количественных результатов и была
более точна, чем первая. Обе же они охватывают большой
и важный материал, который входит сейчас в
математическую теорию связи.
Примерно в это же время Хартли, изобретатель
генератора, носящего его имя, предавался теоретическим
размышлениям о передаче информации, и итог своих
размышлений он в 1928 году изложил в статье «Передача
информации».
Проблему связи Хартли изложил одним из тех
своеобразных способов, когда формулировка так проста, что
для того, чтобы ее дать, надо годами поломать голову,
а потом все кажется совершенно очевидным. Он
рассматривал отправителя сообщения как обладателя набора
символов (букв алфавита, например), из которого он,
отбирая мысленно символ за символом, создает
последовательность символов. Хартли заметил, что любое
случайное событие, например попадание биллиардного шара
в лузу, могло бы. тоже создать подобную
последовательность. Затем он определил информацию сообщения Η
как логарифм числа возможных последовательностей
U

символов, которые могли бы быть выбраны, и показал, чт·
#=ttlogs,
где η — количество выбранных символов, a s —
количество различных символов в наборе, из которого делается
выбор.
В свете современного состояния теории информации
можно сказать, что эта формула применима только тогда,
когда символы выбираются независимо друг от друга
и когда выбор любого из s символов равновероятен.
Пожалуй, следует еще отметить, что, как и прежде,
логарифм числа символов s — это то количество
независимых выборов типа 0—1, которое можно сделать
одновременно, и вполне естественно, что скорость передачи
информации должна быть равна количеству передаваемых
в секунду символов га, умноженному на число
независимых выборов 0—1, которое может содержаться в каждом
символе.
Далее Хартли переходит к проблеме кодирования
первичных символов (букв алфавита, например)
вторичными символами (точки — тире в коде Морзе). Он
заметил, что если нужно передать сообщение с максимальной
скоростью, то длину вторичных символов следует
выбирать с учетом ограничений, накладываемых на выбор
первичных символов (например, следует учитывать тот
факт, что буква Ε в английском языке встречается
намного чаще, чем буква Ζ). Как мы уже видели, Морзе и сам
это понимал, но заслуга Хартли состоит в том, что он
дал толчок дальнейшим работам, сформулировав эту
задачу так, что ее можно исследовать математически.
Хартли также указал, как применить эти соображения
к исследованию непрерывных сигналов, например таких,
какими передается речь или изображение.
И наконец, в полном согласии с Найквистом, Хартли
установил, что количество информации, которое может
быть передано, пропорционально ширине полосы,
умноженной на время передачи. Но остался открытым вопрос,
очень важный для скорости передачи, вопрос о
максимально допустимом количестве значейий тока. Как же
все-таки их определить?
После работ Найквиста и Хартли теория связи, по-
видимому, получила продолжительный и спокойный
5Л

отпуск. Исследователи и практики деловито строили
и изучали отдельные системы связи. Это искусство в период
второй мировой войны стало весьма сложным. Много
нового было достигнуто в понимании работы отдельных
новых систем и приборов, но никаких общих принципов
выдвинуто не было.
Во время войны требовалось сбивать самолеты, а для
этого нужно было уметь предсказывать их курс по весьма
неточным и «зашумленным» данным, получаемым от
радара. Отсюда возникла такая задача: пусть имеется
изменяющийся электрический ток, содержащий сведения
о положении самолета в данный момент времени, и на
него накладывается бессмысленный хаотический ток, т. е.
шум. Возможно, что частотный спектр сигнала отличается
от частотного спектра шума. Если это так, то сигнал
с наложенным на него шумом желательно пропустить
через фильтр, ослабляющий те частоты, которых больше
всего содержится в шуме, и почти не ослабляющий
преобладающие частоты сигнала. А затем, чтобы предсказать,
каков через несколько секунд будет исходный сигнал без
шума, электрический ток после фильтра можно пропустить
через другие цепи. Но какая же комбинация
электрических цепей позволит нам лучше всего делать эти
предсказания?
По существу в этой задаче мы имеем дело не с одним,
а с целым ансамблем возможных сигналов {возможных
курсов самолета), поэтому нельзя знать заранее, с каким
из сигналов мы имеем дело. Мешает еще и
непредсказуемый шум.
Эта задача была решена А. Н. Колмогоровым и
независимо Норбертом Винером. Винер — математик, но его
подготовка идеально соответствовала решению подобных
проблем. Во время войны он написал работу в желтом
переплете, любовно названную «Желтой опасностью»
(за головные боли, которые она вызывала), в которой
и решил трудную задачу.
Во время войны основной проблемой связи
заинтересовался еще один математик, Клод Шеннон. Продолжал он
ею заниматься и после войны. Шеннон начал с
рассмотрения относительных выгод многочисленных новых и
фактических систем связи и с поисков общего метода
сравнения их достоинств. В том же самом (1948) году, когда
вышла в свет «Кибернетика» Винера, посвященная управ-
66

лению и связи, Шеннон опубликовал статью в двух
частях, которая считается фундаментом современной
теории связи.
И Винер, и Шеннон исследовали проблему не
одиночного сигнала, а проблему обработки любого сигнала,
выбранного из группы, или, иначе говоря, из ансамбля
возможных сигналов. Перед публикацией этих работ
между ними произошел свободный обмен мнениями,
и в результате в обеих работах появились сходные мысли
и выражения. Однако интерпретация Шеннона оказалась
уникальной.
Имя Винера главным образом связывают с областью
выделения сигналов заданного ансамбля из шума,
свойства которого известны. Пример такой задачи был
приведен выше. В этом случае курс самолета выбирает пилот
противника, а с сигналом, содержащим сведения о
положении самолета, складываются собственные шумы
принимающего локатора. Таким образом, имеется набор
возможных не нами выбираемых сигналов (курсов
самолета), смешанных с не нами выбираемым шумом. Однако
мы пытаемся как можно точнее оценить настоящее или
будущее значение сигнала (настоящее или будущее
положение самолета).
Имя Шеннона связывают с поиском такого метода
кодирования сообщений, выбираемых из известного
ансамбля, который обеспечит точную и быструю передачу
сообщений при наличии шума. В качестве источника
сообщений, например, может быть взят текст, не нами
выбираемый, а в качестве канала связи — телеграфный
кабель с шумом (тоже не нами выбираемым). По
Шеннону, в поставленной задаче разрешается выбирать
способ кодирования сообщения — количество значений
тока, например, и их число в секунду. В этом случае
задача состоит не в том, как обращаться со смесью
сигнала и шума, чтобы получить наилучшую оценку величины
сигнала, а в том, какого вида сигнал нужно посылать,
чтобы лучше передавать сообщения определенного типа по
заданному каналу с шумами.
Эти вопросы выбора эффективного кодирования и
получения надежных результатов собственно составляют
сущность теории информации. То, что в работе Шеннона
рассматривается ансамбль сообщений,— заслуга работ
Колмогорова и Винера, а также Морзе и Хартли.
67

Было бы бессмысленно пересказывать в этой главе
содержание работы Шеннона, так как именно этому
посвящена вся книга. Мы увидим, что Шеннон прояснил многое
в задачах, поставленных Найквистом и Хартли, и
продвинулся далеко вперед по сравнению с ними.
Рассматривая процесс возникновения математической
теории связи, следовало бы, пожалуй, упомянуть еще два
имени. В 1946 году Денис Габор опубликовал остроумную
статью под названием «Теория связи». Но в ней
практически не рассматривался краеугольный камень
современной теории связи —шум. В 1949 году интересную статью
«Теоретические границы скорости передачи информации»
опубликовал Таллер. Частично она совпадала с работой
Шеннона.
Цель этой главы — показать, что строго
математическая теория связи, созданная Шенноном, выросла из
изучения частных проблем электросвязи. Морзе
столкнулся с задачей представления букв алфавита короткими
или длинными импульсами тока, разделенными
периодами его отсутствия, т. е. точками, тире и паузами,
принятыми в телеграфии. Для представления часто
встречающихся букв он мудро выбрал короткие комбинации точек
и тире, а для редко встречающихся букв — длинные
комбинации; это был первый шаг к решению задачи об
эффективном кодировании сообщений, жизненно важной
части математической теории связи.
Изобретательные последователи Морзе использовали
токи различной силы и направления, чтобы отправитель
имел больший выбор сигналов, чем простое включение
и выключение линии. Это дало возможность посылать
больше символов в единицу времени. Но при этом на
форме сигнала стали больше сказываться, искажая его,
нежелательные электрические возмущения (названные
шумами) и свойства каналов связи, препятствующие
точной передаче быстрых изменений тока.
Возникла необходимость оценивать сравнительные
достоинства различных типов телеграфных сигналов. Для
этого нужны были соответствующие математические
методы исследования. Одним из наиболее важных методов
оказался анализ Фурье, который позволяет представить
любой сигнал в виде суммы синусоид различных частот.
58

Большинство каналов, используемых в связи,—
линейные. Это означает, что несколько сигналов, переданных
по такому каналу одновременно, не будут
взаимодействовать и мешать друг другу. Можно показать, что, хотя
линейные каналы изменяют форму большинства сигналов,
влияние такого канала на синусоидальный сигнал
сводится только к его ослаблению и к задержке во времени.
Следовательно, если сложный сигнал представить в виде
суммы синусоид различных частот, то легко вычислить,
как влияет линейный канал на каждую составляющую по
отдельности, а'затем, сложив эти ослабленные
составляющие, получить полный принятый сигнал.
Найквист показал, что количество отличающихся друг
от друга значений тока, которое можно передавать по
каналу в секунду, равно удвоенной ширине полосы
используемых частот. Таким образом, скорость, с какой
могут быть переданы буквы текста, пропорциональна
ширине полосы. Кроме того, Найквист и Хартли
показали, что скорость передачи букв текста пропорциональна
логарифму числа используемых значений тока.
Создание полной теории связи потребовало других
математических методов и новых идей. Они были разработаны
независимо Колмогоровым и Винером, которые исследовали
задачу о неизвестном сигнале данного типа с наложенным
на него шумом. Как, несмотря на помехи, наилучшим
образом определить характер сигнала? Колмогоров и
Винер решили эту задачу.
Шеннон задался решением несколько иной задачи.
Пусть имеется источник, создающий сообщения
определенного вида, например текст. И пусть имеется канал
связи с шумами. Как представить или закодировать
сообщения источника с помощью электрических сигналов,
чтобы добиться возможно более быстрой передачи
сообщений по такому каналу? В самом деле, с какой скоростью
можно передать сообщение определенного вида по
данному каналу без ошибок? Вот примерно в чем заключалась
задача, которую поставил перед собой и решил Шеннон.

Глава третья
МАТЕМАТИЧЕСКАЯ
МОДЕЛЬ
Математическая теория, с помощью которой мы
стремимся объяснить и предсказать события в окружающем
нас мире, всегда имеет дело с упрощенной, математической
моделью этого мира, и в эту модель входит только то, что
так или иначе связано с исследуемым свойством.
Так, планеты состоят из разных веществ, которые
могут находиться в различном состоянии: твердом, жидком,
газообразном и при разном давлении и температуре. Этим
определяется и характер отражения солнечного света
60

от их поверхности, поэтому, наблюдая планеты в телескоп,
астроном видит на них различные цветные пятна.
Однако астроному-математику при вычислении орбиты
планеты вокруг Солнца принимать это во внимание нет
необходимости; он должен учитывать лишь полную массу
Солнца, расстояние планеты от него, а также скорость
и направление движения планеты в некоторый начальный
момент времени. При более точных вычислениях он
должен учесть еще и полную массу самой планеты, а также
движение и массы других планет, которые воздействуют
на нее силами притяжения.
Отсюда вовсе не следует, что астрономов не
интересуют другие свойства планет, звезд и туманностей. Просто
эти свойства при вычислении планетарных орбит
учитывать незачем. Сила математической теории или
математической модели и ее особая прелесть в том и заключаются,
что она отбрасывает ненужные свойства и выделяет
только то, что необходимо для понимания явления.
Разные математические модели могут иметь различные
степени точности и различные границы применимости.
Можно, например, довольно точйо предсказать орбиту
планеты, если считать ее твердым телом, хотя абсолютно
твердого тела в природе не существует. С другой стороны,
объяснить движение нашей Луны можно только,
учитывая движение воды на поверхности Земли, т. е. приливы.
Так что при очень точном исследовании движения Луны
нашу Землю уже нельзя считать твердым телом.^
Аналогично в теории цепей мы, изучая электрические
характеристики идеальных индуктивностей,
конденсаторов и сопротивлений, приписываем им некоторые простые
математические свойства. Но детали, из которых сделаны
современные телевизоры, радиоприемники и телефоны,
лишь приблизительно воспроизводят свойства идеальных
индуктивностей, сопротивлений и емкостей из теории
цепей. Иногда отличие свойств от идеальных невелико
и им можно пренебречь. А иногда его нужно учитывать
при более точных вычислениях.
Конечно, математическая модель может быть очень
грубым и даже неверным отображением реального мира.
Орбиты планет и свойства цепей представляют собой
примеры идеализированных детерминированных систем,
т. е. систем, поведение которых вполне предсказуемо,
подобно тому как мы обычно предсказываем поведение
61

машин. Астрономы могут вычислить положение планет
вперед на тысячелетия. С помощью теории цепей можно
сказать, как будет вести себя электрическая цепь, если
на нее подать определенный электрический сигнал.
Можно, однако, создать математическую модель и для
чисто случайных событий, например для вытаскивания
из ящика, содержащего одинаковое количество белых
и черных шаров, любых трех шаров. После многих проб
на этой модели мы убеждаемся, что в среднем на каждые
восемь испытаний три белых шара будут вытащены
приблизительно один раз, два белых шара и один черный —
приблизительно три раза, один белый и два черных — три
раза и три черных — один раз. На этой же модели можно
выяснить, какого отклонения следует ожидать от этих
пропорций после определенного количества испытаний.
Наш опыт подсказывает, что поведение реальной
системы не так детерминировано, как поведение модели,
и не столь случайно, как бросание костей или
вытаскивание шаров. Тем не менее вполне очевидно, что
детерминистская модель совсем не подойдет для описания, скажем,
поведения человека при общении его с другими людьми,
а модель случайных событий, или статистическая модель,
все же могла бы подойти.
Хорошо известно, что статистические таблицы,
используемые страховыми компаниями, неплохо предсказывают
процент смертности среди людей определенного возраста,
хотя предсказать, когда умрет такой-то человек, они не
могут. Так что теми же методами, какими
предсказывается, сколько раз в среднем будут вынуты три черных шара
из ящика, где находятся и черные, и белые шары,
статистическая модель дает возможность понять, а иногда
даже предсказать какие-то элементы поведения человека.
Можно возразить, что статистические таблицы
предсказывают судьбу группы людей, а не отдельной личности.
Однако опыт учит нас, что в некоторых случаях можно
предсказывать и поведение отдельных личностей так же,
как и группы людей. Если сосчитать, например, сколько
раз в английской прозе встречается буква Е, то мы
найдем, что она составляет приблизительно 0,13 от
общего количества букв, имеющихся в тексте, а буква W —
только около 0,02 этого количества. И мы обнаружим
почти ту же самую долю букв Ε и W в прозе, написанной
любым англичанином. Таким образом, можно довольно
62

уверенно предсказать, что если вы или я или любой
другой пишут длинное письмо, статью или книгу, то около
0,13 всех использованных букв будет буква Е.
Такая предсказуемость поведения ограничивает нашу
свободу не более чем любая другая привычка. Мы вовсе
не обязаны использовать Ε или любую другую букву
именно в такой пропорции, как это делают все.
Действительно, несколько смелых людей отошли от обычного
шаблона. Уильям Фридмэн, знаменитый составитель
криптограмм и автор книги «The Shakesperian Cipher
Examined», подсказал мне следующие примеры.
Готтлоб Бурманн, немецкий поэт (1737—1805),
написал 130 поэм, содержащих 20 000 слов, и ни разу при этом
не использовал букву R. Более того, в последние
семнадцать лет своей жизни Бурманн вовсе. изъял эту букву
из своей речи.
В каждом из пяти рассказов, которые Алансо Алкала
и Геррера опубликовал в Лиссабоне в 1641 году, вообще
отсутствовали гласные. Другие аналогичные примеры
можно найти у Франциско Наваррете и Рибера (1659),
Фернандо Хасинто де Цурита и Гаро (1654) и Мануэля
Лоренцо де Лизаразу и Бербюизана (1654).
В 1939 году Эрнест Винсент Райт опубликовал роман.
На 267 страницах этой книги ни разу не была
использована буква Е. Ниже я цитирую оттуда один абзац:
Upon this basis I am going to show you how a bunch of bright
young folks did find a champion; a man with boys and girls of his
own; a man of so dominating and happy individuality that Youth
is drawn to him as is a fly to a sugar bowl. It is a story about a small
town. It is not a gossipy yarn; nor is it a dry, monotonous account,
full of such customary "fill-ins" as "romantic moonlight casting
murky shadows down a long, winding country road". Nor will it say
anything about tinklings lulling distant folds; robins carolling at
twilight, nor any "warm glow of lamplight" from a cabin window.
No. It is an account of up-and-doing activity; a vivid portrayal of
Youth as it is today; and a practical discarding of that wornout notion
that wa child don't know anything".
Хотя такие проявления свободной воли и доказывают
возможность разбить цепи привычки, мы все же чаще
пишем более удобным для нас образом. Если мы не
стараемся продемонстрировать, что способны поступить и по-
другому, то по привычке почти с постоянством машины или
непреложностью математического правила напишем
букву Ε ровно столько раз, сколько положено.
63

Отсюда вовсе не следует обратное утверждение, что
машина, в которую заложены те же самые привычки,
могла бы написать английский текст. Шеннон, однако,
показал, как при помощи математического приема,
который способна выполнить и машина, можно получить
приближение к английским словам и английскому тексту.
Пусть, например, будет создана последовательность
букв и пробелов между ними; предположим, что появление
любой буквы или пробела равновероятно. Это можно
сделать так: положить в шляпу карточки с написанными на
них буквами и пробелом, перемешать их, вытащить одну
карточку, записать то, что на ней стоит, положить
карточку обратно, еще раз перемешать, вытащить другую
карточку и т. д. При этом мы получим то, что Шеннон называет
приближением нулевого порядка к английскому тексту.
Вот пример «текста», полученного таким методом.
1. Приближение нулевого порядка (знаки независимы
и появление их равновероятно)
XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD
QPAAMKBZAACIBZLHJQD.
Здесь слишком много букв Ζ и W и явно недостаточно
буквы Ε и пробелов. Лучшее приближение к
английскому тексту можно получить, выбирая буквы независимо
одна от другой, но выбирая букву Ε намного чаще, чем
буквы W или Ζ. Это можно было бы сделать, положив
в шляпу много карточек с буквой Ε и мало карточек
с буквами W и Ζ. Поскольку вероятность того, что
вытащенной буквой окажется Е, должна быть равна 0,13, то
из каждой сотни карточек, положенных в шляпу, на
тринадцати должна стоять буква Е. Вероятность того,
что вытащенной буквой окажется W, должна быть равна
0,02, поэтому из каждой сотни карточек, положенных
в шляпу, на двух должна стоять буква W, и т. д.
Вот результат, полученный с помощью описанной
процедуры, который дает то, что Шеннон называет
приближением первого порядка к английскому тексту:
2. Приближение первого порядка (знаки независимы, но
повторяются с такой же частотой, как в английском тексте)
OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA ΤΗ ΕΕΙ
ALHENHTTPA OOBTTVA NAH BRL
64

В английском языке нет ни одной пары букв,
начинающейся с Q, кроме сочетания QU. Вероятность того,
что встретится QX или QZ, равна нулю. Хотя вероятность
появления QU не равна нулю, она так мала, что ее нет
в таблицах, которыми я пользовался. С другой стороны,
вероятность появления сочетания ТН равна 0,037,
вероятность появления OR — 0,010, а вероятность появления
WE — 0,006. Эти вероятности имеют следующий смысл.
Пусть в тексте содержится 10 001 буква. Тогда первая
и вторая буквы, вторая и третья и т. д. дадут 10 000
последовательных буквенных пар. Определенное количество
раз встретится сочетание ТН. Предположим, что оно
встретилось 370 раз. Если разделить это число на общее
число пар, которое по предположению равно 10 000, то
получим вероятность того, что при случайном выборе
в тексте появится сочетание ТН, т. е. эта вероятность
равна 370/10 000, или 0,037.
Усердные шифровальщики составили таблицы
вероятностей появления в английском тексте групп из двух
букв, так называемых диграмм. Покажем, как можно было
бы построить буквенную последовательность, используя
те же вероятности появления диграмм, что и в английском
тексте. Для этого возьмем 27 шляп: из них 26 для диграмм,
начинающихся с каждой из букв алфавита, и одну для
диграмм, начинающихся с пробела. Затем положим в
шляпы карточки с написанными на них диграммами в
соответствии с вероятностью их появления, т. е. каждая
1000 карточек должна содержать 37 диграмм ТН, 6
диграмм WE и т. д.
Остановимся на мгновение, чтобы уяснить смысл
шляп, наполненных диграммами, и через исходные
значения частоты их появления перейдем к подсчету
вероятностей появления диграмм.
Предположим, что мы хотим найти все буквы Τ в
тексте и для этого просматриваем его букву за буквой. Будем
выписывать на карточки и класть в одну шляпу все
диграммы, начинающиеся с буквы Т. При этом окажется, что
таких диграмм ровно столько, сколько букв Τ попалось
в тексте. А доля, которую эти диграммы составляют от
общего количества диграмм, есть вероятность появления
буквы Τ в тексте, т. е. 0,10. Обозначим эту вероятность
ρ (Τ); тогда можно записать
р(Т) = 0,10.
65

Отметим, что эта вероятность — не только доля диграмм,
начинающихся с буквы Т, но и доля распределенных по
разным шляпам диграмм, кончающихся буквой Т.
Далее, если общее число букв в тексте 1001 и,
следовательно, количество последовательных диграмм 1000,
то диграмма ТН встретится 37 раз, и поэтому
вероятность ее появления мы обозначим ρ (Τ, Η), и она равна
р(Т, Н) = 0,037.
Теперь ясно, что 100 диграмм, или 0,10 часть всего их
количества, будут начинаться с буквы Τ и они попадут,
следовательно, в шляпу Т, а 37 из них будут диграммы ТН.
Таким образом, доля диграмм ТН от всего количества
диграмм, начинающихся с буквы Т, будет равна 37/100,
или 0,37. Соответственно мы говорим о вероятности
Рт (Н) того, что диграмма, начинающаяся с буквы Т,
будет ТН, т. е.
рт(Н) = 0,37;
рт (Н) — это условная вероятность появления буквы Η
после буквы Т.
Вероятности появления диграмм можно использовать,
чтобы построить текст, в котором и буквы, и диграммы
появляются с той же частотой, что и в английском языке.
Для этого вытащим наудачу карточку из любой шляпы
и выпишем проставленные на ней буквы. Затем по второй
букве первой диграммы определим шляпу, из которой
нужно вытащить вторую карточку, и выпишем вторую
букву второй диграммы. Затем по второй букве второй
диграммы определим шляпу, из которой нужно вытащить
третью, и т. д. Пробел можно считать буквой, так как
имеется вполне определенная вероятность того, что после
данной буквы будет пробел (окончание «слова»), а также
имеется вполне определенная вероятность того, что после
пробела будет стоять определенная буква (начало
«слова»).
Подобным методом Шеннон построил то, что он
называет приближением второго порядка к английскому языку.
3. Приближение второго порядка^ (структура диграмм
такая же, как и в английском языке)
ON IE ANTSOUTINYS ARE T INGTORE ST BE S DEAMY
AGHIN D ILONASIVE TUGOOWE AT TEASONARE PUSO
TIZIN ANDY TOBE SEACE CTISBE
66

Шифровальщики составили таблицы вероятностей
появления групп из трех букв, так называемых триграмм.
С помощью этих вероятностей можно получить то, что
Шеннон называет приближением третьего порядка к
английскому языку. Приведем пример из его работы:
4. Приближение третьего порядка (структура
триграмм такая же, как и в английском языке)
IN NO 1ST LAT WHEY CRATICT FROURE BIRS GROCID
PONDENOME OF DEMONSTURES OF THE REPTAGIN IS
REGO ACTION A OF CRE
Если исследовать эти четыре примера, приведенные
Шенноном, то можно обнаружить все возрастающее
сходство с английским текстом. Пример 1, приближение
нулевого порядка, не содержит комбинаций, напоминающих
слова. В примере 2, где учитывается частота появления
букв, сочетания OCRO и ν АН отдаленно напоминают
английские слова. В примере 3, где учитывается частота
появления диграмм, все «слова» удобопроизносимы, a ON,
ARE, BE, AT, ANDY — английские слова. В примере 4,
где учитывается частота появления триграмм, мы видим
уже восемь английских слов и много слов, по звучанию
очень похожих на английские, например GROCID,
PONDENOME, DEMONSTURES.
Такой же опыт провел Г. Гильбо, использовав
статистику латыни, и получил приближение третьего порядка
(т. е. с учетом частоты появления триграмм), напоминающее
латынь. Ниже я привожу кусочек этого приближения.
IBUS GENT IPITIA VETIS IPSE CUM VIVIVS SE AGETlTl
DEDENTUR
Подчеркнуты латинские слова.
Из этих примеров ясно, что если задать машине
определенную статистическую закономерность языка, т. е.
задать ей вероятность появления данной буквы или
группы из 1, 2, 3 или η букв, и если дать машине
возможность моделировать вынимание шара, подбрасывание
монеты или выбор случайного числа, то можно ее
заставить создавать довольно хорошее приближение к тексту,
написанному на любом языке. Чем более полную
информацию заложить в машину, тем ближе ее продукция будет
67

напоминать какой-нибудь текст как по статистической
структуре, так и по своему виду.
Если позволить машине выбирать группы из трех
букв в соответствии с вероятностью их появления, то
любое сочетание из трех букв, которое она создает,
должно быть английским словом или частью английского
слова, а любое «слово» из двух букв обязательно будет
английским словом. Но машина менее консервативна,
чем человек, который обычно записывает только те
буквенные последовательности, которые являются настоящим
словом. Человек обязательно пропустит напыщенное
PONDENOME, подозрительное ILONASIVE, немного
вульгарное GROCID, ученое DEMONSTURES и взбалмошное,
но очаровательное DEAMY. Он, конечно, мог бы в
принципе написать и такое, но обычно этого не делает.
Можно было бы вылечить машину от способности
создавать неанглийские слова, заставив сделать ее выбор
буквенных групп такой же длины, как самое длинное
английское слово. Но намного проще было бы ввести
в машину сразу целые слова, а не буквы и дать ей
возможность выдавать эти слова в соответствии с
вероятностью их появления.
Шеннон привел пример, где слова выбираются
независимо одно от другого, но с теми вероятностями, с
какими они встречаются в английском тексте. В его примере
слова the, and, man и др. встречаются в той же пропорции,
что и в английском языке. Это можно было бы сделать,
например, так: разрезать какой-нибудь текст на отдельные
слова, сгрести их в шляпу, а затем вынимать их по одному.
Шеннон называет это приближением первого порядка на
уровне слов.
5. Приближение первого порядка на уровне слов. Здесь
слова выбираются независимо друг от друга, но со
свойственной им частотой.
REPRESENTING AND SPEEDILY IS AN GOOD APT OR
COME CAN DIFFERENT NATURAL HERE HE THE A IN
CAME THE TO OF TO EXPERT GRAY COME TO
FURNISHES THE LINE MESSAGE HAD BE THESE
Нет таких таблиц, в которых были бы собраны
вероятности появления различных пар слов. Но Шеннону
удалось построить случайный отрывок текста, в котором
вероятности появления пар слов те же, что и в настоящем
68

тексте. В первом попавшемся романе он наудачу выбрал
первую пару слов. Затем пролистал весь роман и нашел
место, где еще попадается второе слово из первой пары,
добавил слово, которое идет вслед за ним, и т. д. Так он
получил приводимое ниже приближение второго порядка
на уровне слов.
6. Приближение второго порядка на уровне слов.
(Вероятности перехода от одного слова к другому
правильны, но более глубокие закономерности не
учитываются.)
THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH
WRITER THAT THE CHARACTER OF THIS POINT IS
THEREFORE ANOTHER METHOD FOR THE LETTERS THAT
THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN
UNEXPECTED
Мы видим, что в полученном отрывке имеются места,
напоминающие выражения, которые могли бы
встретиться в реальном английском тексте.
Посмотрим, что же мы получили. В нормальном
английском тексте, например в том, который посылается
телетайпным аппаратом, отдельные буквы встречаются
почти с постоянной частотой. В достаточно длинном
тексте почти с постоянной частотой встречаются пары букв,
сочетания из трех и четырех букв. Слова и пары слов тоже
встречаются почти с постоянной частотой. Далее, с
помощью случайного математического процесса, который по
желанию может выполнить и машина, мы получим
последовательность английских слов или букв со
статистическими закономерностями, характерными для английского
языка.
Но даже усовершенствованная машина не смогла бы
создать все последовательности слов, которые может
придумать человек, так как ее запас всегда был бы ограничен
уже встречавшимися комбинациями слов; о других
комбинациях она просто не имела бы статистических данных.
Я ведь вполне мог бы сказать: «Пронесся фуксиновый
тайфун и размазюкал начисто лицо епископа», и уверен,
что до меня это никто не говорил.
Английский язык подчиняется не только
статистическим закономерностям, но и грамматическим правилам.
Лингвисты и инженеры, работающие над созданием
машин для перевода с одного языка на другой, должны
69

найти эти правила, чтобы их машины могли
комбинировать слова и давать грамматически верные выражения
даже тогда, когда точно такого же сочетания еще не
встречалось (однако, чтобы смысл текста, который
переводится, можно было понять). Это сложная проблема.
Но нетрудно, однако, описать «машину», случайно
создающую ограниченное число грамматически верных
выражений.
На фиг. 3.1 приведена схема такой «машины».
Каждый пронумерованный прямоугольник представляет собой
состояние машины. Число прямоугольников, или
состояний, конечно, поэтому она называется машиной с
конечным числом состояний.
От каждого прямоугольника к другим
прямоугольникам отходит несколько стрелок. В данной машине от
каждого прямоугольника к двум другим
прямоугольникам идут только две стрелки. Здесь около каждой стрелки
стоит число х/2; это означает, что вероятность перехода
машины, скажем, из состояния 2 в состояние 3 равна 1/2,
а вероятность перехода машины из состояния 2 в
состояние 4 также равна 1/2.
Чтобы запустить машину, необходима
последовательность случайных выборов. Эту последовательность можно
получить, подбрасывая монету. Если выпадет орел, то
мы пойдем за верхней стрелкой, а если решка, — то за
нижней.. Так мы будем решать, как перейти в новое состояние.
Когда переход совершен, напечатаем слово, сочетание
слов или символ, стоящие в прямоугольнике,
соответствующем этому новому состоянию, затем подбросим
монету снова и получим следующее состояние.
Обозначим выпадение орла буквой О, а выпадение
решки буквой Р. Если бы мы начали, например, с
состояния 7 и, подбрасывая монету, получили бы такую
последовательность: РРООРОРРРРООО, то.
«машина» напечатала бы
THE FEDERAL BUREAU OF INVESTIGATION INVESTIGATED
THE CONGRESS. THE FEDERAL BUREAU OF INVESTIGATION
PURGED THE CONGRESS AND DESTROYED THE
FEDERAL BUREAU OF INVESTIGATION AND FOUND
EVIDENCE OF THE CONGRESS
Этот процесс можно продолжать до бесконечности,
никогда не повторяя предыдущего полностью и создавая
«предложения» неограниченной длины.
70

ι т. ι
1 h*j|
Z/l
•
f4
j
_
§
L
§r
ESS
THE
ONGR
to θ
j
§
I
sr
Ρ
ил
IGAT
f-
CO
У
со ·*·
J
S
i
sr"
THE
ONGRESS
^ О
J
>
ι -m
НсмГ
>
5
г
s
00
"Ί
tu
CJO
*S*.
L£ls
<LA
-
*"^^
><
r -
см
^ ι
£3g
co^
. j
CM
ι
"1§
GED
ОС
S
Q.
M·
Г1
CM
J
^|S
-j ^
EDERA
U OF
OATIO
εΐΐί
5!
о
STR
6 ρ
^k
' 1
f
со*

Итак, если в соответствии с некоей таблицей
вероятностей выбирать случайным образом последовательность
символов (букв и пробелов) или последовательность слов,
можно получить текст, напоминающий английский.
При условии случайного выбора одного из
возможных переходов то же самое можно получить и от машины
с конечным числом состояний. Подобный процесс
называется стохастическим, или вероятностным, так как
в нем имеется элемент случайности.
Мы исследовали ряд свойств английского текста. Мы
обнаружили, что средняя частота появления буквы Ε не
зависит от того, кем написан текст — одним человеком
или многими. Имеются и другие, более сложные
закономерности, например постоянство частоты появления
диграмм (ТН, WE и др.). Мы показали еще, что текст,
похожий на английский, можно получить с помощью ряда
случайных выборов, вытаскивая, например, из тпляпы
карточки или подбрасывая монету, при условии, конечно,
сохранения присущих языку закономерностей. Один из
способов получения такого текста — использование
машины с конечным числом состояний, например такой, какая
показана на фиг. 3.1.
Мы искали математическую модель источника
английского текста. Такая модель должна быть способна
создавать текст, весьма похожий на настоящий, похожий
настолько, чтобы проблема кодирования и передачи его
была эквивалентна проблеме кодирования и передачи
настоящего текста. Математические свойства модели
должны быть математически определены так, чтобы можно
было доказать полезные теоремы относительно
кодирования и передачи создаваемого ею текста и чтобы эти теоремы
были применимы с высокой степенью точности при
кодировании и настоящего текста. Однако вряд ли нужно
требовать, чтобы продукция модели полностью
соответствовала естественной языковой практике.
В качестве математической модели источника,
создающего текст (или другие виды сообщений), Шеннон выбрал
эргодический источник. Чтобы понять, что это такое,
необходимо сначала разобраться в том, что такое
стационарный источник. С этого мы и начнем.
Общая идея стационарного источника отражается уже
в самом его названии. Представим себе некую
воображаемую машину, которая после запуска начинает создавать
72

бесконечную последовательность такого вида:
АЕАЕАЕАЕАЕит. д.
Очевидно, что к такому источнику как нельзя лучше
подходит название стационарный, так как он всегда создает
одно и то же. Сравним теперь этот источник с таким,
который после запуска создает последовательность вида
АЕААЕЕАААЕЕЕит. д.
Здесь промежутки, в которых содержится только одна
какая-нибудь буква, А или Е, становятся все длиннее
и длиннее, и такой источник стационарным, конечно,
не назовешь.
По аналогии стационарным источником является
последовательность букв, выбираемых случайным образом, но
в соответствии с вероятностью появления каждой буквы
(приближение первого порядка, пример 2, приведенный
выше). Стационарны также источники диграмм и триграмм
в примерах 3 и 4. Основная идея стационарного источника
довольно проста. Несколько труднее дать
соответствующее ей математическое определение.
Предположение о стационарности источника
подразумевает неизменность его свойств во времени. Рассмотрим,
однако, источник диграмм, в котором вероятность
появления, второй буквы зависит от того, какова была
предыдущая. Если запустить такой источник с буквы А, то за
ней может последовать несколько различных букв, а если
запустить его с буквы Q, то второй буквой обязательно
будет буква U. Итак, по крайней мере некоторое время
после запуска способ запуска будет влиять на
статистические закономерности создаваемых буквенных
последовательностей.
Чтобы обойти эту трудность, математики предложили
считать, что источник создает не одну-единственную
последовательность, а множество. В конце концов этот
источник представляет собой воображаемую машину,
и вполне можно считать, что она запускается бесконечное
число раз и создает бесконечное количество буквенных
последовательностей. Такое бесконечное множество
последовательностей называется ансамблем
последовательностей.
ТВ

Эти последовательности можно было бы начинать
вполне определенным способом. Например, если источник
создает диграммы, то 0,13 часть всех
последовательностей можно начать с буквы Ε (0,13— вероятность
появления буквы Ε в английском тексте), 0,02 часть всех
последовательностей — с буквы W и т. д. Если ми это
сделаем, то найдем, что доля Е, усредненная по всем
первым буквам ансамбля последовательностей, будет такой
же, как и при усреднении по всем вторим буквам, по всем
третьим и т. д. Независимо от того, какую букву от
начала выбрать, доля буквы Ε или любой другой буквы
будет одна и та же во всех последовательностях.
Вероятность появления диграммы ТН или WE тоже не будет
зависеть от того, какой —- первой, второй или третьей —
парой являются эти сочетания в последовательностях
ансамбля.
Именно это и понимается под стационарностью. Если
можно найти способ определения вероятностей при
различных возможных начальных условиях, возникающих при
формировании источником ансамбля буквенных
последовательностей, и эти вероятности таковы, что любая
статистическая закономерность, полученная при усреднении
по ансамблю, не зависит от того, на каком расстоянии от
начала проводится усреднение, то источник —
стационарный. Это определение может показаться читателю
трудным и невразумительным, но трудностей не избежать,
если мы хотим облечь какую-либо идею в полезную и
точную математическую форму. В противном случае идея
с точки зрения математики бесполезна.
В приведенных выше рассуждениях при рассмотрении
бесконечного ансамбля последовательностей, создаваемых
источником, считалось, что усреднение производится, по
всем первым, или по всем вторим, или по всем третьим
буквам (или парам, или тройкам букв). Такое усреднение
называется усреднением по ансамблю. Оно отличается от
того способа усреднения, о котором мы говорили в начале
главы. Тогда все буквы без разбора были собраны в одну
последовательность, а затем было найдено среднее. Такое
усреднение называется усреднением по времени.
Среднее по времени и среднее по ансамблю могут
отличаться. В качестве примера рассмотрим источник, который
треть, времени начинает с буквы А и создает буквы А и В,
треть времени начинает с буквы В и создает буквы В
Ч

Таблица б
Вероятность
появления
буквы
А
В
Ι Ε
Усредненная по времени
по еле до вате льность
(1)
4%
Чг
0
(2)
Чг
Чг
0
(3)
0
0
1
Усредненная
по ансамблю
Vs
1/3
и А, а треть времени начинает с буквы Ε и создает
последовательность букв Е:
1. АВАВАВАВ и т. д.
2. ВАВАВАВАит. д.
3. ЕЕЕЕЕЕЕЕит. д.
Легко видеть, что, хотя источник стационарный,
вероятности, полученные при разных способах усреднения,
различны (табл. 5).
Если источник стационарный и если любое возможное
среднее по ансамблю (среднее число букв, диграмм,
триграмм и т. д.) равно соответствующему среднему по
времени, то говорят, что источник эргодический.
Рассматриваемые в последующих главах теоремы теории
информации справедливы только для эргодических источников,
и их доказательство основывается на предположении, что
источник сообщений эргодический *.
До сих пор мы рассматривали здесь только
дискретные источники, создающие буквенные последовательности,
но теория информации имеет дело также с непрерывными
источниками, т. е. такими, которые создают плавно
изменяющиеся .сигналы, например звуковые колебания или
соответствующие им колебания электрического тока
в телефоне. Предполагается, что источники таких
сигналов также эргодические.
По каким же причинам наиболее удобной и выгодной
математической моделью оказался эргодический источник?
* По вопросам кодирования сообщений, получаемых от
нестационарных источников, имеется ряд работ, и в данной книге эти
вопросы не рассматриваются.
76

Во-первых, из определения эргодического источника
следует, что статистические закономерности сообщения,
например вероятность появления какой-либо буквы,
скажем Е, или диграммы, скажем ТН, не меняются по длине
сообщения. Исследуя все более длинный отрезок
сообщения, мы получаем все более точную оценку вероятностей
появления различных букв и их сочетаний. Иными
словами, исследуя все более и более длинный отрезок
сообщения, можно получать все более точное математическое
описание источника.
Во-вторых, статистические закономерности,
полученные при исследовании одного сообщения, оказываются
справедливыми для всех сообщений, создаваемых данным
источником, а не только для данного сообщения. Для
эргодического источника это гарантируется
требованием равенства среднего по времени и среднего по
ансамблю.
Таким образом, эргодический источник — это
чрезвычайно простой вид вероятностного, или
стохастического, источника сообщений, а с простыми процессами легче
иметь дело, чем со сложными. Однако одной простоты
еще недостаточно. Эргодический источник не представлял
бы никакого интереса для математической теории связи,
если бы он не был не только прост, но и близок к истине.
Математическая теория связи имеет две стороны. Одна
из них, математически строгая, имеет дело с
гипотетическим чисто эргодическим источником, который может
создать бесконечный ансамбль бесконечных
последовательностей символов. С точки зрения математики не имеет
значения, что исследовать — сам по себе источник или
сообщения, которые он может создать.
Но, с другой стороны, мы используем теоремы
математической теории связи при разработке проблем передачи
реального английского текста. А человек — не гипотеза
и не машина. Он не способен создать даже одну
бесконечную буквенную последовательность, не то что
бесконечный ансамбль последовательностей.
И все же человек создает множество длинных
буквенных последовательностей, а все те, кто пишет
по-английски, объединенными усилиями создают очень много
подобных длинных последовательностей. Часть этого
огромного количества последовательностей действительно
посылается по телетайпу.
76

Поэтому мы будем считать всех тех американцев,
которые посылают телеграммы на английском языке, хотя бы
приблизительно эргодическим источником телеграфных
сообщений, а всех тех американцев, которые говорят по
телефону, хотя бы приблизительно эргодическим
источником телефонных сигналов. Однако вполне очевидно, что
все те, кто пишет по-французски, плюс все те, кто пишет
по-английски, не могут образовать эргодический
источник. В том тексте, который напишет каждый из них,
имелись бы вполне определенные, усредненные по времени
вероятности появления отдельных букв, диграмм,
триграмм, слов и т. д., но вероятности в каждом языке были
бы различны и среднее по ансамблю не напоминало бы
ни один из получившихся текстов.
Мы не будем утверждать, что все, кто пишет
по-английски (и все, кто говорит по-английски), в точности
представляют собой эргодический источник сообщений.
Статистические закономерности английского языка несколько
изменяются в зависимости от обсуждаемого предмета
и целей, да и разные люди пишут несколько по-разному.
Точно так же одни говорят по телефону тихо, другие орут,
а. некоторые орут только тогда, когда сердятся. Мы
утверждаем лишь, что обнаруживается удивительное
единообразие в статистических закономерностях многих
сообщений, например постоянство вероятности появления
буквы Ε в различных выборках английского текста. Если
речь и письмо как эргодические источники не совсем верно
отражают реальность, то все же они достаточно верны,
чтобы быть полезными.
Следует всегда помнить о том, что реальный,
приблизительно эргодический источник сообщений отличается от
строго эргодического источника сообщений, введенного
в математической теории связи. Нужно соблюдать
разумную осторожность, применяя выводы математической
теории связи для решения реальных проблем. В других
областях мы к этому привыкли. Из математики, например,
известно, что если с достаточной точностью знать
координаты трех точек окружности, то можно вычислить ее
диаметр. И все же ни один разумный человек не станет
определять диаметр реального, обычно немного неровного
круга, вычерченного на листе бумаги, измеряя с
точностью до тысячных долей сантиметра положение трех точек
на его окружности. Скорее всего, он проведет через центр
77

прямую линию и измерит диаметр просто как расстояние
между противоположными точками окружности.
Рассудительность и осторожность такого рода и нужно
соблюдать, применяя точную математическую теорию на
практике.
Какие бы меры предосторожности мы ни принимали,
тот факт, что стохастический процесс используется в
качестве модели человека в его роли источника сообщений,
поднимает философские вопросы. Означает ли это, что
мы считаем действия человека случайными? Ничего
подобного. Вполне возможно, что, если бы мы достаточно
много знали о человеке, о его окружении, его биографию,
то смогли бы предсказать, какое слово он скажет или
напишет в разных случаях жизни.
В математической теории связи предполагается,
однако, что наше знание об источнике получено или в
результате изучения создаваемых им сообщений, или в
результате далеко не полного изучения самого человека. Из
полученной таким образом информации можно извлечь
некоторые статистические данные, которые, как мы уже
видели, помогают более точно определить, какова
вероятность того, что следующей буквой или словом в
сообщении окажется именно данная буква или слово. Но элемент
неопределенности остается. Поскольку полного знания
нет, нам кажется, что источник сообщений ведет себя,
как будто в нем случайным образом производится некий
выбор, и каков будет этот выбор, предсказать невозможно.
Если бы выбор можно было предсказать, то
дополнительные знания, позволяющие это делать, мы должны были
бы включить в статистические закономерности нашего
источника. Но если бы у нас было этих знаний больше,
мы могли бы обнаружить случаи выбора, которые мы не
способны предсказать, зная тем не менее, что они не
случайны. Они вполне предсказуемы на основе тех знаний,
которых у нас еще нет.
Легко видеть, что возможности машины с конечным
числом состояний (см. фиг. 3.1) раскрыты нами
недостаточно полно. Машины с конечным числом состояний могут
иметь входы и выходы. Переход из одного состояния
в другое совершенно необязательно выбирать случайным
образом; на такой переход можно было бы влиять вводом
в машину различных данных. Так, работа электронного
цифрового вычислительного устройства, представляющего
78

собой машину с конечным числом состояний,
определяется программой и данными, вводимыми в нее
программистом.
Довольно естественно представить, что человек — это
машина с конечным числом состояний и что функции этой
машины не ограничиваются созданием сообщений. Можно
считать, если угодно, что всевозможные конфигурации
клеток нервной системы и всевозможные условия, в
которых они могут находиться,— это состояния (мозга,
например). Можно считать, что переход из одного состояния
в другое иногда сопровождается созданием буквы, слова,
какого-то звука или его части, а иногда — каким-нибудь
другим действием или частью действия. Можно считать,
что зрение, слух, осязание и другие чувства — это входы,
которые определяют, в какое следующее состояние
перейдет машина. Но если человек — это машина с конечным
числом состояний, то число состояний должно быть
фантастическим, не поддающимся математическому
исследованию. Правда, число положений молекул газа тоже
фантастично, но все же многие важные свойства газа можно
объяснить через понятия дабления и температуры.
Сможем ли мы когда нибудь точно и просто сформулировать,
как работает мозг, когда мы пишем или что-нибудь делаем?
Как мы убедились, можно довольно точно предсказать
статистические закономерности того, что человек напишет
на бумаге, если, конечно, он не захочет соригинальничать,
правда, и в этом случае ему будет трудно отказаться от
своих привычек.
Цель этой главы, конечно, значительно уже. Мы
хотели найти такую математическую модель, которая была
бы способна адекватно описать человека как источник
сообщений и создаваемые им сообщения. Приняв в
качестве примера английский текст, мы обратили внимание на
удивительное постоянство частоты повторения различных
букв, если не считать такого случая, когда писавший
умышленно будет избегать некоторые из них. Почти
постоянной оказалась и частота повторения буквенных
пар, троек и т. д., а также повторения различных слов.
Мы заметили также, что с помощью различных
случайных, или стохастических, процессов можно получать
буквенные последовательности, в которых отдельные бук-
79

вы повторяются с той же частотой, что и в реальном
английском тексте. Стохастический же процесс можно
получить, если разрезать большой отрывок текста на
буквы (или слова), положить их в шляпу и перемешать;
затем можно из шляпы вытаскивать по одной бумажке.
Усовершенствовав стохастический процесс, применив,
например, машину с конечным числом состояний, можно
получить еще лучшее приближение к английскому тексту.
Итак, мы выбрали обобщенный стохастический процесс
в качестве модели источника сообщений, например
источника, создающего английский текст. Но чтобы доказать
теоремы относительно кодирования сообщений,
созданных источником, нужно дать математическое определение
стохастического источника, с которым мы имеем дело.
Как это сделать? Надо выбрать определение так, чтобы
оно соответствовало характеру английского текста.
Стохастический источник, выбранный нами в качестве
модели источника сообщений,— это эргодический
источник. Его можно считать некоей воображаемой машиной,
создающей бесконечное количество, или ансамбль,
бесконечных буквенных последовательностей. Грубо говоря,
статистические закономерности, которым подчиняются
эти последовательности букв, созданные эргодическим
источником сообщения, не изменяются во времени, т. е.
источник стационарен. Кроме того, статистические
закономерности, полученные при исследовании одного
сообщения эргодического источника, справедливы для всех
сообщений, создаваемых этим источником.
Теоремы математической теории связи строго доказаны
для чисто эргодического источника. Все, кто пишет по-
английски, образуют приближенно эргодический источник
текста. Математическая модель — строго эргодический
источник — достаточно хорошо отображает реальность,
поэтому математический аппарат, справедливый при
исследовании этой модели, оказывается весьма полезным. Но
нужно мудро и осторожно применять к насущным
проблемам связи те теоремы и другие результаты математической
теории связи, которые справедливы только для строго
эргодического источника.

Глава четвертая
КОДИРОВАНИЕ
Ж
ДВОИЧНЫЕ ЗНАКИ
Источники информации могут быть разные: печатный
текст, говорящий человек, звуки оркестра, фотография,
кадры кинофильма или зрелище, на которое может быть
нацелена телевизионная камера. Мы уже знаем, что в
теории информации такие источники считаются обладающими
свойствами эргодических источников букв, чисел,
символов или электрических сигналов. Основная задача
математической теории связи, или теории информации,—
выяснить, как такие буквенные последовательности или
81

другие сигналы наиболее эффективно закодировать для
передачи, выполняемой обычно средствами электросвязи.
Все знают о том, что существуют коды и кодирование
сообщений. Ловкие шпионы из детективных романов
непременно пользуются секретными кодами. Эдгар По
в своем рассказе «Золотой жук» в популярной форме
изложил основные приемы шифрования. В Америке вообще
полно любителей криптограмм, для которых прочесть
кем-то написанное закодированное письмо — истинное
наслаждение.
Коды появились исторически в виде криптограмм, или
тайнописи, когда ими пользовались, чтобы скрыть
содержание важного сообщения от тех, кому оно не было
предназначено. Сделано это может быть так: вместо одних слов
подставляются другие, указанные в сборнике кодов.
Может быть использован и так называемый шифровой код,
когда вместо одних букв подставляют буквы или числа
по условленной заранее секретной системе подстановок.
Понятие кодирования (точного отображения одной
вещи с помощью другой) встречается и в других науках.
Генетики считают, что в хромосомах клетки эмбриона
целиком записан «план» будущего человека. Они,
например, утверждают, что этот «текст» состоит из цепочки
расположенных в строгой последовательности четырех
типов «оснований» в ДНК (дезоксирибонуклеиновой
кислоте), которые образуют хромосому. А этот текст в свою
очередь дублируется эквивалентным текстом в РНК
(рибонуклеиновой кислоте), .и на основе этого текста
синтезируются белки, состоящие из последовательности
двадцати типов аминокислот. Немало усилий потрачено
на то, чтобы выяснить, как четырехбуквенное сообщение,
которое несет в себе РНК, записывается в двадцатибук-
венном коде белка.
К такому подходу, впрочем, генетики пришли
благодаря существованию теории информации. Изучение
передачи информации привело к новому пониманию проблем
кодирования, пониманию, одинаково важному для любых
его видов, будь то кодирование текста или генетической
информации.
В главе 2 мы уже говорили о том, что любой текст
можно закодировать символами кода Морзе, т. е.
короткими и длинными импульсами тока, разделенными
короткими и длинными паузами. Это простой способ
кодировала

ния. С точки зрения теории информации электромагнитные
волны, распространяющиеся от передатчика с частотной
модуляцией (ЧМ) к вашему приемнику, представляют
собой кодирование передаваемой музыки.
Электрический ток в телефонных проводах — это кодирование речи,
а сами звуковые волны речи — это кодирование
колебаний голосовых связок. Этот последний вид кодирования
звуков голосовыми связками предопределен самой
природой. А вот инженер-связист волен выбирать тот способ
кодирования, которым он с помощью электрического тока
отобразит звуки голоса так же, как он может выбрать
код из точек, тире и пауз, которыми в телеграфии
представлены буквы алфавита. И хочет он, конечно,
выполнить это кодирование как можно лучше. Для этого
инженер должен иметь некоторый стандарт, чтобы отличить
хорошее кодирование от плохого, и, кроме того, он
должен уметь ориентироваться в средствах, которыми
достигается хорошее кодирование. Кое-что об этом мы узнали
в главе 2.
Именно иЗ этой, казалось бы ограниченной, проблемы
и возникли новые понятия, важные для любого
кодирования, в частности для криптографии и генетики. В число
этих понятий входит понятие энтропии — меры
количества информации — и бита — единицы измерения
количества информации.
Хотелось бы верить, что читателю уже не терпится
узнать, что же такое «количество информации», да к
тому же измеренное в битах. И Я/надеюсь, что это святое
нетерпение поможет ему преодолеть довольно много
промежуточных сведений о кодировании сообщений.
Мне кажется, что понять и оценить решение задачи
невозможно, если ты не чувствуешь, в чем задача. Вряд
ли можно доходчиво объяснить, что такое музыка,
человеку, который никогда не слышал ни одной музыкальной
фразы. Возможно, что забавная история о том, что
произошло с вашим соседом, чрезвычайно любопытна, а вот
на готтентота она не произведет никакого впечатления.
Я считаю, что только детально разобравшись в том, как
кодируется сообщение для передачи, можно оценить
необходимость введения понятия меры количества
информации и его смысл.
Важные проблемы кодирования легче всего понять на
простых и конкретных примерах. Однако на этом пути нас
83

ожидают йекоторые трудйоети: ведь на цростых
примерах мы хотим узнать нечто, имеющее общую ценность.
Довольно часто сообщения состоят из
последовательностей дискретных символов, как, скажем,
последовательность букв в тексте или цифр на выходе
электронной вычислительной машины. Однако мы видим, что
другие сообщения существенно от них отличаются.
Разговорная речь и музыка представляют изменение
во времени давления воздуха возле уха. В телефонии это
изменение давления соответствует изменению напряжения
распространяющегося по проводу сигнала или какой-либо
другой его характеристики. Распространение подобного
сигнала изображено на фиг. 4.1, а. Здесь сигнал — это
напряжение, изменяющееся во времени так, как показано
волнистой линией.
Теория информации немногого бы стоила, если бы ее
нельзя было применять для исследования непрерывных
сигналов так же, как для исследования дискретных сообщений.
Исследование непрерывных сигналов в теории
информации начинается с доказательства математической
теоремы, которая называется теоремой отсчетов. Мы будем
ею пользоваться без доказательства. Эта теорема гласит,
что непрерывный сигнал можно полностью отобразить
и точно воссоздать по последовательности измерений, или
отсчетов величины этого сигнала, взятых через равные
промежутки времени. Отсчеты следует брать через
интервалы времени, меньшие или равные половине периода
наивысшей частоты, имеющейся в сигнале. Ряд таких
отсчетов величины сигнала, изображенного на фиг. 4.1, а,
показан на фиг. 4.1, б вертикальными отрезками
различной длины.
Особо следует отметить, что для того, чтобы отсчеты
с хорошей точностью отображали сигнал, их нужно брать
достаточно часто. Для речевого сигнала, содержащего
частоты от 0 до 4000 гц, нужно брать 8000 отсчетов в
секунду. В телевизионном сигнале имеются частоты от 0 до
4 Мгщ и, следовательно, нужно брать 8 000 000 отсчетов
в секунду. Вообще говоря, если частотный диапазон
сигнала равен / гц, то для точного описания этого сигнала
нужно взять по крайней мере 2/ отсчетов в секунду.
Итак, теорема отсчетов позволяет нам отобразить
плавно меняющийся сигнал с помощью последовательности
отсчетов, которые отличаются друг от друга по амплитуде.
84

ι
5
ill
Однако между последовательностью отсчетов и
последовательностью букв и цифр все же имеется существенное
различие. Цифр — всего десять, букв в английском
языке — двадцать шесть, а амплитуда Отсчетов может иметь
бесконечное множество значений. Иначе говоря,
амплитуда отсчета может принимать любое из непрерывного
диапазона значение, тогда как буквы или цифры имеют только
ограниченное число дискретных значений.
Метод, которым теория информации расправляется
с отсчетами, имеющими непрерывную амплитуду,
интересен сам по себе. К нему мы вернемся позже. Здесь же
хотелось только отметить, что точно воспроизводить
сигнал совершенно не обязательно. В самом деле,
реальные физические приборы все равно не дают возможности
воспроизвести сигнал абсолютно точно. Так, при передаче
речи достаточно брать отсчеты с точностью около 1%.
Таким образом, мы можем по желанию при описании
амплитуд отсчетов речевого сигнала ограничиться целыми
числами от 0 до 99 и считать амплитудой данного отсчета
то число из сотни, которое наиболее близко к
действительному значению амплитуды. Такое квантование
отсчетов сигнала позволяет получить представление, схожее
с представлением дискретного печатного текста.
Беря отсчеты и квантуя непрерывный сигнал, можно
задачу о кодировании свести к более простой задаче
о кодировании последовательности дискретных знаков.
В главе 2 отмечалось, что с помощью кода Морзе
можно передать по буквам английский текст. Таким же
85

/
2
3
4
5
6
ι
Время
Фиг. 4.2.
способом сообщение можно передать и по телетайпу.
Нажимая какую-нибудь кнопку передающего устройства мы
посылаем по цепи определенную последовательность
электрических импульсов и пауз, которые достигнут приемного
устройства, приведут в действие соответствующую клавишу
пишущей машинки, и переданный знак будет напечатан.
Совокупность импульсов и пауз — это весьма
распространенный и удобный способ кодирования сообщений.
Хотя в коде Морзе и телетайпном коде импульсы и паузы
имеют различную длительность, вполне возможно
передавать сообщения, посылая через равные промежутки
времени последовательности импульсов и пауз одинаковой
длительности. На фиг. 4.2 показаны две такие
последовательности. На фиг. 4.2, α последовательность имеет
вид: импульс-пауза-пауза-импульс-пауза-импульс, а на
фиг. 4.2, б —- импульс-импульс-импульс-пауза-импульс-
импульс.
Наличие импульса или паузы в данном интервале
реализует одну из двух возможностей. Чтобы записать
последовательность импульсов и пауз, изображенную на
фиг. 4.2, можно было бы использовать любые пары
символов: да, нет; +, —; 1, 0. Например, последовательность
на фиг. 4.2, а можно было бы записать так:
импульс пауза пауза импульс пауза импульс
да нет нет да нет да
-+-- + - +
10 0 10 1
86

Особенно практична и удобна запись с помощью цифр 1
и 0. Ее можно использовать, чтобы последовательности
импульсов поставить в соответствие число, выраженное
в двоичной системе счисления.
Если написано число 315, то это значит, что
βχΙίΡ + ΙχΙίμ + δχΙ^
= 3x100 + 1x10 + 5x1 =
= 315. . ...;-.
В этой обычной системе счисления, которая называется
десятичной, мы пользуемся десятью цифрами: 0, 1, 2, 3,
4, 5, 6, 7, 8, 9. В двоичной системе мы пользуемся только
двумя цифрами: 0 и 1. Когда мы пишем 100101, то это
значит, что
1х25 + 0х24 + 0х23+1х22 + 0х2 + 1х1 = '
-1x32 + 0x16 + 0x8 + 1x4 + 0x2 + 1x1 =
= 37 в десятичной системе.
Часто бывает удобно перед числом поставить нули, но
значение его от этого не изменится. В десятичной системе
это будет выглядеть так:
0016 = 16,
а в двоичной системе так:
001010=1010,
В числах, записанных в двоичной системе, каждый
нуль и каждая единица — это двоичные цифры (или
знаки). Чтобы описать последовательность импульсов
и пауз, появляющихся в шести последовательных
интервалах, можно использовать последовательность из шести
двоичных знаков. Так как импульс или пауза в каждом
интервале времени эквивалентны двоичному знаку, то
можно рассматривать целиком группу импульсов как
шесть двоичных знаков или же каждый импульс и паузу,
появляющиеся в одном интервале, рассматривать как
отдельный двоичный знак.
Давайте посмотрим, сколькими способами можно
расположить импульсы и паузы в трех интервалах. Иными
словами, сколько существует трехзначных двоичных
чисел? Все они приведены в табл. 6.
87

Таблица 6
000
001
010
Oil
(0) .
(1)
(2)
(3)
100
101
110
111
(4)
(5)
(6)
(7) ·
Слева записаны последовательности нулей и единиц,
рассматриваемые как двоичные числа, а справа —
соответствующие десятичные числа.
Мы видим, что существует 8 трехзначных двоичных
чисел. Но 8 — это 23. Фактически оказывается, что
выписанные по порядку последовательности, состоящие
из η двоичных знаков, можно считать двоичными
числами, и количество двоичных чисел, включая 0, будет
равно 2П. В качестве примера в табл. 7 показано, сколько
существует различных последовательностей,
соответствующих различному числу η двоичных знаков.
Как видите, количество различных
последовательностей очень быстро возрастает при увеличении количества
двоичных знаков. Это происходит потому, что каждый
раз, когда добавляется одна цифра, количество
возможных последовательностей удваивается, так как, добавив
одну цифру, мы дважды получим все старые
последовательности, причем в первом случае перед ними будет
стоять нуль, во втором — единица.
Таблица 7
η (количество двоичных
знаков)
• 1
2
3
4
5
10
20
Количество
последовательностей (2П)
2
4
8
16
32
1024
1048 576
€8

Двоичная и десятичная системы — не единственно
возможные системы счисления. Для тех, кто пользуется
вычислительными машинами, очень важной стала
восьмеричная система. Можно считать, что восьмеричная
система состоит из восьми цифр: 0, 1, 2, 3, 4, 5, 6, 7.
Если число 356 записано в восьмеричной системе, то
это значит, что
Зх82 + 5х8 + 6х1 =
= 3x64 + 5x8 + 6x1 =
= 238 в десятичной системе.
Имеется очень простой способ преобразования
двоичной системы в восьмеричную и обратно. Для этого
необходимо только последовательно заменить каждую группу
из трех двоичных цифр соответствующей цифрой в
восьмеричной системе счисления:
Двоичная 010 111 Oil 110 .
Восьмеричная 2 7 3 6
Те, кто работает с вычислительными машинами и кому
приходится пользоваться двоичной системой счисления,
находят, что запоминать и записывать короткие
последовательности цифр в восьмеричной системе намного легче,
чем длинные цепочки двоичных знаков. Они привыкают
рассматривать совокупность трех последовательных
двоичных цифр как единое целое, учатся представлять себе
последовательность, состоящую из двенадцати двоичных
цифр, в виде четырех таких совокупностей, т. е. в виде
четырех цифр восьмеричной системы.
Интересно отметить, что подобно тому, как
совокупность импульсов и пауз может соответствовать
последовательности двоичных знаков, так и последовательность
импульсов с различной амплитудой (0, 1, 2, 3, 4, 5, 6, 7)
может соответствовать последовательности, состоящей из
цифр восьмеричной системы. Иллюстрацией этому может
служить фиг. 4.3· На фиг. 4.3,α показана
последовательность импульсов типа включено -т- выключено, или,
что то же самое, 0—1. Эта последовательность
соответствует двоичному числу 010111011110. Соответствующее
число в восьмеричной системе есть 2736, и на фиг. 4.3,6
оно изображено последовательностью, состоящей из
четырех импульсов тока с амплитудами 2, 7, 3, 6.
89

|° ' °
в
6
4
0
η
111
7
0 1 7
I
3
ι / o\
1 |
6 |
Фиг. 4.3.
Преобразовать двоичное число в десятичное не так-то
просто. Чтобы записать десятичную цифру в двоичной
системе, требуется в среднем около 3,32 двоичного знака.
Можно, конечно, определить каждую цифру десятичной
системы с помощью последовательности, состоящей из
четырех двоичных знаков, как показано в табл. 8, но при
этом некоторые последовательности окажутся лишними,
так как их больше, чем нужно.
Последовательности нулей и единиц, т. е.
последовательности импульсов и пауз, удобно считать двоичными
числами. Это помогает выяснить, сколько имеется
последовательностей различной длины и каково соответствие
между числами, записанными в двоичной системе, и
числами, записанными в восьмеричной или десятичной системе.
Таблица 8
Двоичное
число
0000
0001
0010
ООН
0100
0101
ОНО
0111
Десятичное
число
0
1
2
3
4
5
6
7
Двоичное
число
1000
1001
1010
1011
1100
1101
1110
1111
Десятичное
число
8
9
Не используется
» »
» » '
» »
» . »
» »

Таблица 9

Последовательность двоичных
цифр
000
001
010
011
Отображаемая
восьмеричная
цифра
5
7
1
6

Последовательность двоичных
цифр
100
101
110
111
Отображаемая
восьмеричная
цифра
0
4
2
3
Однако при передаче информации запись чисел в виде
последовательности двоичных знаков непосредственного
отношения к делу не имеет. Так, если нас интересует
только передача отображения восьмеричных цифр, то
можно определять эти цифры уже не по табл. 6, а в
соответствии с табл. 9.
Здесь «двоичным числам» в левой колонке
соответствуют совсем другие цифры, нежели в табл. 6.
В действительности можно несколько иначе
рассматривать такое соответствие между двоичными знаками
и другими символами, например цифрами восьмеричной
системы. Можно считать последовательность двоичных
знаков не частью двоичного числа, а средством для выбора
или опознавания данного символа.
Каждый нуль или единицу можно рассматривать как
элементарный выбор между двумя возможностями. В
качестве примера приведем «кодовое дерево», изображенное
на фиг. 4.4. Поднимемся от корня вверх по веткам.
Φ и а. 4.4.
91

Пусть 0 означает, что нужно идти по левой ветви, а 1 —
по правой. Тогда последовательность 0 11 определит
следующий способ движения: влево, вправо, вправо. Она
приведет нас в соответствии с табл. 9 к цифре 6 в
восьмеричной системе.
Подобно тому как три двоичных знака дают нам
информацию, достаточную для определения одной из
восьми возможностей, так с помощью четырех двоичных
знаков можно определить одну из шестнадцати
возможностей, а с помощью двадцати — одну из 1 048 576
возможностей. Это можно сделать, приписывая возможностям
двоичные числа в произвольном порядке.
Конечно, совершенно не обязательно, чтобы сами
возможности, которые мы хотим отобразить
последовательностями двоичных знаков, были числами. Ведь начали
мы с того, как закодировать английский текст для
передачи с помощью последовательности электрических
импульсов и пауз, которые в свою очередь можно отобразить
двоичными знаками.
Минимум, необходимый для передачи английского
текста по буквам,— 26 букв плюс пауза (всего 27
символов). При этом, конечно, никаких арабских цифр и
никакой пунктуации. Если нужно, числа можно записать
словами (три, но не 3) и знаки препинания тоже (точка,
запятая, двоеточие и т. д.).
Математика говорит, что выбору одного из двадцати
семи символов соответствует приблизительно 4,75
двоичного знака. Если эффективность кода не имеет значения,
то каждый символ можно отобразить 5-значным двоичным
числом, при этом 5 чисел останутся неиспользованными.
Моя пишущая машинка имеет 48 клавиш, включая
клавишу верхнего регистра и ее замок. Можно добавить
еще два «символа», рычаг возврата каретки и рычаг
перевода строки, доведя общее количество до 50. Я мог бы
закодировать свои действия — печатание прописных или
строчных букв, знаков препинания и т. д. (за
исключением процесса вкладывания бумаги) — с помощью 50
символов, причем каждому из них соответствовало бы 5,62
двоичного знака. Можно было бы использовать 6 двоичных
знаков на символ, но тогда несколько
последовательностей двоичных знаков окажутся лишними.
Лишние последовательности появятся потому, что
тридцати двух 5-значных двоичных чисел слишком мало,
92

а шестидесяти четырех 6-значных чисел слишком много.
Как избежать таких потерь? Если имеется 50 символов,
то можно получить 125 000 разных групп по три символа
в каждой. Известно, что 17 двоичных знаков дают 131 072
различных комбинаций. Так что, если текст будет разделен
на блоки, состоящие из трех символов, любой блок сможет
быть отображен 17-значным двоичным числом и при этом
еще останется немного неиспользованных знаков. Если бы
мы отобразили каждый символ шестью двоичными
знаками, то на три последовательных символа потребовалось
бы 18 двоичных знаков. Таким образом, блоковое
кодирование сокращает количество используемых двоичных
знаков при кодировании текста заданной длины.
Коэффициент сокращения составляет 17/18.
Конечно, можно кодировать английский текст и иным
способом. С помощью 16 357 слов английского словаря
можно сказать очень многое. Это довольно большой запас
слов. Имеется точно 16 384 14-значных двоичных чисел.
Из них 16 357 можно было бы приписать различным
полезным словам, а 27 — буквам алфавита и пробелу
между словами или буквами, чтобы можно было составить
по буквам любое слово, не вошедшее в наш словарь, или
даже целое предложение из этих слов. Разделять пробелом
слова, которым приписано определенное число, обычно
не требуется; можно принять, что после каждого слова
обязательно следует пробел.
Если составлять слова из букв приходится очень
редко, то при этом способе кодирования на каждое слово
придется около 14 двоичных знаков. В обычном
английском тексте каждое слово состоит в среднем из 4,5 буквы.
Если передавать сообщение по буквам, то каждое слово
нужно разделять пробелом и, следовательно, даже если
пренебречь прописными буквами и пунктуацией, то
потребуется в среднем около 5,5 символа на слово. Если
закодировать каждый символ пятью двоичными знаками, то
на каждое слово в среднем придется 27,5 двоичного знака,
тогда как при кодировании сразу целых слов сообщения
нужно всего только 14 двоичных знаков на слово.
Как же это получается? Дело в том, что, передавая
сообщение по буквам, можно передать любую
последовательность, составленную из этих букв, а передавая
сразу целые слова, мы ограничиваем себя словами
данного языка.
93

Теперь ясно, что среднее количество двоичных знаков
на слово, требующееся для отображения текста, сильно
зависит от способа кодирования.
Но текст — это только один из видов сообщений,
которые мы хотели бы передавать. Другие сообщения м,огут
быть представлены в виде столбца цифр, человеческого
голоса, кадров кинофильма, фотографий. Как существуют
эффективные и неэффективные способы кодирования
текста, так, возможно, будут существовать эффективные
и неэффективные способы кодирования и других сигналов.
Нетрудно поверить, что в принципе существует некий
наилучший способ кодирования сигналов данного
источника, способ, при котором в среднем потребуется меньше
двоичных знаков на символ, чем при любом другом способе.
Если такой наилучший способ кодирования существует,
тогда можно было бы использовать среднее количество
двоичных знаков, требуемое для кодирования сигнала,
в качестве меры количества информации, приходящегося
на символ, или количества информации, которое источник
сообщений создает в 1 сек.
Именно это и делается в теории информации. О том,
как это делается, мы более подробно расскажем в
следующей главе.
А теперь давайте вкратце вспомним, что мы узнали
из этой главы. Кодирование в математической теории
связи понимается очень широко — как отображение
одного сигнала другим. Так, с помощью радиоволн
можно отобразить звуки голоса, т. е. закодировать их.
Но проще всего объяснить кодирование на примере
дискретных источников, которые создают сообщения,
состоящие из буквенных или цифровых последовательностей.
Очень удачно, что непрерывный сигнал, например ток
в телефонной линии, можно отобразить отсчетами его
величины, причем количество отсчетов, которое нужно
брать каждую секунду, должно быть по крайней мере
в два раза больше величины наивысшей частоты,
имеющейся в сигнале. Мы можем также при необходимости
приблизительно отобразить амплитуду каждого отсчета
каким-либо целым числом.
Особый интерес для математической теории связи, или
теории информации, имеет отображение букв или чисел
94

последовательностью сигналов типа включено —
выключено, которые в свою очередь можно' прямо отобразить
последовательностью двоичных цифр —- 0 и 1. Например,
с помощью последовательности, состоящей из четырех
двоичных цифр, можно получить 16 двоичных чисел и 10
из них можно использовать для отображения 10
десятичных цифр. С помощью последовательности из пяти
двоичных цифр можно получить 32 двоичных числа и 27 из них
можно использовать для отображения букв английского
алфавита плюс пробел. Таким образом, можно передавать
десятичные цифры или английский текст, посылая
последовательности сигналов типа включено — выключено.
Следует отметить, что, хотя эти последовательности
двоичных знаков, может быть, и удобно считать
двоичными числами, само по себе это особого значения не
имеет; для отображения определенной десятичной цифры
можно выбрать любое двоичное число.
Если для кодирования десяти десятичных цифр
использовать 10 из 16 возможных 4-значных двоичных чисел,
то 6 чисел окажутся лишними. Эти последовательности
можно было бы передавать (правда, это никогда не
делается) с помощью последовательности сигналов типа
включено — выключено. Чтобы избежать потерь, можно
применить блоковое кодирование, т. е. кодировать
последовательности, состоящие из двух, трех и более
десятичных цифр или других символов, двоичными знаками.
Любую последовательность, состоящую, например, из трех
десятичных цифр, можно отобразить десятью двоичными
знаками, тогда как при отображении каждой из трех
цифр отдельно потребуется 12 двоичных знаков.
Из десятичных цифр может быть построена любая
последовательность, а вот из английских букв строятся
и обычно встречаются только такие последовательности,
которые являются словами английского языка. В этом
случае более эффективно кодировать двоичными знаками
не буквы, а сразу целые английские слова. Это лишний
раз подчеркивает, что более выгодно кодировать сразу
целую последовательность символов, а не каждый символ
в отдельности.
Все сказанное наводит на мысль, что, по-видимому,
существует наилучший способ кодирования получаемых
от источника сообщений, при котором требуется
наименьшее количество двоичных знаков.

Глава пятая
ЭНТРОПИЯ
В предыдущей главе мы рассмотрели различные
способы кодирования сообщений. Ведь при любом способе
связи неизбежен какой-то вид кодирования сообщений.
Так, в электросвязи буквы могут быть закодированы
импульсами тока в виде точек или тире или импульсами
тока разной величины и полярности, как в квадруплекс-
ном телеграфе Эдисона. Сообщение можно закодировать
и на языке двоичных нулей и единиц, а затем передать
их в виде последовательности импульсов и интервалов.
96

Мы показали, что, периодически замеряя непрерывный
сигнал, например речевой (приняв за амплитуду данного
отсчета ближайшее из ряда дискретных значений), можно
даже непрерывный сигнал отобразить, или закодировать,
последовательностью двоичных цифр.
Мы видели также, что требуемое для кодирования
данного сообщения количество цифр зависит от способа
кодирования. Так, для кодирования целой группы, или.
блока, букв, а не каждой буквы отдельно, двоичных цифр
потребуется меньше. Еще более важно кодирование сразу
целых слов, так как далеко не все комбинации букв дают
значащие слова. При этом способе кодирования требуется
значительно меньше цифр, чем при кодировании этого же
текста по буквам.
Несомненно, существуют и другие способы
кодирования сообщений, созданных некоторым эргодическим
источником, например эргодическим источником английского
текста. Сколько же двоичных цифр фактически
необходимо на каждую букву или на каждое слово? Нужно ли
для выяснения этого вопроса исследовать все способы
кодирования? Но если даже начать такие исследования
и перебирать все виды и способы кодирования по порядку,
то мы все же не будем уверены в том, что нашли лучший
способ кодирования, ибо его-то как раз мы, возможно,
еще не исследовали.
Существует ли, хотя бы в принципе, какой-нибудь
статистический метод обработки сообщения, созданного
источником, результат которого скажет нам, каково
минимальное среднее количество двоичных цифр на символ,
необходимое для кодирования сообщений, создаваемых
источником? J
Чтобы рассмотреть этот вопрос, следует вернуться
к модели источника сообщений, о которой говорилось
в главе 3. Там мы считали источник сообщений
эргодическим источником символов, например букв или слов.
Такой эргодический источник обладает некоторыми
неизменными статистическими свойствами: постоянной
относительной частотой повторения символов, постоянной
вероятностью того, что за данным символом будет следовать
определенный другой символ (или пара, тройка и т. д.
символов) и др.
Точно так же можно говорить и о постоянстве
относительной частоты появления слов в тексте и о постоян-
97

Ствё вероятности тОго, что за дайным словом будет
следовать определенное другое слово, определенная пара,
тройка или другая комбинация слов.
Иллюстрируя статистические свойства
последовательностей букв и слов, мы показали, как с помощью
случайного выбора букв или слов (при условии, что они
выбираются либо в строгом соответствии с вероятностью их
появления, либо в соответствии с вероятностью их появления
вслед за предыдущей последовательностью букв или слов)
можно получить материал, напоминающий настоящий
текст. Производить «выбор» следующего символа можно
по-разному: бросать кости или вытаскивать из шляпы
карточки с написанной на них буквой.
Нечто похожее на такой выбор — что написать или
что сказать дальше— мы проделываем повседневно, когда
пишем или говорим. Иногда выбора нет; после буквы Q
в английском тексте всегда должна стоять буква U.
В начале слова возможностей для выбора куда больше,
чем в середине. Как бы там ни было, в любом источнике
сообщений, живом или механическом, постоянно
осуществляется выбор. Если бы этого не происходило, то
сообщения, создаваемые источником, были бы заранее
предопределены и полностью предсказуемы.
Вследствие того, что при создании сообщений
источником осуществляется выбор, у адресата имеется
неопределенность. Эта неопределенность разрешается, когда
адресат исследует сообщение. Разрешение этой
неопределенности — цель и результат процесса связи.
Если бы в источнике сообщений не происходило
никакого выбора и если бы, скажем, источник мог создавать
бесконечно длинную последовательность одних единиц
или бесконечно длинную последовательность одних нулей,
адресату не нужно было бы принимать или исследовать
это сообщение, чтобы узнать, что в нем содержится: он
мог бы предсказать это заранее. Таким образом, чтобы
наиболее целесообразным способом измерять информацию,
нам необходимо иметь меру, которая возрастает при
увеличении возможностей выбора в источнике и,
следовательно, при увеличении неопределенности адресата
относительно того, какое сообщение создает и передает
источник.
Конечно, любой источник может создавать гораздо
больше длинных последовательностей, чем коротких. Так,
98

из одной двоичной цифры может состоять 2 сообщения,
из двух цифр — 4, из четырех — 16, из восьми — 256
и т. д. Не принять ли нам в качестве меры количества
информации число таких сообщений? Рассмотрим такой
случай: по четырем телеграфным линиям между двумя
пунктами одновременно и с одинаковой скоростью
передаются двоичные цифры. По четырем телеграфным линиям
за один и тот же промежуток времени можно передать
в 4 раза больше двоичных цифр, чем по одной линии.
Поэтому вполне естественно считать, что по четырем
линиям и информации можно передать в 4 раза больше.
Ну а раз так, то информацию следовало бы измерять
количеством двоичных цифр, а не числом различных
сообщений, которые можно составить из этого количества
двоичных цифр. Иначе говоря, количество информации
следовало бы измерять не числом возможных сообщений,
а логарифмом этого числа.
Мера количества информации в теории информации
именно так и вводится, причем такое определение разумно
и по другим соображениям. Эту меру количества
информации называют энтропией. Чтобы понять, что такое
энтропия в теории информации, лучше выкинуть из
головы все, что хоть как-то связано с понятием энтропия,
применяемым в физике. А разобравшись в том, что собой
представляет энтропия в теории информации, можно
попробовать связать ее и с энтропией в физике. Однако
из литературы по этому вопросу видно, что некоторые
авторы никак не могут избавиться от путаницы,
порожденной прежним смешением этих двух понятий.
Энтропия в теории информации измеряется в битах.
Можно сказать, что энтропия источника сообщений равна
стольким-то битам на букву, на слово или на сообщение.
Если источник создает символы с постоянной скоростью,
то говорят, что энтропия источника сообщений равна
стольким-то битам в секунду. у
Энтропия возрастает по мере роста количества
сообщений, из которых источник может делать выбор. Она
возрастает также и в том случае, когда свобода выбора
(или неопределенность адресата) увеличивается, но
уменьшается, когда свобода выбора и неопределенность
ограничены. Например, ограничение, согласно которому
определенные сообщения должны передаваться либо очень
часто, либо очень редко, уменьшает выбор для источника
99

й неопределенность Дли аДрёоатй, а, олеДойатбльно, такое
ограничение должно уменьшать энтропию.
Проиллюстрируем энтропию сначала на простом
примере. В математической теории связи источник сообщений
трактуется как эргодический процесс, в результате
которого создается последовательность символов, до некоторой
степени непредсказуемая. Мы должны представить себе, что
источник сообщений выбирает данное сообщение
некоторым случайным, т. е. непредсказуемым, способом, который,
однако, должен быть эргодическим. Пусть для простоты
источник может выбирать один из двух символов: либо X,
либо Y, причем предыдущий выбор никак не влияет на
последующий. В этом случае известно только, что X
будет выбираться с некоторой вероятностью p0l a Y —
с вероятностью р\, как при игре в орлянку. Эти
вероятности можно определить, исследовав достаточно длинную
последовательность символов, созданных источником. Если
источник эргодический, вероятности р0 и рх не должны
изменяться во времени.
В этом простейшем случае энтропия источника
сообщений Η определяется так:
Η — — (р0 log р0 + Pi log p^ битов на символ.
Таким образом, энтропия представляет собой взятую
с обратным знаком сумму двух произведений:
вероятности ρ0 того, что будет выбран (или получен) символ X,
умноженной на логарифм р0, и вероятности pt того, что
будет выбран (или получен) символ Y, умноженной
на логарифм этой же вероятности р1ш
Какие бы веские аргументы ни приводились в этом
и в более сложных случаях в пользу именно этого
определения энтропии, истинная причина, по которой мы
выбрали эту формулу, обнаружится только в дальнейшем,
и поэтому ее объяснение придется несколько отложить.
Напомним снова, что логарифмы бывают разные и что
в теории информации мы используем логарифмы по
основанию 2. Логарифмы некоторых чисел по основанию 2
приведены в табл. 10.
Логарифм некоторого числа по основанию 2
представляет собой степень, в которую нужно возвести 2, чтобы
получить это число.
В качестве примера «источника сообщений»
рассмотрим честную игру в орлянку. Пусть X — орел, a Y —
100

Таблица 10
Дробное число ρ
1 3
4
1
2
3
8
1
4
1
8
1
16
1
64
1
256
Другой способ
записи числа ρ
1
20>415
1
21
1
21'415
1
22
1
23
1
24
1
26
1
28
Еще один способ
записи числа ρ
2-0)415
2-1
2-1» 415
2-2
2-3
2-4
2-е
2-8
Логарифм числа
ρ по основанию 2
-0,415
-1
-1,415
-2
-3
-4
-6
-8
решка. Вероятность рх выпадения орла равна 1/2,
вероятность р0 выпадения решки также равна 1/2. В соответствии
с нашим выражением для энтропии и в соответствии
с табл. 10 найдем
^--(V2logV2 + 1/2logV2),
Я=-[1/2(-1) + 1/2(-1)],
#=1 бит на бросание.
Если источником сообщений служит
последовательность орлов и решек, полученная при подбрасывании
монеты, то, чтобы сообщить о том, что выпало — орел
или решка, потребуется один бит информации.
Теперь обратим внимание на то, что если орел
обозначить единицей, а решку — нулем, то исход
последовательного подбрасывания монеты можно представить
в виде ряда двоичнйх цифр, количество которых равно
числу подбрасываний. Следовательно, по крайней мере
в этом случае, энтропия (1 бит на бросание) и
количество двоичных цифр, отображающих исход одного
бросания (1 двоичная цифра на бросание) одинаковы. И, по
крайней мере в этом случае, количество двоичных цифр,
необходимое для передачи созданного источником
сообщения (последовательность орлов и решек), равно
энтропии источника.
101

Пусть теперь для создания сообщений используется
монета, вес которой распределен так, что в 3/4» случаев
бросаний будет выпадать орел и только в х/4 случаев —
решка. Тогда
Pi = sU>
Ро = V4,
#=--(V4logV4 + 3/4log3/4),
^=-[(V4)(-2) + (3/4)(^0,415)],
Η = 0,811 бита на бросание.
Интуитивно ясно, что если орел выпадает чаще решки,
то об исходе бросаний заранее известно больше, чем когда
выпадение орла или решки равновероятно. Более того,
если бы мы вынуждены были выбирать орла чаще, чем
решку, то имели бы меньше возможностей для выбора,
нежели в том случае, когда выбор орла или решки
равновероятен. Мы чувствуем, что так должно быть, так
как если бы вероятность выпадения орла была равна
единице, а вероятность выпадения решки — нулю, то
мы совсем бы не имели выбора. И действительно, в
рассмотренном выше примере энтропия составляет всего
лишь 0,811 бита на бросание. Очевидно, что для
отображения последовательности, получившейся в результате
подбрасывания такой монеты, потребуется менее одной
двоичной цифры на бросание, но сразу не ясно, сколько
для этого нужно двоичных цифр.
Если обозначить вероятность выбора орла ри то
вероятность выбора решки ρ0ι естественно, должна быть
равна 1 — i?i· Таким образом, если ρ χ известна, то
известна и р0, Можно вычислить Η при различных значениях
Pi и вычертить график зависимости Η от pt. Такая кривая
показана на фиг. 5.1. Максимум, равный единице, Η имеет
при Pi, равном 0,5, и обращается в нуль при рх, равном 0
или 1, т. е. если источник сообщений все время создает
лишь какой-либо один из двух символов. Какой исход
бросания назвать выпадением орла, а какой — решки,
не имеет значения. Поэтому та же кривая отображает
зависимость Η от р0 и оказывается симметричной
относительно пунктирной линии, на которой ρχ и р0 равны 0,5.
Реальный источник сообщений может производить
последовательный выбор из десяти цифр десятичной системы,
102

. v>.
0,8
Ζ 0,6
J
0,4
0,2
О 0,2 0,4 Οβ 0,8 1,0
?ο ши Pi
Фиг, δ J.
или из двадцати шести букв английского алфавита,
или из многих тысяч слов английского языка. Рассмотрим
случай, когда источник создает один из η символов, или
одно из η слов, и пусть вероятности появления символов
не зависят от предыдущих выборов. В этом случае
энтропия определяется так:
η
Я—— 2 PiI°SPi битов на символ. (5.1)
г=1
Здесь 2 — знак суммы; он означает, что все члены с
разными индексами нужно сложить; pt — вероятность, что
будет выбран έ-й символ. Надписи i ==_ 1 и η ниже
и выше знака 2 означают, что i может принимать
следующие значения: 1, 2, 3 и т. д. до тг, т. е. чтобы вычислить
энтропию, нужно сложить Pilogpi с j92logp2 и т. д.
до га, не пропуская ни одного индекса. Очевидно, что при
η = 2 получается простейший случай, рассмотренный
ранее.
103

Приведем пример. Пусть теперь две монеты
подбрасываются одновременно. При этом возможны четыре
исхода; мы обозначим их цифрами от 1 до 4:
0 0 или 1
О Ρ или 2
Ρ О или 3
РР или 4
Если игра честная (монета правильной формы и веса),
то вероятность каждого исхода равна 1/4, а энтропия
равна
Я = - (V4 log V4 + V4 log V4 + V4 log V4 + V4 log V4),
#=-(-V2-i/2_V2-i/2),
Η =2 бита на два бросания.
Чтобы записать или передать исход одновременного
подбрасывания двух таких монет, потребуется 2 бита
информации. Как и в случае подбрасывания одной
монеты, для которой выпадение орла или решки
равновероятно, исход подбрасывания двух монет можно описать
двумя двоичными цифрами; для каждой монеты можно
использовать одну двоичную цифру. Таким образом,
и в этом случае количество двоичных цифр, с помощью
которого можно передать созданное таким способом
(подбрасыванием монеты) сообщение, равно величине энтропии.
Если имеется η символов и появление каждого из них
равновероятно, то эта вероятность будет равна 1/тг и под
знаком 2! будет η членов, каждый из которых равен
1/тг log 1/тг. Таким образом, энтропия в этом случае равна
#=—log— битов на символ.
При бросании честной игральной кости равновероятно
появление любой цифры от 1 до 6. Следовательно,
энтропия получаемой таким способом последовательности чисел
должна быть равна —log 1/6,'или 2,58 бита на бросание.
В более общем случае предположим, что производится
выбор одного из АГ-значных двоичных чисел и что выбор
каждого числа равновероятен. Всего имеется 2^ таких
чисел, так что
η — Ι ρ
104

Из табл. 10 легко видеть, что
loS± = log2~N=-N.
Таким образом, энтропия источника, который с равной
вероятностью производит выбор одного из iV-значных
двоичных чисел, равна N битов на число. В данном случае
созданное источником сообщение уже само по себе есть
двоичное число, и, конечно, его можно отобразить с
помощью двоичных цифр. И опять-таки количество двоичных
цифр, с помощью которого можно отобразить сообщение,
равно энтропии в битах. Этот пример наглядно
иллюстрирует, почему наиболее подходящей математической
функцией, входящей в выражение для энтропии, должен быть
именно логарифм.
Как правило, вероятность того, что источник создаст
определенный символ, для разных символов различна.
Возьмем для примера источник сообщений, который
создает английские слова, с вероятностями,
характерными для английской прозы, и предположим, что появление
каждого слова совершенно не зависит от предыдущих
слов. Это соответствует приближению первого порядка
на уровне слов, рассмотренному в главе 3.
Опытным путем найдено, что в английской прозе
наблюдается следующая закономерность: если
расположить слова по порядку в соответствии с частотой их
употребления и обозначить наиболее употребительное
слово, вероятность появления которого наибольшая (таким
словом в английском языке является слово the), цифрой 1,
следующее наиболее вероятное слово (of) — цифрой 2
и т. д., то вероятность появления г-го слова (приусловии,
что г не слишком велико) можно довольно точно
вычислить по формуле '
Рг = ^-· (5.2).
Если бы равенство (5.2) выполнялось строго, то точки
на фиг. 5.2, на которой показано, как вероятность
появления слов зависит от г (порядкового номера, или ранга
слова), попали бы на прямую линию, проведенную из
левого верхнего угла графика в правый нижний угол.
Мы видим, что это почти так. Такая обратно
пропорциональная зависимость между вероятностью появления
слова и его рангом известна как закоц Зифа. Более
105

I
δ-
1
I
J
V
0}01
Q001
0,0001
0,00001
>C THE ~~
^gC^-AND
f-1
\br—QR
t* SAY
\ζ— REALLY
Λ^* QUALITY
10 100 1000
Порядковый номер слово
Фиг. 5.2.
10000
подробно закон Зифа мы рассмотрим в главе 12, а здесь
мы им воспользуемся без доказательства.
Выражение (5.2) не может быть верным для всех
слов. Чтобы понять, почему это так, займемся снова
подбрасыванием монеты. Если вероятность выпадения
орла равна 1/2, а вероятность выпадения решки тоже
равна 1/2, то никакого другого исхода подбрасывание
не даст: 1/2 + 1/2 = 1. Если бы имелась еще какая-то
дополнительная вероятность, равная 1/10, что монета
встанет на ребро, то мы должны были бы сделать вывод,
что от каждой сотни подбрасываний можно ожидать
НО исходов: орел — 50 раз, решка — 50 раз и ребро —
10 раз. Но это явный абсурд. Ведь вероятности всех
исходов должны в сумме давать единицу. Отметим теперь,
что сумма вычисленных по формуле (5.2) вероятностей
Pi,р2и т. д. дор8727 (суммы последовательных вероятностей)
Юв

равна единице. Если понять этот результат буквально,
то можно прийти к выводу, что никаких других слов
и быть не может. А это неверно, и, следовательно,
формула (5.2) не абсолютно точна.
Однако ошибка невелика, и Шеннон воспользовался
выражением (5.2) для вычисления энтропии источника
сообщений, создающего слова независимо одно от другого,
но с такими же, как и в английском тексте, вероятностями.
Чтобы сумма вероятностей появления всех слов была
равна единице, он взял только 8727 наиболее
употребительных слов и нашел, что в этом случае энтропия равна
11,8 бита на слово.
В главе 4 мы видели, что английский текст можно
закодировать по буквам, используя в среднем 5 двоичных
знаков на букву, или 27,5 двоичного знака на слово *.
Там же было показано, что, приписав каждому из 16 357
слов и каждому из 27 буквенных символов (включая
пробел) определенную последовательность двоичных знаков,
можно было бы закодировать английский текст,
используя в среднем около 14 двоичных знаков на слово. Теперь
мы начинаем подозревать, что минимально необходимое
количество двоичных знаков дает энтропия и, по оценке
Шеннона, с учетом соотношения вероятностей
появления английских слов оно равно 11,8 двоичного знака
на слово.
В качестве следующего шага в исследовании вопроса
о минимально необходимом для кодирования сообщений
количестве двоичных знаков рассмотрим доказанную
Шенноном поразительную теорему относительно
«сообщений», создаваемых эргодическим источником, который
производит независимый выбор последовательности букв
или слов с присущими им вероятностями появления.
Рассмотрим все создаваемые источником сообщения,
которые состоят из некоторого достаточно большого
количества символов. В качестве примера можно было
бы взять сообщения, состоящие из 100 000 символов (букв,
слов или знаков), но для общности будем считать, что
сообщения содержат Μ символов. Некоторые из этих
сообщений более вероятны, чем другие. В наиболее
вероятных сообщениях первый символ встречается при-
* Средняя длина английского слова с учетом пробела
составляет 5,5 буквы.— Прим. ред.
107

близительно Мр± раз, второй — Мр2 раз и т. д. Таким
образом, каждый символ в этих сообщениях будет
встречаться с характерной для данного источника частотой.
Источник может создавать сообщения и другого вида,
например сообщения, в которых бесконечно повторяется
один и тот же символ, или просто такие сообщения,
в которых количество различных символов заметно
отличается от величины Мр, но создает он их очень редко.
Замечателен тот факт, что если Η есть энтропия
источника в битах на символ, то число наиболее вероятных
сообщений будет равно 2МН, а вероятность вообще
появления всех остальных сообщений будет исчезающе мала.
Иными словами, если расположить сообщения в порядке
уменьшения вероятности и каждому из 2МН наиболее
вероятных сообщений приписать МЯ-значное двоичное
число, то каждому сообщению, состоящему из Μ
символов, почти наверняка будет поставлено в соответствие
какое-либо число.
Проиллюстрируем это положение простыми
примерами. Предположим, источник создает символы 1 или 0.
Если вероятность появления каждого символа равна 1/2,
то, как мы уже видели, энтропия Η равна 1 биту на
символ. Пусть каждое сообщение, создаваемое источником,
содержит Μ знаков. Для определенности примем Μ =
= 1000. Тогда ME = 1000 и, по теореме Шеннона, число
наиболее вероятных сообщений, отличающихся друг от
друга, должно быть равно 21000.
Но с помощью 1000 двоичных знаков можно написать
2Ю00 различных двоичных чисел. Таким образом, чтобы
каждому из наиболее вероятных сообщений приписать
двоичное число и чтобы различным сообщениям при этом
соответствовали различные числа, необходимо взять 1000-
значные двоичные числа. Именно это мы и ожидали
получить. Чтобы на приемном конце можно было определить,
какое из 1000-значных двоичных чисел создал источник,
необходимо послать сообщение, состоящее из 1000
двоичных знаков.
Предположим теперь, что цифры сообщения
получаются в результате подбрасывания монеты, причем цифра
1 обозначает выпадения орла, а цифра 0 — решки,
и пусть вероятность выпадения орла равна 3/4, а
вероятность выпадения решки равна 1/4. Как правило,
сообщение, полученное таким сцоробом, будет содержать больше
108

бДййий;, нежели нулей, но это еЩе не все. Мы видела,
что энтропия в этом случае составляет всего 0,811 бита
на бросание. Если Μ (количество двоичных знаков в
сообщении), как и раньше, принять равным 1000, то
произведение МН будет равно уже не 1000, а 811. Итак, хотя,
как и раньше, число возможных сообщений равно 21000,
число наиболее вероятных сообщений равно всего лишь
2811.
С помощью 811 двоичных цифр можно написать 2811
различных двоичных чисел и каждому из наиболее
вероятных сообщений, состоящих из 1000 цифр, сопоставить
какое-либо из этих 2811 двоичных чисел, оставив
непронумерованными сообщения, появление которых
маловероятно. Таким образом, наиболее вероятное сообщение,
состоящее из 1000 знаков и созданное подобным
источником, может быть передано на приемный конец с помощью
всего 811 двоичных знаков. Вероятность же того, что
источник создаст невообразимое сообщение в 1000
знаков, которому не было поставлено в соответствие никакое
число, пренебрежимо мала, и ее можно не учитывать.
Правда, и этот способ передачи не лишен слабых мест.
Источник может изредка создавать такие сообщения,
для которых не найдется эквивалента среди всех наших
2811 двоичных чисел. В этом случае сообщение передать
невозможно — по крайней мере с помощью 811 двоичных
знаков.
Здесь мы снова видим ясное указание на то, что
количество двоичных знаков, необходимое для передачи
сообщения, в точности равно энтропии в битах на символ,
умноженной на число символов. И еще следовало бы
отметить, что в последнем примере экономия цифр при
передаче достигается при помощи блокового
кодирования, т. е. такого кодирования, при котором 1000 (или
какое-либо другое достаточно большое число) знаков,
создаваемых источником сообщений, рассматривается как
единое целое и каждая из наиболее вероятных
комбинаций знаков отображается своим индивидуальным кодом
(состоящим из 811 двоичных знаков).
Как же более строго и в общем виде доказать это
предположение?
До сих пор мы рассматривали только такие случаи,
когда источник сообщений создает каждый символ (число,
букву, слово) независимо от того, какие символы были
109

созданы до этого. Как известно, для английского яз.ыка
это неверно. Выбор слов в языке ограничен не только их
частотой появления, но и необходимостью соблюдать
определенный порядок их расстановки. Поэтому для
выбора следующего слова имеется меньше возможностей,
чем когда выбор каждого слова производится независимо
от предыдущих.
Как же быть в этом случае? Ключ к разрешению этого
вопроса — блоковое кодирование, о котором мы
говорили в главе 4 и снова вспомнили в последнем примере*
В эргодическом процессе вероятность появления
следующей буквы может зависеть только от 1, 2, 3, 4, 5 или даже
большего числа предшествующих букв, но не от еще
более ранних. Приведенное в главе 3 приближение к
английскому языку второго и третьего порядка дает пример
текста, полученного с помощью такого процесса. Более
того, в любом реальном эргодическом процессе,
имеющем математический смысл, влияние предыдущего
символа на последующий должно уменьшаться по мере
удаления от этого символа. Выполняется эта закономерность
и в английском языке. Хотя можно придумать примеры,
где это не так (скажем, имя героя романа не меняется
на протяжении всего повествования), но, как правило,
слово, которое я напишу следующим, совсем не зависит
от того, какое слово я написал за 10 000 слов до этого.
Предположим теперь, что перед кодированием
сообщение разделено на очень длинные блоки символов. Если
блоки достаточно длинны, то от символов предыдущего
блока будут зависеть только те символы, которые стоят
в самом начале блока, и если блоки удлинить, то эти
символы, существенно зависящие от символов
предыдущего блока, составят пренебрежимо малую часть всех
символов блока. Это позволяет вычислить энтропию
на блок при помощи выражения (5.1). Для прямого
использования выражения (5.1) обозначим вероятность
появления одного из многочисленных блоков символов,
который мы назовем ΐ-м блоком, через Ρ (В{). Тогда энтропия
на блок будет равна
Я = — 2 Ρ (Bi) log P (Bt) битов на блок.
г
Ни один математик не рискнул бы назвать это
выражение энтропией. Он сказал бы, что величина Н, полу-
110

здййая при помойщ приведенного выше выражения,
приближается к энтропии по мере удлинения блоков, т. е.
по мере того, как в блоки входит все больше и больше
символов. Итак, предположив, что блоки очень длинны,
мы получаем очень хорошее приближение к истинной
энтропии. С этой оговоркой можно получить и энтропию
на символ, разделив энтропию блока на число символов
в блоке N:
Н= — (-jf) Σ Ρ (β0 ^8р (Bi) битов на символ. (5.3)
г
Вообще говоря, если не учитывать зависимость между
символами, величина энтропии, вычисленная по
формуле (5.3), всегда несколько завышена. Таким образом,
если N (число символов в блоке) делать все больше
и больше, то Η будет уменьшаться и приближаться
к истинной величине энтропии.
Мы подчеркивали с самого начала г что меру
количества информации нужно выбрать так, чтобы полное
количество информации при передаче нескольких различных
сообщений по нескольким телеграфным проводам было
равно сумме количеств информации, передаваемой по
отдельным проводам. Поэтому для вычисления энтропии
нескольких источников сообщений, работающих
одновременно, нужно сложить энтропии отдельных
источников. Можно пойти дальше и сказать, что если источник
работает с перерывами, то для вычисления средней
скорости создания им информации нужно умножить эту
скорость, т. е. энтропию, на ту долю времени, когда источник
работает.
Пусть имеется множество подключаемых попеременно
источников сообщений, и пусть подключение каждого
источника определяется тем, какая буквенная
последовательность была создана непосредственно перед его
включением. Один из этих источников, например, включится,
если создана последовательность ТН. В этом случае
очень велика вероятность того, что следующей буквой,
которую создаст этот источник, будет Е. Другой источник
включится, если была создана последовательность NQ.
В этом случае вероятность того, что следующим символом
окажется U, равна единице. Вычислим энтропию каждого
из этих источников сообщений. Затем умножим энтропию
источника, который мы обозначим Ви на вероятность
111

ρ (Β\) τοίο, что .включится . ймеййо этот источник (т. е.
умножим на ту часть полного числа включений, которая
относится к этому источнику). Затем энтропию каждого
из оставшихся источников умножим на вероятность того,
что включится именно этот источник, и т. д. Если мы
сложим все полученные при этом числа, то получим
среднюю энтропию (или скорость создания информации)
некоего общего источника, представляющего собой
комбинацию многих разных источников, каждый из которых
работает только часть времени. В качестве примера
рассмотрим источники, которые при создании символов
учитывают только вероятность появления диграмм,
поэтому все влияние прошлого сконцентрировано в букве,
которая была создана последней. Один из источников
включится, если последней была буква JE; этот источник
будет работать 0,13 часть полного числа включений.
Другой источник включится, если последней была
буква W; он будет работать 0,02 часть полного числа
включений.
На языке математики это можно сформулировать так:
вероятность того, что после блока символов Bt,
содержащего N символов, будет создан символ Sj, равна
PbAsj)·
Энтропия этого «источника», который действует только
тогда, когда перед этим был создан вполне определенный
блок 2?j, содержащий N символов, равна
-HtPBASt)i°gpBASj).
Но какую часть от полного числа включений
составляет число включений данного источника? Эта часть есть
вероятность появления именно блока 5j, а не какого-
либо другого блока; назовем эту часть
P(Bt).
Таким образом, учитывая все блоки, содержащие N
символов, запишем сумму энтропии всех отдельных
источников (включение каждого отдельного источника
определяется тем, какой из блоков Bt, содержащих N символов,
предшествовал выбору символа Sj) в виде
ΗΝ=-ΣΡ Μ) Ρ в, (SJ) 1°S Pb, (SJ)· (5.4)
i» i
112

Индексы ί, /, написанные ниже знака суммирования,
означают, что вместо i и / нужно подставить все
значения, которые они могут принимать, а затем сложить все
полученные при этом числа.
По мере того как N (число символов, предшествующих
символу Sj) становится очень большим, HN будет
приближаться к величине энтропии источника. Если нет
никакой статистической зависимости между символами,
которые отстоят друг от друга больше чем на N символов
(это верно для источника диграмм при N = 1, а для
источника триграмм при N = 2), то HN и есть энтропия.
Шеннон записал выражение (5.4) несколько иначе.
Поскольку ρ (Bi, Sj) — вероятность появления блока
Bi и вслед за ним символа Sj — равна ρ (Bt) —
вероятности появления блока Bt, умноженной на pBi (Sj) —
вероятность появления символа Sj после блока Ви то
выражение (5.4) можно записать так:
HN=-2ip(Bi,Sj)logpB.(Sj).
i, j ι
В главе 3 в качестве источника текста мы рассмотрели
машину с конечным числом состояний и одну из них
изобразили на фиг. 3.3. При желании формулу для
энтропии можно вывести, используя в своих рассуждениях
подобную машину. Для. этого каждое состояние машины
мы рассматриваем как источник сообщений и вычисляем
энтропию этого состояния. Затем, умножив энтропию
каждого состояния на вероятность того, что машина
будет именно в этом состоянии, и просуммировав по всем
состояниям, получим требуемую энтропию.
Чтобы записать все это с помощью математических
символов, предположим, что когда машина находится
в состоянии г, то вероятность создания данного символа,
который мы обозначим /, есть pt (/). Пусть, например,
в состоянии, которое характеризуется величиной i = 10,
имеется вероятность 0,03, что следующая буква будет
третьей буквой алфавита; эту букву мы обозначим / = 3.
Тогда
/>ю(3) = 0,03.
Энтропия Hi состояния i вычисляется по формуле (5.1)
#* = -2M7)log^(7).
из

Пусть теперь Pt — вероятность найти машину в г-м
состоянии. Тогда энтропия на символ для машины как
источника сообщений равна
Я = 2 PiHi битов на символ.
Мы можем записать это в виде
Я = — 2 Ла (/) log р^ (/) битов на символ, (5.5)
i, i
где Ρέ — вероятность того, что машина с конечным числом
состояний находится в t-м состоянии, a Pi (/) —
вероятность того, что машина создаст /-й символ, когда она
находится в έ-м состоянии. Индексы i и /, написанные
ниже знака 2» имеют тот же смысл, что и раньше.
Итак, от энтропии источника, который создаст
символы независимо друг от друга и для которого применимо
выражение (5.1), мы простым и естественным · способом
перешли к более трудному случаю, когда вероятность
появления символов зависит от того, какие символы
были созданы до этого. И у нас для вычисления или
определения энтропии источника сообщений имеются три
разные формулы. Все они строго верны и эквивалентны
друг другу при условии, что источник в точности
удовлетворяет условию эргодичности. Следует, однако,
помнить, что английский текст можно считать эргодическим
источником лишь приближенно.
Итак, мы нашли в общем виде выражение для энтропии
на символ. Теперь задача состоит в том, чтобы столь же
определенно установить связь между энтропией на
символ и средним числом двоичных знаков на символ,
необходимым для кодирования сообщения.
Мы уже видели, что если сообщение разбить на
отдельные блоки, состоящие из букв или слов, а каждый
полученный блок считать некоторым символом, то можно
вычислить энтропию на блок по той же самой формуле,
которой мы пользовались, вычисляя энтропию на
независимый символ. Причем величину энтропии источника
можно вычислить с любой точностью, если разбивать
сообщение на достаточно длинные блоки.
Следовательно, нашу задачу можно сформулировать
так: найти способ эффективного кодирования
последовательности символов с помощью двоичных знаков при
114

Таблица 11
Слово
the
man
to
runs
Вероятность
0,50
0,15
0,12
0,10
Слово
house
likes
horse
sells
Вероятность
0,04
0,04
0,03
0,02
условии, что символов очень много и что каждый символ
имеет вполне определенную, отличную от нуля
вероятность того, что будет выбран именно он. Как это сделать,
показали Шеннон и Фано. Сходный, но несколько более
удачный метод решения этой задачи нашел Хаффмен.
Этот метод мы сейчас и рассмотрим.
Выпишем для удобства все символы один под другим
в порядке уменьшения вероятности. Предположим, что
символами служат восемь слов: the (неопределенный
артикль), man (человек), to (предлог), runs (бежит),
house (дом), likes (нравится), horse (лошадь), sells
(продается). Вероятность появления, или выбора, этих
символов независимо друг от друга приведена в табл. 11.
Энтропию, приходящуюся на каждое слово, можно
вычислить по формуле (5.1); она равна 2,21 бита на слово.
Однако если бы мы просто приписали каждому слову
одно из 3-значных двоичных чисел, то нам потребовалось
бы три знака, чтобы передать каждое слово. Как
закодировать эти слова более эффективно?
На фиг. 5.3 показано, как построить наиболее
эффективный код для передачи такого сообщения по словам.
Слова выписаны слева, а вероятности указаны в скобках.
Начнем построение кода с того, что найдем два слова
с наименьшими вероятностями — 0,02 (sells) и 0,03
(horse) — и проведем линии к точке, обозначенной 0,05,
вероятности появления либо слова horse, либо слова
se^ls. Затем не будем учитывать индивидуальных
вероятностей появления этих слов и снова найдем две
наименьшие вероятности: 0,04 (likes) и 0,04 (house). Проводим
вправо линии к точке, обозначенной 0,08 (сумме 0,04
и 0,04). Теперь двумя наименьшими вероятностями
оказываются 0,05 и 0,08, поэтому мы проводим от них линии,
116

THE (0,50)
MAN (0,15)
TO (0,12)
RUNS (0,10)
HOUSE (0,04)
LIKES (0,04)
HORSE (0,03)
SELLS (0,02)
Φ и г. 5.3.
которые дадут нам точку, обозначенную 0,13.
Продолжаем этот процесс до тех пор, пока линии, идущие от
каждого слова, не сольются в общей точке справа,
обозначенной 1,00. От каждой точки отходят влево две линии:
одна вверх, другая вниз. Верхнюю линию обозначим
цифрой 1, нижнюю — цифрой 0. Тогда кодом данного
слова будет последовательность цифр, которая встретится
нам на пути от общей точки 1,00 к этому слову. Полученные
коды приведены в табл. 12.
Таблица 12
Слово
the
man
to
runs
house
likes
horse
sells
Вероятность
P
0,50
0,15
0,12
0,10
0,04
0,04
0,03
0,02
Код
1
001
011
010
00011
00010
00001
00000
Количество
знаков
в коде, N
1
3
3
3
5
5
5
5
Np
0,50
0,45
0,36
0,30
0,20
0,20
0,15
0,10
2,26 1
116
(1,00)
(0,05)

В табл. 12, кроме слов и их кодов, выписаны еще
вероятности появления каждого кода и количество знаков
в каждом коде. Вероятность появления слова,
умноженная на количество знаков в каждом коде, дает среднее
количество знаков, приходящееся на данное слово в
длинном сообщении. Если мы просуммируем произведения
вероятностей на количество знаков, то получим, что
среднее количество знаков, приходящееся на каждое слово,
равно 2,26. Эта величина несколько больше энтропии,
приходящейся на каждое слово, которая, как известно,
равна 2,21 бита на слово, но она меньше трех знаков
на каждое слово, которые нам пришлось бы
использовать, если бы мы каждому слову просто приписали
различный 3-значный код.
Можно доказать, что код Хаффмена не только наиболее
эффективный код для кодирования последовательности
символов, имеющих различные вероятности, но что при
таком способе кодирования требуемое количество
двоичных знаков никогда не превысит величину энтропии
больше чем на единицу (в приведенном выше примере
требуется только 0,05 дополнительного двоичного знака
на символ).
Теперь предположим, что перед кодированием символы
объединены в блоки по 1, 2, 3 или более символов.
Вероятность появления каждого блока отлична от нуля (если
символы выбираются независимо друг от друга, то
вероятность появления определенной последовательности
символов будет равна произведению вероятностей появления
отдельных символов). Для этих блоков символов можно
построить код Хаффмена. По мере того как блоки
делаются все длиннее и длиннее, увеличивается приходящееся
на каждый блок количество двоичных знаков в коде.
И все же при кодировании по методу Хаффмена количество
двоичных знаков на каждый блок не будет превышать
больше чем на единицу энтропию блока в битах! Таким
образом, по мере того как блоки и их коды делаются
очень длинными, меныпе-чем-одна дополнительная цифра
кода Хаффмена становится пренебрежимо малой частью
общего количества знаков и по мере удлинения блоков
количество двоичных знаков на блок становится с
возрастающей точностью равным энтропии блока в битах.
Предположим, что по каналу связи за 1 сек можно
передать С импульсов типа включено — выключено. По
Ш

такому каналу можно передать С двоичных знаков в
секунду. Каждый двоичный знак может нести 1 бит
информации. Следовательно, можно сказать, что способность
этого канала передавать информацию равна С - битам
в секунду. Если энтропия источника сообщений Я,
измеренная в битах в секунду, меньше С, то по этому каналу
можно передать сигналы источника, кодируя их по методу
Хаффмена.
Но не по любому каналу передаются двоичные знаки.
Возможен такой канал, по которому передаются,
например, импульсы с тремя разными амплитудами или, как
в коде Морзе, импульсы различной длительности. Можно
представить, что к этому каналу подключаются
различные источники сообщений, причем каждый источник
будет иметь определенную энтропию, или скорость
создания информации. И какой-то источник даст наивысшую
энтропию, которая может быть передана по этому каналу.
Эту наивысшую возможную энтропию называют
пропускной способностью канала, обозначают буквой С и
измеряют в битах в секунду.
С помощью кода Хаффмена выходной сигнал канала,
когда по нему передается сообщение с наивысшей
возможной энтропией, можно представить некоторым
наименьшим количеством двоичных знаков в секунду, и если
длинные отрезки сообщения кодируются длинными
последовательностями двоичных знаков, то потребуется
количество двоичных знаков в секунду, очень близкое к
величине С. Это кодирование можно, конечно, выполнить
и в обратном направлении и С независимых двоичных
знаков в секунду закодировать так, чтобы их можно было
передать по данному каналу. Таким образом, сообщения
источника, обладающего энтропией Н, можно
закодировать Η двоичными знаками в секунду, а некий
дискретный канал с пропускной способностью С можно
использовать для передачи С битов в секунду.
Теперь мы способны оценить одну из основных теорем
теории информации. Шеннон назвал ее основной теоремой
для канала без шума. Она формулируется так:
Пусть источник имеет энтропию Η {битов на символ),
а канал имеет пропускную способность С {битов в секунду).
Тогда можно закодировать сообщения на выходе источника
таким образом, чтобы передавать символы по каналу
со средней скоростью {С1Щ — е символов в секунду, где
Ш

ε сколь угодно мало. Передавать со средней скоростью
больше, чем С/Н, невозможно.
Перескажем эту теорему без математических тонкостей.
Любой дискретный канал, по которому передаются
двоичные знаки, цифры, буквы, числа или импульсы
и паузы определенной длительности, имеет присущую
только ему пропускную способность С. Эргодический
источник имеет определенную величину энтропии Н.
Если Η меньше или равно С, то создаваемые этим
источником сообщения можно передать по этому каналу.
Если же Η больше С, то передача невозможна и лучше
даже не пытаться это проделывать.
Выше мы показали, как можно доказать первую часть
этой теоремы. Правда, мы не доказали, что сообщения
источника с энтропией // нельзя закодировать с помощью
меньшего Η количества двоичных знаков на символ,
но это тоже доказывается.
Теперь мы твердо знаем, что по измеренной в битах
энтропии источника устанавливается, сколько двоичных
знаков (или импульсов типа включено — выключено,
или типа да — нет) требуется на знак, букву, слово
или в секунду, чтобы передавать сообщения, создаваемые
источником. Такого рода зависимость установил Шеннон.
И дело еще в том, что слово бит — это просто удобное
сокращение выражения двоичная цифра.
Я использовал здесь слово бит в одном определенном
смысле— в качестве меры количества информации, в
других же случаях я пользовался выражением — двоичный
знак (или цифра). Я сделал это во избежание путаницы,
которая легко могла бы возникнуть, если бы я начал
использовать слово бит для обозначения двух различных
понятий.
На практике энтропия в битах обычно отличается
от количества используемых двоичных цифр.
Предположим, например, что источник сообщений случайным
образом создает символ 1 с вероятностью х/4, а символ 0 —
с вероятностью 3/4, и предположим, что он создает 10
символов в секунду. Конечно, такой источник создает
двоичные цифры со скорость^) 10 цифр в секунду, но скорость
создания информации источником, т. е. его энтропия,
равна при этом 0,811 бита на двоичную цифру, или 8,11
бита в секунду. Мы могли бы закодировать последователь·
Л19

ность двоичных цифр, создаваемую этим источником,
используя в среднем только 8,11 двоичного знака в секунду.
Пусть по аналогии имеется канал связи, по которому
за 1 сек можно передать 10 000 произвольно выбранных
импульсов типа включено — выключено. Естественно,
такой канал обладает пропускной способностью 10 000
битов в секунду. Но если канал используется для передачи
неизменно повторяющейся последовательности импульсов,
то мы вынуждены будем признать, что действительная
скорость передачи информации равна 0 битов в секунду,
хотя по каналу в секунду, несомненно, передается
10 000 двоичных знаков.
В этой книге мы использовали слово бит только в
смысле двоичной меры количества информации, в качестве
единицы измерения энтропии, т. е. единицы измерения
скорости создания информации источником сообщений
в битах на символ или в битах в секунду, а также в качестве
единицы измерения пропускной способности канала в
битах на символ или в битах в секунду. Бит можно
представить себе как элементарный выбор или как
осуществление одной из двух равновероятных возможностей.
В источнике сообщений бит отображает некоторую меру
возможности выбора по отношению к сообщению, которое
будет создано; если писать грамматически правильно
по-английски, то выбор на каждую букву составит в
среднем около одного бита. На месте приема сообщения бит
информации разрешает некоторое количество
неопределенности; при приеме английского текста в среднем
имеется около одного бита неопределенности того, какая
будет следующая буква.
Передавая сообщения, созданные источником
информации, при помощи импульсов типа включено—
выключено, мы знаем, сколько двоичных знаков в секунду мы
передаем, даже если (как в большинстве случаев)
энтропия источника неизвестна. (Если бы нам было известно,
что энтропия источника в битах в секунду меньше
количества передаваемых в секунду двоичных знаков, то мы
знали бы, что в принципе можно обойтись меньшим
количеством двоичных знаков в секунду.) Мы знаем, как
следует использовать двоичные знаки для отображения
одной или нескольких возможностей или с помощью
кодового дерева, изображенного на фиг. 4.4, или же
с помощью кода Хаффмена (см. фиг. 5.3). В этом случае
W

принято вместо скорости передачи двоичных знаков
говорить о скорости передачи в битах, и здесь надо
соблюдать осторожность, чтобы в голове все не перепуталось.
Единственно, о чем я попрошу читателя, это
запомнить, что слово бит мы будем использовать только в одном
значении — в качестве единицы измерения информации,
а знаки 0 и 1 будем называть двоичными цифрами. Если
мы можем передать 1000 произвольно выбранных
двоичных цифр в секунду, то можем передать и 1000 битов
информации в секунду. Использование термина бит
вместо термина двоичная цифра может оказаться
удобным, но мы должны быть уверены, что при этом
понимаем, что делаем.
Теперь вернемся к коду Хаффмена, приведенному
в табл. 12 и на фиг. 5.3. Кодируя сообщение с помощью
этого кода, мы получаем непрерывную последовательность
символов. Как же мы можем узнать, обозначает ли данный
произвольно выбранный из последовательности символов
символ 1 слово the или это часть кода другого слова?
Следует отметить, что ни один код в табл. 12 не является
началом другого кода. Это свойство называется
префиксным свойством. Оно имеет важные и весьма удивительные
следствия, которые можно легко продемонстрировать.
Предположим, например, что мы кодируем сообщение:
THE MAN SELLS THE HOUSE TO THE MAN THE HORSE RUNS
TO THE MAN.
Закодированное сообщение имеет следующий вид:
|the| man sells jthe house I
100100 00010 001 1
I likes ι man ι the ι
I III
to the man the horse
011 1 001 1 00001
to j the ι man j the j horse j
runs | to j the j man J
0 10 0 11 1 0 0 1
runs ι to ι the] man !
m

Здесь слова сообщения написаны над кодовыми
группами.
Теперь предположим, что мы приняли только те
цифры, которые стоят после первой вертикальной
пунктирной линии. Декодирование начнем с того, что найдем
кратчайшую последовательность цифр, которая в нашем
коде заменяет слово. Это 00010, что соответствует слову
likes. Продолжаем в том же духе. «Декодированные»
слова написаны под кодом и разделены пунктирными
линиями.
Мы видим, что после нескольких ошибок пунктирные
линии начинают совпадать со сплошными линиями,
и с этого места сообщение дешифруется правильно.
Очевидно, что даже нет необходимости точно знать, где
начинается последовательность цифр, отображающая это
сообщение, чтобы декодировать его правильно (насколько это
вообще возможно).
Если мы оглянемся назад, то увидим, что цель этой
главы достигнута. Мы получили единицу измерения
количества информации, приходящейся на символ или
на единицу времени для эргодического источника, и
показали, что энтропия равна среднему количеству двоичных
цифр на символ, необходимому для передачи созданных
источником сообщений. Мы отметили также, что для
осуществления передачи с наименьшим количеством
двоичных цифр, ненамного превышающим величину энтропии,
нужно кодировать достаточно длинные блоки сообщения,
а не каждый символ в отдельности.
Возникает, однако, вопрос: насколько длиннй должны
быть блоки? Здесь придется продолжить рассуждение.
Блочное кодирование желательно по двум причинам.
Первая: нужно, чтобы среднее количество двоичных
цифр на символ, используемое в коде Хаффмена, было
ненамного больше энтропии на символ. Вторая: чтобы
эффективно закодировать такой материал, как английский
текст, нужно учесть влияние предыдущих символов на
вероятность появления данного символа. Мы видели, что
сделать это можно, если воспользоваться формулой (5.3)
и взять очень длинные блоки.
Итак, мы возвращаемся к нашему вопросу: сколько
символов N должен содержать блок, чтобы 1) код
Хаффмена был достаточно эффективен и 2) энтропия на блок, если
пренебречь^ взаимосвязями вне блока т била достаточно
т

близка к количеству символов в блоке ЛГ, умноженному
на энтропию, приходящуюся на символ? В случае
английского текста второе условие является определяющим.
Шеннон приблизительно подсчитал энтропию,
приходящуюся на букву английского текста, измерив
способность людей угадывать следующую букву сообщения,
после того как были показаны 1, 2, 3 и т. д. предыдущие
буквы. В этих текстах «алфавит» состоял из 26 букв
плюс пробел.
На фиг. 5.4 показана зависимость верхней и нижней
границ энтропии английского текста от количества букв,
которое испытуемый видит, когда делает предсказания.
При возрастании количества букв от 10 до 15 наклон
кривой очень незначителен, а между 15 и 100 буквами
происходит довольно заметный спад. По-видимому, это
говорит о том, что для достаточно эффективного
кодирования английского текста следует брать блоки,
содержащие не менее 100 букв.
Из фиг. 5.4 очевидно, что энтропия английского текста
лежит где-то между 0,6 и 1,3 бита на букву. Будем считать
ее равной 1 биту на букву. Тогда для кодирования блока,
содержащего 100 букв, потребуется в среднем 100
двоичных знаков. Это означает, что имеется 2100 наиболее
вероятных комбинаций, состоящих из 100 букв английского
алфавита. В обычной десятичной системе 2100 можно
записать как 1 с 30 нулями. Фантастически большое число!
Если мы попытаемся найти вероятность появления
в английском тексте каждого 100-буквенного блока,
который имеет хоть какой-то смысл, то нам придется
сосчитать относительную частоту появления каждого такого
блока. А поскольку наиболее вероятных блоков имеется
1030, то это практически невозможно.
Более того, это невозможно даже в принципе.
Большинство из этих 1030 буквенных последовательностей
(не говоря уже о том, что в число 1030 последовательностей
не входят все последовательности, имеющие хоть какой-
нибудь смысл) никогда не были написаны! Поэтому
не может быть и речи о получении из английского текста
относительной частоты появления, или вероятности
появления, таких длинных буквенных блоков.
Здесь перед нами встают два вопроса.
1) Насколько правильно представление об английском
тексте как о продукте эргодического источника?
129

I I I I
III
III
^-Верхняя
граница
ι ι ι ι -
ι ι ι ι
ι \ л ι ~.
"~vl
χΓΤ
ι
vj
Ι<Λ
/
Ι
<3
^j
II
II
ι °ι
Ι ι
Ι Ι
τ
CD
IS
ι
Μζ}·
CO
Γ*"
Ι 5 6 7 8 9 10 1
Количество букв
NT
ΙΟ ^ CO СЧ1 *- CD
iRuing

2) Какой метод Статистического описания этого
источника можно считать наиболее подходящим? · >
Вполне возможно, что какие-то вероятности,
подходящие для статистического описания источника, в какой-
то форме в человеке действительно имеются, даже если,
исследуя имеющийся текст, вычислить их нельзя. Можно
также предполагать, что эти вероятности объективно
существуют и что их можно получить каким-то другим,
более тонким способом, а не наивным вычислением
вероятностей появления буквенных последовательностей.
Заметим, например, что энтропию эргодического источника
можно вычислить и по формуле (5.4), и по формуле (5.5).
формула (5.5) применима к машине с конечным числом
состояний. В конце главы 3 мы уже говорили, что весьма
заманчиво считать, что человек, находясь в
определенном состоянии, создает вполне определенный символ или
слово.
Однако некоторые лингвисты придерживаются
мнения, что английская грамматика и продукция машины
с конечным числом состояний несовместимы. Для
понимания структуры реального английского текста и для
понимания его энтропии, очевидно, необходимо изучить
этот текст более глубоко, чем это делалось до сих пор.
Вполне безопасно, если знаешь, как это делать, слепо,
механически применять строгую математическую теорию
к идеальной абстракции, для которой эта теория верна.
Но чтобы использовать даже хорошую и удачную
математическую теорию для решения практических, далеко
не идеальных задач, нужно действовать с умом. Чтобы
как можно лучше и правильнее связать английский текст
с теорией информации, следует искать простые и близкие
к действительности закономерности английского языка.
При этом, конечно, важное место должна занимать
грамматика, и ей мы посвятим следующую главу.
Нам известно, что в английском тексте всегда имеются
некоторые статистические закономерности, такие, как
постоянство частоты появления отдельных букв или
слов, а теоремы кодирования позволяют нам извлечь
выгоду из этих закономерностей.
Если кодировать английский текст по буквам и
пренебречь относительной частотой появления этих букв,
то нам потребуется 4,76 двоичного знака на символ
(включая пробел). Если кодировать по буквам, но учитывая
125

относительную вероятность появления различных букв,
то нам потребуется 4,03 двоичного знака на символ. Если
кодировать по словам и учитывать относительную частоту
появления отдельных слов, то нам потребуется 2,14
двоичного знака на символ. Остроумно используя
рациональные средства, Шеннон показал, что энтропия английского
текста лежит между 0,6 и 1,3 бита на букву. Поэтому
можно рассчитывать на еще более эффективное
кодирование.
Однако механическое применение во всех случаях
какого-то одного метода для нахождения энтропии
английского текста легко может породить не только трудности,
но просто чушь. Возможно, что эту чушь частично можно
приписать различию между человеком, как источником
английского текста, и нашей моделью идеального эрго-
дического источника, однако в известной мере ее
следовало бы приписать и применению просто негодного метода.
Можно с уверенностью сказать, что, хотя эргодиче-
ский источник текста в качестве модели человека не
обладает совершенством, все же эта модель достаточно хороша
и полезна, и за эти качества ее следует высоко ценить.
Эта глава оказалась длинной и трудной, и,
по-видимому, необходимо сделать здесь краткие выводы. Но
повторить все то, на что потребовалось столько страниц,
очень коротко, конечно, невозможно. Поэтому нам
придется лишь подчеркнуть наиболее важные положения.
В теории информации энтропия источника сигналов
в битах на символ или в битах в секунду дает среднее
количество двоичных знаков на символ или среднее
количество двоичных знаков в секунду, необходимое для
кодирования создаваемого источником сообщения.
Под источником сообщений мы понимаем случайный,
т. е. непредсказуемый, выбор для передачи одного из
многих возможных сообщений. Таким образом, по
отношению к источнику сообщений мы рассматриваем
энтропию как меру выбора, количество возможностей выбора,
осуществляемого источником при отборе какого-то одного
определенного сообщения.
Мы считаем, что у адресата до принятия сообщения
имеется неопределенность относительно того, какое же
из многих возможных сообщений будет создано и передано
126

источником. Таким образом, мы считаем, что энтропия
источника сообщений — это мера неопределенности у
адресата по отношению к тому, какое сообщение будет
принято, мера неопределенности, которая разрешается по
получении сообщения.
Если сообщение — одно из η равновероятных
символов или сообщений', то энтропия равна log n. Это вполне
естественно, ибо если мы имеем log η двоичных знаков,
то можем использовать их для того, чтобы записать
2logn = /z
различных двоичных чисел, и одно из этих чисел можно
использовать как код для каждого из этих η сообщений.
В более общем случае, если появление символов не
равновероятно, энтропию можно вычислить по формуле
(5.1). Если рассматривать очень длинные блоки символов,
которые мало зависят от того, какой символ был выбран
перед этим, как своеобразные сверхсимволы, то формула
(5.1) может быть преобразована для вычисления энтропии
на символ для таких источников, в которых, выбор
последующего символа зависит от предыдущего. Это приводит
нас к формуле (5.3). Другие общие выражения для
энтропии даны формулами (5.4) и (5.5)
Полагая, что символы или блоки символов, созданные
источником, кодируются наиболее эффективным методом
(методом Хаффмена), можно доказать, что энтропия эрго-
дического источника, измеренная в битах, равна среднему
количеству двоичных знаков, требуемых для кодирования.
По каналу связи, не вносящему ошибок, могут
передаваться не только двоичные цифры, но и буквы или
другие символы. Можно представить себе, что к такому
каналу подсоединяются различные источники сообщений
и отыскивается (обычно математическим путем) тот
источник, сообщения которого· при безошибочной передаче
по данному каналу обладают максимальной энтропией.
Наибольшая возможная энтропия сообщения, переданного
по такому каналу без шума, называется пропускной
способностью канала. В наших силах доказать, что если
энтропия источника меньше пропускной способности
канала, то сообщения источника можно закодировать так,
чтобы их можно было передавать по данному каналу. Это
основная теорема Шеннона для канала без шума.
127

Выражения вида (5.1), (5.3)—(5.5) в принципе дают
возможность вычислять энтропию источника сообщений
при помощи статистического анализа сообщений,
созданных источником. Но даже для идеального эргодического
источника часто требуются столь длинные вычисления,
что они практически невыполнимы. В случае реального
источника, скажем английского текста, наивные рецепты
вычисления энтропии вообще могут оказаться
бессмысленными.
Приближение к величине энтропии можно получить,
если пренебречь влиянием предыдущих символов на
вероятность создания источником данного символа. Такое
приближение всегда дает завышенную величину энтропии
и требует для кодирования большего количества двоичных
знаков, чем это необходимо на самом деле. Поэтому, если
кодировать английский текст по буквам и пренебречь
даже относительными вероятностями появления букв,
потребуется 4,75 двоичного знака на букву, а если
кодировать сразу целые слова и учитывать относительные
вероятности появления слов, потребуется 2,14 двоичного
знака на букву.
Если бы мы пожелали получить еще большее
приближение, то нам пришлось бы учесть и другие свойства
английского языка, скажем ограничения, накладываемые
грамматикой на вероятность создания данного слова
источником сообщений.
Хотя мы еще не знаем, как наиболее эффективно
закодировать английский текст, Шеннону все же удался
остроумный эксперимент, который показал, что энтропия
английского текста должна лежать между 0,6 и 1,3 бита
на знак. В этом эксперименте испытуемый должен был
угадать следующую букву в отрывке текста, содержащем
большое количество букв.

Глава шестая
ЯЗЫК
и
смысл
В актив теории информации можно записать два
крупнейших достижения. Во-первых, введение понятия
«пропускная способность канала» и, в частности, определение
количества двоичных цифр, необходимых для передачи
информации от данного источника, и, во-вторых,
доказательство того, что любой канал связи с шумами имеет
такую скорость передачи информации (измеряемую в битах
на символ или в битах в секунду), вплоть до достижения
которой информацию возможно передавать без ошибок,
129

несмотря йй н&лйчйё шумов. Эти розулЬтатк дол*кн&
быть справедливы для дискретных и непрерывных
источников и каналов.
Первые четыре главы данной книги можно считать
подготовкой, и, надо сказать, далеко не простой, к
пониманию проблемы, изложенной в предыдущей главе,—
проблемы нахождения количества двоичных цифр,
необходимых для передачи информации, создаваемой
дискретным эргодическим источником. Если бы книга была
посвящена теории информации, то мы должны были бы
по традиции перейти к рассмотрению дискретного канала
с шумами, а затем к непрерывному эргодическому каналу.
Однако если бы мы пошли по этому традиционному
пути, то нам неизбежно пришлось бы вернуться к
исследованию реальных источников сообщений (которые можно
считать эргодическими лишь приближенно), а также
к вычислению энтропии таких источников и к методам
эффективного кодирования создаваемых ими сообщений.
Но не более ли увлекательно отойти от строгой
последовательности изложения теории информации? Быть может,
стоит приостановиться и заняться немного основной
с точки зрения теории информации формой связи —
языком? Почему бы немного не помечтать, обозревая это
важнейшее явление нашего мира с тех, правда не слишком
еще больших, высот, на которые мы успели забраться?
И не посмотреть, не изменились ли для нас самые общие
проблемы языка в свете приобретенных нами знаний?
Но тут мы должны предупредить читателя, что следует
быть осторожным. До сих пор основной упор делался
на то, что мы знаем. То, что мы знаем, составляет основу
науки. Однако ученому нелегко делиться своими
знаниями с неспециалистом. Чтобы понять и достаточно
глубоко усвоить определенный объем сведений о
достижениях науки, нужно много поработать мозгами, и боюсь,
что это было необходимо и при чтении предыдущих глав.
Правда, существует другой, более простой и не совсем
легкомысленный способ знакомства с наукой. Я говорю
о своеобразном просвещенном незнании, существенно
различном у ученого и у неспециалиста. Ведь общая
сумма установленных фактов и теорий, на которых
основывается особая разновидность незнания ученого,
исключает из его рассуждений большую долю бессмыслицы.
Более высокие и туманные ступени незнания ученого
130

охватывают вопросы понимания йроиСхождения
Вселенной, абсолютных основ познания и взаимосвязей между
нашими современными научными знаниями и политикой,
свободной волей и моралью. В этой главе мы займемся
дилетантскими рассуждениями в области, которую я бы
назвал «научно-просвещенным незнанием о языке».
Наше предупреждение о необходимости быть очень
осторожным можно уточнить: большая часть того, что мы
собираемся изложить в этой главе, и есть не более чем
просвещенное незнание. Предупредить об этом тем более
необходимо, что неспециалисту очень трудно отличить
научное незнание от научного факта. Да еще в силу
необходимости это научное незнание обычно выражается
в более общей, более схематической форме с
использованием не слишком заумных терминов, а поэтому оно
более доходчиво, а также романтично, ибо касается
огромных и нерешенных проблем. И вообще — научное незнание
более популярно и выше ценится, чем научные факты.
Но какие бы опасности ни несло такое незнание
неспециалисту, для ученого оно ценно. Ценно потому, что
видение неизведанных далеких стран и непокоренных
вершин спасает ученого от самоуспокоенности и
поднимает его над нудной рутиной повседневной работы. Но
когда ученый выставляет напоказ свое незнание, он обычно
хорошо знает, что делает, а вот непредупрежденный
неспециалист обычно об этом не догадывается и, бедный,
брошенный на произвол судьбы, витает в зыбких облаках,
так и не сумев вступить на твердую почву знаний.
А теперь, памятуя о нашем предостережении, давайте
вернемся к тому месту, где мы уже встретились с языком,
и продолжим наше изложение.
Мы будем говорить только о грамматически
правильном английском языке. Все мы знаем (и особенно те, кто
имел несчастье слышать как будто вполне осмысленный
разговор или беседу на техническую тему), что большая
часть разговоров на английском языке грамматически
неправильна. Это же относится к большинству
разговорных условностей и языковых клише. Выражение «me heap
big chief» (мой начальничек) совершенно понятно повсюду
в нашей стране, хотя, конечно, абсолютно неверно с точки
зрения грамматики. Пуристы, например, не признают
грамматически правильным обратный порядок слов, столь
характерный для второсортной поэзии.
131

Таким образом, обсуждение грамматически йравиль-
ного английского языка ни в коей мере не охватывает все
варианты устной и письменной речи, но намечает путь,
по которому мы можем следовать, не сбиваясь и не
утрачивая интереса к предмету.
Мы уже говорили, что если нужно написать что-то,
что может быть принято за английский текст, то
необходимо следовать определенным правилам. Мы не можем
просто написать любое слово за любым другим. Полная
грамматика языка должна включать все эти правила,
в число которых должно входить и правило построения
последовательностей английских слов, которые в данный
исторический промежуток времени и в соответствии с
некоторым общепринятым стандартом будут считаться
грамматически правильными предложениями.
Отнесение той или иной конструкции к грамматически
правильной — вопрос спорный и туманный. Переводчики
библии короля Джеймса свободно пользовались оборотами
«fear not» (не бойся), «sin not» (не согреши) и «speak not»
(не говори), а также «think not» (не думай) или «have
not» (не имей), а мы часто повторяем афоризм «want not,
waste not» (не хочешь — не трать). Но в современной
разговорной речи или письме нам следует говорить «do
not fear», «do not sin» или «do not speak» в том же значении,
и мы можем выразить приведенный выше афоризм так:
«if you are not to want, you should not waste». Понятие
грамматической правильности со временем изменяется.
Отметив это, пойдем дальше.
Конечно, грамматика должна предписывать
определенные правила построения всех возможных грамматически
правильных и только грамматически правильных
высказываний. Кроме того, удовлетворительные правила
грамматики должны позволять анализировать предложение так,
чтобы можно было отличать в нем то, что продиктовано
собственно этими грамматическими правилами, от всего
остального. Располагая такими правилами, мы могли бы
по-новому оценить энтропию английского текста, так как
ясно видели бы, что в предложении лишь механически
отражает выполнение этих правил, а что допускает
свободу выбора или вносит неопределенность, а
следовательно, ведет к повышению энтропии.
Более того, мы могли бы успешно передавать только
информацию о том, что было выбрано при
конструировался

нии предложений; на приемном конце дело сводилось бы
к тому, что некая грамматическая машина строила бы
правильные предложения на основе принятого сообщения.
Но, конечно, и грамматика далеко не исчерпывает
всего богатства языка, поскольку предложение, даже если
оно грамматически правильно, может быть очень странным.
Можно вообразить машину, способную строить только
грамматически правильные предложения, выбирая их
случайным* образом из имеющегося списка слов. Подобная
машина могла бы составить, скажем, такое предложение:
«The chartreuse semiquaver skinned the feelings of the
manifold». (Двувязная нота шартреза обнажила чувства
многообразия.) Надо полагать, что человек делает выбор,
основываясь на каких-то других соображениях, говоря:
«The blue note flayed the emotions of the multitude».
(Голубая нота затронула за живое огромную аудиторию.)
Разница заключается в выборе слов, произведенном по
правилам грамматики, а вовсе не в самих правилах. Знание
грамматики не откроет нам всех тайн языка, но поможет
сделать больший шаг вперед в понимании этого явления.
Какого же рода правила будут действовать при
создании только грамматически правильных предложений и всех
грамматически правильных предложений, даже если выбор
делается случайно? В главе 3 мы видели, каким образом
можно строить последовательности слов, выбирая слова
случайно, в соответствии с вероятностью их появления
в реальных предложениях, где им предшествует, скажем,
Μ слов. Там же был приведен пример приближения
второго порядка на уровне слов, где слово выбиралось
исходя из частоты его появления вслед за данным
словом.
На основе накопленного знания английского языка
можно построить приближения более высокого порядка.
Можно, например, получить приближение четвертого
порядка на уровне слов, просто показав кому-нибудь три
слова, написанные подряд, и попросив составить
предложение, в котором встретится эта последовательность,
а к ней по смыслу добавить следующее слово. Если
попросить несколько человек поочередно проделать эту
операцию, то можно получить длинные последовательности
слов, например, такого вида:
1. When morning broke after an orgy of wild abandon
he said here head shook vertically aligned in a sequence of
133

words signifying what. (Когда пришло утро после дикой
оргии распутства он сказал здесь кивнув головой
подобрав последовательность слов означающих что.)
2. It happened one frosty look of trees waving
gracefully against the wall. (Оказалось что были видны
заиндевевшие деревья изящно качавшиеся на фоне стены.)
3. When cooked asparagus has a delicious flavor
suggesting apples. (При варке спаржа имеет приятный аромат
напоминающий яблоки.)
4. The last time I saw him when he lived. (Последний
раз я видел его когда он жил.)
Эти «предложения» имеют тот самый смысл, который
они имеют, поскольку выбор слов делался не случайно,
как раньше, а мыслящим существом. Однако следует
отметить, что они поразительно правильны с точки зрения
грамматики, хотя эти правила, да и смысловые связи
относились только к четырем словам (каждому составителю
давалось три слова, а четвертое он добавлял сам). Все же
четвертый пример, возможно, несколько сомнителен с
точки зрения грамматики английского языка.
Если верить Шеннону, что в английском тексте
неопределенность при выборе одного символа составляет около
1 бита на символ, то для выбора группы из четырех слов
потребуется около 22 двоичных выборов, иными словами,
придется выбирать из 10 миллионов четырехсловных
комбинаций. В принципе можно заставить
вычислительную машину добавлять слова, пользуясь этим списком
комбинаций слов, но результат не будет обязательно
грамматически правильным, и мы отнюдь не уверены,
что такой неуклюжий метод приведет к построению всех
возможных грамматически правильных
последовательностей слов. Существуют, по-видимому, такие
последовательности слов, которые в одном случае могут образовывать
часть грамматически правильного предложения, а в
другом не могут. Если мы включим такие последовательности
в список, то сможем получить грамматически
неправильные предложения, а если мы их отбросим, то потеряем
часть грамматически правильных предложений.
Если мы пойдем по пути использования
последовательностей, состоящих более чем из четырех слов, то
поступимся полнотой нашего списка в пользу грамматической
134

правильности. Если же возьмем меньше, чем по четыре
слова, то поступимся грамматикой в пользу полноты.
Одновременно получить и то, и другое невозможно.
И вот здесь снова появляется машина с конечным
числом состояний. Пусть эта машина создает
предложения, и пусть в каждой точке предложения, т. е. в каждом
состоянии, она может выбирать, в какое следующее
состояние ей перейти. Больше того, пусть эта машина оперирует
определенными классами или подклассами слов, скажем
именами существительными в единственном или же во
множественном числе, именами прилагательными,
наречиями, глаголами в различных формах времени и числа
и т. д. При этом будут создаваться грамматические
конструкции, в которые могут включаться отдельные слова,
а не обязательно последовательности слов.
Эта идея считать грамматику машиной с конечным
числом состояний очень соблазнительна, так как меха-
ници^ы утверждают, что человек — это машина с
конечным числом состояний, ибо состоит он из конечного числа
клеток, а если уж идти дальше, то и из конечного числа
атомов.
Ноам Хомский, блестящий и широко известный
современный лингвист, не считает ни возможным, ни
правильным использовать машину с конечным числом состояний
в качестве модели грамматики. Он приводит много правил
построения таких последовательностей символов, которые
не могут быть воссозданы машиной. Например, можно
сделать так: будем случайно выбирать буквы и записывать
их подряд до тех пор, пока не появится буква Z. Затем
будем записывать буквы в обратном порядке, начиная
от буквы Z. Исчерпав их, начнем выбирать и записывать
новые буквы опять до буквы Ζ и т. д. В результате
получится очень длинная последовательность букв, в которой
наблюдается некоторая упорядоченность. Более того, нет
предела возможной длины этой последовательности,
заключенной между двумя буквами Ζ.
Не существует такой машины с конечным числом
состояний, которая смогла бы смоделировать этот процесс
и его результат.
Хомский утверждает, что нет предела возможной длины
грамматически правильных английских предложений и что
характер их построения исключает возможность
использования какой-либо машины с конечным числом состояний
135

в качестве источника всех вариантов произвольного
английского текста. Но, с другой стороны, можем ли мы
реально считать предложение длиной в милю
грамматически правильным? Ведь каждый знает, что никто и
никогда не писал и не будет писать такого предложения, а если
бы и написал, то никто бы его не смог понять?
Чтобы решить этот вопрос, необходимо иметь критерий
грамматической правильности. Хотя Хомский,
по-видимому, относит вопрос о грамматической правильности или
неправильности и некоторые вопросы пунктуации, а также
вопросы смысла к проблематике разговорного
английского языка, я полагаю, что его критерий в
действительности таков: предложение считается грамматически
правильным, если говорящий, а возможно, и слушающий
считают его грамматически правильным при условии, что
оно произносится с естественной интонацией, осмысленно,
но без подтекста. Ряд других проблем, сложно решаемых
для многих, Хомского вообще не беспокоят, потому что
сам он говорит по-английски поразительно гладко и очень
правильно.
Независимо от того, могут или не могут грамматические
правила быть реализованы в машине с конечным числом
состояний, Хомский убедительно доказывает, что
неправильно и слишком сложно пытаться строить предложения,
основывая выбор следующего слова исключительно на
уже написанных словах. В противоположность этому
Хомский предлагает строить предложение по
описываемому ниже процессу.
Мы начинаем с той или иной основной формы
предложения, например с именного словосочетания, за которым
следует глагольное словосочетание. Хомский называет
такую частную форму предложения ключевым
предложением (kernel sentence). Затем мы обращаемся к правилам
расширения каждой из частей такого ключевого
предложения. При именном словосочетании мы прежде всего
можем представить его как артикль плюс имя
существительное, скажем «the man» (человек). При глагольном
словосочетании мы можем его представить как глагол плюс
дополнение, а дополнение — как артикль плюс имя
существительное и, подбирая определённые слова, получим,
например, «hit the ball» (ударил по мячу). Идя таким
путем от выбранного нами ключевого предложения
(именное словосочетание плюс глагольное словосочетание), мы
136

получим полное предложение «the man hit the ball»
(человек ударил по мячу). На любом этапе мы вольны выбирать
другие слова и другие методы расширения, например мы
могли бы получить предложение «a girl caught a cat»
(девочка поймала кошку).
Здесь мы видим, что слова в предложении выбираются
не последовательно одно за другим, а иным способом.
Мы с самого начала выбираем своего рода схематический
план, или структуру, всего будущего предложения. Эта
структура, или план, и есть ключевое предложение. А как
только оно выбрано, мы переходим к его отдельным
частям. От каждой такой части мы переходим к ее
составляющим, а от них — к конкретным словам. И чтобы
получить окончательное предложение, мы осуществляем
выбор в каждом узле ветвления этой древовидной
структуры, в основе которой лежит выбранное нами в самом
начале ключевое предложение.
Я изложил идеи Хомского очень неполно и весьма
схематично. Например, сталкиваясь с нерегулярными
формами слов, Хомский при их обработке сперва
указывает корневое слово и его грамматическую форму, а затем
применяет определенные обязательные правила, по
которым получается требуемая форма слова. Следовательно,
при такой ветвящейся структуре, по которой создается
предложение, используются не только обязательные
правила, допускающие осуществление выбора, но и чисто
механические, строго определенные, обязательные
правила, выбора не допускающие.
Чтобы лучше понять этот метод и оценить его
достоинства, надо обратиться к книге Хомского * и к тем работам,
на которые он там ссылается.
Хомский, конечно, должен был столкнуться и с
проблемой неоднозначности предложения, вроде вот такого:
«The lady scientist made the robot fast while she ate».
(В буквальном переводе: «Женщина — научный сотрудник
запустила робота, пока она ела».) Автор этого
предложения, образованный специалист по теории информации,
говорит, что оно может быть понято по крайней мере
четырьмя различными способами (он допускает при этом
и не совсем приличные толкования). Но мне кажется,
* Noam Chomsky, Syntactic Structures, Gravenhage,
137

что это предложение слишком сложно, чтобы служить
примером для детального анализа.
Может показаться, что неоднозначность возникает
только тогда, когда одно или больше слов принимают
различные значения в рамках одной и той же
грамматической конструкции. Это справедливо для таких
выражений, как: «he was mad» (он был зол или он был
душевнобольным) или «the pilot was high» (пилот был высоко
в небе или пилот был под градусом). Однако Хомский
приводит простой пример, в котором неоднозначность
чисто грамматическая. В выражении «the shooting of
the hunters» (стрельба охотников) имя существительное
hunters (охотники) может выступать или в роли субъекта
действия, как в выражении «the growling of lions»
(рычание львов), или же в роли объекта действия, как в
выражении «growing of flowers» (выращивание цветов).
Хомский показывает, что различные правила
трансформации, приложенные к различным ключевым
предложениям, могут привести к одной и той же последовательности
грамматических элементов окончательного предложения.
Так, предложения: «the picture was painted by a real
artist» (картина написана настоящим художником) и «the
picture was painted by a new technique» (картина написана
в новой манере), совпадают с точки зрения
грамматической структуры слово в слово. И все же первое
предложение могло бы явиться результатом применения
трансформации к предложению «a real artist painted the picture»
(настоящий художник написал картину), в то время как
второе предложение никак не могло явиться результатом
применения трансформации к предложению, имевшему
такую структуру. Когда и слова, и грамматические
конструкции оказываются одинаковыми в окончательном
предложении, тогда предложение получается
неоднозначным.
Хомский также говорит о сложности проведения
границы между грамматикой и значением слов в языке.
Можем ли мы утверждать, что с грамматической точки
зрения имя существительное может определяться именем
прилагательным и не может определяться наречием?
Но тогда можно писать «colorless green» (бесцветная
зелень). Может ли грамматика запретить сочетания
некоторых прилагательных с некоторыми существительными,
некоторых существительных с некоторыми глаголами
138

и т. д.? В одних случаях правильные с грамматической
точки зрения конструкции бессмысленны, а в других они
неправильны грамматически.
Мы видим, что Хомский предлагает такую систему
грамматики английского языка, которая в процессе
построения предложения требует выполнения определенных
обязательных или необязательных действий. Процесс,
допускаемый такой грамматикой, не может быть
воспроизведен машиной с конечным числом состояний, но может
быть выполнен более универсальной машиной —машиной
Тьюринга. Это — машина с конечным числом состояний,
снабженная бесконечно длинной лентой, на которой
символы записываются и с которой можно считывать и
стирать. Исследование взаимосвязи грамматики Хомского
и такой машины представляет интерес для тех, кто
занимается теорией автоматов.
Однако мы должны отметить, что если мы произвольно
ограничим длину предложения хотя бы тысячей или
миллионом слов, то и тогда грамматика Хомского будет
соответствовать машине с конечным числом состояний.
Такое ограничение, накладываемое на длину предложения,
с практической точки зрения весьма разумно.
Если дано общее описание или модель грамматики
такого типа, как предлагает Хомский, то можно задать
вопрос: при каких условиях и каким образом можно
вычислить энтропию в качестве меры выбора или
неопределенности источника сообщений, который создает текст
в соответствии с правилами этой грамматики? Ответ на этот
вопрос можно ожидать от математиков — специалистов
по теории информации.
Гораздо более важно создание достаточно полной
и удобной грамматики. Ею может быть контекстная
грамматика, которую предлагает Хомский, или любая другая.
Такая грамматика, возможно, окажется неполной в том
смысле, что по ней не удастся построить и
проанализировать некоторые грамматически правильные конструкции
английского языка. Более существенно, однако, чтобы
операции по созданию предложений ближе
соответствовали тому, как это делает человек. Кроме того, эта
грамматика должна быть настолько простой, чтобы было
возможно и строить, и анализировать текст с помощью
вычислительных машин. Я считаю, что машины
обязательно должны использоваться при решении проб-
139

лемы изучения структуры и статистики английского
текста.
Очень многие убеждены в том, что метод Хомского
представляет собой весьма важную сторону грамматики,
но все же кое-кто считает, что предлагаемую им картину
построения предложения нужно изменить или сузить,
чтобы ее возможно было применить к описанию того, как
строит предложение человек. Говоря или слушая, человек
вполне уверен, что предложение в основном строится от
начала к концу. Нам кажется также, что, когда человек
начинает говорить (или писать), в его голове нет
тщательно выработанного плана предложения. Этот план
уточняется в ходе высказывания.
Я предполагаю, что в не очень далеком будущем
исследования грамматических явлений и статистики их
использования откроют нам много нового в природе языка,
а одновременно и в природе самого человека. Но чтобы
сказать сейчас что-нибудь более определенное, я должен
был бы опередить современные знания, и свои
собственные, и чужие.
Грамматика должна предписывать не только правила
соединения слов различных типов в грамматически
правильные сочетания, но и осуществлять разделение слов
английского языка на классы в зависимости от того места,
которое они могут занимать в грамматических
конструкциях. Лингвисты проводят такое разделение, исходя
исключительно из грамматической функции, отвлекаясь
от смыслового значения. Так что все, чего мы можем
ожидать от грамматики, это построения грамматически
правильных предложений, к которым относится и
приведенный выше пример: «The chartreuse semiquaver skinned
the feelings of the manifold». (Двувязная нота шартреза
обнажила чувства многообразия.) Но, конечно же,
разделение слов на такие грамматические категории, как
имена существительные, прилагательные и глаголы, вовсе
не единственный критерий, которым руководствуются
люди при подборе слов, строя ту или иную фразу.
Так на основе чего же выбираются слова при
построении грамматически правильных предложений, когда не
машина делает случайный выбор, а человек, научившийся
в результате долгой практики говорить по правилам
грамматики? На этот вопрос туманное слово «смысл»
ответа дать не может. Вне всякого сомнения, критерий
НО

правильности создаваемых предложений может быть очень
сложным. Многие поколения философов и психологов
изучали проблемы языка и употребления слов и строили
различные гипотезы. И сейчас еще трудно сказать что-то
совершенно новое в этой области или что-то совершенно
правильное. Еще в XVIII веке епископ Беркли писал
о языке настолько разумно, что и сейчас нельзя не отдать
должного логичности и глубине его мыслей.
Предположим, что поэт, принадлежащий к классической
школе (т. е. пишущий ритмичные и рифмованные стихи),
садится писать грамматически правильное стихотворение.
Большую часть времени он затратит на выбор слов,
укладывающихся во взятый им стихотворный размер,
рифмующихся между собой и отвечающих его замыслу, а также
введение аллитерации и иных желательных благозвучных
повторов. Это очень хорошо иллюстрируется стихами
Эдгара По «Колокола», «Улялюм» и «Ворон».
Иногда поэт стремится так объединить слова, чтобы их
звучание и смысл вызвали у читателя или слушателя
желаемые чувства или впечатления. Приведем отрывок
из стихотворения «The Bells» («Колокола») Эдгара По,
великолепно подтверждающий сказанное *.
How they tinkle, tinkle, tinkle,
In the icy air of night!
While the stars that oversprinkle
All the heavens, seem-to twinkle
In a crystalline delight...
Иногда создаваемая поэтом картина может быть
звучной, плавной и живой, даже если стихотворение лишено
того прямого смысла, который так отчетлив в стихах По.
Если речь идет не о поэзии, слова могут выбираться
по соображениям благозвучия, но, вероятно, чаще всего
их выбирают по тем ассоциациям, которые они могут
* И звенят, звенят, звенят
В льдистом воздухе ночном,
И звенят, и говорят.
Звезды радушно горят
Кристаллическим огнем.
(Эдгар По. Избранное.
Перевод А. Оленина-Гнененко,
Гослитиздату Л/., 1959.)
141

вызвать, ito их Способности затронуть человеческие
чувства, в частности те, которые перечисляет Беркли: страх,
любовь, ненависть, восхищение и презрение. Отдельные
слова и выражения вызывают такие чувства у всех. Есть
такие слова и выражения, которые в определенных
исторических условиях оказывают одинаково сильное
воздействие на большинство людей, такое же, какое оказали бы
картины действительности, звуки и события, с которыми
эти слова и выражения связаны. Так, слова молитвы
могут вызывать сильные религиозные чувства;
политические или расистские эпитеты — тревогу или презрение,
а грязные шутки — сами понимаете что.
Беркли не упоминает еще об одном чувстве — чувстве
понимания. Говоря обычными и привычными словами
о плохо понятном, мы можем создать чувство кажущегося
глубокого понимания при обсуждении таких запутанных
категорий, как жизнь, природа знания, сознание, смерть
и провидение. По-видимому, такой прием использования
обычных слов больше подходит для области человеческих
чувств, чем для области разума.
Можно всю жизнь заниматься анализом мотивов
выбора слов, но при этом неизбежно придется все время
возвращаться к проблеме их значения. Каково бы оно ни
было, без него не нужно и все остальное. Если я не владею
китайским языком, то не пойму ни стихотворения, ни
молитвы, ни упрека, ни шутки так, как это поймет лишь
тот, кто хорошо знает язык.
Хотя Колин Черри, известный специалист по теории
информации, и возражает, я считаю, что человеческий
язык есть своеобразный код. Конечно, это не тот простой
код, в котором механически подставляется определенное
слово вместо обозначаемого им явления. Он скорее похож
на сложные коды, которыми пользовались первые
шифровальщики, где одной букве или слову соответствовал
целый список неповторяющихся кодовых слов,
выбираемых по вкусу (для искажения истинной статистики языка).
Но в языке такие «списки» могут перекрываться, а
кодовая книга одного человека может не совпадать с кодовой
книгой другого, и это, безусловно, вызовет путаницу.
Если рассматривать язык как несовершенный код, нам
непременно придется приписать значение высказывания
намерению говорящего. Именно по этим соображениям
я спрашиваю: «Что вы имеете в виду?», даже если хорошо
142

расслышал все слова. В произьедеййях айтороь далекого
прошлого ученые ищут смысл того, что те имели в виду;
Верховный суд США пытается установить, что имел в виду
конгресс, применяя ту или иную букву закона.
Если, скажем, я убежден, что человек лжет, то
сказанное им я понимаю как стремление польстить мне или
обмануть. Если мне стало известно, что предложение
составлено вычислительной машиной, я воспринимаю его
как признак того, что машина очень умно
запрограммирована.
Я не думаю, что сильно отклоняюсь. от темы. Мне
представляется, что эти рассуждения о значении слов
неизбежны, если рассматривать язык как несовершенный
код, который иногда используется не по правилам.
Естественно, что мы далеки от полного рассмотрения
затронутой проблемы.
Грамматически правильные предложения, однако,
независимо от цели высказывания обладают тем, что можно
было бы назвать формальным смысловым значением. Если
бы мы располагали удовлетворительной грамматикой, то
с помощью машины можно было бы устанавливать связи
между словами в предложении, находя подлежащее,
глагольную часть сказуемого, дополнение, слова и выражения,
определяющие другие слова. Вслед за проблемой
установления формального смыслового значения предложения
встает другая — нахождение связи слов с предметами,
свойствами и действиями, т. е. связей, существующих
в окружающем нас мире, включая человеческое общество
и накопленные им знания.
При ежедневном общении мы легко и безошибочно
связываем слова с отдельными предметами, свойствами,
действиями и отношениями. Никого не затруднит фраза
«закрой восточное окно» или «Генри умер», если они
сказаны в обычной обстановке и их нельзя истолковать
двусмысленно. В обычной комнате в Америке каждый
укажет окно, о котором мы только что сказали; ведь
закрываем мы окна постоянно и хорошо знаем, где восток.
И Генри мы тоже знаем (мы не спутаем Генри Смита
с Генри Джонсом), и мертвецов видали. Так что если мы
даже недослышали или недопоняли предложение, то' по
второму разу поймем его почти наверняка.
Но представьте себе, как поразит такая фраза об окне
человека, вообще не знающего, что такое крыша, даже
из

бели фраза будет -ioqfito йереведена. Да и Сами мы можем
растеряться, если нас спросят: «Жив или мертв вирус?»
В большинстве случаев путаница и неясность в
соотношениях между словами и предметами реальной
действительности возникают, по-видимому, по милости
философов, начиная от Платона и кончая Локком, которые
пытались осмыслить такие понятия, как окно, кошка или
мертвец, ассоциируя их с общей идеей или абстрактными
примерами. В частности, предполагается, что мы узнаем
окно, потому что оно соответствует общей идее окна,
идеальному окну, а кошку — по ее соответствию
абстрактной кошке, которая воплощает в себе все атрибуты
кошачьей породы. Как говорит Беркли, абстрактная идея
треугольника (идеального треугольника) должна быть
сформулирована так: «и не косой, и не прямоугольный, и не
равносторонний, и не равнобедренный, но одновременно
все эти свойства сразу и ни одно из них».
Когда врач констатирует смерть, он это делает на
основе определенных симптомов, которые он никак уж
не мог бы обнаружить у вируса. Далее, если врач ставит
диагноз, он никогда не начинает с последовательного
сравнения всех симптомов состояния больного с некоторой
идеализированной картиной болезни. Он начинает с таких
признаков, как внешний вид, температура, частота пульса,
состояние кожи, горла и т. д., а затем учитывает те
симптомы, о которых ему говорит уже сам больной. Известные
сочетания симптомов характерны для определенных
болезней, а *для установления более точного диагноза могут
быть проведены дополнительные осмотры или
исследования.
Так и ботаник определяет известное или неизвестное
растение по наличию или отсутствию определенных
признаков: размер, цвет, форма и расположение листьев
и т. п. Некоторые из этих признаков, например различные
листья у однодольных и двудольных растений, могут
оказаться решающими; другие же, скажем размеры, могут
служить вспомогательными признаками. В результате
ботаник либо бывает убежден в том, что определил
растение правильно, либо хочет верить, что сделал это
правильно, либо же растение оказывается представителем
совсем нового вида.
Таким образом, в повседневной работе медиков и
ботаников идеализированную болезнь или идеальное растение
144

сомнительно брать в качестве надежного критерия, потому
что таковых просто не существует. Вместо них мы имеем
списки свойств или признаков, частью решающих, а частью
вспомогательных.
Ценность сделанных нами замечаний подтверждается
вескими результатами проделанных за последнее время
работ по созданию машин, выполняющих классификацию
и распознавание образов. Первые работы в этом
направлении, которые велись по неправильному пути (вероятно,
по вине философов), заключались в том, что буквы
сравнивались с неким идеальным образом этой буквы, а
фонограммы — с некоей идеальной фонограммой данного звука.
Результаты оказались поистине ужасными. Машина для
распознавания образов, получившая имя Одрей,
огромная, как бегемот, с мозгом, не заслуживающим даже
презрения, могла распознавать цифры, произносимые
голосом одного человека (или несколькими), но бедняга
Одрей, к сожалению, ошибалась на каждом шагу. Мы,
я думаю, должны прийти к выводу, что человек таким
способом распознает образы только в крайне простых
случаях, если вообще так когда-нибудь поступает.
Позже более серьезные исследователи стали искать
существенные признаки образа для его распознавания.
Так, в качестве очень простого примера можно взять
распознавание буквы Q. Вместо того чтобы создавать
идеальный образ прописной буквы Q, ее можно описать
так: выпуклая замкнутая кривая, без углов, с чем-то
пристроенным между четырьмя и шестью часами *.
В 1959 году Л. Хармон сконструировал в лабораториях
фирмы Белл Телефон простое устройство весом в
несколько фунтов, которое способно почти безошибочно
распознавать цифры от нуля до девяти, написанные полными
словами. Вы думаете, это устройство сравнивает
рукописные значки с образцами? Ничуть! Оно всего лишь
определяет, сколько раз перо прошло выше или ниже
определенной линии и поставлены ли точки над i и черточки
на t.
Конечно, никто не сомневается в том, что слова
соотносятся с классами объектов, действий и т. д. Нас окружают
и нам приходится иметь дело с большим числом классов
* Автор пользуется терминологией профессиональных стрелков
для указания попадании в мишень но часовому циферблату.—
Прим, перес.
146

и подклассов объектов и действий, которым мы обычно
можем сопоставить слова. Сюда входят такие объекты,
как растения (горох, подсолнух...), животные (кошки,
собаки...), машины (автомобили, радио...), строения (дома,
башни...), одежда (брюки, чулки...) и т. д. К ним также
относятся такие весьма сложные последовательности
действий, как одевание и раздевание (рассеянные люди,
в том числе и я, часто делают это бессознательно),
зашнуровывание ботинок (что с большим трудом постигается
детьми), принятие пищи, вождение автомашины, чтение,
писание, складывание цифр, игра в гольф или теннис
(это все занятия, требующие целого ряда других
вспомогательных действий), прослушивание музыки,
ухаживание за девушками и т. д. и т. п.
Мне кажется, что данный класс объектов, свойств,
действий или отношений определяется не каким-то
абстрактным образцом, а наборами свойств. Кроме того, нельзя
ожидать, чтобы набор свойств мог дать нам возможность
разделить опыт на совокупность логических, строго
разграниченных и всеобъемлющих категорий. При таком
препарировании узкоограниченной сферы человеческого
опыта язык науки может оказаться очень подходящим,
но наш разговорный повседневный язык делает такую
классификацию весьма произвольной, нечеткой и далеко
не полной. И все же мне кажется, что мы узнаем двери,
окна, кошек, собак, людей, обезьян и т. д. именно при
помощи таких наборов свойств. И я думаю, что именно
таким способом мы распознаем столь обычные действия,
как бег, прыжки, зашнуровывание ботинок, и такие
символы, как написанные и произнесенные слова.
И только таким методом, мне кажется, можно надеяться
заставить машину классифицировать предметы и
накопленный человечеством опыт в виде слов языка или
распознавать язык и переводить с одного языка на другой
или на «язык» действий. Я уверен, кроме того, что если
встретившееся нам слово не дает ничего, что связывало бы
его со знакомыми нам по личному опыту понятиями, то
мы имеем право насторожиться.
Чтобы осуществить нашу мечту о создании машины,
которая будет успешно пользоваться языком, мы должны
располагать грамматикой, а также иметь способ
соотносить слова с явлениями окружающего нас мира. Но и этого
еще далеко не достаточно. Если мы хотим, чтобы
предлоге

жения имели смысл, они должны каким-то образом
соответствовать реальной жизни.
С новыми предметами и явлениями мы не сталкиваемся
каждый день. Новое входит в нашу жизнь как сплетение
уже знакомых явлений, но встречавшихся нам в других
сочетаниях, в другой последовательности. Иногда мы
приобретаем новый опыт, добавляя новые предметы и явления
или их новые комбинации к уже накопленному; так мы
обогащаем или изменяем нашу жизнь. Иногда мы что-то
забываем.
Наши действия зависят от окружающих нас предметов
и событий. Мы увертываемся от автомобиля (сложная
последовательность движений); когда нам хочется^ пить,
мы останавливаемся у крана и пьем (другая сложная
последовательность, на этот раз повторяющихся
движений). В толпе мы можем оттолкнуть кого-то, как мы это
делали не раз. Но не все наши знания о мире получаются
из непосредственных* наблюдений, а наше воздействие
на окружающих, к счастью, не ограничивается одними
толчками. Для общения с людьми у нас имеется мощное
оружие — язык и слова.
Мы пользуемся словами, чтобы узнать о связях между
предметами и действиями и запомнить их, чтобы научить
других или поучиться у них, чтобы так или иначе повлиять
на окружающих. Чтобы словами можно было
пользоваться, собеседники должны соотносить их с одними
и теми же, или почти с одними и теми же, предметами
и действиями. Однако бессмысленно просить человека
почитать или сложить столбик чисел, если он никогда
до этого не читал и не складывал и делать это не умеет.
Бесполезно просить его подстрелить муравьеда и не
стрелять гну, если он их никогда в жизни не видал.
Пойдем дальше. Чтобы последовательности слов имели
смысл, они должны соответствовать реальным или
возможным последовательностям событий. Бессмысленно
советовать человеку совершить послеобеденную прогулку из
Лондона в Нью-Йорк.
Итак, осмысленность высказываний зависит в известной
мере не только от правильности грамматического строя
и удобства того или иного способа соотнесения слов с
предметами, совокупностями качеств и т. д., но и от устройства
окружающего нас мира. При переводе предложения с
одного языка на другой перед нами встает реальная и чрез-
147

вычайно серьезная трудность точного сохранения их
«смысла».
Одна из очевидных трудностей — различие в
классификации явлений. В английском языке мы разделяем
нижнюю часть ноги на «foot» и «lower leg», а у русских
для этого есть одно слово «ступня». Венгры не делают
различия между пальцами рук и ног (на английском
«toes»— пальцы ног и «fingers»— пальцы рук). Для
большинства из нас собака есть собака, будь то самка или
самец, но люди, жившие до нас, не имели общего слова
«dog», подразделяли его на слова кобель (dog) и сука (bitch).
Говорят, что у эскимосов имеется много разных слов для
обозначения различного состояния снега. Мы их выражаем
описательно, да и описания эти нам не очень много
говорят, так как не имеют для нас большого значения. Так
что элементы окружающего нас мира, обычные и имеющие
значение для говорящих на различных языках, часто
по-разному подразделяются ими на классы и по-разному
осмысливаются языково. Невозможно на разных языках
выразить словами или простыми предложениями в
точности одни и те же жизненные явления.
Но есть еще более серьезная проблема. Жизненный
опыт, отображаемый в языке, в различных культурах
различен. Что делать, если перед переводчиком встает
задача перевести роман, в котором попалась, скажем,
такая фраза: «зашнуровать ботинок» (что, как мы уже
говорили, обозначает сложное действие). Как перевести
это на язык людей, ходящих только босиком? Даже очень
подробное и тщательное описание не поможет будущему
читателю. По-видимому, здесь придется поискать
некоторый эквивалент, характерный для данной культуры. А как
вывернуться из такого затруднения: «он построил дом»?
В романе о первых поселенцах это означает, что он сам
рубил деревья и тесал бревна, а сейчас это уже
ассоциируется с работой архитектора и строителей!
Можно осуществить определенный тип пословного или
по крайней мере пофразового подстрочника для перевода
с одного языка на сходный с ним язык, хотя говорят,
что однажды такой перевод привел к следующему
результату: поговорка «out of sight, out of mind» (с глаз долой,
из сердца вон) была переведена так: «слепой дурак».
Если же языки и культуры существенно отличаются,
переводчику приходится немало поломать голову над
148

установлением значения слов непосредственно через
предметы, действия или эмоции, а затем уже передавать эти
понятия на другом языке. Но может, конечно, случиться,
что ни в языках, ни в культурах нет близких эквивалентов
предметов или действий, о которых приходится
переводить. Тогда переводчик влип.
Ну а как же справится с такой трудностью человек,
взявшийся за конструирование переводящей машины? Ему
неизбежно придется искать какой-то способ «научить»
машину с успехом делать то, что применительно к людям
мы называем «понимать». А ведь понимание требуется
даже тогда, когда дело идет не о переводе с одного языка
на другой. Так, сценарист, который, не греша против
реальности, может переделать сцену смерти дядюшки
в Омске на сцену смерти отца в Оклахоме, допустит не
одну нелепость, пытаясь просто перефразировать
элементарное высказывание на научную тему. Это и понятно —
горе он понимает, а" вот науку нет.
С трудом разобравшись в терминах смысл и значение,
мы встали перед проблемой разобраться в слове
понимание. Нам представляется, что слово это имеет как бы две
стороны. Если мы понимаем алгебру или математический
анализ, то можем применить их формулы для решения
ранее не встречавшихся нам задач или для доказательства
теоремы, о которой мы прежде не слыхали. В этом смысле
понимание выражается в способности делать новое,
создавать, а не просто повторять. Про электронную
вычислительную машину, которая доказывает неизвестную ей
теорему математической логики (а это нетрудно сделать,
составив соответствующую программу), можно сказать,
что она в какой-то степени понимает предмет. Но слово
понимание имеет еще и другое значение, связанное
с эмоциями. Если мы можем различными способами
доказать теорему и связать ее с другими теоремами и фактами,
если мы способны подойти к проблеме с различных точек
зрения и при этом увидеть связь между этими подходами,-
то мы говорим, что глубоко понимаем проблему или
предмет. И у нас на душе становится тепло от приятного
чувства уверенности, что мы можем справиться с задачей.
Конечно, иногда это чувство «тепла на душе возникает
без достаточных на то оснований. Чувствовать-то
чувствуем, а сделать ничего не можем. И как разочарованы мы
бываем в критический вдомент!
149

Рассуждая о яэыке с точки врения теории информации,
мы носились в потоках слов, плыли по нечетко
ограниченным рекам грамматических правил и забирались в дебри
смысла и понимания. Мы видели, куда может завести
незнание. Было бы абсурдно утверждать, что теория
информации, или что-нибудь подобное, поможет нам
решить проблемы лингвистики, смысла, понимания,
философии, жизни. В лучшем случае мы могли бы сказать,
что чуточку вырвались за формальные рамки языка
и на горизонте замаячили возможности выбора, открытые
перед нами самим языком. Мы изложили точки зрения
об использовании языка и его функции, но не определили
их точно. Читатель волен согласиться с моим мнением,
основанным на мЪем просвещенном незнании
затронутых проблем, или выбрать свой собственный вариант
такого незнания.

ЭФФЕКТИВНОМ
КОДИРОВАНИЕ
Никогда мы уже не будем понимать природу так, как
ее понимали когда-то греческие философы. Объяснение
явлений природы на основе нескольких всеобъемлющих
принципов, как то делали древние греки, нас уже не
удовлетворяет. Мы слишком много знаем. Нам приходится
объяснять такое, о чем греки и не подозревали. И поэтому
6т теорий мы не требуем, чтобы они согласовывались
во всех деталях с тем кругом явлений, который они
стремятся объяснить. От теории нам нужно не только рацио-
161

нальыое объяснение того или иного явления, но и
полезное руководство. Сила механики Ньютона в том и состоит,
что она дала человеку возможность предсказывать
положение планет и спутников и понять многие другие явления
природы, а отнюдь не в том, что она однажды вдохновила
и поддержала простой механистический взгляд на явления
мира, в том числе и на жизнь.
Современным физикам повезло. В самом деле,
предположения о существовании электронов и атомных ядер
с различными массами и зарядами в принципе вполне
достаточно для полного и точного объяснения с помощью
известных квантовых законов любых (не квантовых)
физических, химических и биологических свойств материи.
Правда, немного смущает то обстоятельство, что пока
удалось точно вычислить свойства лишь одной-единствен-
ной физической системы — изолированного атома
водорода.
Физики могут предсказывать и объяснять и некоторые
другие явления достаточно точно, но значительно большее
число явлений они могут объяснить только описательно.
Однако точной теоретической трактовки, основанной
только на электронных ядерных и квантовых законах, без
учета других экспериментальных данных, оказывается
недостаточно для объяснения многих обычных тепловых,
механических, электрических, магнитных и химических
явлений. Проследить, начиная с элементарных квантовых
процессов, что происходит в сложных биологических
явлениях, настолько трудно, что едва ли этот метод можно
рекомендовать для решения реальных проблем биологии.
Чтобы лучше понять, почему это так, вообразите, что
мы, зная аксиомы одного из важных разделов математики,
умеем доказывать лишь самые простые теоремы.
Итак, нас окружает огромное количество интригующих
проблем и явлений, которые безнадежно пытаться
объединить единой универсальной теорией, как бы ни была
правильна она в принципе. Многим до недавнего
времени из всех загадочных явлений природы наиболее
интересными представлялись те явления, которые мы
обычно относим к физическим. Ныне трудно найти более
захватывающую тему для научных исследований, чем
проблемы биохимии и физиологии.
Однако многие проблемы, выдвинутые в результате
последних достижений техники, по моему мнению, требуют
152

столь же пристального внимания. Что может быть более
захватывающим, чем выявление возможностей
электронных вычислительных машин при доказательстве теории
или при имитации свойств, которые мы обычно считали
«человеческими»! Заслуживают внимания и проблемы,
выдвинутые электросвязью. Точные электрические методы
измерения произвели переворот в акустике. Исследования
телефонной связи открыли новую эру в изучении речи
и слуха и показали несостоятельность ранее принятых
представлений физиологии, фонетики и лингвистики. Вот
для исследования этой хаотической и интригующей
области большого незнания и малого нового знания и
применяется наиболее прямо математическая теория связи, или
теория информации.
Чтобы, подобно законам движения Ньютона, доказать
свое право на существование, теория информации должна
дать нам полезное руководство для решения проблем связи.
Она должна доказать, что в ней отражена некая реальная
сущность, имеющая непреходящее значение для
понимания явлений и управления ими. Как показывает само
название теории, эту сущность следует искать в
эффективной и точной передаче информации. В том, что она
имеется, сомневаться не приходится. Как мы уже видели, об
этом догадывались еще до того, как работа Шеннона
сделала эту сущность доступной для понимания.
Вопрос о точной передаче информации связан с новыми
представлениями; ими мы и займемся в следующей главе.
Однако материал предыдущих глав позволяет нам
рассмотреть некоторые важные вопросы эффективной
передачи информации.
Мы знаем, что энтропия источника информации,
измеренная в битах на символ или в битах в секунду, есть
мера количества двоичных цифр, или импульсов типа
включено — выключено на символ или в секунду,
необходимых для передачи сообщения. Зная минимально
необходимое для кодирования и передачи число двоичных цифр,
нам, естественно, хочется выполнить кодирование,
используя ненамного большее количество двоичных цифр, чем
это минимальное число.
Новички в математике, науке или технике всегда
требуют, чтобы им дали безошибочный и универсальный
способ, которым можно механически пользоваться при
решении задач. Но такие способы ценны только для дока-
Ш

аательства, что эадача вообще может быть решена; в
случае же сложных вадач они часто оказываются
непрактичными, а иногда и совсем неприменимыми. Отметим,
например, что, хотя имеется точное решение полного
кубического уравнения, никто из нас на практике им не пользуется.
Обычно прибегают к какому-либо приближенному методу
решения, годному для определенного типа или класса
кубических уравнений.
Более искушенный в науке человек, как правило,
тщательно продумывает специфические особенности
данной проблемы, стараясь найти лучшее решение, нежели
механическое применение уже известных методов. Давайте
посмотрим, как этот принцип используется в теории
информации. Начнем со случая дискретного источника,
создающего последовательность символов.
В главе 5 мы видели, что энтропию источника можно
вычислить, если исследовать относительную вероятность
появления различных длинных блоков символов. По мере
увеличения длины блока приближение к энтропии
становится все лучше и лучше. В различных случаях для
хорошего приближения к энтропии могут потребоваться
блоки, состоящие из 5, 10 и даже 100 символов.
Мы видели также, что, разделив сообщение на
последовательные блоки символов, каждому из которых может
быть приписана определенная вероятность появления,
и кодируя эти блоки по методу Хаффмена, можно
количество цифр, приходящееся на символ, приблизить к величине
энтропии, по мере того как блоки становятся все длиннее.
Такова механическая схема решения задачи об
эффективном кодировании. Почему бы нам просто не
пользоваться ею во всех случаях?
Чтобы понять одну из причин, почему этого делать
нельзя, рассмотрим очень простой пример. Пусть
источник информации создает случайным образом и с равной
вероятностью двоичную цифру 1 или 0, а затем повторяет
эту же цифру дважды, прежде чем создать следующую
независимую цифру. Сообщение, созданное источником,
могло бы иметь, скажем, такой вид:
00011100011111100 0Ό 00111.
Найдется ли такой умник, который начнет
последовательно делить подобное сообщение на блоки, состоящие
из 1, 2, 3, 4, 5 и т. д. символов, цотом вычислять вероятно-
Ж

сти появления этих блоков и кодировать по методу Хаф-
фмена, а затем он скажет, что при этом получается
выигрыш в количестве двоичных цифр, требуемых для
передачи? Не знаю; впрочем, порой мне кажется, что нет предела
человеческой глупости.
Довольно очевидно, что эффективную передачу в
данном случае можно осуществить гораздо проще.
Вследствие повторения энтропия данного сообщения равна
энтропии последовательности, состоящей только из третьих
двоичных цифр, при условии, что двоичные цифры
выбираются случайно и независимо и что появление цифры
1 или 0 равновероятно. Иначе говоря, она равна х/3
двоичной цифры на каждый символ такого утроенного
сообщения. Передать это сообщение можно с наивысшей
эффективностью, если просто посылать только каждый
третий символ и предупредить адресата, чтобы он
записывал каждый принятый символ трижды.
Это простой пример, но важный. Он подчеркивает,
что следует искать характерные особенности источника
сообщений, которыми можно с выгодой воспользоваться.
Рассмотрение передачи английского текста в главе 4
прекрасно иллюстрирует это. Можно было бы,
например, передавать текст в виде телевизионного изображения.
Для этого потребовалось бы много двоичных цифр на
символ. Такая система передачи позволила бы
передавать не только английский, но и славянский, греческий,
санскритский, китайский и любой другой текст, а также
пейзажи, картины штормов, землетрясений, ну и
изображение Мэрилин Монро тоже. Мы не извлекли бы никакой
выгоды из того элементарного и важного обстоятельства,
что английсдай текст состоит из букв*.
Если кодировать английский текст по буквам, не
учитывая вероятности появления различных букв (и
пробела), то потребуется 4,75 двоичной цифры на букву. Если
учитывать относительные вероятности появления букв,
как сделал Морзе, то потребуется 4,14 двоичной цифры
на букву.
Продолжая механически улучшать эффективность
кодирования английского текста, мы стали бы кодировать
пары букв, тройки букв и т. д. При этом коды были бы
приписаны и таким буквенным последовательностям,
которые вообще не являются английскими словами. Более
разумно, по-видимому, продолжать улучшение кодиро-
ΐόά

вания, перейдя к большей единице английского текста —
слову. В главе 4 было показано, что при таком способе
кодирования английского текста потребовалось бы в
среднем около 14 двоичных цифр на слово, или 2,5 двоичной
цифры на символ.
Если идти дальше, то следующим логическим шагом
было бы исследование структуры предложения, т. е.
извлечение выгоды из правил грамматики. Беда в том,
что мы не настолько хорошо знаем правила грамматики,
чтобы это помогло нам, а если бы мы даже и постигли
их, то система связи, в которой использовались бы эти
правила, оказалась бы слишком сложной.
Действительно, с практической точки зрения все еще представляется
наилучшим кодировать каждую букву английского
текста независимо, используя при этом около 5 двоичных
цифр на символ.
Важно, однако, получить некоторое представление
о том, чего можно было бы достичь при передаче
английского текста. С этой целью Шеннон рассмотрел следующий
случай. Предположим, что мы попросили кого-нибудь,
чтобы он, используя все свое знание английского языка,
угадал следующую букву в произвольно выбранном
английском тексте. Если он угадает, мы ему об этом
скажем, и он ее запишет. Если не угадает, то мы или
подскажем ему, какая буква стоит в тексте, или попросим
продолжать угадывать до тех пор, пока он не назовет
правильную букву.
Предположим теперь, что этот процесс происходит
у передатчика, а для угадывания букв у приемника
находится абсолютно идентичный двойник, который делает
те же ошибки, что и человек, находящийся ^^передатчика.
Затем, чтобы осуществить передачу текста, предложим
человеку, находящемуся у приемника, угадывать
буквы. Если человек у передатчика угадает букву
правильно, то и человек у приемника тоже сделает это
правильно. Так что нам необходимо посылать информацию
человеку у приемника только в тех случаях, когда человек
у передатчика не угадает букву, и этой информации
должно быть ровно столько, чтобы человек у передатчика
и человек у приемника записали эту букву правильно.
Шеннон начертил схему такой системы связи (фиг. 7.1).
Предсказывающее устройство и исходный текст
взаимодействуют следующим образом. Предсказание следующей
т

<£2gm щ r-j
I \предотзы-1 Τ
Ιφ\ воющее М
ПрРдёдеяпьШ т~екст_
Фиг. 7 J.
1 шедсказы-
Ц вающее W
ИсУодн&д
текст

{Предсказывающее
устрайетв6\
буквы сравнивается с действительной буквой. Если
замечена ошибка, то передается некоторая информация. В
приемнике предсказание следующей буквы осуществляется
по уже реконструированному тексту. С · помощью
принятого сигнала выполняется сравнение. Если ошибки
не было, то записывается предсказанная буква, если
ошибка была, то исправить ее можно при помощи
информации, содержащейся в принятом «приведенном тексте».
Конечно, таких идеальных двойников или других
высокоэффективных предсказывающих устройств не
существует. Тем не менее эта система была реализована в более
простой, правда основанной на чисто механическом
принципе, системе передачи изображения. Но цель у
Шеннона была другая. Обойдясь без двойника, только с одним
человеком, он смог довольно просто найти требуемую
скорость передачи в такой системе, исследовав те
ошибки, которые тот допускал. Результаты его исследований
показаны на фиг. 5.4 (стр. 124). Предсказание более точно,
если уже известно не 10 или 15 букв, а 100. Для
исправления ошибок предсказания требуется от 0,6 до 1,3
двоичной цифры на символ. Поскольку этот результат не
вызывает сомнений, то можно сделать вывод, что
энтропия английского текста должна лежать где-то между
0,6 и 1,3 бита на букву.
Дискретный источник информации хорош для
исследования, но большого практического значения не имеет,
потому что по современным стандартам электросвязи для
передачи английского текста требуется очень немного
двоичных цифр, или импульсов типа включено—
выключено. Даже когда торопимся, мы говорим всего лишь
несколько сот слов в минуту, а по телефонному каналу
легко можно передавать несколько тысяч слов текста
в минуту, по телевизионному каналу 10 000 000 слов,
а в принципе (хотя практически это еще невозможно)
можно было бы передавать около 50 000 слов в минуту
по телефонному каналу и около 50000000 слов — по теле-
157

ЁИзионному. На практике же мы не всегда пользуемся
даже остроумным кодом Морзе, который позволяет,
например, передавать букву Ε быстрее, чем букву Ζ.
В телетайпных кодах сигнал имеет одну и ту же
длительность при передаче-любой буквы.
Эффективное кодирование гораздо более важно при
передаче голоса, чем при передаче текста, так как для
передачи голоса требуется больше двоичных цифр. Еще
более важно эффективное кодирование в телевидении.
Отметим здесь еще раз, что голос или телевизионное
изображение — сигналы по самой своей природе
непрерывные в отличие от дискретных сигналов (текста, чисел,
двоичных цифр). Пренебрегая прописными буквами и
пунктуацией, символами английского языка может быть любая
буква алфавита или пробел. Давление звуковой волны,
создаваемое человеческим голосом, может в
определенный момент принимать любое значение внутри
некоторого диапазона давлений. В главе 4 говорилось, что если
частоты такого сигнала ограничены шириной полосы 5,
то этот сигнал можно отобразить при помощи 2В
отсчетов в секунду.
Вспомним, однако, что энтропия символа зависит от
того, сколько значений символ может принимать.
Поскольку непрерывный сигнал может принимать бесконечное
множество значений в точке отсчета, мы вправе сделать
вывод, что энтропия непрерывного сигнала должна быть
равна бесконечному числу битов на отсчет.
Все это было бы верно, если бы требовалось абсолютно
точное воспроизведение непрерывного сигнала. Однако
сигналы передаются для того, чтобы их слышали или
видели. А для этого абсолютной точности воспроизведения
не требуется: достаточно иметь лишь определенную
степень верности воспроизведения. Исходя из этих
соображений, Шеннон, рассматривая отсчеты, отображающие
непрерывный сигнал, ввел понятие критерий верности
(или надежности). Для удовлетворительного
воспроизведения сигнала в соответствии с заданным критерием
верности требуется некоторое вполне определенное
конечное число двоичных цифр на отсчет или в секунду.
Поэтому можно сказать, что с точностью, определяемой
данным критерием верности, энтропия непрерывного
источника имеет данное значение в битах на отсчет или
в битах в секунду.
158

Чрезвычайно важно усбойть, что понятие «критерий
верности» нужно связывать с длинными
последовательностями отсчетов, а не с единичными отсчетами. Если,
например, каждый отсчет при передаче звука сделать
на 10% больше, то при этом всего лишь увеличится
громкость, а качество звука нисколько не пострадает.
Если же в каждый отсчет ввести ту же 10%-ную ошибку,
но изменять ее по случайному закону, то полученный
сигнал будет очень искажен шумом. Аналогичное
явление происходит и при передаче изображения: если
ошибка в яркости или контрастности переходит плавно и
постепенно от одной детали изображения к другой, то эта
ошибка остается незамеченной, а та же самая по
величине, но случайная ошибка, резко меняющаяся от точки
к точке, оказывается невыносимой для глаз.
Мы уже видели, что непрерывный сигнал можно
передавать, квантуя каждый отсчет, т. е. позволив сигналу
принимать только некоторые заранее определенные
значения. Оказывается, что для удовлетворительной
передачи изображения или речи достаточно 128 значений.
Однако нужно понимать, что, квантуя каждый отсчет
речевого сигнала или сигнала изображения в отдельности,
мы поступаем довольно неразумно, как неразумно
кодировать текст по буквам, а не по словам.
Квантование более чем одного отсчета за раз было
названо гиперквантованием. Это, несомненно,
правильный путь для достижения эффективного кодирования
непрерывных сигналов. Можно вообще потерять надежду
на эффективное кодирование, применив простое
квантование отсчетов. Но эффективное гиперквантование
непрерывного сигнала выполнить нелегко, и в настоящее
время обычно используются методы независимого
квантования отсчетов. Один из этих методов — импульсно-кодовая
модуляция, используемая в некоторых военных
телефонных системах связи. Методы импульсно-кодовой
модуляции развиваются также применительно к
многоканальной передаче телефонных сигналов, т. е. для передачи
большого количества речевых сигналов по одному и тому
же каналу связи.
В импульсно-кодовой модуляции каждому отсчету
приписывается ближайший из ряда заданных уровней.
В качестве примера возьмем 8 равноотстоящих уровней
(фиг. 7.2>а). Уровень, отображающий отсчет, передаётся
159

110
101
100
011
010
110
101
— 100 Нулевой
- Οΐί уровень
-*ою
- 001
001
000 000
Фиг. 7.2.
затем при помощи двоичного числа, записанного справа
от этого уровня. Но и при таком способе передачи
можно немного схитрить. Вместо равноотстоящих уровней
можно для малых сигналов использовать более близкие
уровни квантования и увеличивать расстояние между
уровнями для больших сигналов, как показано на
фиг. 7.2,6. Это сделано потому, что наше ухо более
чувствительно к величине отношения ошибки к амплитуде
сигнал а.,чем к ошибке в сигнале, измеренной в стольких-
то барах выше или ниже среднего уровня давления, или
измеренной в плюс — минус стольких-то вольтах.
Применяя подобное компандирование [т. е. сжатие (compress)
больших сигналов в передатчике и расширение (expanding)
их в приемнике], можно добиться того, что 7 двоичных
цифр на отсчет дадут сигнал, почти не уступающий по
качеству тому сигналу, который дали бы 11 двоичных
цифр, если бы передаваемые уровни сигнала находились
на равном расстоянии *.
Для более качественной передачи речи необходимо
изучить характерные черты человеческой речи и слуха.
* Здесь имеется в виду то, что после сжатия сигнал квантуется
27 = 128 равноотстоящими уровнями.— Прим. ред.
160

ι m
Λ,,ί ч
0,01
Время, сек
Фиг. 7.3.

В конце концов, чтобы слушатель считал передачу
достаточно хорошей, нужна не такая уж высокая точность
передачи.
Было сделано много попыток эффективно
закодировать речь только на основании анализа звуковых
колебаний. Но большого эффекта это не дало. Легко видеть,
что звуковые колебания несущественно изменяются от
отсчета к отсчету. Поэтому было предложено вместо
передачи самих отсчетов передавать разницу между двумя
последовательными отсчетами.
На фиг. 7.3 изображена форма колебаний нескольких
звуков* речи, т. е. изменение звукового давления или
отображающего его напряжения во времени. Мы видим,
что многие из этих колебаний, особенно те, которые
соответствуют гласным звукам (фиг. 7.3, а — г),
повторяются с очень хорошей точностью. А вот нельзя ли передать
только один период и затем повторять его вместо
последующих периодов? Это очень трудно, так как устройство
для точного определения длины периода реальной речи
должно быть весьма и весьма сложным. Все же попытки
создать такое устройство предпринимались. Речь
получалась разборчивой, но с большими искажениями.
Для эффективного кодирования речи, очевидно,
требуется более основательный подход: Нужно выяснить,
как велико число различных звуков речи, которое
необходимо. передавать, а также насколько эффективно наши
органы слуха могут различать эти звуки*
Хотя частота изменения звукового давления, т. е.
звуковых колебаний, очень высока (порядка нескольких
тысяч в секунду), мы управляем голосом значительно
медленнее. Максимум того, что мы можем сделать, это
изменять характер звука несколько десятков раз в
секунду. Таким образом, речь представляется более простой
(и это действительно так), чем можно было бы заключить,
анализируя частоты колебаний звуков речи.
Как же мы управляем нашими органами речи? Прежде
всего с помощью голосовых связок мы управляем созда-
нкем звонких звуков. Голосовые связки — это две
складки ткани, прикрепленные к гортани. Когда мы никаких
звуков не издаем, голосовые связки широко раздвинуты.
Чтобы воздух из легких, проходящий через голосовые
связки, мог вызывать звуки, связки должны быть
сдвинуты почти до полного соприкосновения. Если голосовые
162

связки сдвинуты близко, звук получается очень
высокий, если раздвинуты,—более низкий.
Звуковые колебания, созданные голосовыми
связками, содержат много частотных составляющих. Рот и губы
представляют собой сложный резонатор, с помощью
которого одни частоты подчеркиваются больше, чем другие.
Какие именно частотные составляющие подчеркиваются,
зависит от положения языка, мягкого нёба, гортани и губ.
Некоторые звуки речи, например гласные, а также
сонорные звуки, такие, как [т] и [г], создаются
голосовыми связками при различных положениях губ.
Взрывные согласные [р, b, g, t] создаются, когда губы
или язык резко открывают путь воздуху через речевой
аппарат. При создании одних звуков (например, [Ь])
голосовые связки участие принимают, а при создании
других (например, [р]) — нет.
Фрикативные (шипящие) звуки, такие, как [s] и [sh],
создаются при прохождении воздуха через различные
препятствия (язык, губы и т. д.). Иногда при этом
участвуют и голосовые связки (например, звук [zh] в слове
azure).
Движение органов речи происходит значительно
медленнее создаваемых ими звуковых колебаний. А не может
ли это послужить ключом к эффективному кодированию
речи?
В начале '30-х годов, задолго до работ Шеннона по
теории информации, Гомер Дадли из лаборатории фирмы
Белл Телефон изобрел устройство для передачи речи,
которое он назвал вокодер (от voice coder—
кодирование голоса). Передатчик (анализатор) и приемник
(синтезатор) вокодера показаны на фиг. 7.4.
В анализаторе точная электрическая копия звуков
речи подается на 16 фильтров, каждый из которых
определяет уровень сигнала в своей полосе частот и передает
в синтезатор сигнал, соответствующий этому уровню.
Кроме того, производится анализ, был ли звук глухим
([s], [f)) или звонким ([о], [и]), и в последнем случае
определяется его высота.
Если звук глухой, в синтезаторе создается шипение,
а если звонкий, то — последовательность электрических
импульсов с частотой, совпадающей с частотой колебаний
воздуха, который проходит через голосовые связки
говорящего.
163

7776
ι5*
^
О
«о
они
<tt
CD
J?
r>
=3
t5
^
°
§
«o
^
n!

Шипение или импульсы подаются на ряд фильтров,
каждый из которых пропускает полосу частот,
соответствующую аналогичному фильтру анализатора. Уровень
пропускания каждого фильтра в синтезаторе
управляется сигналом, поступающим от соответствующего
фильтра в анализаторе, в соответствии с наличием данных
частот в передаваемом звуке речи.
Этот метод передачи позволяет получить разборчивую
речь. В сущности анализатор слушает и анализирует
речь, а затем подсказывает синтезатору — говорящей
машине,— как воспроизвести произнесенные слова с той
же самой высотой и интонацией.
Большинство вокодеров имеет сильный и неприятный
«электрический» акцент. Изучение причин этого явления
привело к новым и важным выводам о том, что влияет
на качество речи. Останавливаться на этом вопросе и
вдаваться в подробности у нас нет времени. Отметим только,
что даже несовершенный вокодер может быть очень
полезен. Так, иногда необходимо прибегнуть к
шифрованной передаче речи. Если попробовать просто заменить
речь двоичными цифрами при помощи импульсно-кодо-
вой модуляции, то для ее передачи потребуется от 30 000
до 60 000 двоичных цифр в секунду. При использование
вокодера речь может быть передана 1500 двоичными
цифрами в секунду.
Описанный тип вокодера передает информацию в 10—30
полосах частот (в примере, изображенном на фиг. 7.4,
их 16). В действительности основная часть энергии
звуков голоса сосредоточена лишь в нескольких диапазонах
частот. Эти диапазоны называются формантами. Они
соответствуют резонансным частотам речевого тракта.
Можно получить разборчивую речь, передавая
информацию только о положении и интенсивности двух или трех
формант. Такой формантный вокодер может быть
использован для передачи речи, при этом потребуется
значительно меньше двоичных цифр в секунду, чем при
использовании канального вокодера (см. фиг. 7.4). В еще более
экономичных, но дающих менее разборчивую речь
вокодерах, называемых фонемными вокодерами, анализатор
опознает несколько основных звуков речи, называемых
фонемами, и управляет воспроизведением их в синтезаторе.
Качественные показатели вокодера не соответствуют
требованиям телефонной связи. Неестественное звучание
165

канального вокодера, по-видимому, объясняется неточным
переходом от звонких ввуков к глухим, недостаточно
точным воспроизведением высоты тона, а также других
особенностей речевого тракта звуковым генератором
синтезатора. Более качественным источником звуков для
синтезатора может быть сигнал, вырезанный в полосе
нескольких сотен герц из спектра речи. Такой возбуждаемый
голосом вокодер по качеству звучания соответствует обычному
телефону, при этом пропускная способность такого
вокодера составляет не более половины пропускной
способности телефонного канала. Большая стоимость вокодеров
мешает их широкому использованию; они могут
применяться лишь для трансатлантической телефонной связи.
Поговорим еще немного о вокодере, прежде чем
расстаться с ним.
Отметим, что даже при использовании наиболее
экономичных вокодеров для передачи голоса требуется
значительно больше двоичных цифр на слово, чем для
передачи письменного текста. Частично это объясняется
техническими сложностями анализа и кодирования речи
по сравнению с анализом и кодированием печатных
знаков, а частично тем, что при передаче речи, кроме той
информации, которая обычно содержится в тексте, мы
фактически передаем и информацию о дикции, тембре
голоса, ударениях и интонациях говорящего. Иначе
говоря, энтропия, приходящаяся на произнесенное
слово,,больше энтропии, приходящейся на написанное слово.
То, что с помощью вокодера речь кодируется более
эффективно, чем другими методами, объясняется тем, что
наш речевой аппарат работает со значительно более
низкими частотами, чем частоты создаваемых им
колебаний. Эффективность вокодера объясняется также
ограниченной способностью к восприятию наших органов слуха.
G точки зрения непосредственного кодирования
наиболее сложными звуками речи являются шипящие
(фрикативные) звуки, например [sh] (фиг. 7.3,е) и [s]
(фиг. 7.3,ж). Более того, колебания, соответствующие
двум [s], произнесенным последовательно, могут
несколько отличаться по форме. И чтобы передать каждое из этих
[s] во всех деталях, потребовалось бы много двоичных
цифр в секунду. А на слух первый звук [s] похож на
второй, если они имеют примерно одинаковые спектры
частот. Так что совершенно не обязательно, чтобы вокодер
166

в точности воспроизводил произнесенный звук Ы;
вполне достаточно приблизительно воспроизвести его частот-
пый спектр, чтобы этот звук был воспринят надлежащим
образом.
Мы видим, что при передаче речи наилучший путь
к эффективному кодированию — это, по-видимому,
выделение некоторых простых характерных звуков речи и их
воссоздание на приемном конце. В телевидении
эффективное кодирование еще более важно, чем в телефонии, так
как в телевидении требуется большая пропускная
способность канала. Так нельзя ли пременить аналогичные
принципы и в телевидении?
Передать телевизионное изображение значительно
сложнее, чем речь. Отчасти это объясняется более
высокой разрешающей способностью органов зрения, чем
органов слуха. Отчасти же это вызвано и тем, что по
телевидению передаются разнообразнейшие изображения от
многих источников, тогда как речь всегда создается
примерно одинаковыми органами речи.
Напрашивается вопрос: нельзя ли, учитывая все эти
особенности, и ограничившись одним типом возможных
изображений, например человеческим лицом, создать воко-
дероподобное устройство для передачи изображений?
Такое устройство вполне можно себе представить.
Предположим, что на приемном конце у нас имеется
резиновая модель человеческого лица или описание такой
модели в запоминающем устройстве огромной электронно-
вычислительной машины. Сначала передатчик должен
«рассмотреть» лицо, которое надо передать, и «подогнать»
модель в приемнике по форме и цвету. Кроме того,
передатчик должен определить положение и яркость источников
света и передать эти данные в приемник. Если человек,
стоящий перед передающим устройством, говорит, то
передатчик должен проследить за движением его глаз,
губ, челюстей и мускулов лица и передать все это так,
чтобы на приемном конце модель точно воспроизвела эти
движения. Такой метод может оказаться очень
эффективным и мог бы применяться, если бы кто-нибудь
предложил рациональный метод выполнения всех
перечисленных мною операций. Но, увы! Легче сказать, что надо
сделать, чем сделать это (пусть кто-либо попробует создать,
скажем, десятую симфонию Бетховена или написать
шедевр на заданную тему).
№

В наши дни неограниченных возможностей науки
и техники несбыточные желания человечества становятся
столь важными, что придумано даже специальное слово,
весьма популярное в американской прессе, для
обозначения этих фантазий. Это слово — прорыв (breakthrough).
Несколько реже это слово используется для
обозначения чего-то, что уже удалось свершить.
Если мы оторвемся от этой фантазии, то заметим,
что все существующие системы передачи изображений
основаны на одном общем принципе. Для определения
яркости последовательных точек исходное изображение
развертывается, или сканируется. Развертка
производится вдоль близко расположенных линий, или строк.
В цветном телевидении одновременно развертывается
три изображения различного цвета. И затем светящаяся
точка, яркость которой изменяется в соответствии с
сигналами от передатчика, создает в приемнике изображение,
двигаясь по таким же линиям, как и в передатчике. До
сих пор все попытки практически осуществить
эффективное кодирование выполнялись на основе сигнала,
создаваемого в результате развертывания изображения.
Исключительно эффективный способ кодирования
используется в цветном телевидении. Яркость цветного
изображения изменяется на очень мелких деталях; цвет
при этом значительно меньше детализирован. Благодаря
этому цветное изображение может быть передано по тому
же самому каналу связи столь же подробно, как черно-
белое (монохроматическое). Конечно, при этом в цветном
телевидении используется аналоговый сигнал, т. е.
изображение не превращается в дискретные импульсы типа
включено — выключено.
Для эффективного кодирования черно-белого
телевизионного изображения предложен следующий метод:
с большой точностью передаются только медленные
изменения сигнала, а быстрые изменения передаются либо
менее точно, либо только в момент их появления. Сейчас
много спорят о том, насколько это эффективно.
В телевидении во избежание мерцания кадр
передается каждую 1/зо сек *. В кино кадры меняются каждую
V24 сек, но во избежание мерцания световой поток от
* В Советском Союзе принят другой стандарт и изображение
передается через каждую V25 сек; это связано с отличием частот тока
электросети: 60 ]гц в США и 50 гц в СССР.— Прим. ред.
168

к
Фиг. 7.5.
каждого кадра несколько раз прерывается обтюратором.
Если бы имелось много объектов, скажем много лиц,
то мерцания можно было бы избежать, повторяя
изображение несколько раз, для чего вполне достаточно менять
кадры через каждую 1/10 сек. Но это потребовало бы
устройства памяти в приемнике, которое запоминало бы сигнал,
соответствующий полному изображению. Сейчас такое
устройство, по-видимому, слишком дорого, однако такой
метод позволит в три раза сократить требуемое
количество двоичных цифр в секунду.
Предположим, что напряжение видеосигнала
(сигнала изображения) изменяется во времени так, как
показано на фиг. 7. 5, а. Там же показано, что для отображения
этого сигнала необходимо довольно большое количество
отсчетов. Нельзя ли вместо этого аппроксимировать
этот сигнал при помощи прямых линий (см. фиг. 7.5, б)?
Это позволило бы передавать только величину сигнала
в конце прямых линий (hi — h6) и расстояние между этими
значениями (lx — Z5). Мысль эта не новая. Ее даже
пытались недавно осуществить практически, но насколько
эффективен такой метод, пока не выяснено.
Напомним, что, передавая речь при помощи импульсно-
кодовой модуляции, выгоднее для малых сигналов выби-
169

рать близкие уровни квантования, а для больших
сигналов — соответственно более разнесенные уровни. Но при
передаче изображения этот метод неэффективен, так как
мелкие детали (волосы или фактура материала) могут
оказаться и в светлых, и в темных частях изображения,
т. е. соответствующих большому или малому уровню
сигнала. Однако ясно, что нет необходимости
воспроизводить большие изменения яркости с той же точностью,
что и малые. Так, передавая различие в величинах двух
последовательных отсчетов, можно использовать малый
шаг квантования для малых изменений (например, при
передаче изображения волос) и более крупный шаг для
больших изменений и получить ту же экономию, что
и при передаче речи. Используя усовершенствованный
вариант этого метода (когда можно выбирать, передавать
ли различие между посылаемым отсчетом и отсчетом,
взятым в точке, расположенной выше, или же слева
от данной точки), с помощью трех цифр на отсчет
возможно передать почти то же, что и с помощью семи цифр
на отсчет, если уровень каждого отсчета кодировать
и посылать отдельно. «
Подводя итоги сказанному, мы видим, что существует
три принципа, на которых зиждется эффективное
кодирование:
1) Не кодируйте отсчеты сигнала или символы
поодиночке, кодируйте сразу целые последовательности
сигналов (гиперквантование).
2) Учитывайте ограничения, накладываемые на источг
ник сигнала.
3) Учитывайте, что наши глаза и уши
нечувствительны к некоторым ошибкам при передаче сигнала.
Эти принципы великолепно иллюстрируются
вокодером. Он не анализирует тонкую, быстро изменяющуюся
структуру речевого сигнала. Им передается только
информация о суммарной энергии в определенных диапазонах
частот и сигнал, который говорит, глухи или звонки
звуки речи. Этот способ весьма эффективен, так как
органы речи не могут быстро менять свое положение.
На приемном конце вокодер воспроизводит речь, не
совпадающую точно с оригиналом, однако благодаря
особенностям нашего слуха воспринимается она как истинная.
\170

Вокодер служит образцом совершенства в смысле
эффективной передачи сообщений. Следующим по
эффективности, пожалуй, является цветное телевидение, где
цвет изображения передается менее точно, чем изменения
яркости. При этом используется неспособность нашего
глаза различать мелкие цветные детали.
Заметим, однако, что в настоящее время приходится
пользоваться и такими средствами связи, в которых
не применяется кодирование длинных
последовательностей сигналов и которые поэтому в свете теории
информации недостаточно эффективны.
Тем не менее методы эффективного кодирования
представляют большую потенциальную ценность. Они
особенно важны в случае передачи относительно
широкополосных сигналов (телевизионных или даже речевых) по
очень дорогим каналам связи, например по
трансатлантическому телефонному кабелю.
Без сомнения, в будущем потребуется немало
изобретательности и находчивости, чтобы повысить
эффективность кодирования, и, конечно, будут достигнуты
поразительные результаты. Но не стоит, пожалуй, слишком
забегать вперед.
Предположим, например, что мы передаем английский
текст по буквам. Если мы допустим ошибку при передаче
нескольких букв, то все же можно уловить смысл такого
текста: Ноге I hove reploced a few vowols by о. (Здось
я зомонил нокоторые глосные боквой о.)
Можно даже заменить гласные буквой χ и получить
такой вариант: -Нхгх χ hxvx rxplxcxd thx vxwxlx bx x.
(Здхсь χ зхмхнхл нхкхтхрхх глхснхх бхквхй х.)
Кодирование текста по словам более эффективно.
Однако при этом невозможно обнаружить опечатку, ибо
одно слово заменяется другим. И иногда это может
привести к нежелательным результатам.
Мы еще можем обнаружить ошибку, если слово
окажется неподходящим. Однако если мы используем более
совершенное устройство, дающее правильный с точки
зрения грамматики текст, то у нас практически не
остается шансов заметить ошибки, возникшие при передаче.
Английский текст, как и большинство других
источников сообщений, обладает избыточностью, которая
позволяет адресату обнаруживать ошибки. Несколько
неправильно переданных букв (замена одной буквы другой)
171

не могут исказить всего сообщения, так как они могут
быть исправлены на основании правильно переданных
букв. В самом деле, ведь только благодаря избыточности
текста удается разобрать мой почерк. Когда берутся
отсчеты непрерывного сигнала при передаче звука,
ошибки в величине отсчета приводят к щелчкам, а в
телевидении — к пятнышкам на изображении.
До сих пор мы стремились полностью устранить
избыточность, с тем чтобы передавать только абсолютный
минимум информации, позволяющий восстановить
исходное сообщение. Но, как мы видели, если такое
устранение избыточности проведено достаточно успешно, то
любая ошибка в передаче сообщения исказит или изменит
его смысл. Если мы хоть немного ошибемся при передаче,
то ошибка может привести к сильным искажениям.
Все мы знаем, что в электрических средствах связи
всегда присутствует Какой-нибудь шум — шипение в
радиоприемнике, «снег» в телевизоре. Присутствие шума
неизбежно, как закон природы. Не может ли это повлиять
на нашу основную цель — закодировать сообщение
источника, используя лишь ненамного больше двоичных цифр,
чем энтропия источника?
Именно этим вопросом мы и займемся в следующей
главе.

Глава восьмая
КАНАЛ
С
ШУМАМИ
Трудно видеть мир чужими глазами и особенно трудно
поставить себя на место человека прошедших времен.
Что подумали бы те, кто жил во времена королевы
Виктории, о современных платьях? Были ли законы механики
Ньютона столь же удивительны для его современников, как
теория относительности для современников Эйнштейна?
И вообще, что удивительного в теории относительности?
Сегодняшний студент воспринимает теорию
относительности не только безропотно, но и с чувством некоторой
173

неизбежности, словно любая другая теория была бы
странной, удивительной и необъяснимой.
Частично это вызвано тем, что наши взгляды отражают
наше время и окружение, а частично (в науке по крайней
мере) тем, что теории появляются как ответы на новые
или лучше сформулированные вопросы. Вспомните, что,
по словам Платона, Сократ выводил геометрические
доказательства при помощи строгой последовательности
вопросов. Кто не задавал себе точных вопросов, тот
вряд ли получал правильные ответы, а вот если вопрос
сформулирован четко, то ответ становится очевидным.
Тем, кто занимался связью, с самого начала было
ν понятно, что идеальных каналов связи не существует.
По телефону и по радио мы слышим полезный сигнал
на фоне помех, которые могут быть и слабыми, и
сильными и могут изменяться от характерных щелчков
грозовых разрядов до постоянного устойчивого свиста или
шипения. А при приеме телевизионного сигнала
изображение может покрываться хлопьями «снега». Даже по
телетайпу из-за помех можно принять не ту букву,
которая была передана.
Предположим, что кто-нибудь спросил бы в 1945 году
инженера-связиста о проблеме шумов. «Как, мол,
отделаться от шумов?» Связист тогда сказал бы: «Вы можете
увеличить мощность передатчика или уменьшить шумы
приемника и постарайтесь, чтобы ваш приемник не
принимал помехи на тех частотах, где нет полезных
сигналов».
Но спрашивающий мог быть настойчивым: «А нельзя
ли сделать что-нибудь еще?» Инженер ответил бы: «Что ж,
попробуйте применить частотную модуляцию; за счет
работы с очень широкой полосой частот удается
уменьшить влияние шумов».
Предположим, однако, что был еще задан вопрос:
«А что делать, если из-за помех телетайп принял не ту
букву?» Связист мог скорее всего ответить так: «Я знаю,
что если взять пять импульсов типа включено —
выключено для передачи одной из десятичных цифр и выбрать
только те коды, которые содержат два импульса
включения и три импульса выключения, то можно заметить
те ошибки в передаче данного кода, которые приведут
к получению не двух, а большего или меньшего числа
импульсов включения».
174

Тогда спрашивающий продолжает: «Если сам телетайп
делает ошибки, то есть ли вообще способ передавать
правильные сообщения?» На этот вопрос связист мог бы
ответить только: «Я полагаю, что да, если вы повторите
сообщение достаточное количество раз, но это страшное
расточительство. Лучше исправить телетайп».
Здесь мы вплотную подошли к вопросу, никем не
задававшемуся до Шеннона. Допустим, что наш любопытный
сказал: «Предположите, будто я утверждаю, что
соответствующим образом закодировав свое сообщение, смогу
передать его даже через канал с шумами, причем
количество ошибок будет пренебрежимо мало, меньше любого
заданного значения. Предположите, будто я говорю,
что если известен вид шума и его величина для моего
канала связи, то я смогу подсчитать, сколько букв можно
передавать по каналу в секунду. Если я буду передавать
меньше, то ошибок вообще практически не будет, если же
попытаюсь передавать больше, то неизбежно появятся
ошибки».
Связисту пришлось бы ответить: «Не будете ли вы
так любезны и не подскажете ли, как это сделать? Ничего
подобного мне не приходилось слышать, и то, что вы
говорите, звучит абсолютно невероятно. Ведь при
увеличении шума число ошибок всегда возрастает. Конечно,
если повторять сообщение несколько раз, дело
улучшится, при условии, что число ошибок не слишком велико.
Но это всегда ужасно дорого. Возможно, в ваших словах
что-то и кроется, но я буду очень удивлен, если это так.
И все же...».
Но не4шеет значения, что мы подумаем об инженерах,
плутавших в ту пору в потемках; все математики и
инженеры, пережившие этот переходный период, удивлялись
и до сих пор продолжают удивляться результатам,
полученным Шенноном для передачи информации по каналу
с шумами. А я вот знаю одного образованного дилетанта,
который в работах Шеннона вообще не видит ничего
особенного. Как же нам относиться ко всему этому?
Пожалуй, лучше всего просто описать и объяснить
проблему передачи сообщений при наличии шумов, как
мы ее понимаем теперь. Для этого будем задавать вопросы,
относящиеся по своему содержанию и направлению
к послешенноновскому периоду, как бы неизбежны и
естественны они нам сейчас ни казались. И будем на них
175

отвечать, даже если нам они представляются
очевидными. А уж читатель пусть удивляется или нет, как он
пожелает.
До сих пор мы рассматривали и самые простые и более
сложные методы кодирования текста и чисел для
эффективной передачи. Мы отмечали, что любой электрический
сигнал с шириной полосы частот W может быть
отображен 2W отсчетами в секунду, взятыми через 1/2W
секунды. Мы видели, что при помощи импульсно-кодовой
модуляции, используя примерно 7 двоичных цифр, можно
достаточно точно отобразить амплитуду каждого отсчета.
Итак, используя импульсно-кодовую модуляцию или
любой другой более сложный и эффективный метод, можно
передавать речь или изображение последовательностью
двоичных цифр (импульсов тока типа включено—
выключено или типа плюс — минус).
Но это все прекрасно до тех пор, пока на приемном
конце принимается тот же сигнал, который был передан.
Фактически же дело обстоит не так. Иногда мы принимаем
О там, где была 1, и наоборот. Это может случиться в
результате отказов реле в аппаратах низкоскоростной
телеграфии или выхода из строя ламп и транзисторов в
аппаратах высокоскоростной телеграфии. Может это
произойти также из-за помех, вызванных другими сигналами,
шумами аппаратуры, магнитными бурями и т. д.
На простом примере рассмотрим, как возникают
ошибки при появлении шумов. Предположим, что мы хотим
передать по проводам с помощью электрических сигналов
большое количество нулей и единиц. Последовательность
двоичных цифр можно отобразить отсчетами s (фиг. 8.1),
импульсами напряжения +1 или —1. Изображенная
на фиг. 8.1 последовательность напряжений соответствует
последовательности двоичных цифр 101110010.
Теперь предположим, что к сигналу добавляется
случайней шум, который может принимать как
положительные, так и отрицательные значения. Этот шум можно
представить с помощью последовательности отсчетов шума
тг, взятых в те же моменты времени, что и отсчеты
полезного сигнала (см. фиг. 8.1). На приемном конце получится
последовательность s + η — сумма, полученная
сложением отсчетов сигнала и шума.
Если теперь считать принятые положительные
значения напряжения единицами, а отрицательные — нулями,
176

10 1110 0 10
- ' ι ' ' ' ι ι ' ι
π 1 1 j 1 1 . I , L_
I
I
Г 110 110 110
Ошибки xx ~. χ
Разряды 12345 6789
Фиг. 8J.
то тогда принятое сообщение будет представлено цифрами
(г на фиг. 8.1). Как видим, в отсчетах 2, 3 и 7 возникли
ошибки.
Влияние возникновения таких ошибок при приеме
может быть разным — от досадного до катастрофического.
При передаче речи или изображения с помощью простых
методов кодирования ошибки приводят к щелчкам, свисту,
шипению или «снегу». При использовании более
совершенных методов, например блокового кодирования
(гиперквантования), ошибки будут более резко выражены.
А еще более опасных ошибок можно ожидать при
передаче текста.
При передаче текста обычными методами ошибки
приводят всего лишь к опечаткам. Обычно текст
настолько избыточен, что мы их моментально обнаруживаем.
Но если печатная машина находится далеко от
передатчика, как это бывает, скажем, при одновременном
печатании газет и журналов в разных концах страны, то
и такие ошибки могут влететь в копеечку.
GMft
177

Наиболее опасны ошибки при йереДаче чисел. Ошибка
может изменить 1000 долларов на 9000. Если ошибка
появится в программе, предназначенной для
выполнения сложных вычислений на электронно-счетной машине,
то одна-едипственная ошибка может сделать все расчеты
бессмысленными.
Мы уже говорили, что если достаточно эффективно
закодировать английский текст или какой-нибудь другой
сигнал (т. е. устранить из него избыточность), то одна-
единственная ошибка может привести к полному
изменению смысла принятого сигнала.
Но раз ошибки так опасны, как же с ними бороться?
Один из возможных путей — это передавать каждую
букву дважды, или дважды передавать каждую двоичную
цифру, используемую для передачи буквы или числа.
При передаче двоичной последовательности 101001101
можно передать и принять следующее:
передано 110011000011110011
принято 110011000111110011
X
ошибка
При постоянной скорости передачи двоичных цифр такой
способ вдвое уменьшает скорость передачи информации,
так как мы должны останавливаться и передавать каждую
цифру еще раз. Но теперь сам принятый сигнал уже
помогает обнаружить то место, где допущена ошибка,
ибо, кроме пар цифр 0 0 и 1 1, мы получим еще и пары
1 0. Правда*, при этом неизвестно, какова была исходная
пара, 1 1 или 0 0. Ошибку мы обнаружили, но не
исправили.
Если ошибки появляются не так уж часто и
возможность получения двух ошибок в трех последовательных
цифрах пренебрежимо мала, то найденную ошибку можно
исправить, передавая каждую цифру три раза, скажем так:
передано 111000111000000111111
принято 111000101000000111111
X
ошибка
Здесь мы снизили скорость нашей передачи в три раза,
так как мы вынуждены останавливаться и повторять
каждую цифру еще два раза. Но зато теперь, увидев, что
178

в указанной группе 101 цифры не все одинаковы, ошибку
можно исправить. Если допустить, что произошла только
одна ошибка при передаче данной группы, то тогда эта
группа должна быть 111, а не 000 и означать 1,
а не 0.
Мы видим, что этот простой способ — повторение
передаваемых цифр — позволяет обнаруживать и даже
исправлять ошибки, если они встречаются достаточно
редко. Но какой ценой! Если воспользоваться таким
методом исправления и обнаружения ошибок, то даже
при условии, что почти все цифры переданы верно, нужно,
повторяя цифры дважды, в два раза снизить скорость
передачи только для того, чтобы ошибку обнаружить,
а для исправления ошибки нужно снизить скорость
передачи в три раза, передавая каждую цифру трижды. И еще —
такой метод вообще не будет пригоден, если ошибки столь
часты, что в группе из двух или трех цифр может
получиться больше одной ошибки.
Ясно, что такой простой путь никогда не приведет
к правильному пониманию возможностей исправления
ошибок. Здесь необходимо глубокое математическое
исследование. И именно это сделал Шеннон, доказав свою
основную теорему для канала с шумами. Попробуем
проследить ход его рассуждений.
Чтобы создать абстрактную и общую модель шума
или ошибок, рассмотрим случай дискретной системы
связи, которая передает некоторую группу символов,
например цифры от 0 до 9 или буквы алфавита. Для
удобства рассмотрим передачу цифр от 0 до 9. Этот случай
показан на фиг. 8.2. В левой части расположен ряд
маленьких пронумерованных кружков; будем считать, что это
кнопки. В правой части также имеется ряд кружков
с цифрами; будем считать их лампочками. При нажатии
какой-нибудь кнопки передатчика, расположенного в
левой части рисунка, загорается одна из лампочек
приемника,, расположенного в правой части.
Если бы наша система связи не имела шумов, то при
нажатии кнопки 0 всегда загоралась бы лампочка 0,
а при нажатии кнопки 1 — лампочка 1 и т. д. Но в
несовершенной системе связи, т. е. связи при наличии шумов,
при нажатии кнопки 4, например, может загореться
лампочка 0 или 1 или любая другая, как это показано
стрелками на фиг. 8.2, идущими от кнопки 4. Можно
179

χ
Φ μ p. 8.2.
сказать, что в простой системе связи с шумами при
нажатии кнопки передатчика в приемнике загорится одна
из лампочек случайным образом, и это произойдет
независимо от того, какая лампочка горела перед этим. Мы
скажем, что если нажата, например, кнопка 4, то
существует некоторая вероятность рА (6) того, что загорится
лампочка 6 и т. д.
Если отправитель не уверен в том, какая загорится
лампочка при нажатии определенной кнопки, то и
адресат не может быть уверен в том, какая кнопка была
нажата, если загорелась данная лампочка. Об этом и говорят
стрелки, идущие от лампочки 6 к различным кнопкам
левой части рисунка. Если, например, горит лампочка 6,
то имеется некоторая вероятность р6 (4) того, что при
этом была нажата кнопка 4 и т. д. Вероятность pQ (6)
равна единице, а вероятности pQ (4), PQ (9) и т. д. равны
нулю только для такой системы связи, в которой
отсутствуют шумы.
Схема на фиг. 8.2 была бы значительно сложнее, если
бы были проведены все возможные стрелки, а все
возможно

ные вероятности даже трудно перечислить. Все же я
полагаю, что читатель получил из этого примера некоторое
представление о степени и свойствах неопределенности
того, какой символ будет принят, если отправитель
посылает какой-либо определенный символ, а также о степени
и свойствах неопределенности того, какой символ был
послан, если известно, какой символ был принят
адресатом. Теперь давайте рассмотрим свойства канала связи
с шумами в более общем виде. При этом обозначим через
χ передаваемый символ, а через у — принимаемый.
Пусть символ χ создается тем источником, от которого
приходит сообщение. Если имеется т таких символов
и они появляются независимо и с вероятностью ρ (χ),
то, как мы уже знаем из главы 5, энтропия источника
сообщений Н(х), т. е. скорость, с которой источник
создает информацию, должна быть равна
т
ВД=2 -p(x)logp(x). (8.1)
Можно рассматривать символ у на выходе нашего
прибора как другой источник сообщений. Число лампочек
не обязательно равно числу кнопок, но мы предположим,
что это т*ак, т. е. что число лампочек равно т. Тогда
энтропия выходного сигнала будет
ВД=3 -Р(У)1°§Р(У)· (8-2)
Отметим, что если Н(х) зависит только от того, что
подано на вход канала связи, то Щу) зависит как от
входа канала связи, так и от ошибок, возникающих при
передаче. Так, вероятность того, что будет принята
цифра 4, если ничего, кроме 4, не передается, отличается
от вероятности принять 4, если кнопки нажимаются
случайно.
Если представить себе, что мы можем одновременно
видеть и передатчик, и приемник, то возможно
наблюдать, как часто появляются определенные комбинации
жиг/; скажем, как часто получается так, что передано 4,
а принято 6. Иными словами, зная статистические свойства
источника сообщений и статистические свойства канала
с. шумами, можно вычислить вероятность появления
181

пар х, у. Зная эти вероятности, можно вычислить еще
одну энтропию
Щ*, у)= Σ Σ —ρ (*. у) log ρ (χ, у)· (8.3)
Это неопределенность появления комбинаций χ и у.
Предположим далее, что χ известно (т. е. известно,
какая кнопка нажата). Какова в этом случае вероятность
зажигания различных лампочек (что показано стрелками
слева направо на фиг. 8.2)? Вычислив эти вероятности,
получим такую энтропию:
m τη
Нх (у) = Σ Σ -Ρ (х) Ρ* (У) bg Px (у). (8.4)
x—i ■ y=l
Это условная энтропия, или условная неопределенность.
По виду она напоминает формулу для энтропии машины
с конечным числом состояний. Как и в том случае, мы
умножаем неопределенность данного события (например,
состояния машины или данной величины х) на
вероятность того, что это событие (состояние, величина х)
произойдет, а затем суммируем по всем событиям (состояниям,
величинам х).
Предположим, наконец, что известно, какая лампочка
горит и каковы вероятности того, что нажаты различные
кнопки. Здесь мы получаем условную энтропию другого
вида:
т т
Ну (х) = Σ Σ -Ρ (У) Ρυ (*) log Py (x). (8.5)
y—i x=i
Это сумма по у произведений вероятностей принять у
на неопределенность того, что было передано х, если
принято у.
Эти условные энтропии зависят от статистики
источника сообщений, так как они зависят от того, как часто
передается χ или как часто принимается у, а также от
ошибок, возникающих при передаче.
Рассмотренные выше энтропии лучше всего
интерпретировать как неопределенности переданных и принятых
символов:
Н{х) — неопределенность #, или
неопределенность относительно того, какой символ будет
передан;
182

H{y) —- неопределенность относительно того,
какой символ будет принят при данном источнике
сообщений и данном канале связи;
Н{х, у) — неопределенность относительно того,
что будет передано х, а принято у;
Ηχ (у) — неопределенность относительно того, что
будет получено у, если передано х. Это средняя
величина неопределенности отправителя
относительно того, что будет принято;
Ну (х) — неопределенность того, что было
передано ж, если принято у. Это средняя величина
неопределенности адресата относительно того, что было
передано на самом деле.
Между этими величинами существуют следующие
соотношения:
Щх,у)=Н(х) + Нх(у), (8.В)
или неопределенность того, что будет передано χ и
принято ζ/, равна неопределенности того, что будет передано х,
плюс неопределенность того, что будет принято у, если
было передано х;
Щх,у) = Н(у) + Ну(х), (8.7)
или неопределенность того, что будет принято у и
передано х, равна неопределенности того, что будет
принято у, плюс неопределенность того, что было передано ж,
если принято у.
Мы видим, что когда Нх(у) = О, то Ну(х) должно
быть тоже равно нулю, тогда Н(у) = Н{х). Это случай
канала без шума, для которого энтропия принятого
сигнала в точности равна энтропии переданного сигнала.
В этом случае передающий точно знает, что будет
принято, а адресат уверен, что принял то самое сообщение,
которое было передано.
Неопределенность того, какой символ был передан,
когда принят данный символ, т. е. энтропия Ну(х),
представляется естественной мерой потерь информации
при передаче. Это действительно так, и поэтому
величине Ну(х) дано специальное название — ненадежность
(equivocation) * канала связи. Если представить Н{х)
и Н(у) как энтропии в битах в секунду, то можно пока-
Используется еще термин «неопределенность».— Прим* ред.
283

зать, что i?, скорость передачи информации через канал
связи в битах в секунду, равна
R = H(x)—Hy(x). (8.8)
Это означает, что скорость передачи информации равна
энтропии источника минус ненадежность. Иными словами,
это энтропия переданного сообщения минус
неопределенность адресата относительно того, что было передано.
Скорость передачи также равна
R = H(y)-Hx(y). (8.9)
Иначе говоря, скорость передачи равна энтропии
принятого сигнала у минус неопределенность того, что, когда
принято ζ/, было передано х, или это энтропия принятого
сообщения минус неопределенность отправителя
относительно того, что будет принято.
Скорость передачи также может быть выражена как
R = H{x)+H(j,)-H(z,y). (8.10)
Скорость передачи информации равна энтропии χ плюс
энтропия у минус неопределенность получения
комбинации χ ж у. Заметим, что из формулы (8.3) следует, что
для канала без шума, поскольку ρ (χ, у) равно нулю
для всех χ is. у, кроме случая, когда χ = г/, Η {χ, у) =
= Η (χ) = Η (у). Скорость передачи информации по
каналу в этом случае равна энтропии источника
информации Η (χ).
Шеннон поясняет смысл выражения (8.8) при помощи
схемы, представленной на фиг. 8.3. Мы видим систему,
где некоторый наблюдатель сравнивает переданный и
принятый сигналы и затем посылает корректирующий
сигнал, при помощи которого ошибка исправляется.
Шеннон смог показать, что для исправления ошибки
энтропия корректирующего сигнала должна быть равна
ненадежности.
Из выражения (8.8) следует, что скорость R зависит
как от свойств канала связи, так и от свойств источника
сообщений. Каким же образом теперь описать способность
канала с шумом, т. е. несовершенного канала, передавать
информацию? Можно выбрать источник сообщений так,
чтобы получить наибольшую возможную для данного
канала скорость R. Эта максимально возможная скорость
передачи информации по данному каналу называется
184

Корректирующий сигнал
Источник
1
Л
(
А
Передатчик
i
Наблюдатель
Приемник
Τ
м
τ
Корректирующее]
устройство
Μ
Фиг. 8.3.
пропускной способностью канала и обозначается буквой С.
В основной теореме Шеннона для канала с шумом
говорится о пропускной способности канала С. Эта теорема
гласит:
Пусть дискретный канал обладает пропускной
способностью С, а дискретный источник — энтропией
в секунду Н. Если Η < С, то существует такая система
кодирования, что сообщения источника могут быть
переданы по каналу с произвольно малой частотой ошибок
{или со сколь угодно малой ненадежностью). ЕслиН\> С,
то можно закодировать источник таким образом, что
ненадежность будет меньше Η — С + ε, где ε сколь
угодно мало. Не существует способа кодирования,
обеспечивающего ненадежность, меньшую, чем Η — С.
Это точная формулировка утверждения, которое так
потрясло инженеров и математиков. Когда ошибки в
передаче становятся более вероятными и их частота
увеличивается, пропускная способность канала, определенная
Шенноном, постепенно уменьшается. Если, например,
наша система передает двоичные цифры и если некоторые
из них приняты с ошибкой, то пропускная способность
канала С уменьшается, т. е. уменьшается количество
битов информации, которое можно передать одной
двоичной цифрой. Но пропускная способность канала
уменьшается постепенно, по мере возрастания количества
ошибок в передаче цифр. Чтобы осуществить передачу
с наперед заданным малым количеством ошибок, нужно
уменьшить скорость передачи так, чтобы она стала равной
или меньше пропускной способности канала.
185

Как же этого добиться? Напомним, что для
эффективного кодирования информации, создаваемой источником,
необходимо объединить большое количество символов
вместе и затем кодировать сразу длинные блоки символов.
Для эффективного использования канала с шумом
необходимо также передавать блоки* состоящие из многих
символов. В таких блоках только некоторые переданные
и принятые последовательности символов будут иметь
не исчезающе малую вероятность появления.
Доказывая основную теорему для канала с шумом,
Шеннон находит среднюю частоту ошибок для всех
возможных кодов (т. е. для всех возможных комбинаций
входных и выходных блоков символов), когда коды
выбираются случайным образом', а затем показывает, что,
когда пропускная способность канала больше энтропии
источника, частота ошибок, усредненная по всем
возможным кодам, стремится к нулю, если блок делается очень
длинным. Если мы получаем хороший результат,
усредняя по всем случайно выбранным кодам, то должен
существовать хотя бы один код, который обеспечивает такое
хорошее кодирование. Один специалист по теории
информации назвал этот- способ доказательства
сверхъестественным. Конечно, этот метод не мог быть создан
невдохновенным математиком, да и сама постановка проблемы не
пришла бы ему в голову.
- Все, о чем мы здесь говорили, носит самый общий
характер и, следовательно, применимо для решения
многих проблем. Я думаю, однако, что для пояснения
этих положений полезно вернуться к примеру двоичного
канала с ошибками, рассмотренному в начале данной
главы и проиллюстрированному фиг. 8.1. Посмотрим,
что говорит теорема Шеннона об этом простом случае.
Пусть вероятность того, что переданный по этому
каналу с шумом 0 будет принят как 0, равна
вероятности ρ того, что 1 будет принята как 1. Тогда
вероятность того, что 1 будет принята как 0, а 0 как 1, должна
быть равна (1 —р). Предположим далее, что эти
вероятности не зависят от того, что было передано ранее, и не
изменяются во времени. Тогда мы получим симметричный
двоичный канал,· представленный на фиг. 8.4 (смысл
обозначений такой же, как и на фиг. 8.2).
Из симметрии этого канала следует, что
максимальная скорость передачи информации, т. θ. пропускная
186

Фиг. 8.4.
способность канала, достигается для источника, в котором
вероятность передачи 1 равна вероятности передачи 0.
Тогда для χ (а из симметрии канала и для у) следует, что
Р(1) = Р(0)=4"·
Мы уже знаем, что при этих условиях
Н(х)^Н(у) =
= -(1/2log1/2 + V2log1/2) =
= 1 бит на символ.
Ну, а каковы условные вероятности? Как насчет
ненадежности, вычисленной, например, по формуле (8.5)?
Эта условная энтропия определяется следующими
четырьмя величинами.
Вероятность принять 1 равна 1/2. Когда принята 1,
вероятность тЪго, что была послана 1, есть р, а
вероятность того, что был послан 0, есть (1 — р). Тогда их
вклад в ненадежность равен
T[—plogp — (i—p)log(l—p)].
Кроме того, имеется вероятность V2 того, что будет
принят 0. Если принят 0, то вероятность того, что был
передан 0, равна р, а вероятность того, что была передана
1, равна (1 — р). И их вклад в ненадежность равен
y[-plog/>-(l—p)log(l-p)].
187

Таким образом, для двоичного симметричного канала
ненадежность равна сумме этих членов:
Ну (х) = — Ρ log ρ — (1 - ρ) log (1 - ρ).
Тогда в соответствии с формулой (8.8) пропускная
способность С симметричного двоичного канала равна
C = l+plogp + (l-p)log(l-p).
Заметим, что данная пропускная способность
канала С в точности равна единице минус функция р,
изображенная на фиг. 5.1 (стр. 103). Мы видим, что если Jp~1/2,
то пропускная способность канала равна 0. Это вполне
естественно, так как в этом случае, если принята 1,
то с одинаковой вероятностью могли быть переданы
и 1, и 0, и принятое сообщение не может разрешить
неопределенность относительно того, какая цифра была
передана на самом деле. Заметим также, что пропускная
способность канала получается одинаковой при ρ = 0 и ρ — 1.
Если мы постоянно принимаем 0, когда передается 1,
и 1, когда передается 0, или принимаем 1, когда
передается 1, и 0, когда передается 0, то в^том и в другом
случае мы точно знаем, что именно было передано.
Если в среднем одна цифра из десяти передается
неверно, то пропускная способность уменьшается до 0,53
от своего значения при отсутствии ошибок. Если одна
ошибка получается на 100 цифр, то пропускная
способность канала снижается всего лишь до 0,92.
Здесь автор считает необходимым заявить, что
простота полученных нами результатов для двоичных
симметричных каналов может ввести в заблуждение (по крайней
мере она ввела в заблуждение самого автора).
Выражение для оптимальной скорости (пропускной способности)
двоичного несимметричного канала, в котором
вероятность того, что 1 принята как 1, равна р, а вероятность
того, что 0 принят как 0, равна величине д, вполне может
запутать, а при исследовании более сложных каналов
могут возникнуть почти неразрешимые трудности.
Вероятно, по этой причине, а также ввиду большой
практической важности проблемы было проведено
большое количество исследований проблемы передачи
информации по двоичному симметричному каналу. Какими
кодами пользоваться, чтобы получить безошибочную
передачу по такому каналу? В основополагающей статье Шен-
188

нона упоминается о примерах, придуманных Хеммингом.
Позднее, в 1949 году, Марсель Голай опубликовал работу
о корректирующих кодах (т. е. кодах, исправляющих
ошибки), а в 1950 году издал свою работу и Хемминг.
Следует отметить, что эти коды были построены уже
после опубликования работы Шеннона. Они могли бы,
я полагаю, быть открыты и раньше, но только после того,
как Шеннон доказал возможность безошибочной
передачи, стало возможным спросить: «А как это сделать?»
Мы уже отмечали, что для эффективного исправления
ошибок необходимо кодировать одновременно длинные
блоки цифр. В качестве простейшего примера рассмотрим
кодирование передаваемых блоков цифр, по 16 цифр
в каждом. Добавим к каждому блоку последовательность
проверочных цифр, которые позволяют обнаружить
ошибку в одной из цифр сообщения или проверочной
последовательности. Для конкретности рассмотрим
последовательность цифр сообщения: 1 10100 1101011000.
Чтобы найти подходящую проверочную
последовательность, запишем нули и единицы нашего сообщения
в квадратную (4 X 4) таблицу (фиг. 8.5). В этой таблице
около каждой строки и столбца поставлен кружок/
В каждом кружке записаны нули и единицы, выбранные
так, чтобы общее число единиц в каждой строке или
столбце было четным (включая и цифру, стоящую в
кружке). Добавленные таким образом цифры называются
проверочными. В данном случае цифры, взятые в качестве
Q
@
®
Θ
0
/
0
0
1
(°S
1
о
1
О
Θ
О
1
О
О
Θ
• ;
/
/
О
Фиг. 8.5.
189

ярйМерй, вместе с проверочными цифрами в столбцах
(слева направо) дают такое число единиц: 2, 2, 2, 4 (все
четные), а в строках (сверху вниз): 4, 2, 2, 2 (опять все
четные)..
Что произойдет, если одна из 16 цифр сообщения
окажется ошибочной? Получится нечетное число единиц
в одной из строк и в одном из столбцов. Это заставит нас
изменить цифру на пересечении данной строки и данного
столбца.
А что случится, если ошибочной окажется одна из
проверочных цифр? В одной из строк или в одном из
столбцов окажется нечетное число единиц. Ошибку мы
обнаружим и увидим, что она допущена не в самом
сообщении.
Общее число цифр, необходимое для передачи 16 цифр
сообщения, равно 16 + 8 == 24; мы увеличили число
необходимых цифр в отношении 24/16 = 1,5. Если бы
исходное сообщение содержало 400 цифр, то потребовалось
бы 40 проверочных цифр и мы должны были бы увеличить
число цифр только в отношении 440/400, или 1,1. Конечно,
^при этом мы могли бы исправить только одну ошибку
на 440 цифр, а не одну ошибку на 24 цифры.
Можно придумать коды, которые позволяют исправить
большее количество ошибок в каждом переданном блоке.
Для этого, конечно, потребуется больше проверочных
цифр. Код, каким бы методом он ни строился, будет
содержать 2м блоков, состоящих из нулей и единиц,
где Μ — длина блока, который мы хотим передать.
Если бы перед этим кодом* не стояла задача исправлять
ошибки, то для отображения каждого блока из Μ цифр,
который мы хотим передать, можно было бы использовать
блоки, содержащие точно Μ цифр. Для исправления
ошибок необходимо большее количество цифр на блок.
Когда мы принимаем блок цифр, мы должны уметь
определить по нему, какой блок был передан, несмотря
на наличие некоторого количества η ошибок передачи
(изменений 0 на 1 и 1 на 0). Математик сказал бы, что
это возможно, если расстояние между двумя блоками
для данного кода составляет по крайней мере 2тг + 1.
Здесь слово расстояние употреблено в несколько
необычном смысле, определенном математиками для своих
особых целей. В данном случае расстояние между двумя
последовательностями двоичных цифр равно числу нулей
190

и единиц, Которое Должно быть изменено, чтобы
преобразовать одну последовательность в другую. Так,
расстояние между 0010и1111 равно 3, ибо мы можем
преобразовать одну последовательность в другую, изменив
три цифры одной или другой последовательности.
Можно вычислить расстояние между двумя
последовательностями двоичных цифр или двоичными числами при
помощи процесса, называемого сложением по модулю 2,
или сложением по mod 2. Правила сложения двоичных
цифр по модулю 2 (по mod 2) следующие:
0 + 0 = 0
0+1 = 1
1 + 1=0
Приведенный ниже пример иллюстрирует сложение
двоичных цифр по модулю 2
1111
+ 00 1 0
110 1 (3 единицы)
10110101
+ 1 0011101
0 01010 0 0 (2 единицы)
Заметим, что этот же результат можно получить, просто
отбросив единицы, которые при обычном двоичном
сложении надо было бы перенести в следующий разряд.
Следует отметить, что числа в кружках на фиг. 8.5
могут быть получены сложением по модулю 2 в
соответствующих строках и столбцах.
Расстояние между кодовыми группами 1111и0010
по определению равно 3, а расстояние между кодовыми
группами 10110101и10011101 равно 2;
эти расстояния мы нашли, сосчитав единицы в сумме
по модулю 2.
Когда при передаче цифр мы делаем η ошибок, то
получаем блок с расстоянием η от посланного блока,
и при этом принятый блок может оказаться на
расстояние η ближе к другому блоку, который также мог бы
быть передан. Если мы хотим, чтобы принятая кодовая
группа, несмотря на изменение в η цифрах при передаче,
всегда была ближе к переданной кодовой группе, а не
к любой другой, которая могла бы быть передана, то мы
191

должны все используемые группы разделить расстоянием,
не меньшим, чем 2тг + 1.
Так что для исправления η ошибок следует найти
2м кодовых групп, каждая на расстоянии не меньше
2п + 1 от любой другой. Если нам нужен эффективный
код, то мы должны использовать минимально возможное
число цифр в группе (которое, конечно, будет больше М).
Поразительно, что для большого ряда значений Μ и η
Слепян и другие математики нашли-таки эти наилучшие
коды. Как это им удалось, я объяснить не берусь!
И вот получилось так, что теперь, когда общая задача
построения наилучших кодов, исправляющих ошибки
для данных значений Μ и п, решена, у нас их появилось
такое количество, что мы не знаем, что с ними делать.
А причина этого кроется в слишком большой сложности
оборудования, реализующего наиболее длинные и
наиболее эффективные из этих высокоэффективных кодов.
Простейшие коды, исправляющие только одну ошибку
на блок, не могут помочь во многих важных практических
случаях. Так, при передаче по телефонной линии
главным источником помех являются длинные импульсы
шума, создаваемые при работе различных частей
телефонной аппаратуры. Это приводит к ошибкай в нескольких
последовательных цифрах.
Столь печальное положение заставило Хагельбергера
из лаборатории фирмы Белл Телефон придумать новый
метод кодирования. Этот метод позволяет, используя
удвоенное количество цифр, исправлять до шести
смежных ошибок, причем аппаратура кодирования
оказывается исключительно простой. Данный метод исправления
ошибок может быть назван неэффективным, но полезным
в отличие от эффективных, но бесполезных (в инженерном,
а не в математическом смысле) методов.
В предыдущей главе мы рассмотрели способы
устранения избыточности в сообщениях для передачи их при
помощи меньшего количества двоичных цифр. В этой
главе мы рассмотрели вопрос добавления избыточности
к неизбыточному сообщению для получения практически
безошибочной передачи по каналу с шумом. Удивителен
сам факт, что при использовании канала с шумами
возможна такая безошибочная передача. Он и сейчас еще
192

продолжает удивлять связистов и математиков, а вот
Шеннон сумел доказать, что это именно так.
До приема сообщения, посылаемого через неискажаю-
щий канал, у адресата имеется неопределенность
относительно того, какое именно сообщение из многих
возможных будет передано. Количество неопределенности у
адресата равно энтропии источника сообщений, или скорости
создания им информации, измеренной в битах в секунду
или в битах на символ. Неопределенность у адресата
относительно того, какое сообщение будет передано,
полностью разрешается, если принята точная копия
переданного сообщения.
Сообщение может быть передано при помощи
положительных и отрицательных импульсов тока. Если к
сигналу добавляется достаточно сильный шум, состоящий
из положительных и отрицательных случайных
импульсов, то положительные импульсы сигнала могут
измениться на отрицательные, а отрицательные — на
положительные. Когда для передачи сообщения используется
такой канал с шумами и отправитель посылает какой-то
символ, то имеется некоторая неопределенность
относительно того, какой символ будет принят адресатом.
Когда адресат принимает сообщение, переданное по
каналу с шумом, он твердо знает, какое сообщение он
принял, но, как правило, не может быть уверен, что
именно это сообщение и было передано. Таким образом,
неопределенность относительно того, какой символ был
выбран отправителем, разрешается не полностью даже
после приема. Эта остаточная неопределенность зависит
от вероятности того, что принятый символ будет
отличаться от переданного.
С точки зрения отправителя неопределенность
адресата относительно того, правильно ли принятое им
сообщение, есть неопределенность, или энтропия, источника
сообщений плюс неопределенность у адресата
относительно того, какое сообщение было передано, если он знает,
какое сообщение было получено. Шеннон эту последнюю
неопределенность назвал ненадежностью и определил
скорость передачи информации как энтропию источника
сообщений минус ненадежность.
Скорость передачи информации зависит как от
величины шума, т. е. от неопределенности, вносимой каналом,
так и от того, какой источник информации подсоединен
193

к передающему концу канала связи. Предположим, что
этот источник выбран так, чтобы скорость передачи была
максимальной. Эта максимально возможная скорость
передачи информации называется пропускной способностью
канала с шумом* Пропускная способность канала
измеряется в битах на символ или в битах в секунду.
Пропускная способность канала — это просто
математическая величина, которую можно подсчитать, если
известны вероятности различных ошибок, возникающих
при передаче символов. Но понятие пропускная
способность канала очень важно, потому что Шеннон в своей
основной теореме для канала с шумом доказал, что если
энтропия, или скорость создания информации
источником сообщений, меньше пропускной способности канала,
то сообщения, создаваемые этим источником, могут быть
закодированы и переданы через канал с шумом с
ошибкой, меньшей любой наперед заданной величины.
Чтобы закодировать сообщение для безошибочной
передачи по каналу с шумом, необходимо объединить
длинные последовательности символов в один
сверхсимвол. Это один из видов блокового кодирования, с которым
мы сталкивались и раньше. Здесь оно используется с иной
целью. Мы используем его не для уменьшения
избыточности сообщений, а для добавления избыточности к
неизбыточному сообщению так, чтобы его можно было
передать без ошибок по каналу с шумом. Теперь ясно,
что проблема эффективной и безошибочной связи
сводится к удалению из сообщения вредной
избыточности и добавлению такой избыточности, которая
позволяет исправить ошибки, возникшие при передаче
сообщения.
Избыточные цифры, которые мы вынуждены
использовать при кодировании сообщений для устранения
ошибок передачи, конечно, снижают скорость передачи.
,Мы видели, что при использовании двоичного
симметричного канала, в котором только одна переданная цифра
из 100 принимается ошибочно, можно послать лишь
92 неизбыточные цифры на каждые 100 цифр, подаваемых
на вход канала с шумом. Это означает, что нужно
использовать код, в котором в среднем на каждые 92
неизбыточные цифры придется включить каким-то образом по
крайней мере 8 дополнительных проверочных цифр, сделав
таким образом общий поток цифр избыточным.
194

В своих работах Шеннон показал, как надо в
принципе поступать. Но математические трудности при
исследовании сложных каналов очень велики. Даже в простых
двоичных симметричных каналах задача отыскания
эффективных кодов исключительно трудна, хотя математики
и нашли большое количество великолепных кодов. Но увы,
по-видимому, и они слишком сложны, чтобы ими можно
было пользоваться!
Не слишком ли пессимистическая картина? Но
насколько же мудрее мы стали с появлением теории
информации! Мы знаем суть проблемы. Мы в принципе знаем,
насколько хорошо она может быть решена. И результат
ошеломил и инженеров, и математиков. Мы уже имеем
полезные, хотя и неэффективные коды, исправляющие
ошибки, и эти коды можно в некоторых случаях
использовать. Сейчас, когда важность точной передачи цифровой
информации невообразимо возросла, теория информации
достойна много большего, чем просто признания.

Глава девятая
МНОГОМЕРНОСТЬ
Много лет тому назад (больше тридцати) в публичной
библиотеке Святого Павла мне попала в руки небольшая
книжка Аббота «Flatland», которая ввела меня в тайны
четвертого измерения. В ней рассказывалось о двумерном
мире — мире без толщины, где все предметы и все
обитатели могли быть нарисованы во всех подробностях —
и снаружи и изнутри — на листе бумаги.
Что больше всего мне запомнилось и до сих пор
приводит в восхищение, так это описание флэтлендского обще-
196

ства. Все обитатели там — многоугольники, и количество
сторон определяет их социальное положение. Самые
высокопоставленные из многосторонних созданий
занимают самое высокое положение — кругов. Самое низкое
положение досталось на долю равнобедренных
треугольников, а вот равносторонние треугольники занимают уже
положение на ступеньку выше, так как правильность
форм очень ценится и ею гордятся. «Неправильных»
детей переделывают— разбивают, а затем
восстанавливают, добиваясь правильности форм; операция эта часто
кончается трагически. Женщины — чрезвычайно узкие,
иглоподобные создания, их волнообразные движения
весьма привлекательны. Автор записок и главный герой
книги — Некий Квадрат — хорошо соответствует тому,
что мы связываем с этим словом.
Страна Флэтленд поучительна и в математическом
отношении. Главный герой удивлен, когда в его мире
неожиданно появляется окружность с изменяющимися
размерами. Она оказывается пересечением трехмерного
создания, Сферы, с плоскостью Флэтленда. Эта Сфера
объясняет Квадрату тайну трех измерений, и он
проповедует это странное учение. Читатель остается с мыслью,
что когда-нибудь и на его пути, возможно, встретится
колеблющееся и исчезающее существо, трехмерное
пересечение четырехмерного создания с нашим миром.
Четырехмерные кубы, или тессеракты, гиперсферы
и другие гипергеометрические фигуры — все это
набившая оскомину тема в книгах многих фантастов*. Если
вообразить себе четвертое измерение как нечто подобное
хорошо известному нам третьему измерению, то можно
представить себе трехмерные миры в четырехмерном
пространстве в виде страниц книги, где каждая страница
отделена от другой и отпечатана разным шрифтом и на
разных языках. Можно представить себе путешествие
из одного мира в другой в четвертом измерении, скажем
проникновение с помощью четвертого измерения в сейф
для похищения денег или внутрь больного для удаления
аппендикса.
Многие из нас слышали также, что Эйнштейн в
качестве четвертого измерения использовал время, а кое-кто
слыхал и о многомерных фазовых пространствах физики,
где три координаты и три составляющих скорости
(импульса) каждой из многих частиц считаются измерениями.
197

Фиг. 0.2,
Очевидно, что эти измерения отличаются от
классического представления о пространственном четвертом
измерении как об измерении, во многом подобном трехмерному,
связанному с хорошо известными понятиями «верхнее»,
и «нижнее», «переднее» и «заднее», «левое» и «правое».
Математики XIX столетия добились успеха в обобщении
геометрии на пространства с любым числом измерений
и даже на бесконечномерные пространства.
Для чистого математика эти измерения — просто
мысленные конструкции. Свои рассуждения он начинает
с линии, называемой осью χ (она показана на фиг. 9.1, а).
Точка ρ лежит на оси χ на расстоянии хр справа от начала
координат — точки 0. Иначе говоря, координата хр
описывает положение точки р.
т

Затем математик добавляет ось ι/, перпендикулярную
оси χ (фиг. 9.1, б). Определить положение точки ρ в
двумерном пространстве, или плоскости, в которой лежат
эти две оси, он может посредством двух чисел, или
координат — расстояния от начала координат 0 в
направлении ι/, т. е. высоты уР1 и расстояния хр от начала
координат в направлении х.
Теперь представим себе, что оси ж, у и ζ (фиг; 9.1, в)
перпендикулярны друг другу, подобно граням куба.
Эти оси нечто иное, как хорошо нам знакомые
направления трехмерного пространства. Положение точки ρ
задается ее высотой ур над началом координат 0,
расстоянием хр от начала координат 0 вдоль оси χ и расстоянием
ζρ от начала координат 0 вдоль оси ζ.
Конечно, оси #, ι/, ζ на фиг. 9.1, в не перпендикулярны
друг другу. Это всего лишь двумерный перспективный
эскиз реального трехмерного пространства, где все оси
перпендикулярны друг другу. Аналогичным образом на
фиг. 9.1, г показан двумерный перспективный эскиз осей
в пятимерном пространстве. Поскольку ж, у и ζ — это
последние буквы латинского алфавита, мы просто
обозначили эти направления ж1э ж2, #з> #4» #5, как принято в
математике.
Конечно, на чертеже эти пять осей не
перпендикулярны друг другу, как не перпендикулярны друг другу три
оси на фиг. 9.1, е. В нашем трехмерном пространстве
невозможно расположить пять взаимно перпендикулярных
линий, но математик может логически обращаться с таким
«пространством», где пять или больше осей взаимно
перпендикулярны. Он может вывести свойства
различных геометрических фигур в пятимерном пространстве,
в котором положение точки ρ описывается пятью
координатами: ж1р, ж2р, #зр> #4р> xbv Чтобы сделать такое
пространство подобным обычному трехмерному пространству
{евклидову пространству), математик говорит, что квадрат
расстояния d точки ρ от начала координат
определяется так:
* = *?ρ + ^ρ + *|ρ + *?ρ + *Ιρ· (9Л)
Математики определяют «объем» «кубической» фигуры
в многомерном пространстве как произведение длин ее
сторон. Так, в двумерном пространстве такой фигурой
199

Фиг. 9.2.
является квадрат, а если длина каждой его стороны
равна L, то «объем» равен площади квадрата, т. е. ΖΛ
В трехмерном пространстве объем куба со стороной L
равен ΖΛ В пятимерном пространстве объем гиперкуба
со стороной L равен L6, а девяностодевятимерный куб
со стороной L должен иметь объем L".
Некоторые свойства фигур в многомерном
пространстве, несмотря на свою простоту, весьма удивительны
и неожиданны. Рассмотрим, например, две
концентрические окружности — одну с радиусом, равным 1, другую
с радиусом, равным г/2 (фиг. 9.2). Площадь («объем»)
круга равна яг2, поэтому площадь внешнего круга
равна π, а площадь внутреннего круга равна π (V2)2 = (V4) π.
Таким образом, четверть площади большого круга лежит
внутри круга половинного диаметра.
Теперь вообразим, что на фиг. 9.2 изображены не
окружности, а шары, или сферы. Объем сферы равен
(4/з) яг3» и, следовательно, 1/8 объема большой сферы
заключена в сфере половинного диаметра. Аналогично
объем тг-мерной сферы пропорционален гп, а объем,
заключенный в гиперсфере половинного радиуса, составляет
1/2Л часть объема внешней гиперсферы. Так, при η = 7
объем гиперсферы половинного радиуса составляет 1/128
объема внешней гиперсферы.
С помощью аналогичных рассуждений можно было бы
найти, какая часть объема гиперсферы радиуса г
заключена внутри гиперсферы радиуса 0,99г. Оказывается, что
в случае 1000-мерной сферы 0,00004 часть ее объема
заключена в сфере радиуса 0,99г. Отсюда неизбежно
990

следует вывод, что по существу весь объем гиперсферы
очень многомерного пространства сосредоточен вблизи
поверхности этой гиперсферы!
Да это все, скажете вы, самая что ни на есть настоящая
чистая математика, и к тому же самого таинственного
и непонятного вида! Не так ли? На этот вопрос следует
ответить, что изложенные выше идеи относятся к чистой
математике, пока их не применят для решения какой-
либо задачи реального физического мира. Мнимые числа,
такие, как ]/"—1, когда-то тоже не имели физического
смысла, а в электротехнике и физике они приобрели его.
Так нельзя ли найти такое физическое явление, которое
точно описывалось бы математическими свойствами
гиперсферы? Несомненно можно, хотя бы в математической
теории связи. Шеннон использовал геометрию
многомерного пространства для доказательства важной теоремы
относительно передачи непрерывного сигнала с
ограниченной полосой частот при наличии шума.
Работа Шеннона — замечательный пример того, как
надо использовать новые идеи, новую точку зрения,
а также существующую, но не нашедшую себе
применения область математики (в данном случае — геометрию
многомерных пространств) для решения задачи,
представляющей большой практический интерес. Мне
кажется, что столь превосходный пример прикладной
математики пропустить невозможно, и я предлагаю вникнуть
в суть шенноновских рассуждений. Лично мне его
рассуждения представляются скорее необычными, чем
трудными, впрочем, пусть читатель сам разберется.
Прежде чем приступить ц, рассмотрению проблемы
передачи непрерывных сигналов при наличии шума,
нужно иметь некоторую простую меру силы сигнала
и шума. Для этой цели вполне подходит мощность.
Когда сила в I кг прикладывается на пути 1 м для
подъема груза весом 1 кг на высоту 1 м, то совершается
работа. Величина совершенной работы в данном случае
равна 1 килограммометру (кгм). После поднятия на
высоту груз приобрел энергию, равную 1 кгм. Опускаясь,
этот груз может совершить работу (как, скажем, в часах-
ходиках), равную этой энергии.
Мощность — это скорость выполнения работы.
Мощность машины, затрачивающей 4500 кгм энергии и
совершающей 4500 кгм работы в минуту, по определению рав-
201

на 1 лошадиной силе (л. с). В электрических расчетах
используются другие единицы энергии и работы —
джоуль (дж) и мощности — ватт (вт); 1 вт — 1 дж1сек.
Если увеличить напряжение сигнала в два раза, то
его энергия и мощность возрастут в четыре раза. Энергия
и мощность пропорциональны квадрату напряжения сиг-
пала.
Еще в главе 4 мы видели, что непрерывный сигнал
с шириной полосы W может быть полностью отображен
своими значениями в 2W точках отсчета в секунду.
И обратно, мы можем построить ограниченный по полосе
сигнал, который будет проходить через любые наперед
выбранные 2 W отсчетных точек в секунду, которые
разрешается выбирать как угодно. Можно задать каждый
отсчет произвольно и изменять его, не изменяя другие
отсчеты. Если изменяется отсчет, то соответственно при
этом изменится и ограниченный по полосе сигнал.
Амплитуду отсчетов можно измерять в вольтах.
Каждый отсчет отображает энергию, пропорциональную
квадрату его напряжения.
Таким образом, квадраты амплитуд отсчетов можно
выразить в единицах энергии. Вполне допустимо,
используя подходящие произвольные единицы измерения
энергии, положить энергию равной квадрату амплитуды
отсчета.
Обозначим теперь амплитуды последовательных и
правильно взятых отсчетов ограниченного по полосе сигнала,
измеренные, например, в вольтах, буквами хи ж2, #3
и т. д. Части энергии сигнала, отображаемые отсчетами,
будут равны соответственно х\, х\, х\ и т. д. Полная
энергия сигнала, которую мы обозначим Е, будет равна
сумме этих энергий
E = xl + xl + xl+... (9.2)
Но из этого выражения видно, что в геометрических
терминах величина Ε в точности равна квадрату
расстояния от начала координат, если принять хи хг, хг и
т. д. за координаты некоторого многомерного
пространства!
Итак, если считать амплитуды отсчетов
ограниченного по полосе сигнала -координатами точки
гиперпространства, то сама эта точка будет отображением сигнала,
202

т. е. отображением всех отсчетов, вместе взятых, а квадрат
расстояния точки от начала координат будет отображать
энергию полного сигнала.
Почему же нам хочется отобразить сигнал именно
в такой геометрической форме? Причина, почему Шеннон
воспользовался этим методом, заключается в том, что
геометрические представления дают возможность
доказать важную теорему теории информации относительно
влияния шума на передачу сигнала.
Чтобы понять, как это можно сделать, обратимся
вновь к математической модели источника сигналов,
принятой нами в главе 3. Там мы предположили, что
источник обладает свойствами стационарности и
эргодичности. Такие же предположения нужно сделать о
рассматриваемом шуме и смешанном «источнике» сигнала плюс
шум.
Практически не так уж невозможно, чтобы такой
источник мог создавать сигнал или шум, состоящий из
очень длинной последовательности отсчетов очень высокой
энергии или очень длинной последовательности отсчетов
очень малой энергии. Во всяком случае, это менее
невозможно, чем создание эргодическим источником
чрезвычайно длинной последовательности букв Е. Это только
маловероятно. Здесь нужно применить теорему, с
которой мы впервые столкнулись в главе 5. Эргодический
источник может создавать некоторый класс наиболее
вероятных сообщений и некоторый класс сообщений
настолько маловероятных, что ими можно пренебречь.
В нашем случае маловероятны сообщения, для которых
средняя мощность создаваемых отсчетов значительно
отличается от средней по времени (и по ансамблю)
мощности эргодического источника.
Таким образом, для всех длинных сообщений, которые
нам предстоит рассмотреть, имеется вполне определенная
средняя мощность сигнала, и эта мощность заметно во
времени не изменяется. Эту среднюю мощность можно
измерить, сложив энергии большого числа
последовательных отсчетов и разделив полученную сумму на
время Г, в течение которого эти отсчеты были взяты. Если
промежуток времени Τ брать все длиннее и длиннее,
а число отсчетов — все больше и больше, то значение
средней мощности будет получаться все более и более
точным. Благодаря стационарности источника эта средняя
№

мощность будет иметь одно и то же значение, независимо
от того, какая именно последовательность отсчетов
исследуется.
Это можно сказать и иначе. За исключением случаев
настолько маловероятных, что их нет смысла
рассматривать, полная энергия большого числа последовательных
отсчетов, создаваемых стационарным источником, будет
иметь приблизительно одно и то же значение (т. е.
относительное различие будет мало) независимо от того, какая
выбрана последовательность отсчетов.
Поскольку источник сигналов, кроме
стационарности, обладает еще и свойством эргодичности, о нем можно
сказать больше. Для каждого сигнала, создаваемого
этим источником (независимо от того, что это за сигнал),
с достаточной для практических целей точностью можно
сказать, что энергия одного и того же числа
последовательных отсчетов будет иметь приблизительно одно
и то же значение и относительное различие между
энергиями становится все меньше и меньше по мере
увеличения числа отсчетов.
Отобразим сигналы такого источника в точки
гиперпространства. Сигнал с шириной полосы W и
длительностью Τ может быть отображен 2WT отсчетами. Пусть
амплитуда каждого из этих отсчетов будет расстоянием
вдоль одной из координатных осей гиперпространства.
Если средняя энергия одного отсчета равна Р, то полная
энергия 2WT отсчетов при условии, что она достаточно
велика, будет очень близка к величине 2WTP. Мы уже
видели, что по этой полной энергии можно установить,
как далеко от начала координат находится точка,
отображающая сигнал. Так что по мере увеличения числа
отсчетов расстояние (измеренное в долях радиуса) от точек,
отображающих различные сигналы одинаковой
длительности, до поверхности гиперсферы радиуса Y2WTP будет
становиться все меньше и меньше. Тот факт, что точки,
отображающие различные сигналы, лежат так близко
от поверхности, не удивителен, если вспомнить, что
почти весь объем гиперсферы в пространстве с очень
большим числом измерений сосредоточен очень близко от ее
поверхности.
Но мы принимаем не сам сигнал, а сигнал с
наложенным на него шумом. Шум, который рассматривает
Шеннон, называется белым гауссовым шумом. Слово белый
204

означает, что этот шум содержит в равной степени все
частоты; мы же предполагаем, что шум содержит все
частоты вплоть до частоты W гц, а частот выше W не содержит.
Слово гауссов указывает на закон распределения
вероятностей по амплитудам отсчетов, закон, справедливый для
многих природных источников шума. Для такого
гауссова шума все 2W отсчетов в секунду, отображающих
шум, оказываются несвязанными, или
некоррелированными, и независимыми. Даже если известна средняя
энергия отсчета (которую мы обозначим N), знание энергии
нескольких отсчётов не поможет предсказать энергию
других. Полная энергия 2WT отсчетов этого шума будет
очень близка к 2WTN только в том случае, если 2WT
достаточно велика, и эта полная энергия будет иметь
приблизительно одно и то же значение для любой
последовательности отсчетов шума, наложенных на отсчеты
сигнала.
Мы уже видели, что определенная последовательность
отсчетов сигнала отображается некоей точкой
гиперпространства, лежащей на расстоянии ]/ 2WTP от начала
координат. Сумма сигнал плюс шум отображается некоей
точкой, лежащей на небольшом расстоянии от точки,
отображающей сигнал. В самом деле, мы видим, что
расстояние от точки, отображающей сигнал, до точки,
отображающей сигнал плюс шум, равно Y2WTN. Таким
образом, сигнал с наложенным на него шумом лежит
в небольшой гиперсфере радиуса Y~2WTN с центром
в точке, отображающей сигнал.
Далее, мы не принимаем сигнал в чистом виде. Мы
принимаем сигнал со средней энергией Ρ на отсчет с
наложенным на него гауссовым шумом со средней энергией N
на отсчет. Полная энергия, принятая за время Г, равна
2WT (Р + iV), и точка, отображающая какой-либо из
последних сигналов с наложенным на него шумом,
лежит в гиперсфере радиуса У2\УТ (Р + N).
После получения сигнала длительностью Τ секунд
с наложенным на него шумом можно определить
положение точки, отображающей сигнал с наложенным на него
шумом. Но как найти сам сигнал? Нам известно лишь,
что этот сигнал находится на расстоянии меньше
Y2WTN от точки, отображающей сигнал с наложенным
на. него шумом.
205

Как же можно безошибочно определить, какой сигнал
был послан? Предположим, что в гиперсферу радиуса
Υ 2WT (Ρ + iV), в которой должны находиться точки,
отображающие сигнал с наложенным на него шумом,
вложено большое число малых непересекающихся
гиперсфер, радиус которых чуть-чуть больше Y2WTN.
Пошлем теперь только такие сигналы, которые
отображаются положением центральных точек этих малых
сфер.
Если мы приняли 2WT отсчетов одного из наших
сигналов с наложенными на них отсчетами шума,
соответствующая точка гиперсферы попадет только в ту малую
гиперсферу, которая окружает точку, отображающую
данный сигнал, и ни в какую другую. Объясняется это
тем, что, как мы уже отмечали, точки, отображающие
длинную последовательность отсчетов, создаваемых эрго-
дическим источником шума, должны находиться почти
на самой поверхности сферы радиуса ]i2WTN. Таким
образом, несмотря на наличие шума, посланный сигнал
может быть безошибочно опознан.
Сколько же таких непересекающихся гиперсфер
радиуса Y2WTN можно поместить в гиперсфере радиуса
Υ2WT (Ρ + Ν)? Это число, естественно, не мяжет быть
больше отношения объема большой сферы к объему
меньшей сферы.
Количество измерений пространства η равно числу
отсчетов сигнала (и шума) 2WT. Объем гиперсферы
в га-мерном пространстве пропорционален гп.
Следовательно, отношение объема «большой сигнал-плюс-
шум-сферы» к объему малой «шум-сферы» равен
VyiWT (P+N)~\2WT = ( P+N \wt
I ywm J' ~~\ n J ·
Это предел числа различимых сообщений, которое можно
передать за время Г. Логарифм этого числа равен числу
битов, которое можно передать за это же время Г. Он
равен
206

Поскольку длительность сообщения равна Τ секунд, то
соответствующее число битов в секунду, С, равно
C = TPlog(l + -£). (9.3)
Добравшись до этого результата, можно заметить, что
отношение средней энергии отсчета сигнала к средней
энергии отсчета шума должно быть равно отношению
средней мощности сигнала к средней мощности шума, и,
следовательно, мы можем считать отношение PIN в
выражении (9.3) отношением мощности сигнала к мощности
шума, а не отношением средней энергии отсчета сигнала
к средней энергии отсчета шума.
Приведенные рассуждения, в результате которых
появилось выражение (9.3), показывают, что при: ширине
полосы W и при использовании сигнала мощностью Р,
смешанного с гауссовым шумом мощностью iV, может быть
передано не больше С битов в секунду. Однако
дальнейшие геометрические рассуждения Шеннона, в которых
был использован тот факт, что почти весь объем
гиперсферы в пространстве с большим количеством измерений
сосредоточен вблизи ее поверхности, показали и
возможность приблизить скорость передачи сигналов к величине
С, вычисленной по формуле (9.3), сколь угодно близко
со сколь угодно малым числом ошибок. Следовательно,
величина С из выражения (9.3) есть не что иное, как
пропускная способность непрерывного канала связи,
в котором на сигнал накладывается гауссов шум.
Интересно, пожалуй, сравнить выражение (9.3) с
выражениями для скорости передачи и для количества
информации, предложенными Найквистом и Хартли
в 1928 году и рассмотренными нами в главе 2. Результаты
Найквиста и Хартли говорят, что количество двоичных
цифр, которое может быть передано за секунду, равно
rclogm.
Здесь т — число различных используемых символов,
а п — число передаваемых символов за секунду.
В качестве символов можно взять какие-либо
значения напряжения, например +3, +1, —1, -—3. Как и мы,
Найквист знал, что число независимых отсчетов или
значений напряжения, которое может быть передано за
207

секунду, равно 2W. Используя этот факт, выражение (9.3)
можно переписать в виде
*=т10* 0+-£-).
или
C = nlogjA+-g-.
При выводе этих выражений были повторены шаги,
приведшие нас к выражению (9.3).
Мы видим, что в формуле (9.3) выявилась зависимость
среднего числа различных символов т, которое можно
передать за отсчет, от отношения мощности сигнала
к мощности шума. Если мощность сигнала становится
очень малой или если мощность шума становится очень
большой, так что PIN становится почти равным нулю,
то среднее число различных символов, которое мы можем
передать за отсчет, приближается к
log 1 = 0.
Таким образом, среднее число символов, которое
может быть передано за отсчет, и пропускная
способность канала приближаются к нулю по мере того, как
приближается к нулю отношение мощности сигнала
к мощности шума. Конечно, число символов, которое
мы можем передать за отсчет, и пропускная способность
канала увеличиваются по мере увеличения отношения
мощности сигнала к мощности шума.
Но нам теперь лучше, чем Найквисту и Хартли,
известно, как передать большое число независимых символов
за отсчет. Чтобы сделать это как можно более эффективно,
не следует даже пытаться кодировать каждый символ
определенным отсчетом напряжения. Нужно прибегнуть
к знакомой теперь нам методике блокового кодирования
и закодировать длинную последовательность символов
при помощи большого числа последовательных отсчетов.
Так, если отношение мощности сигнала к мощности
шума равно 24, то можно с пренебрежимо малым
количеством ошибок передавать в среднем УЧ + 24 = У25 =5
различных символов на отсчет, но ни один из этих 5
различных символов нельзя передать при помощи одного
определенного отсчета.
208

На примере фиг. 8.1 (стр. 177) мы рассматривали
передачу при наличии шума по одной двоичной цифре с
помощью сигнала, который представляет собой
положительный или отрицательный импульс определенной
амплитуды, и говорили, что принята;единица, если этот сигнал
с наложенным на него шумом оказывался
положительным, и нуль, если принятый сигнал с наложенным на него
шумом оказывался отрицательным. Предположим, что
шум гауссов и что сигнал сделан достаточно мощным по
сравнению с шумом, так что только одна принятая цифра
из 100 000 будет ошибочной. Вычисления показывают,
что для этого потребуется мощность примерно в шесть
раз больше той, которая в соответствии с выражением (9.3)
необходима при той же ширине полосы и той же
мощности шума. Дополнительная мощность необходима потому,
что для отображения одной, двоичной цифры мы
использовали короткий положительный или отрицательный
импульс, а не один из многих длинных сигналов,
состоящих из большого числа отсчетов ς различной амплитудой
для отображения сразу длинной последовательности
двоичных цифр.
Существует один специальный способ приближения
к идеальной скорости передачи сигнала или пропускной
способности канала при малой средней мощности сигнала
и при большой мощности шума. Он заключается в том,
что мощность сигнала концентрируется в одном коротком,
но мощном импульсе и этот импульс передается в один
из многих возможных моментов времени, и каждый из
этих моментов времени отображает определенный символ.
В этом очень специальном и необычном случае можно
эффективно передавать символы по одному.
Вообще же, чтобы приблизиться к идеальной скорости
передачи сигналов, мы должны использовать в качестве
элементов кода ряд длинных, сложных волн сигнала,
напоминающих гауссов шум.
Можно, если хотите, взглянуть на соотношение (9.3)
несколько шире. Это выражение говорит нам не только
то, сколько битов в секунду можно послать по данному
каналу связи, но и кое-ч^о о возможностях передачи
сигнала, имеющего определенный частотный спектр
и требуемое отношение сигнал/шум через канал, связи,
имеющий несколько иную ширину полосы и иное
отношение сигнал/шум. Предположим, что нужно передать
209

Таблица 13
w
4000000
8000 000
2 000 000
Ρ/Ν
1000
30,6
1000 000
сигнал с шириной полосы 4 Мгц и получить отношение
мощности сигнала к мощности шума PIN, равное 1000.
Соотношение (9.3) говорит нам, что соответствующая
пропускная способность канала равна
С = 40 000 000 битов в секунду.
Но ту же пропускную способность можно получить
и другими комбинациями, как показано в табл. 13.
Из этой таблицы видно, что для получения заданной
пропускной способности канала можно использовать более
широкую полосу и более низкое отношение сигнал/шум
или более узкую полосу и более высокое отношение
сигнал/шум.
Первые исследователи в области теории информации
носились с идеей уменьшения требуемой ширины полосы
за счет увеличения используемой мощности. Но для
этого потребовалась бы колоссальная энергия. Опыт
показал, что намного полезнее и практичнее увеличивать
ширину полосы, чтобы получить хорошее отношение
сигнал/шум при меньшей мощности, чем потребовалось
бы в противном случае.
Именно так и сделано в ЧМ-передатчике. Амплитуда
сигнала передаваемого сообщения, например музыки,
кодируется в нем радиосигналом определенной частоты.
Если амплитуда сигнала передаваемого сообщения
увеличивается и уменьшается, то в соответствии с этим
сильно изменяется частота отображающего ЧМ-сигнала.
При высококачественной передаче музыки, имеющей
частотный спектр 15 000 гц, частота ЧМ-сигнала может
изменяться в пределах 150 000 гц. Поскольку при
передаче с помощью частотной модуляции используется
ширина полосы намного больше, чем ширина полосы
210

кодируемой музыки, отношение сигнал/шум принятой
музыки может быть намного выше отношения мощности
сигнала к мощности шума в ЧМ-сигнале, принимаемом
радиоприемником. Эффективность системы ЧМ, однако,
не идеальная; эта система не дает того, что можно было бы
ожидать в соответствии с выражением (9.3).
Искусные изобретатели всегда стремились придумать
еще лучшую систему модуляции. Дважды мне предлагали
систему, которая, как меня уверяли, работает лучше,
чем позволяет выражение (9.3). Предложения выглядели
правдоподобно, но я знал, что здесь, как и в вечном
двигателе, что-нибудь да неверно. И действительно,
тщательный анализ показывал, где кроется ошибка. Таким
образом, теория информации еще указывает нам, что можно
сделать, а что нельзя.
Нельзя, скажем, увеличивая ширину полосы для
улучшения отношения сигнал/шум, сделать такую систему,
которая была бы одинаково хороша при всех отношениях
мощности сигнала к мощности шума.
Согласно точке зрения, изложенной в этой главе, мы
рассматриваем сигнал как точку многомерного
пространства, где число измерений равно числу отсчетов. Чтобы
передать узкополосный сигнал, отображаемый небольшим
числом отсчетов,.посредством широкополосного сигнала,
отображаемого большим числом отсчетов, нужно каким-
то образом взаимно однозначно отобразить точки
пространства с небольшим числом измерений в точки
пространства с большим числом измерений.
Еще в главе 1 мы доказали теорему об отображении
точек двумерного пространства (плоскости) в точки
одномерного пространства (линии). Мы доказали, что
взаимно однозначное отображение каждой точки
плоскости в соответствующую точку линии не может быть
непрерывным. Иными словами, если плавно, без скачков,
двигаться вдоль какого-либо пути от одной точки плоскости
до другой, то соответствующие точки линии обязательно
будут хаотически раскиданы по этой линии. Аналогичная
теорема справедлива и для случая отображения точек
любого пространства в точки пространства с другим
количеством измерений. Это сулит всяческие
затруднения для тех систем передачи, в которых небольшое число
отсчетов передаваемого сообщения отображается большим
числом отсчетов сигнала.
211

)
(
)
(
w
)
(
)
(
о
_J
Vi
-Круг
неопределенности,
обусловленной шумом
Фиг. 9.3.
Шеннон приводит простой пример подобной трудности.
Этот пример проиллюстрирован фиг. 9.3. Предположим,
что для отображения единичного отсчета с амплитудой и
используются два отсчета с амплитудами и± и v2. Будем
считать νχ и v2 расстояниями по горизонтали и по
вертикали от левого нижнего угла квадрата. Внутри квадрата
нарисована извилистая линия, начинающаяся вблизи
нижнего левого угла. Пусть расстояние вдоль этой линии,
измеренное от ее начала, расположенного вблизи
нижнего левого угла, до некоторой определенной точки на
линии, равно и — напряжению или амплитуде
передаваемого сигнала.
Конечно, каждое значение и отображается
определенными значениями р4 и v2. Мы видим, что диапазон
изменения Vi и v2 меньше диапазона изменения и. Мы можем
передать Vi и v2i а затем восстановить и с большой
точностью. Всегда ли это возможно?
Предположим, что на v± и v2 накладывается небольшой
шум так, что при попытке найти в приемнике
соответствующее значение и мы вследствие шума попадем в какую-
либо точку круга неопределенности, обусловленной
шумом. Пока диаметр круга меньше расстояния между
петлями извилистого пути, можно утверждать, что точное
значение и воспроизводится с относительной ошибкой,
212

намного меньшей относительных ошибок в величинах
νι и ι>2· Но если шум больше, то мы уже не можем точно
сказать, какая именно петля извилистого пути имеется
в виду, и поэтому довольно часто допускаем большую
ошибку в определении и.
Такие вещи неизбежны в системах, таких, как ЧМ, где
для получения лучшего отношения сигнал/шум
используется большая ширина полосы. По мере возрастания
шума, наложенного на передачу, шум, имеющийся в
принятом (демодулированном) сигнале, сначала
увеличивается мало,*а затем резко возрастает до катастрофических
размеров. При этом уровне отношения сигнал /шум система
отказывается работать. Итак, математическая теорема,
на первый взгляд абстрактная, подсказала, что некоторые
электрические системы обладают свойствами, от которых
невозможно избавиться.'
В этой главе использовались в основном
геометрические методы. Но это только один из путей решения
задач о непрерывных сигналах. Шеннон в своей книге
о математической теории связи воспользовался другим
методом, который применим для сигналов и шумов любого
вида. Однако геометрический метод представляет
определенный интерес, так как он прост и нагляден, что
особенно полезно при решении многочисленных задач
(непосредственно не связанных с теорией информации)
относительно электрических сигналов.
В этой главе мы познакомились с геометрией сигналов
с ограниченной шириной полосы. Мы брали отсчеты
сигналов и считали их амплитуды координатами точек
многомерного пространства. Вполне возможно, однако, получить
геометрию сигналов с ограниченной шириной полосы,
ни слова не говоря об отсчетах. Так и делают математики,
занимающиеся задачами передачи сигналов. Сейчас стало
довольно обычным явлением отображать ограниченные
по полосе сигналы точками многомерного «пространства
сигналов», или «пространства функций», и доказывать
теор.емы о сигналах методами геометрии.
Представление о сигналах как о точках
многомерного пространства сигналов, или пространства функций,
несомненно, ценно, ибо оно позволяет математикам
выдвигать положения, справедливые для всех ограниченных
213

по полосе сигналов или для больших классов таких
сигналов, не рассматривая каждый сигнал в отдельности.
Это равносильно тому, что математики могут выдвигать
положения, справедливые для всех треугольников или для
всех правильных треугольников. Пространство
сигналов — мощное орудие в руках умелых математиков.
Нам остается лишь удивляться и восхищаться.
С точки зрения теории информации основная тема
данной главы — доказательство важной теоремы о
непрерывном канале с шумом. Результат выражен
формулой (9.3). Эта формула дает скорость, с какой можно
передавать с пренебрежимо малым количеством ошибок
двоичные цифры по непрерывному каналу, в котором
сигнал с шириной полосы W и мощностью Ρ смешивается
с белым гауссовым шумом с шириной полосы W и
мощностью N.
В 1928 году Найквист уже знал, что по каналу с
шириной полосы W можно послать 2W независимых символа
в секунду, но он не знал, сколько может быть послано
в секунду различных символов для получения
определенного отношения мощности сигнала к мощности шума.
Мы выяснили это для частного случая — для шума
обычного типа. Мы знаем также, что, хотя и можно передать
некоторое среднее число т символов за отсчет, сделать
это, кодируя последовательные символы независимо,
невозможно. Вместо этого нужно использовать блоковое
кодирование и кодировать сразу большое число
последовательных символов.
Из формулы (9.3) видно, что можно использовать
сигнал с большой шириной полосы и небольшим
отношением мощности сигнала к мощности шума для передачи
сообщений, имеющих малую ширину полосы и большое
отношение мощности сигнала к мощности шума. Примером
служит частотная модуляция. Об этом мы еще иоговорим
в главе 10.
Из настоящей главы можно почерпнуть еще кое-что.
Мы показали, как используется новая точка зрения и
применяется одна из мощных областей математики для
решения одной из задач теории информации. Выражение (9.3)
получено при помощи «ни-в-коем-случае-не-очевидного»
приема отображения длинных электрических сигналов
с наложенным на них шумом точками многомерного
пространства. Квадрат расстояния точки от начала
214

координат был истолкован как энергия сигнала,
отображаемого этой точкой.
Таким образом, задача теории информации была
сведена к геометрической задаче и желаемый результат был
получен при помощи геометрических рассуждений. Мы
отмечали, что геометрическое представление сигналов
стало мощным математическим аппаратом изучения
передачи сигналов и их свойств.
Сведение задачи о сигналах к геометрии представляет
интерес само по себе, но оно интересно еще и как пример
того, насколько важны поиски тновых математических
средств решения задач, выдвигаемых непрерывно
возрастающей сложностью техники. Только идя по такому
пути, можно надеяться разрешить все возрастающие
трудности.

Глава десятая
ТЕОРИЯ ИНФОРМАЦИИ
&
ФИЗИКА
В главе 2 я уже кое-что рассказал об истории теории
информации. Там мы видели, что она выросла из
электросвязи, и узнали, что свойства электрического тока,
электрических и магнитных полей — это один из разделов
физики.
Выбор средств связи у Морзе и его современников был
весьма скромный по сравнению с возможностями
письменной и устной речи. Им пришлось придумывать коды,
которые позволили бы отобразить буквы алфавита после-
216

довательным включением и выключением электрического
тока. Та же задача отображения передаваемого материала
при помощи различных электрических сигналов привела
к самым общим идеям относительно кодирования, очень
важным для математической теории связи. В этой
взаимосвязи кодирования и некоторых физических явлений мы
видим прямую связь между теорией информации и физикой.
Мы отмечали также, что при передаче сигналов по
проводам или по радио .на принятые сигналы неизбежно
накладываются помехи, которые мы называем шумом.
В некоторых случаях этот шум можно уменьшить.
Тщательным конструированием и всякими хитроумными
приспособлениями можно свести до минимума помехи,
создаваемые принимающими аппаратами. При приеме
радиосигналов, например, можно использовать антенну,
чувствительную к сигналам, приходящим со стороны
передатчика, и менее чувствительную к сигналам,
приходящим с других направлений. Можно также добиться, чтобы
наш приемник реагировал только на те частоты, которые
мы хотим принять, и ослаблял мешающие сигналы и шумы
других частот.
И тем не менее, даже когда все это проделано,
некоторый шум все равно остается и накладывается на
принимаемый сигнал. К таким шумам относятся помехи от
систем зажигания автомобилей. Вдали же от
искусственных источников помехи могут возникать в результате
грозовых разрядов. Но даже если бы удалось устранить
влияние молний, все равно остались бы шумы,
обусловленные тепловым движением.
Много лет назад английский биолог Броун увидел
в своем микроскопе причудливую пляску маленьких
частичек пыльцы, взвешенных в жидкости. Эти частички
двигались то в одном направлении, то в другом, то
быстро, то медленно. Это явление было названо броуновским
движением. Оно обусловлено ударами окружающих
молекул по частичкам пыльцы, причем сами молекулы
исполняют еще более дикие танцы. Кстати, одна из первых
больших работ Эйнштейна была посвящена
математическому исследованию броуновского движения.
Частицы пыльцы, движение которых наблюдал Броун,
оставались бы в покое, если бы окружающие их молекулы
сохраняли состояние покоя, но молекулы всегда находятся
в беспорядочном движении. Именно это беспорядочное
217

движение и составляет сущность теплоты. Молекула
газа произвольно меняет направление и скорость своего
движения в результате частых соударений с другими
молекулами. Молекулам жидкости труднее
проталкиваться сквозь плотный строй других молекул, но и они
постоянно меняют свое положение, двигаясь то быстрее,
то медленнее. Молекулы твердого тела колеблются около
некоторого среднего положения то с большой амплитудой,
то с малой, но никогда не смещаются на большое
расстояние от своих ближайших соседей. Однако везде — и в газе,
и в жидкости, и в твердом теле — молекулы благодаря
теплоте движутся с некоторой средней энергией,
пропорциональной абсолютной температуре, хотя скорость
и энергия могут произвольно меняться во времени и от
молекулы к молекуле.
Энергия механического движения — не единственный
вид энергии во Вселенной. Энергией обладают также
и электромагнитные волны — радиоволны и световые
волны. Электромагнитные волны возникают в результате
изменения величины электрического тока. Молекулы
состоят из атомов, а атомы в свою очередь— из
положительно заряженного ядра и окружающих это ядро
отрицательно заряженных электронов. При тепловых
колебаниях молекул вещества относительное движение
зарядов, имеющихся в молекулах, может создавать
электромагнитные волны самых различных частот — и волны
радиочастот, и тепловые волны и световые волны. Обычно
говорят, что нагретое тело излучает электромагнитные
волны, а сами эти электромагнитные волны называют
излучением.
Интенсивность излучения различных тел, имеющих
одну и ту же температуру, неодинакова. Темные
предметы излучают лучше, нежели светлые. Так, серебряная
монета, блестящая поверхность которой отражает
большую часть падающих на нее радиоволн, тепловых и
световых волн,— плохой излучатель, а частички угля в туши —
хороший излучатель.
Отношение отраженного от предмета излучения к
поглощенному на разных частотах (скажем, на
радиочастотах и частотах светового излучения) различно. Однако
есть общее правило для излучения данной частоты:
величина излучения, испускаемого предметом при данной
температуре, прямо пропорциональна величине погло-
218

щаемого излучения. Получается так, как будто вокруг
каждого предмета имеется оболочка, которая пропускает
определенную долю падающего на нее излучения и
отражает остальное, а величина излучения, входящего в
предмет через оболочку, равна величине испускаемого
предметом излучения.
Если бы это было не так, то можно было бы ожидать
любопытных и неестественных (а что такое естественно,
мы знаем, поскольку мы знаем законы природы) явлений.
Представим себе закрытый со всех сторон ящик, или печь,
в которой поддерживается постоянная температура.
И предположим, что внутри этой печи подвешено два
тела. Предположим еще (вопреки фактам), что первое
тело хорошо отражает излучение и плохо его поглощает,
но испускает излучение хорошо. Второе тело поглощает
излучение хорошо, отражает плохо и испускает
излучение плохо. Пусть оба тела в начальный момент имеют
одинаковую температуру. Тогда в соответствии с нашими
предположениями первое тело должно было бы поглощать
меньше, а испускать больше излучения, чем второе тело,
которое должно было бы поглощать больше и испускать
меньше излучения, чем первое. Если бы это было так,
то второе тело стало бы теплее, чем первое.
Однако этого не происходит. Любое тело — и темное
и блестящее, помещенное в закрытый со всех сторон ящик,
или печь, стенки которой поддерживаются при
постоянной и одинаковой для всех стенок
температуре,—приобретает точно такую же температуру, что и стенки. Так
может быть только в том случае, если способности
поглощать и испускать излучение тесно связаны, что и
наблюдается в природе.
Внутри закрытой печи все тела не только находятся
при одной и той же температуре, но, кроме того, там есть
еще излучение вполне определенной, характерной для
данной печи интенсивности. Рассмотрим, что происходит
с той частью излучения внутри печи, которая падает
на одну из стенок. Некоторая часть этого излучения
отражается обратно и остается внутри печи. Некоторая часть
излучения стенкой поглощается. В свою очередь стенка
испускает излучение, которое складывается с отраженным
от нее излучением. Таким образом происходит
непрерывный обмен излучением между внутренним объемом печи
и. стенками.
219

Если бы излучение внутри печи было очень слабым,
то стенки испускали бы излучения больше, чем
поглощали. Если бы излучение внутри печи было очень сильным,
то стенки поглощали бы больше, чем излучали. Когда
величина электромагнитного излучения, испускаемого
стенками, в точности равна величине поглощаемого ими
излучения, то говорят, что излучение находится в
равновесии с окружающей средой. Энергия излучения
возрастает с температурой, подобно тому как увеличивается
с ростом температуры энергия движения молекул газа,
жидкости или твердого тела.
Интенсивность излучения внутри печи не зависит
от способности стенок поглощать или отражать
излучение, она зависит только от температуры стенок. Если
бы это было не так, то через маленькую дырочку из печи
с блестящими, хорошо отражающими стенками в печь
с темными, хорошо поглощающими стенками (при
условии, что температура печей одинакова) проходил бы
поток излучения. А этого никогда не происходит.
Таким образом, очевидно, что определенная
температура характеризуется вполне определенной
интенсивностью электромагнитного излучения, такого, как свет,
инфракрасные лучи и радиоволны. Отметим теперь, что
электромагнитные волны могут не только проходить
через вакуум, воздух или изолирующие вещества
(например, стекло), но и передаваться по проводам. В самом
деле, сигнал, посланный по двум телефонным проводам,
можно понимать или как напряжение между проводами
и как поток электронов, текущий по проводам, или как
волну, состоящую из электрического поля между
проводами и магнитного поля вокруг проводов и движущуюся
вдоль провода одновременно с током. Сопоставляя два
факта — возможность отождествлять электрические
сигналы в проводах с электромагнитными волнами и
способность нагретых тел излучать электромагнитные волны,
следовало бы ожидать, что тепло порождает какой-то
вид электрических сигналов. Джонсон, открывший
электрические флуктуации, порождаемые теплом, описал эти
флуктуации не как электромагнитные волны, а как
флуктуации напряжения, создаваемого на сопротивлении.
После того как Джонсону удалось обнаружить и
измерить эти флуктуации, другой физик, применив принципы
статистической механики, сумел найти точное
математика

веское выражение для их величины. Этим физиком был
не' кто иной, как Найквист, который, как мы видели
в главе 2, внес существенный вклад в фундамент теории
информации.
Выражение Найквиста для явления, которое мы сейчас
называем тепловым шумом (или шумом Джонсона), таково:
V* = 4kTRW. (10.1)
Здесь У2 — среднее квадратичное значение
напряжения шума, т. е. среднее значение квадрата напряжения
шума на сопротивлении R; к — постоянная Больцмана
(к = 1,37· 10~23 дж/град); Τ — температура сопротивления
в градусах Кельвина, равная температуре в градусах
Цельсия, отсчитанной от абсолютного нуля (абсолютный
нуль — это —273° по Цельсию); R — сопротивление,
измеренное в омах; W — ширина полосы шума в герцах.
Очевидно, что ширина полосы W зависит только от
свойств наших измерительных приборов. Если усилить
шум с помощью широкополосного усилителя, то шум
на выходе этого усилителя будет больше, чем в том случае,
когда шум усиливается с помощью узкополосного
усилителя, обладающего тем -же коэффициентом усиления.
Так что в телевизионном приемнике, полоса пропускания
которого составляет несколько мегагерц, нужно ожидать
большего уровня шума, чем в радиоприемнике, имеющем
полосу пропускания несколько килогерц.
Мы видели, что на нагретом сопротивлении создается
напряжение шума. Если к нагретому сопротивлению
подсоединить другое сопротивление, то ко второму
сопротивлению от первого потечет электрическая мощность.
Если второе сопротивление холодное, то в результате
этого процесса оно нагреется. Таким образом, нагретое
сопротивление — это потенциальный источник шума.
Какова наибольшая мощность шума iV, отдаваемая
сопротивлением? Эта мощность оказывается равной
N = kTW. (10.2)
В некоторых случаях удобнее пользоваться
выражением (10.2), чем выражением (10.1). Во-первых,
формула (10.2) проще — в ней отсутствует сопротивление R;
во-вторых, она применима в самых различных случаях.
Предположим, например, что имеется радиотелескоп,
большой параболический рефлектор которого фокусирует
221

Солнце Лун*.
Фиг. 10.1.
радиоволны и направляет их в чувствительный
радиоприемник (фиг. 10.1). Направим радиотелескоп на
различные небесные или земные объекты и будем принимать
излучаемый ими электромагнитный шум,
соответствующий их температуре.
Мы обнаружим, что мощность принятого радиошума
будет определяться выражением (10.2), где Τ —
температура объекта, на который направлен радиотелескоп.
Если направить телескоп на воду или на гладкую
поверхность, то то, что на ней мы увидим, будет
фактически отражением неба, если же направить телескоп на
предметы, почти не отражающие радиоволны, например
на листья деревьев или на кустарник, то мы примем шум,
соответствующий температуре около 290° К, т. е.
температуре деревьев. Если направить радиотелескоп на Луну
так, чтобы видна была только Луна, а окололунное
пространство не попадало в поле зрения телескопа, то
принятый шум будет соответствовать не температуре
самой поверхности Луны, а температуре на глубине
нескольких сантиметров, так как вещество Луны
довольно прозрачно для радиоволн.
Величина принятого шума, если направить телескоп
на Солнце, будет зависеть от частоты, на которую
настроен радиоприемник. Если настроить приемник на частоту
примерно 10 Мгц (длина волны 30 ж), то принятый шум
будет соответствовать температуре около 1 000 000° К —
температуре разреженной солнечной короны. Подобно
222

земной атмосфере, солнечйая Корона прозрачна для более
коротких радиоволн. Поэтому, если настроить приемник
на частоту примерно 10 000 Мгц, то принятое излучение
будет соответствовать температуре около 8000° К —
температуре, немного превышающей температуру
поверхности Солнца. Только вот неизвестно, почему температура
короны намного выше температуры видимой поверхности
Солнца?
Радиошум космоса на разных частотах различен.
На частотах немного выше нескольких тысяч мегагерц
шум соответствует температуре от 2 до 4° К. На более
низких частотах шум больше, с уменьшением частоты
он монотонно возрастает. Высок уровень шума,
излучаемого Млечным Путем, некоторыми звездами, а также
сталкивающимися «островами» Вселенной —
галактиками. Космическое пространство не имеет единой
температуры, поэтому вычислить шумы из космоса по
формуле (10.2) невозможно.
Но при всех условиях шум Джонсона, или тепловой
шум, мы как минимум примем обязательно.
Дополнительные источники шума только ухудшают положение.
Следует отметить, что сама природа теплового шума
обусловила его использование в качестве стандарта при
измерении характеристик радиоприемников.
Как уже отмечалось, к принимаемым сигналам
радиоприемник добавляет еще и собственные шумы. Кроме
того, он усиливает любой принятый им шум. Можно
задать такой вопрос: во сколько раз нужно усилить
тепловой шум, чтобы он стал равен собственным шумам
приемника? Можно выразить собственный шум
приемника через эквивалентную температуру шума Тп.
Эквивалентная температура шума Тп — это мера шумовых
свойств радиоприемника. Чем меньше Тп, тем лучше
приемник. Температуру шума Тп можно истолковать
следующим образом. Предположим, у нас идеальный
приемник, лишенный собственных шумов, с тем же
коэффициентом усиления и той же полосой пропускания, что
и реальный приемник. Добавим тепловой шум,
соответствующий температуре Тп, к принимаемому сигналу,
тогда отношение мощности сигнала к мощности шума
на выходе идеального приемника, на вход которого
подается сигнал с наложенным на него тепловым шумом,
будет равно отношению мощности сигнала к мощности
223

шума ни выходе реальйого прйбмйика, йа йход которого
подается этот же сигнал, но без наложенного на него
теплового шума. ·
Таким образом, эквивалентная температура шума Тп —
это точная мера шумовых свойств приемника. Иногда
величина Тп используется для введения другой меры
шумовых свойств; она называется шум-фактор и
обозначается NF:
(10.3)
Формула (10.3) предназначена для использования только
в земных условиях, где каждый сигнал смешивается
с шумом, соответствующим температуре примерно 293 °К.
Шум-фактор есть отношение общего выходного шума,
обусловленного тепловым шумом на входе при
температуре 293° К и собственным шумом приемника, к
составляющей теплового шума на выходе устройства.
Эквивалентная температура шума Тп, конечно,
зависит от качества радиоприемника, а наименьшая
достижимая величина шум-фактора зависит еще и от рабочей
частоты. Некоторое представление о качестве
приемников различных типов можно получить из табл. 14.
Очень важно учитывать в теории информации влияние
эффективной температуры радиоприемника и
эффективной температуры объектов, на которые направлена его
антенна, так как шум определяет требуемую для
передачи сообщения мощность. Тепловой шум — это гауссов
Таблица 14
Тип приемника
Радио- или телевизионный приемник ....
Приемник, работающий на частоте 6000 Мгц
с мазерным усилителем
Хороший приемник без мазерного усилителя,
работающий на частоте 6000 Мгц ....
Эквивалентная
температура шума,
°К
30000
20
3 000
224

шум, и поэтому к нему применимо выражение (9.3).
Таким образом, в идеальном случае, чтобы передать
С битов в секунду, нужно иметь сигнал мощностью Р,
причем эта мощность связана с мощностью шума N
соотношением (9.3), выведенным в предыдущей главе ^стр. 207):
C = TFlog(H--£).
Если подставить сюда значение N из формулы (10.2),
то мы получим
C = ^log(l+1^-). (10.4)
Пусть мощность сигнала равна Р. Если значение W
взять очень малым, то и С будет очень мало. Если же мы
будем делать W все больше и больше, то С не будет
беспредельно возрастать, а будет стремиться к некоторому
предельному значению. Если PlkTW много меньше
единицы, то формула (10.4) будет иметь вид
п_ IMP
Это можно записать и так:
Р = 0,6ШТС. (10.6)
Соотношение (10.6) показывает, что даже при очень
широкой полосе для передачи одного бита в секунду все
равно потребуется мощность не меньше 0,693 кТ дж1сек,
а в среднем на каждый бит информации необходима
энергия 0,693 кТ дж. И не надо забывать, что
формула (9.3) справедлива только для идеального вида
кодирования — блокового кодирования. Как отмечалось в
главе 9, в большинстве используемых на практике систем
связи требуется намного больше энергии на бит
информации.
Посмотрим теперь, какое значение имеет выражение
(10.6) для некоторых необычных систем связи.
Предположим, что мы находимся на космическом корабле вблизи
Марса и хотим передать на Землю какой-то текст на
английском языке. В идеальном случае для этого было бы
достаточно примерно одного двоичного знака на букву, или
5,5 двоичной цифры на слово. Если же мы хотим
передать этот текст со скоростью обычного телетайпа, т. е.
(10.5)
225

60 слов δ минуту (или одно Слово в секунду), то ним
потребуется посылать 5,5 двоичной цифры в секунду,
так что именно этой величине и будет равна С —
пропускная способность канала.
Если сигнал, достигающий нашего приемника,
приходит из холодного космоса, то на него наложится
только неизбежный шум, обусловленный температурой
космоса. Если рабочая частота — порядка нескольких
тысяч мегагерц, то эту температуру можно положить
равной примерно 4° К. Поскольку все величины,
входящие в выражение (10.6); известны (С = 5,5, а Т = 4),
то можно вычислить необходимую мощность принятого
сигнала PR. Она оказывается равной
PR = 2AQr™em.
Конечно, нам приходится передавать намного
большую мощность, чем эта, так как не вся передаваемая
мощность улавливается приемной антенной. Рассмотрим
случай, когда передаваемая мощность излучается во всех
направлениях одинаково. На расстоянии L от
передатчика эта мощность будет равномерно распределена по сфере
радиуса L с поверхностью 4πΖΛ Предположим, что
приемная антенна представляет собой вогнутый
параболический рефлектор, диаметр которого Ζ), а площадь πΖ)2/4.
Тогда отношение передаваемой мощности РТ к
принимаемой мощности Pr будет равно
■*£-а 4jtL2 =16 Г-Υ (10 7)
PR ЯД2/4 l°\D J ' l1Ue/'
Теперь предположим, чтр космический корабль
находится на расстоянии 50 000 000 км, или 5-Ю10 м, от
Земли. Предположим, что диаметр D приемной антенны будет
равен 50 м. Тогда отношение передаваемой мощности
к принимаемой равно
-^- = 1,6.1019.
ГЦ
Поскольку PR = 2-10""22 em, то передаваемая мощность
должна быть приблизительно равна
Рг = 0,003 em.
Итак, в идеальном случае при использовании
приемной антенны диаметром 50 м мы могли бы, находясь вбли-
226

зи Марса, передавать английский текст на Землю со
скоростью 60 слов в минуту. Для этого нам понадобился бы
передатчик мощностью всего лишь около, трех тысячных
ватта!
А какая мощность потребовалась бы в реальном случае?
Если кодировать текст самым простым и обычным
методом _ до буквам, используя на каждую букву 5 двоичных
цифр, то нам пришлось бы увеличить требуемую мощность
в 5 раз. Если взять наилучший из известных
приемников — мазер, имеющий температуру шумов 20° (что в 5 раз
выше температуры шумов космического пространства),
то требуемая мощность возрастет еще в 5 раз. Если
передавать двоичные цифры по одной, поочередно включая
и выключая передатчик, то из-за неэффективности такого
метода модуляции, или кодирования, пришлось бы
увеличить мощность еще раз в 40. Таким образом, в реальной
системе потребовалась бы мощность, в 1000 раз большая,
чем в идеальной, т. е. 3 вт. Ну а если не прибегать к ма-
зерному приемнику, то пришлось бы увеличить мощность
еще в 10 раз и довести ее до 30 вт.
Предположим теперь, что мм хотим принять
сообщение с борта космического корабля, который находится
между Землей и Солнцем, на расстоянии 50 000 000 км
от Земли. Допустим, что направленность антенны такова,
что она «видит» только космический корабль и Солнце.
Температура Солнца примерно в 2000 раз выше
температуры космоса, так что даже в идеальном случае
потребовалась бы мощность около 6 em, а практически —
несколько сотен ватт.
Конечно, в реальной межпланетной системе мы
поставили бы на космический корабль большую наружную
направленную антенну. Тогда мощность передавалась бы
на Землю узким пучком. Это уменьшило бы вычисленную
выше мощность в 10000, а то и в 1 000 000 раз. Таким
образом, при этих условиях была бы возможна даже
телевизионная передача между Марсом и Землей, если бы только
нам удалось забросить на Марс телеустановку!
Я привел этот пример в основном потому, что он мне
кажется весьма наглядным и интересным, а еще потому,
что именно в таких случаях особенно важно знать, до каких
пределов возможно уменьшить мощность. В далеких
космических полетах большой запас необходимой энергии
и мощный радиопередатчик потребуют больших затрат.
221

Приведенный пример йоказйвает те препятствия,
которые ставят перед нами законы физики, а также то, чего
можно достичь, используя существующие системы
кодирования и существующие приемники. В эру космических
исследований, а быть может, и космических путешествий,
будет иметь смысл попытаться достичь дозволенного
природой предела эффективности неэкономичности связи.
Обратимся теперь к другому ограничению,
налагаемому законами физики на возможности установления
связи. Мы уже говорили о том, что электромагнитные
волны могут не только свободно путешествовать в
пространстве, но и распространяться по проводам.
Электромагнитные волны можно также передавать по так
называемым волноводам при условии, что диаметр волновода не
менее чем в два раза больше длины волны.
Если длина волны много меньше диаметра волновода,
то в нем может существовать, т. е. по нему может
распространяться, множество различных типов волн (мод).
В идеальном случае волна каждого типа может
распространяться независимо от остальных волн и не
взаимодействуя с ними. Следовательно, используя эти
независимые типы волн, мы могли бы передавать в одном и том же
диапазоне частот большое количество независимых
сообщений.
Но эта возможность практически очень мала, так как
недостатки конструкции неизбежно влекут за собой
взаимодействие волн различных типов. И вообще на практике
лучше всего использовать те типы волн, которые
позволяют передавать электромагнитную энергию с
наименьшим затуханием, т. е. с наименьшими потерями
мощности, а от остальных типов волн желательно
избавляться.
Тем не менее существование большого количества волн
различных типов важно для иллюстрации некоторых
теоретических положений. Вообразим, что по волноводу
посылаются очень короткие электромагнитные волны, и
предположим, что поперек волновода помещен рисунок,
выполненный так, что его «светлая» часть свободно пропускает
электромагнитные волны, а «темная»— поглощает
некоторую долю электромагнитной энергии. Можно показать,
что интенсивность волн различных типов на достаточном
расстоянии от рисунка представляет собой отображение
его светлых и темных частей.
228

Пропуская свет сквозь прозрачный объект, мы, как
сказано ранее, создаем сложную систему
электромагнитных волн различных типов, каждая из которых несет
некоторую информацию о просвечиваемом объекте. Таким
образом, формирование изображения объекта с помощью
света определенной частоты или определенной длины
волны можно представить как передачу информации с
помощью ряда независимых каналов связи, где каждый канал
связи — это один из типов волн. Этот вопрос до некоторой
степени уже исследован.
Однако здесь мы сталкиваемся с трудностью.
Выражения для теплового шума (10.1) и (10.2)— это формулы
классической, или, иначе говоря, доквантовой, теории.
При рассмотрении радиоволн эти выражения в
большинстве случаев выполняются достаточно точно, но при
рассмотрении световых волн, имеющих частоты порядка
500 000 000 Мгц, они становятся неверными.
Дело в том, что излучение приходит небольшими
порциями, или квантами. Каждый квант обладает энергией
E = hf, (10.8)
где / — частота (в герцах), a h — постоянная Планка,
равная
к = 6№А0-3*дж/сек.
Как правило, квантовые эффекты нужно учитывать тогда,
когда величина hf становится сравнимой с величиной кТ
или больше ее. Так, частота /, выше которой наши
классические выражения будут явно ошибочны, равна
/ = 2,07.1010Γ. (10.9)
При температуре 3° К эта частота приблизительно равна
60 000 Мгц, что соответствует длине волны 0,5 см и
относится к сантиметровому диапазону. При температуре
300° К (комнатная температура) эта частота равна
6 000 000 МгЦу что соответствует длине волны 0,005 см
и относится к инфракрасному спектру. Видимый свет
имеет частоту порядка 500 000 000 Мгц, что соответствует
длине волны 6-Ю"*5 см.
Какие ограничения налагают квантовые эффекты на
Связь? Точного ответа ца этот вопрос мы не знаем. До сих
&8

пор, хотя прошло довольно много лет после рождения
теории информации в ее современном виде, физики не смогли
еще дать законченного ответа на этот фундаментальный
вопрос. Но кое-что все же сказать можно.
С классической точки зрения сигнал, каким бы слабым
он ни был, можно считать непрерывно изменяющимся
током, напряжением, электрическим или магнитным полем.
Сигнал искажается тепловым шумом, а сам этот шум
с классической точки зрения — лишь непрерывно
изменяющаяся непредсказуемая величина, накладывающаяся
на непрерывно изменяющийся сигнал.
Согласно квантовой теории, сигнал до некоторой
степени непредсказуем, даже если и не смешивается с шумом.
Так, мы не можем послать энергию меньше одного кванта,
т. е. меньше величины А/. Когда мы посылаем один квант,
то не можем одновременно определить с достаточной
точностью и его частоту, и тот момент времени, в который
он достигнет приемника. Это положение вытекает из
принципа неопределенности Гейзенберга. Один из видов шума,
с которым нам приходится сталкиваться при рассмотрении
квантовых эффектов, представляет собой
накладывающиеся на сигнал кванты теплового происхождения. Этот шум
соответствует классическому тепловому шуму. Мы видим,
однако, что, даже если кванты шума отсутствуют, все
равно имеется некоторая неопределенность относительно
принятого сигнала, тогда как в классическом случае
этого нет.
Теперь можно ответить на несколько вопросов,
касающихся ограничений, налагаемых на связь квантовыми
эффектами. Сколько, например, квантов необходимо для
передачи одного бита информации? Несмотря на то что мы
при всем желании не можем послать точно один квант
и быть в полной уверенности, что послан именно один, а не
несколько квантов, оказывается, что при отсутствии
мешающих квантов теплового шума можно в среднем
посылать неограниченное среднее число битов на квант, если
только это делать достаточно долго. Можно, например,
попытаться посылать каждый квант в один из
многочисленных временнйх интервалов или на одной из
многочисленных частот, увеличив таким образом возможности
для выбора способа передачи каждого кванта. Чтобы
избежать искажений принятого сообщения, можно
воспользоваться сложными методами кодирования, даже
№

если при передаче возникают ошибки вследствие квантовой
неопределенности.
Можно также спросить, какая необходима средняя
мощность для передачи одного бита информации. Опять-
таки оказывается, что, если нет мешающих квантов, эту
мощность можно сделать сколь угодно малой, посылая
одним из указанных выше способов кванты, содержащие
большое количество битов информации, или используя
низкие частоты, на которых энергия кванта мала. В самом
деле, если для передачи сигнала использовать очень
низкие частоты (т. е. ограничить скорость передачи), то
выражение (10.6) будет справедливо как в квантовой, так
и в классической теориях, ибо на низких частотах
квантовые свойства приближаются к классическим.
Однако в реальных системах связи желательно
использовать именно те частоты, на которых квантовые эффекты
преобладают. У нас нет точных формул, учитывающих
квантовые эффекты в высокочастотных сигналах,
смешанных с шумом. С полной уверенностью можно лишь
утверждать, что здесь дела будут обстоять несколько хуже, чем
в классическом, неквантовом случае. Но насколько хуже,
это пока не известно.
С точки зрения теории информации наиболее
интересное отношение между нею и физикой дает оценку
неизбежных ограничений, налагаемых законами физики на нашу
способность устанавливать связь. В основном это касается
ограничений, обусловленных тепловым шумом и квантовыми
эффектами. Сюда следует отнести, однако, и ограничения,
налагаемые возмущениями в атмосфере и флуктуациями
в ионосфере, которые могут исказить сигнал. Эти
искажения носят совсем иной характер, чем те, которые вызваны
наложением шума на сигнал. Можно было бы привести
множество других примеров такого рода связи физики
с теорией информации.
У физиков же представление о связи между
физикой и теорией информации совсем иное и ничего общего
не имеет с решением основной задачи, которую ставит
перед собой теория информации,— выяснение того, какие
ограничения налагаются на эффективность кодирования
при передаче информации по каналу с шумом. Физики
предлагают использовать идеи теории информации для
иллюстрации невозможности создания так называемого
вечного двигателя второго рода. Вообще говоря, эта мысль
т

появилась еще до возникновения математической теории
связи в ее современном виде, ибо она была выдвинута
Л. Сцилардом в 1929 году.
Один класс вечных двигателей по замыслу изобретателей
должен дать возможность создавать энергию, а это
противоречит первому принципу термодинамики — закону
сохранения энергии.
Другой класс составляют вечные двигатели,
предназначенные для преобразования неупорядоченной энергии
теплового движения, или энергии излучения равномерно
нагретого тела в упорядоченную энергию, например
в энергию вращения махового колеса. Вращение махового
колеса, конечно, можно было бы использовать для
приведения в действие холодильника, который охлаждал бы
одни тела и нагревал другие. Так что этот вид вечного
двигателя мог бы без всякой дополнительной
упорядоченной энергии передавать тепловую энергию от
холодных тел к горячим.
Второй принцип термодинамики можно
сформулировать по-разному: без расхода упорядоченной энергии тепло
не будет переходить от холодных тел к горячим, или так:
энтропия системы никогда не уменьшается. Так что
вечный двигатель второго рода противоречит второму
принципу термодинамики.
Один из наиболее известных типов вечных двигаталей
второго рода был придуман Джеймсом Клерком
Максвеллом. Этим двигателем управляет вымышленная им фигура,
именуемая демон Максвелла.
На фиг. 10.2 я изобразил этого демона. Живет он
в ящике, разделенном перегородкой на две части, а работа
его заключается в открывании и закрывании дверцы между
обеими половинами ящика. Когда демон видит в соседнем
помещении быструю молекулу, движущуюся по
направлению к дверце, он дверцу открывает и впускает молекулу,
а когда видит в своем «помещении» медленную молекулу,
движущуюся к дверце, выпускает ее. Так он строго следит
за тем, чтобы медленные молекулы к нему не проникали,
а быстрые от него не ускользали. Вскоре газ в комнате,
где сидит демон, будет состоять из одних быстрых
молекул. Температура здесь поднимется, а в соседнем
помещении, где газ будет состоять из одних медленных молекул,
понизится. Демон Максвелла заставляет тепло течь из
холодной комнаты в теплую. На рисунке я показал, как
т

Фиг. 10.2.
демон одной рукой держится за дверцу, а другой
показывает нос второму закону термодинамики.
Демон Максвелла оказался крепким орешком для тех
физиков, которые решили все-таки с ним расправиться.
Наиболее веское возражение против демона Максвелла
таково: поскольку среда, в которой живет демон,
находится в тепловом равновесии, то тепловому шуму
сопутствует лишь один вид случайного электромагнитного
излучения —свет, а он настолько хаотичен, что демон не может
разглядеть, какие молекулы приближаются к дверце.
Можно придумать любые варианты демона Максвелла.
Что если вместо демона поставить дверцу на пружинах?
Молекула, ударяющая в такую дверцу с одной стороны,
сможет ее открыть и пройти, а молекула, ударяющая
с другой стороны, не сможет вообще открыть дверцы. Не
сосредоточатся ли в конце концов все молекулы и вся
энергия в том помещении, куда открывается пружинная дверца?
Первое возражение против дверцы на пружинах
заключается в том, что если пружина сильная, то
молекула не будет в силах открыть дверцу, если же пружина
слабая, то тепловая энергия молекул заставит дверцу
беспрерывно хлопать и большую часть времени она будет
открыта. К тому же на открывание дверцы молекулы будут
тратить часть своей энергии. Все физики сошлись на том,
что применение механических устройств вроде дверцы на
пружинах не может поколебать второй принцип
термодинамики.
Ж

P~
5/_й5, ^_лр
ι <
\
Υ ч
Ρ 4Λί
Ό
Δ, h Λ
Фиг. 10.3.
Р" Mr=S,
Спорить о том, какое устройство будет работать, а какое
нет, — дело тонкое. Один мой изобретательный друг
совсем было одурачил меня своей машиной, пока я не
вспомнил, что любой находящийся в равновесии тепловой объем
должен содержать не только молекулы, ной случайное
электромагнитное излучение. И все же имеется одна
простая машина, которая, несмотря на отсутствие в ней
трения и несмотря на всю ее нелепость, а также несмотря
на то, что практически она, безусловно, невыполнима,
мне представляется теоретически не невозможной в том
смысле, какой вкладывают в это понятие физики. Эта
машина изображена на фиг. 10.3.
Машина состоит из цилиндра С и поршня Р; трение
между ними отсутствует. Когда поршень движется влево
или вправо, он поднимает одну из маленьких чашек р,
а другую — опускает". Поршень снабжен дверцей Z),
которая может открываться и закрываться. В цилиндре имеется
одна-единственная молекула М. Все устройство имеет
температуру Т. При столкновениях со стенками молекула
то будет приобретать энергию, то терять ее и средняя
энергия молекулы будет пропорциональна
температуре Т.
Когда дверца в поршне открыта, можно, не совершая
никакой работы, двигать поршень вправо и влево.
Начнем с того, что поместим поршень с открытой дверцей
в центре цилиндра. Закрепим поршень в этом положении,
закроем дверцу. Затем определим, с какой стороны
поршня находится молекула. Сделав это, положим маленькую
гирьку с нижней полки 5А на чашку с той же стороны,
994

с какой находится молекула, и отпустим поршень.
Повторяющиеся удары молекулы о поршень в конце концов
заставят чашку с положенной на нее гирькой подняться
до верхней полки £2*> здесь гирьку с чашки мы снимем
и положим на верхнюю полку. Затем опять откроем
дверцу, поместим поршень в центр цилиндра и повторим весь
процесс. В конце концов окажется, что мы подняли
огромное количество маленьких гирек с нижней полки 5Ί на
верхнюю — ι52· Итак, неупорядоченная тепловая энергия
проделала порядочную, работу!
Какова величина проделанной работы? Легко показать,
что средняя сила F, с какой молекула давит на поршень,
равна
^=4г' (10.10)
где L — расстояние от поршня до боковой стенки с той
стороны, где находится молекула. Если позволить
молекуле протолкнуть поршень от центра цилиндра до
противоположной стенки, т. е. удвоить расстояние L, то
наибольшая работа W, которая может быть совершена, будет равна
\¥ = 0,6ШТ. (10.11)
Фактически же, еыйс вес груза в процессе подъема не
изменяется, выполненная работа будет меньше своего
предельного значения, найденного по формуле (10.11). Так что же
выходит, мы получили даровую энергию?
Не совсем! Когда мы поместили поршень в центр
цилиндра и закрыли дверцу, молекулу оможно с равной
вероятностью обнаружить в любой половине цилиндра.
Чтобы узнать, на какую чашку весов следует положить
гирьку, т. е. узнать, по какую сторону поршня находится
молекула, необходим один бит информации. Чтобы
привести машину в действие, нужно передать эту информацию
в систему, находящуюся при температуре Т. Чему равна
минимальная энергия, требуемая для передачи одного бита
информации при температуре Г? Мы уже вычислили эту
энергию; из формулы (10.6) видно, что она в точности
равна 0,693 кТ дж, т. е. именно той наибольшей энергии,
которую может создать наша машина. Не следует забывать
что эта формула применима для рассмотрения квантовых
процессов только тогда, когда сигнал передается
медленно, на очень низких частотах. Итак, вся выходная мощ-
№

ность машины пошла на передачу информации,
необходимой для того, чтобы привести машину в действие!
Бессмысленно спорить, какова реально достижимая
эффективность подобной машины; важно то, что даже
в наилучшем случае нам пришлось бы остаться при своих.
Только что на простом примере мы видели, что передача
информации в том смысле, в каком она применяется в
математической теории связи, позволяет нам преобразовывать
тепловую энергию в механическую. Бит, с помощью
которого измеряется величина использованной при таком
преобразовании информации, представляет собой единицу
измерения энтропии источника сообщений в теории
информации. А термодинамическая энтропия указывает, какая
часть имеющейся в наличии тепловой энергии может быть
преобразована в механическую работу. Кажется
естественным попытаться установить связь между энтропией,
используемой в термодинамике (и статистической
механике), и энтропией теории информации.
Энтропия в теории информации — это мера
неопределенности того, какое именно сообщение из многих
возможных сообщений источник создаст при заданных
условиях. Если источник выбирает сообщение из т
равновероятных сообщений, то энтропия в битах на сообщение
равна логарифму т по основанию 2; Ё этом случае ясно,
что такие сообщения можно передать посредством log m
двоичных цифр на сообщение. В более общем смысле
важность энтропии в теории информации заключается
в том, что она говорит, какое среднее количество двоичных
цифр требуется для передачи сообщений, создаваемых
источником.
Энтропия в статистической механике характеризует
неопределенность того, в каком состоянии находится
физическая система. В статистической механике
предполагается, что все состояния, обладающие одинаковой
полной энергией, равновероятны. Энтропия в статистической
механике равна постоянной Больцмана, умноженной на
логарифм числа возможных состояний по основанию е.
Эта энтропия широко применяется в статистической
механике. Одним из важных применений этой энтропии
является формула для свободной энергии, которую мы
обозначим С. Э.,
С.Э. = £— НТ, (10.12)
№

где Ε — полная энергия; Я — энтропия; Τ —
температура. Свободная энергия — это та часть полной энергии,
которая в идеальном случае может быть превращена
в работу, например в работу по поднятию груза.
Чтобы понять, что такое энтропия в статистической
механике, нужно определить, что такое физическая
система. Вот несколько примеров физических систем.
Физической системой может быть кристаллическое твердое
тело, закрытый сосуд, содержащий воду и водяные пары,
резервуар, наполненный газом, или любым другим
веществом, или совокупностью веществ. Мы будем исследовать
такую систему, когда она находится в равновесии, т. е.
когда во всей системе установилась одна и та же
температура и когда одни физические или химические изменения,
которые могут произойти при этой температуре, уже
закончились, а другие еще не начинались.
В качестве частного примера физической системы
рассмотрим идеальный газ, состоящий из множества
исчезающее малых частиц, хаотически блуждающих в сосуде.
Под состоянием такой системы понимается полное
описание (насколько позволяют законы физики) положений
и скоростей всех этих частиц. Согласно классической
механике (законам движения Ньютона), каждая частица
может иметь любую скорость и энергию и, следовательно,
имеется несчетное число состояний, подобно тому как
имеется несчетное бесконечное множество точек на отрезке
прямой линии или в квадрате. По законам квантовой
механики множество состояний бесконечно, но счетно.
Таким образом, классический случай аналогичен теории
передачи непрерывных сигналов, а более точный
квантовый случай аналогичен теории передачи дискретных
сигналов, состоящих из счетного количества различимых
символов. Теорией передачи дискретных сигналов мы в
основном и занимались.
Согласно квантовой механике, энергия движущейся
частицы идеального газа может принимать только вполне
определенные значения. Когда частица имеет одну из
этих разрешенных энергий, то говорят, что она занимает
определенный энергетический уровень. Какова будет
энтропия такого газа? Если увеличить объем газа, то
увеличится число энергетических уровней внутри
данного диапазона энергий. При этом возрастет число
состояний, в которых система может находиться при данной
237

^ёМйбратуре, и, следовательно, увеличивается энтропия.
Такое увеличение энтропии произойдет, если убрать
перегородку, отделяющую газ в одной части сосуда от
свободного пространства в другой его части, и газ получит
возможность быстро расшириться и занять весь сосуд.
Если температура газа увеличится, а его объем
останется неизменным, то частицы смогут занимать более высокие
энергетические уровни. При этом возрастет число
возможных комбинаций энергетических уровней, которые могут
занимать частицы, а это приведет к увеличению числа
состояний и возрастанию энтропии.
Если разрешить газу расширяться и медленно
толкать при этом поршень и если к газу не подводить тепло,
то число энергетических уровней внутри данного
диапазона энергий возрастет, а температура газа снизится как
раз настолько, чтобы число состояний и энтропия
остались постоянными.
Мы видим, что при данной температуре газ,
ограниченный небольшим объемом, имеет меньшую энтропию,
чем тот же газ при той же температуре, но занимающий
больший объем. Если газ состоит только из одной
молекулы (см. фиг. 10.3), то его энтропия меньше, когда дверца
закрыта и движение молекулы ограничено пространством
с одной стороны поршня. По крайней мере это так, если
известно, с какой стороны поршня находится молекула.
Нетрудно вычислить уменьшение энтропии,
вызываемое уменьшением в два раза объема идеального «одномо-
лекульного газа» при постоянной температуре. При
уменьшении объема в два раза в два раза уменьшается
и число состояний, а энтропия изменяется на величину
&logey=— 0,693 А.
Соответствующее изменение свободной энергии имеет
противоположный знак и равно изменению энтропии,
умноженному на Г, т. е.
0f693M*.
Согласно выражению (10.11), именно эту работу можно
получить, уменьшив вдвое объем «одномолекульного газа»
и затем позволив ему расширяться и толкать поршень
до тех пор, пока его объем опять не станет прежним.
238

Таким образом, вычислив изменение свободной энергий,
мы опять придем к выражению (10.11).
Рассматривая с этой точки зрения опыт с «одномоле-
кульной» тепловой машиной, становится ясно, что для
определения, с какой стороны поршня находится
молекула, необходимо передать один бит информации. Эта
информация передается на фоне помех, или шумов,
соответствующих температуре Г. Чтобы сделать это, нужно
затратить 0,693 кТ дж энергии.
Поскольку теперь нам известно, с какой стороны
поршня находится молекула, то энтропия становится на 0,693 к
меньше, чем в том случае, если бы местонахождение
молекулы было неизвестно. Это уменьшение энтропии
соответствует увеличению свободной энергии на 0,693 кТ дж.
А свободную энергию можно превратить в работу,
разрешив поршню медленно двигаться под действием частых
ударов молекулы по направлению к противоположной
стенке цилиндра. При этом энтропия поднимается до
своего первоначального значения и мы можем получить
от системы некоторую работу, которая, увы, оказывается
равной лишь минимально необходимой энергии для
передачи такого количества информации, которое необходимо,
чтобы мы узнали, с какой стороны поршня находится
молекула.
Рассмотрим теперь более сложный случай.
Предположим, что какая-то физическая система при данной
температуре имеет m состояний. Разделим эти состояния на η
равных групп. Число состояний в каждой из этих групп
будет равно т/п.
Будем считать, что имеется какой-то источник
сообщений, который позволяет нам узнать, к какой из η групп
относится состояние, в котором находится система.
Поскольку имеется η равновероятных групп состояний,
энтропия (в теории информации) равна log n бит. Это означает,
что потребуется log n двоичных цифр, чтобы определить,
к какой группе относится состояние, в котором находится
система. Для передачи этой информации при
температуре Τ потребуется по крайней мере
0№3kTlogn = kTlogen
джоулей энергии. Иначе говоря, необходимая для
передачи сообщения энергия пропорциональна энтропии
(в теории информации) источника сообщения.
239

Если йам известно только то, что система находится
в одном из т состояний, то энтропия равна
k\ogem.
Если мы знаем точно, к какой группе состояний относится
состояние, в котором находится система (т. е. получена
информация о том, в какой группе состояний находится
система), то энтропия равна
к loge -^- = к (loge т—loge тг).
Таким образом, изменение энтропии, вызываемое
передачей информации о том, в какой из η групп состояний
находится система, равно
— к l0ge П,
а соответствующее увеличение свободной энергии равно
кТ loge и.
Но эта величина в точности равна наименьшей энергии,
необходимой для передачи информации о том, к какой
группе состояний относится состояние, в котором
находится система; передача этой информации приводит
к уменьшению энтропии и увеличению свободной энергии.
Любой процесс, позволяющий определить, в каком
состоянии находится система, можно считать источни-
ником сообщений. Этот источник создает сообщение,
уменьшающее нашу неопределенность того, в каком
состоянии находится система. Сообщение от такого источ-
ка имеет вполне определенную энтропию (в теории
информации). Эта энтропия равна количеству двоичных цифр,
необходимых для передачи сообщения, создаваемого
источником. Чтобы передать сообщение при наличии шума,
соответствующего температуре Г, потребуется вполне
определенная энергия на каждую двоичную цифру.
Это сообщение снижает нашу неопределенность того,
в каком состоянии находится система, уменьшая, таким
образом, энтропию (в статистической механике) системы.
Уменьшение энтропии увеличивает свободную энергию
системы. Но увеличение свободной энергии в точности
равно минимально необходимой энергии для передачи
сообщения,, которое приводит к увеличению свободной
240

энергии, и эта энергия оказывается пропорциональной
энтропии в теории информации.
Я считаю, что в этом и заключается связь между
энтропией в теории информации и энтропией в статистической
механике. За информацию, приводящую к уменьшению
энтропии (в статистической механике) системы, нужно
расплачиваться. Эта плата пропорциональна энтропии
(в теории информации) источника сообщений, от которого
исходит эта информация. И во всех случаях она как раз
такова, чтобы не допустить осуществления вечного
двигателя второго рода.
Следует, однако, отметить, что источник сообщений
о состоянии физической системы относится к весьма
специфическому и своеобразному виду источников
сообщений. Намного более обычными источниками являются
источники реального текста или устной речи. Связывать
энтропию подобных источников с энтропией в физике,
по-видимому, имеет смысл лишь через энергию,
необходимую для передачи при идеальных условиях одного
бита информации.
Вся эта возня со связью энтропии в физике с
энтропией в теории информации кажется мне бурей в стакане
воды. Второй принцип термодинамики ни у кого не
вызывает сомнений. Однако если бы подобное исследование
вдохновило физиков на открытие и изучение квантового
аналога выражения (10.4), то оно имело бы смысл, ибо
отсутствие подобного соотношения заметно сказывается
на дальнейшем развитии теории информации.
Подведем итоги. В этой главе мы рассмотрели
некоторые проблемы электросвязи в реальных условиях. Мы
видели, что различные физические явления, в том числе
молнии и системы зажигания автомобилей, создают
электрические возмущения, или шум, который смешивается
с электрическими сигналами, используемыми для
передачи сообщений. Этот шум представляет собой источник
ошибок при передаче сигналов; он ограничивает скорость
передачи информации, когда используется сигнал
определенной мощности и с определенной шириной полосы.
Нагретые тела (а любое тело нагрето, если его
температура выше абсолютного нуля) излучают исключительно
простой, всеобщий и неизбежный шум, который налагает
241

бб^ествеЁЁМё ограничения ка ]эадиойерёДак)1циё сй6¥емм.
Пользуясь законами классической физики, можно
математически выразить эти ограничения. Но полученное
выражение неверно для высоких частот и низких
температур. К сожалению, общей квантовомеханической
формулировки этого ограничения мы пока еще не имеем.
Применение и в физике, и в в теории информации
термина «энтропия» поднимает вопрос о связи между этими
двумя энтропиями. На простом примере можно
показать, что ограничения, налагаемые тепловым шумом
на передачу информации, исключают возможность
создания машины для преобразования хаотической энергии
тепла в энергию поднятого груза. Такая машина, если бы
ее удалось построить, опровергла бы второй принцип
термодинамики. Некий источник информации о том, в каком
состоянии находится система, можно считать источником
сообщений. Энтропия (в теории информации) такого
источника представляет собой меру энергии, необходимой
для передачи сообщения от источника при наличии
теплового шума, который обязательно присутствует в системе.
Энергия, используемая для передачи такого сообщения,
равна увеличению свободной энергии вследствие
уменьшения физической энтропии, которое произошло в
результате передачи сообщения.
Хотя кое-кто из физиков, и каждый по-своему,
пытался применить теорию информации в статистической
механике, но, насколько мне известно, они ни к чему полезному
или поразительному не пришли. Мне хотелось бы, чтобы
они сконцентрировали свое внимание на физических
ограничениях, налагаемых на передачу информации
квантовыми эффектами. Вполне возможно, что здесь они
натолкнутся и на другие нерешенные задачи, важные для
теории информации.

Глава одиннадцатая
КИВЕРНЕТМКА
Некоторые слова очень выразительны, они способны
вызывать чувство страха, навевать ощущение
таинственности, романтичности. «Как экзотично, скажем мы,
выглядит Дороти Л амур в саронге» *. Каково точное значение
этого слова (экзотичный), я сам до конца не понимаю,
но убежден, что истинный его перевод — иностранный —
* Саронг — клетчатая или полосатая набедренная повязка.—
Прим. перев.
243

не передает и слабой доли его. Когда я вижу слово
«палимпсест», мне представляются утраченные свитки
Соломоновых тайн или секреты приготовления колдовского зелья,
хотя мне хорошо известно, что слово это означает всего
лишь манускрипт, с которого соскоблен текст, чтобы
освободить место для новых записей.
Обаяние иных слов таково, что даже время не смогло
превратить их в банальность. Я не думаю, чтобы
именно к таким словам относилось слово кибернетика, но
в нем все же есть какой-то неуловимый романтический
оттенок.
Подзаголовок книги Винера
«Кибернетика»—«Управление и связь в животном и машине». Слово
«кибернетика» произошло от греческого слова «рулевой». Широкое
распространение это слово получило в 1948 году, после
выхода в свет вышеупомянутой книги Винера, ну а раз
существует кибернетика, то кто-то должен и применять
ее, и этому человеку было присвоено имя «кибернетик».
Что же такое кибернетика? Если судить по книге
Винера, в кибернетику входят по меньшей мере следующие
разделы: теория информации, с которой мы теперь
знакомы довольно близко, вопросы теории сглаживания,
фильтрации, обнаружения и прогнозирования,
используемой для измерения величины сигнала в данный момент
и для предсказания последующих значений сигнала, как
правило, при наличии шума, а также теория
отрицательной обратной связи и сервомеханизмов, которую Винер
проследил от первого научного труда по регуляторам
(регулятор — это устройство, поддерживающее число
оборотов паровой машины постоянным), опубликованного
Джеймсом К. Максвеллом в 1868 году. Сюда же, я думаю,
нужно отнести еще такую область, как теория автоматов
и сложных машин, куда входит расчет и
программирование вычислительных машин.
И наконец, в этот список нужно включить любые
жизненные процессы и явления, похожие на какой-либо
из вышеупомянутых процессов и явлений, изучаемых
кибернетикой. Это сейчас же наводит на мысль о
некоторых функциях поведения и регулирования человеческого
организма, но Винер идет еще дальше. В своей второй
автобиографической работе «Я — математик» он говорит,
что социология и антропология — это в основном науки
о связях, и поэтому они подпадают под общее понятие
244

кибернетики, куда он относит еще и экономику как один
из разделов социологии.
Вряд ли можно сомневаться в серьезности подхода
Винера. Он проделал огромную и важную работу по
развитию статистических методов изучения жизненных
процессов и процессов мышления. Он считает, что поток
работ, которому положили начало Максвелл, Больцман
и Гиббс, прошел сквозь его собственные работы и
образовал широкое философское море.
Беда в том, что любая из многочисленных областей,
которые Винер собрал в одну науку — кибернетику,
сама по себе весьма значительна. Потребовалось бы много
тысяч слов, чтобы рассказать об истории, содержании
и перспективах каждой из них. Собранные вместе, они
составляют уже не удивительную страну, а целую иную
Вселенную поразительной величины и огромной важности.
Поэтому немногие ученые мужи рискуют выдавать себя
за кибернетика.
Попробуйте-ка поспрашивать тех, чьи имена значатся
в справочнике «Люди науки Америки» («American Men
of Science»), чем они занимаются, я думаю, мало кто
из них ответит — кибернетикой. Если же вы будете
настаивать и снова спросите: «Работаете ли вы в области
кибернетики?», человек, занимающийся вопросами связи,
сложными автоматическими машинами, например
вычислительными, некоторыми разделами экспериментальной
психологии или нейрофизиологии, посмотрит на вас
с недоумением и начнет строить предположения о
подоплеке ваших вопросов и о ваших намерениях. Если он
решит, что перед ним искренний и невинный профан,
который в лучшем случае имеет лишь смутное представление
о его работе, то вполне возможно, что он и ответит «да».
До сего времени в Америке слово кибернетика нещадно
эксплуатировалось в прессе, а также в популярных
и полулитературных, если не сказать полуграмотных,
журналах. Состязаться с ними в обсуждении грандиозных
проблем кибернетики я не берусь. Лучше всего,
пожалуй, это сделал сам Винер в книге «Я — математик».
Даже сугубо техническое содержание областей науки,
обычно связываемых со словом кибернетика, настолько
обширное, что я ни в коем случае не рискнул бы
рассказать об этом в одной книге, даже если бы она была во много
раз толще, чем эта.
246

Но я все же попытаюсь дать в этой главе хотя бы
некоторое представление о различных вопросах техники,
которые приходят на ум, когда упоминается слово
кибернетика. Возможно, даже такой краткий обзор поможет
читателю выяснить, интересует ли его вообще кибернетика,
и укажет ему, какого вида информацию следует искать,
чтобы лучше изучить эту науку.
Начнем с той части кибернетики, которую я назвал
теорией сглаживания, фильтрации и прогнозирования,
с области, которая чрезвычайно важна сама по себе.
Раздел этот относится к сугубо математическим
дисциплинам, но я думаю, что некоторые важные аспекты его
можно сделать достаточно ясными, если рассмотреть
практический пример.
Предположим, что перед нами стоит задача
использовать радиолокационные данные для наведения зенитного
орудия на вражеский самолет. От радиолокатора мы
получаем последовательность измерений положений
самолета, причем каждое из этих измерений получено с
небольшой ошибкой. С помощью этих измерений нужно
/
В'
Фиг. ИЛ.

χ
A
Фиг. 11.2.
определить курс самолета и его скорость так, чтобы
мы могли предсказать его положение в некоторый
момент в будущем и обеспечить попадание снаряда в
самолет.
Предположим, что скорость и высота самолета
постоянны. Тогда данные радиолокатора о
последовательных положениях самолета могли бы оказаться такими,
как показано крестиками на фиг. 11.1. Можно на глаз
провести линию А В, которая, как легко видеть,
изображает достаточно хорошо курс самолета. Но как заставить
то же самое делать машину?
Если мы заставим вычислительную машину
использовать для определения курса только последнее и
предпоследнее измерения положения, т. е. точки L и NL, то
единственное, что она сможет сделать,— это провести
прямую линию через эти две точки. На фиг. 11.1 эта линия
показана пунктиром. Очевидно, что в этом случае курс
самолета будет определен неверно. Вычислительное
устройство должно каким-либо образом учитывать и более
ранние данные.
Проще всего использовать в вычислительной машине
эти данные, приписав каждой точке одинаковое
значение, или вес. Предположим, что в машине используется
именно такой принцип. В этом случае она будет
вычерчивать прямую линию, соответствующую всем данным,
вместе взятым. Это могло бы дать картину, изображенную
на фиг. 11.2. Мы ясно видим, что в точке Τ самолет
изменил курс, а прямая линия А В, вычисленная машиной,
никак это не отражает.
Можно попытаться исправить положение, приписав
последним данным больший вес, чем более ранним. Проще
«сего это сделать посредством линейного прогнозирова-
И7

<—χ^ρχ—χ—χ—χ—χ—
χ
/χ
Фиг. 11.3.
ния. При линейном прогнозировании вычислительное
устройство умножает каждый кусочек данных
радиолокатора (число, соответствующее северной или восточной
координате самолета, например) на некоторый
коэффициент. Этот коэффициент зависит от давности измерения.
Для более ранних измерений он меньше, чем для более
поздних. Затем счетно-решающее устройство суммирует
все полученные произведения и предсказывает, каково
будет значение искомой величины (например, северной
или восточной координаты самолета) в некоторый момент
времени в будущем.
В результате такого прогнозирования можно было бы,
скажем, получить то, что изображено на фиг. 11.3. Здесь
метод линейного прогнозирования использовался для
вычисления нового положения самолета и нового курса
каждый раз по получении новых радиолокационных
данных, помеченных на фигуре крестиками. Пока данные
следующего измерения неизвестны, предсказанный путь
представляет собой прямую линию, проведенную от
вычисленной точки в вычисленном направлении. Мы
видим, что вычислительному устройству требуется много
времени, чтобы учесть поворот самолета в точке Г, хотя
о повороте можно узнать сразу же, взглянув, куда попала
точка, следующая за точкой Т.
Для линейного прогнозирования можно использовать
более ранние данные, но тогда вычислительное устройство
будет медленно реагировать на новые данные,
противоречащие более ранним данным, например на данные после
поворота самолета. А можно для ускорения
прогнозирования учитывать главным образом новые данные, но
248

в этом случае более ранние данные не будут эффективно
использоваться даже тогда, когда более новые данные
не противоречат более ранним данным.
Чтобы прогнозирование было достаточно хорошим
даже в изменяющихся условиях (например, при повороте
самолета), необходимо использовать нелинейное
прогнозирование. Линейное прогнозирование, как мы уже
отмечали, заключается в том, что каждое измерение
умножается на коэффициент, зависящий от давности
измерения, а затем все произведения складываются.
К нелинейному прогнозированию относятся все
остальные методы прогнозирования.
В качестве очень простого примера нелинейного
прогнозирования возьмем два различных линейных
предсказателя (предиктора), один из которых учитывает 100
измерений, а второй — только последние 10. Предположим,
что оба предиктора используются для вычисления
величины следующего измерения. Полученное измерение
затем сравнивается с результатом прогнозирования
каждого предиктора. Предположим, что предсказания,
основанные на 100 измерениях, используются только тогда,
когда они три раза подряд согласовываются с данными
радиолокатора точнее, чем предсказания, основанные
на 10 последних измерениях. Если же самолет
маневрирует таким образом, что более ранние данные становятся
бесполезными, то используются предсказания,
основанные на 10 последних измерениях. Такой метод
прогнозирования — нелинейный, так как прогнозирование здесь
осуществляется не простым умножением каждого
измерения на какой-то коэффициент, зависящий только от
давности измерения, а иным способом. Использование (или
неиспользование) более ранних данных определяется
природой принимаемых данных.
Вообще говоря, существует бесконечное множество
способов нелинейного прогнозирования. В самом деле,
даже если исключить простейший класс нелинейного
прогнозирования и других линейных процессов,
останется еще огромное количество самых разнообразных
нелинейных процессов, к которым относится и нелинейное
прогнозирование. О линейном прогнозировании известно
довольно много, а вот о нелинейном — почти ничего.
Наш очень специальный пример — прогнозирование
положения самолета — был использован лишь для того
249

чтобы наглядно проиллюстрировать те высказывания,
которые, будь они сформулированы абстрактно, могли
бы показаться почти бессмысленными. Поставим теперь
более широкую и более общую задачу.
Представим себе ряд возможных сигналов. Пусть эти
сигналы обозначают что угодно — возможный курс
самолета, или различные слова, которые человек может
произнести. Пусть имеется еще какой-либо шум или какие-
либо искажения. Быть может, неточны данные
радиолокатора, или в комнате, где происходит разговор, очень
шумно. Требуется вычислить некоторые свойства
правильного сигнала: местонахождение самолета в данный
момент, или в некоторый момент в будущем, или слово,
которое один из собеседников только что произнес, или
слово, которое он произнесет вслед за этим.
Предположим также, что при вынесении этого суждения нам
известны статистические закономерности сигнала, например
какие курсы самолета наиболее вероятны, или как часто
он делает повороты, или насколько эти повороты круты.
Или нам известны наиболее употребительные слова и то,
как вероятность их появления зависит от предыдущих
слов. Пусть нам известны также статистические
закономерности шума и искажений.
Здесь мы видим, что сигналы, рассматриваемые в
данной задаче, имеют тот же вид, что и сигналы,
рассматриваемые в теории информации. Однако, исследуя
источник сигналов и канал с шумом, специалист но теории
информации спрашивает, каков наилучший способ
кодирования сообщений данного источника для передачи
по данному каналу связи. В теории прогнозирования же,
исследуя ряд сигналов с наложенным на них шумом, мы
спрашиваем: каков наилучший способ обнаружения этого
сигнала и как вычислить или предсказать какое-либо
его свойство, например величину сигнала в некоторый
момент времени в будущем?
В арсенале теории прогнозирования имеется общая
теория линейного прогнозирования, разработанная
Колмогоровым и Винером, а также математический анализ
ряда специальных нелинейных предикторов. Вряд ли
стоит идти дальше этого заявления, однако я не могу
удержаться от искушения привести один из
поразительных результатов теоретических изысканий, проведендых
математиком Давидом Сдедядоад,
9й0

Рассмотрим такой случай: имеется сильный шум,
в котором может присутствовать (а может и
отсутствовать) слабый сигнал. Мы хотим определить,
присутствует сигнал или нет. Для конкретности можно было бы
считать, что сигнал и шум представляют собой
напряжение или звуковое давление. Предположим, что
комбинацию шума и сигнала можно представить в виде их суммы.
Предположим далее, что шум и сигнал обладают
свойством эргодичности (см. главу 3) и что они имеют
ограниченную полосу, частот, т. е. не содержат частот вне
определенного частотного диапазона. И еще
предположим, что нам точно известен частотный спектр шума,
т. е. то, какая часть мощности приходится на каждый
очень маленький участок частотного диапазона. Пусть
частотный спектр сигнала отличается от частотного
спектра шума. Слепян показал, что если можно было бы
точно измерить суммарное напряжение (или звуковое
давление) сигнала с наложенным на него шумом в каждое
мгновение в любом интервале времени, как бы короток
этот интервал ни был, то можно было бы безошибочно
сказать, присутствует ли в шуме сигнал, как бы слаб
этот сигнал ни был. Этот теоретический вывод совершенно
правилен, хотя практически и бесполезен. Однако он нанес
страшный удар по тем, кто заявлял, что если сигнал
достаточно слаб (и даже точно определял, насколько слаб),
то его невозможно обнаружить, исследуя этот сигнал
с наложенным на него шумом в течение любого конечного
интервала времени.
Прежде чем расстаться с этим общим разделом, мне
хотелось бы объяснить, почему, знакомя с ним читателя,
я говорил не только о прогнозировании и обнаружении,
но и о фильтрации и сглаживании. Если смешивающийся с
сигналом шум имеет частотный спектр, отличный от
частотного спектра сигнала, то можно выделить сигнал из шума,
использовав электрический фильтр, вырезающий частоты,
преобладающие в шуме, и пропускающий частоты,
преобладающие в сигнале. Если взять фильтр, устраняющий
большую часть или все высшие частоты, то выходной
сигнал не будет изменяться так резко, как входной;
комбинация выходного сигнала с шумом окажется
сглаженной.
До сих пор мы говорили о том, каким преобразованиям
подвергаются полученные данные, чтобы можно было
т

установить значение сигнала в данный момент и
предсказать значение сигнала в будущем. Делается это, конечно,
с определенной целью.
Пусть, например, в погоню за вражеским самолетом
послан перехватчик. Чтобы не упустить самолет из поля
зрения, используется радиолокатор. После каждого
измерения положения самолета можно было бы так
корректировать положение рулей управления, чтобы направить
перехватчик на врага.
Устройство, которое непрерывно действует в
соответствии с полученной информацией и ее изменениями
для достижения определенной цели, называется
сервомеханизмом. Здесь появляется нечто новое, ибо теперь
с помощью радиолокационных данных не только
измеряется положение одного самолета относительно другого,
но и определяется, как нужно изменить положение
перехватчика. Данные радиолокатора образуют обратную
связь и изменяют характер радиолокационных данных,
которые будут получены позже (так как эти данные
используются для измерения положения самолета, а
положение самолета в свою очередь влияет на новые
радиолокационные данные). Эта обратная связь называется
отрицательной обратной связью, потому что ее
применяют так, чтобы уменьшать, а не увеличивать любое
отклонение от заданной программы.
Нетрудно придумать другие примеры отрицательной
обратной связи. Регулятор парового двигателя, например,
измеряет число оборотов двигателя, а затем эта величина
используется для открывания или закрывания клапана,
чтобы поддерживать число оборотов на определенном
уровне. Таким образом, результат измерения числа
оборотов включается в обратную связь и изменяет число
оборотов. Термостат на стене измеряет температуру
в комнате и, чтобы поддерживать температуру постоянной,
включает или выключает обогревательное устройство.
Когда мы несем корыто с водой, мы следим за поведением
воды и балансируем корытом так, чтобы вода не
пролилась. И часто это приводит к неприятностям. Чем больше
мы наклоняем корыто, чтобы не пролить воду, тем сильнее
начинает плескаться вода. Когда для создания обратной
связи мы используем не предыдущие сведения о процессе,
а те, которые получены в данный момент, то весь процесс
может оказаться неустойчивым. Иначе говоря, вместо
252

уменьшения небольших отклонений от заданной
программы управление, которое мы осуществляем, может их
увеличить.
Неустойчивость — очень опасное явление в цепях
с обратной связью. Чтобы коррекция была более полной
и совершенной, необходимо делать обратную связь более
сильной. Но именно это может привести к тому, что
система окажется неустойчивой. Естественно, в
неустойчивой системе ничего хорошего нет. Она может привести
к тому, что самолет или управляемый снаряд будет менять
курс как попало, вместо того, чтобы следовать за целью,
температура в комнате будет то резко подниматься, то
резко падать, двигатель будет то разгоняться, то
останавливаться, а усилитель низкой частоты будет громко
гудеть или свистеть, когда на его входе нет сигнала.
Устойчивость систем с отрицательной обратной связью
изучена очень хорошо, а особенно много известно о
линейных системах с отрицательной обратной связью, в
которых данная величина в определенный момент времени
является суммой предыдущих величин, умноженных на
числа, зависящие только от давности измерения.
Устойчивость или неустойчивость линейных систем
с отрицательной обратной связью не зависит от того,
приложен ли входной сигнал или нет. Нелинейные
системы с обратной связью могут быть устойчивыми при одних
значениях входных сигналов и неустойчивыми при
других. Примером нелинейной системы может служить
«рыскающий» автомобиль. Он может быть устойчив при
определенной скорости на ровной дороге, но любой бугорок
способен привести к «рысканью», которое может
(продолжаться неопределенно долго после того, как бугорок
остался далеко позади.
Как ни странно, но мы еще ни разу не упомянули
об устройстве, исследованию которого было посвящено
большинство первых теоретических работ по системам
с отрицательной обратной связью. Это устройство
—усилитель с отрицательной обратной связью, изобретенный
Гарольдом Блэком в 1927 году.
Коэффициент усиления усилителя есть отношение
выходного напряжения к входному. В телефонии и
других областях электроники очень важно иметь усилители
с почти постоянным коэффициентом усиления. Однако
электронные лампы и транзисторы — приборы несо-
253

ΧΙΟ
10
Χ5
«L
ХЮО
10
0,9
Χ 0,09
0,1819
Χ50
9,09
—ο
1 0,8181
Χ0β9
и г. ПА.
вершенные. Их коэффициент усиления со временем
изменяется и зависит от величины входного сигнала.
Отрицательная обратная связь уменьшает влияние таких
изменений коэффициента усиления электронных ламп и
транзисторов.
Посмотрев на фиг. 11.4, нетрудно понять, почему это
так. Наверху изображен обычный усилитель с
коэффициентом усиления, равным 10. Если на его вход подается
напряжение 1 в, как показывает цифра слева, то, как
показывает цифра справа, на выходе получается
напряжение 10 в. Допустим, что коэффициент усиления этого
усилителя уменьшился вдвое и стал равным 5. Это
показано на следующем рисунке сверху. Выходное
напряжение также уменьшится вдвое и станет равным 5 в, т. е.
уменьшится во столько же раз, во сколько уменьшился
коэффициент усиления.
На третьем рисунке изображен усилитель с
отрицательной обратной связью и с коэффициентом усиления 10.
Верхнее устройство на этом рисунке имеет большой коэф-
254

фицибн!1 усйлейий — 100. Выход этого устройства
Соединен с очень точным делителем напряжения, который
не содержит электронных ламп и транзисторов, и его
коэффициент передачи не зависит ни от времени, ни от
уровня сигнала. Сигнал на входе верхнего устройства
равен входному напряжению, т. е. 1 β минус выходной
сигнал нижнего устройства, который составляет 0,09 части
выходного напряжения и равен 0,9 в.
Теперь предположим, что параметры электронных ламп
или транзисторов изменились так, что коэффициент
усиления верхйего устройства стал равен уже не 100, а 50
(см. нижний рисунок фиг. 11.4). Значения напряжений
на этом рисунке указаны приближенно, но все же видно,
что если коэффициент усиления верхнего устройства
снижается вдвое, выходное напряжение падает только
на 10%. Если бы мы взяли более высокий коэффициент
усиления верхнего устройства, то влияние изменения
параметров сказалось бы еще меньше.
Значение отрицательной обратной связи едва ли можно
переоценить. Усилители с отрицательной обратной связью
незаменимы в телефонии. Термостат в вашей комнате —
еще один пример использования отрицательной обратной
связи. Отрицательная обратная связь используется для
управления процессами на заводах по переработке
химических продуктов и для управления снарядами,
направляемыми на самолеты. В автопилоте самолета
отрицательная обратная связь используется для того, чтобы
самолет не отклонялся от заданного, курса.
В несколько более широком смысле можно сказать,
что когда я вожу ручкой по бумаге, то пользуюсь
отрицательной обратной связью от глаз к руке, а когда учусь
говорить или подражать голосу других, то пользуюсь
обратной связью от ушей к губам. В живом организме
отрицательная обратная связь проявляется и во многих
других случаях, именно она поддерживает температуру
тела постоянной, несмотря на изменения температуры
внешней среды, и поддерживает постоянными химические
свойства крови и тканей. Способность человеческого тела
поддерживать внутреннее состояние организма почти
неизменным, несмотря на изменения окружающей среды,
называется гомеостазом.
Эшби — один из немногих храбрецов, кто не побоялся
признать себя кибернетиком,— создал машину под назва-
255

нием гомеостат для демонстрации наиболее характерных,
по его мнению, черт приспособляемости организма к
окружающей среде. Гомеостат снабжен множеством цепей
с обратными связями, а также двумя устройствами для
их измерения. Одно из них управляется самим гомеоста-
том, другое — тем лицом, которое имитирует воздействие
на машину «окружающей среды». Если изменением
«окружающей среды» подобрать параметры цепей так, чтобы
перевести машину в неустойчивое состояние, то машина
сама методом проб и ошибок изменит параметры цепей
и ее состояние вновь станет устойчивым.
Можно, если хотите, сравнить поведение гомеостата
с поведением ребенка, когда он учится ходить или ездить
на велосипеде, или многому другому, к чему приходится
приспосабливаться в жизни. В своей книге «Кибернетика»
Винер уделяет особое внимание обратной связи как
одному из важных элементов нервной системы и
объясняет неспособность человека выполнить что-либо обычное
именно отсутствием отрицательной обратной связи;
дрожащие руки, например, есть результат повреждения
одной из отрицательных обратных связей в организме.
Итак, мы рассмотрели три составные части
кибернетики: теорию информации, теории обнаружения и
прогнозирования, включающие сглаживание и фильтрацию,
а также теорию отрицательной обратной связи,
включающую сервомеханизмы и усилители с отрицательной
обратной связью. Кроме них, к области кибернетики
обычно относят электронные вычислительные машины
и другие схожие с ними сложные устройства. Такие
устройства иногда называются автоматами.
Современные сложные машины — вычислительные
машины, автоматы и другие механизмы — имеют
множество предшественников в предыдущих столетиях. И,
пожалуй, стоит изучить их, ибо это поможет нам лучше
понять современные сложные устройства. Люди учатся,
созидая и размышляя над тем, что создано.
Возможности для создания новых сложных машин неизмеримо
выросли по сравнению с предыдущими столетиями,
и эти стимулы для дальнейшей работы мысли трудно
не заметить.
Давайте проследим, как шло развитие сложных машин,
начиная с изобретения в конце прошлого столетия
автоматической телефонной станции. Первые автоматиче-
256

ские телефонные станции были весьма примитивны;
основным их элементом были шаговые искатели, где
новый участок линии подключался сразу же после того,
как набиралась очередная цифра. В дальнейшем
телефонные станции были усовершенствованы и превратились
в системы с перехватом. В этих телефонных станциях
набранная цифра не сразу приводит переключатель
в действие. Сначала она запоминается в виде
электрической или механической величины в одном из блоков
автоматической телефонной станции. Затем
электрическое устройство в другом блоке исследует различные
электрические цепи, которые могли бы быть использованы
для соединения абонентов, пока не найдет свободную.
По этой цепи абоненты и соединяются.
Современные телефонные станции необычайно сложны
и грандиозны по размерам. Соединенные вместе, они
образуют обширную телефонную сеть страны. Набрав
соответствующий номер, можно поговорить с любой точкой
страны. Это, несомненно, самое сложное сооружение,
созданное руками человека. Потребовалось бы много
слов,. чтобы объяснить, хотя бы в общих чертах, как
работают телефонные станции. Сейчас несколько
поворотов телефонного диска заставят телефонные устройства
искать, обходя город за городом, если нет прямой связи,
наиболее экономичный путь к расположенному где-то
очень далеко нужному абоненту. Телефонное устройство
установит связь, вызовет абонента, засечет время,
запишет стоимость разговора и разомкнет цепь, когда
абоненты повесят трубки. Оно сообщит о неисправностях
блоков на центральную станцию и, несмотря на эти
неисправности, продолжит свою работу.
Одной из важных составных частей телефонных
станций является электрическое реле. Реле состоит из
электромагнита и якоря, на котором закреплены подвижные
контакты, а также из неподвижных контактов,
прикасаясь к которым подвижные контакты могут замыкать
цепь. Когда через катушку электромагнита реле
проходит электрический ток, якорь притягивается
к электромагниту. При этом одна группа подвижных
контактов отходит от соответствующих неподвижных
контактов, размыкая тем самым цепь, а другая
группа подвижных контактов соприкасается с
соответствующими неподвижными контактами, замыкая цепь.
257

Ё 30-е годы Штибитц из лабораторий фирмы Вели
Телефон применил реле и другие составные части
телефонной техники для постройки сложного вычислительного
устройства, которое могло складывать, вычитать,
умножать и делить комплексные числа. В течение второй
мировой войны фирма Белл Телефон создала для
военных целей целый ряд сложных вычислительных машин
на реле, а в 1941 году свою первую вычислительную
машину на реле создали Говард Эйкен и его сотрудники по
Гарвардскому университету.
Существенным шагом в повышении скорости
вычислительных машин было создание Эккертом и Мохли вскоре
после войны Эниака — вычислительной машины на
электронных лампах, а совсем недавно для этих целей вместо
ламп стали применяться транзисторы.
Таким образом, одним из главных факторов,
обеспечивших прогресс в области сложных вычислительных
машин, явилась возможность создания этих мадшн,
а затем и их постройка сначала на реле, а потом на
электронных лампах и транзисторах.
При создании таких сложных устройств нужно было,
конечно, иметь не только сами детали, но и схемы их
соединения, чтобы устройство могло выполнять
определенные действия, например умножение и деление. В этом
отношении чрезвычайно важным оказалось применение
Штибитцем и Шенноном для построения и расчета
релейных схем булевой алгебры (одного из разделов
математической логики).
Таким образом, наличие подходящих деталей и
искусство их соединения для выполнения определенных
операций составили;, так сказать, «тело» сложной машины.
Но не менее существенно управление машиной, ее «душа»,
хотя вряд ли она могла бы развиться, если бы не было
самого тела.
Машина Штибитца для операций над комплексными
числами «души» почти не имела. Оператор вводил в
машину при помощи телетайпного аппарата пары
комплексных чисел, а она после некоторого размышления сообщала
сумму, разность, произведение или частное. Однако
к 1943 году Штибитц создал вычислительную машину
на реле, в которую все инструкции вводились
последовательно при помощи длинной перфорированной
бумажной ленты, или программы, которая предписывала, над
258

йайймй Числами и fc какой последовательности нужно
выполнять операции.
Следующим шагом было создание возможности
заставлять машину возвращаться к более ранней части
программы после выполнения ею какой-либо части полной задачи
или создание возможности использования
вспомогательных лент для помощи в вычислениях. В этом случае
вычислительная машина должна принять решение, что
она достигла определенной точки, а затем действовать
на основе этого решения. Предположим, например, что
машина вычисляет, прибавляя член за членом, сумму
такого ряда:
Мы могли бы запрограммировать вычислительную
машину так, чтобы она продолжала складывать члены до тех
пор, пока не появится член, меньший 1/1 000 000, а затем
чтобы она напечатала результат и приступала к каким-
нибудь другим вычислениям. В этом случае
вычислительная машина, например, могла бы решать, какую делать
следующую операцию, вычитая последний вычисленный
член из 1/1 000 000. Если ответ отрицательный, то машина
должна вычислять следующий член и прибавлять его
к остальным; если же ответ положительный, то она
должна напечатать полученную сумму и обратиться к
программе за дальнейшими инструкциями.
Следующий большой шаг в истории вычислительных
машин обычно связывают с именем Джона фон Неймана,
широко использовавшего первые вычислительные машины
для выполнения вычислений, связанных с разработкой
атомных бомб. Даже первые машины имели память,
т. е. запоминающее] устройство, где числа,
использованные в промежуточных вычислениях, сохраняются для
дальнейшей обработки и где накапливаются ответы до
того, как они будут напечатаны. Идея фон Неймана
состояла в том, чтобы вводить инструкцию, или программу,
не на отдельную бумажную ленту, а прямо в память
машины. Это упростило введение инструкции и сделало
машину более гибкой, дав возможность изменять
какую-либо часть программы в соответствии с
результатами вычислений.
269

В настольных счетных машинах десятичные цифры
запоминаются с помощью колесиков, которые могут
поворачиваться и занимать любое из десяти различных
положений. Современные сложные вычислительные машины
запоминают двоичные числа. Каждая цифра двоичного
числа отображается намагничиванием маленького
магнитного кольца, или сердечника, в одном или другом
направлении. Память вычислительной машины состоит из групп
таких сердечников, причем каждая группа может
запомнить все цифры многозначного числа, и все эти цифры
записываются и считываются с сердечников группы
одновременно за несколько миллионных долей секунды.
Каждой группе сердечников приписывается определенное
двоичное число, называемое адресом; при помощи этих
чисел группы обозначаются и вызываются для
использования. Адресом обычно называют не только двоичные
числа, но и сами группы сердечников. Огромные
современные вычислительные машины могут запоминать в
магнитных сердечниках сотни и тысячи двоичных чисел,
а еще больше в виде импульсов + или — на магнитных
лентах или на магнитных барабанах. .
Кроме памяти, вычислительные машины имеют и
другие специальные блоки, например арифметическое
устройство, с помощью которого она может складывать или
умножать. Если нужно выполнить какую-либо
операцию над двумя числами, то их сначала направляют из
адресов во временное место хранения, так называемый регистр.
Затем операция выполняется и результат направляется
в соответствующий адрес памяти.
Программист составляет программу в виде сотни
или более различных команд. Используя ряд таких
команд, программист может заставить машину делать
буквально все, если он отчетливо представляет себе сам,
что должно быть выполнено. Иными словами, он должен
уметь указать все шаги, необходимые для достижения
цели. Кроме того, задача должна быть такой, чтобы
машина могла ее решить в течение приемлемого
промежутка времени.
В табл. 15 приведен ряд команд, используемых для
сложения на некоей гипотетической вычислительной
машине нескольких чисел и для запоминания полученных
при этом сумм. Говоря на языке математики, по этой
программе вычисляются суммы вида ct = а% + Ьи где
260

Таблица 15
Адрес
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Инструкция (команда)
Старт 0
Стереть
Добавить 10 +старт
Добавить 13 + старт
Запомнить 16 +
+ старт
Добавить старт
регистр 1
Проверить старт
регистр 9,4
Обратиться 2
Стоп
Данные 6
Ответ 3
Примечания 1
Программа начинается со
стартового регистра, регистра
модификации команд
По этой инструкции он
устанавливается на 0 ·
Установка на 0 арифметического
регистра
Ввести в арифметический регистр
число
Добавить в арифметический регистр
второе число
Запомнить результат
Увеличение содержимого
стартового регистра на 1
•Проверка содержимого стартового
регистра:
если < 4, перейти к следующей
команде,
если > 4, перейти к команде 9
Вернуться к команде 2
Остановка
Резервируется 6 ячеек для
исходных данных
Резервируется 3 ячейки для
записи результатов

i — 1 — 3. Число at находится в адресе 9 + ί, число
bi — в адресе 12 + ι, а число ct запоминается в адресе
15 + i. Выполнение программы начинается с адреса 1
и кончается на адресе 9.
Мы уже говорили, что квалифицированный
программист может заставить машину делать все что угодно при
условии, что он сам ясно представляет, что надо делать.
Предположим, что имеется точная формулировка какой-то
математической задачи в виде некоторых стандартных
слов или уравнений. Предположим, что эта формулировка
полностью описывает все, что нужно сделать.
Программист может составить так называемую
программу-компилятор, и, согласно этой программе, машина сама
исследует данную формулировку и затем составит программу
для решения задачи. После того как программа,
составленная вычислительной машиной при помощи
программы-компилятора, закладывается в машину, машина
приступает к решению.
Составление программ — работа нудная и
неблагодарная. Если инженер или ученый имеет подходящую
программу-компилятор, то он может с помощью ряда
«слов» и уравнений в сжатой форме указать, что, по его
мнению, нужно сделать. Посредством
программы-компилятора он может заставить вычислительную машину
перевести его формулировку задачи на язык длинной,
подробной и непонятной (для людей)
последовательности команд, следуя которым, вычислительная машина
проделает все вычисления.
Широко известна программа-компилятор Фортран,
которая используется для преобразования инструкций,
записанных в очень похожих на математические
символах, в программу для вычислительной машины.
Программа-компилятор Блоди преобразует принципиальную схему
какого-либо электрического устройства в программу,
согласно которой машина имитирует работу этой схемы.
Программа-компилятор Жанет преобразует нотные знаки
музыкального произведения, указывающие высоту,
продолжительность и тембр каждой ноты, в программу,
согласно которой машина создает магнитную запись
заданных звуков, которую можно потом воспроизводить.
Программы-компиляторы весьма полезны при
решении самых разнообразных сложных задач. Двоичные
цифры, хранящиеся в памяти вычислительной машины,
262

можно использовать не только для отображения чисел,
но и для отображения слов, нотных знаков, логических
операций. Так, кроме сложных математических
вычислений, вычислительные машины могут составлять
алфавитные указатели, имитировать работу автоматической
телефонной станции, узнавать произнесенные цифры от О
до 9, играть в шашки и обучаться этой игре, играть
в шахматы, доказывать теоремы геометрии и
символической логики, создавать необычные музыкальные
звукосочетания и сочинять музыку в соответствия с правилами
контрапункта.
Попробуем хотя бы немного разобраться в том, как
же все это можно сделать. Буквам можно приписать
определенные двоичные цифры так, что словам,
расположенным в алфавитном порядке, будут соответствовать
все возрастающие числа. Это позволит использовать числа,
отображающие слова, для расположения слов в алфавитном
порядке. Нотам можно приписать числа так, чтобы
разность чисел^ соответствовала музыкальному интервалу
между этими нотами с тем, чтобы разрешение или запрещение
определенных музыкальных интервалов было
эквивалентно разрешению или запрещению определенных разностей.
Однако не будем себя обманывать — не так-то просто
в нескольких словах объяснить сложные методы
использования вычислительных машин. Одаренный человек,
имеющий специальное математическое образование,
начинает сносно разбираться в программировании лишь
после нескольких лет обучения и практической работы.
Лишь поистине талантливый человек может заставить
машину делать что-то действительно новое и трудное.
Хотя в принципе вычислительную машину можно
запрограммировать так, чтобы она делала все что угодно,
если, конечно, достаточно хорошо представлять себе,
как это сделать, все же программисты не понимают до
конца некоторых задач, которые они хотели бы
поставить перед машиной. Так, вычислительная машина до сих
пор не может узнавать произнесенные голосом цифры
так же хорошо, как человек, не может удовлетворительно
переводить с одного языка на другой, не может играть
в шашки или шахматы так же хорошо и с такой же
скоростью, как специалист, не может определять, насколько
важна или интересна та или иная теорема, и не может
сочинять интересную музыку.
263

Однако стремление использовать для подобных задач
вычислительные машины заставляет людей размышлять
о природе опознавания слов, о структуре различных
языков, о стратегии борьбы в различных играх и о строе
музыки. Когда приобретенные в результате подобных
изысканий новые знания будут использованы для
программирования более крупных и более
быстродействующих вычислительных машин будущего, возникнут,
конечно, новые трудности, но сейчас вряд ли можно предвидеть,
какие именно.
Ко всему сказанному следует добавить, что
программирование вычислительных машин для решения сложных
и необычных проблем дало нам новый, вполне
объективный критерий понимания. Если кто-либо скажет вам
сегодня, что он понимает, как человек ведет себя в
данной ситуации, или что он понимает, как решить некоторую
математическую задачу, любезно предложите ему
продемонстрировать свое понимание, запрограммировав
вычислительную машину так, чтобы она сымитировала
поведение человека или решила данную задачу. Если он не
сможет это сделать, то его понимание как минимум
несовершенно, а возможно, что оно не более чем иллюзия.
Могут ли машины думать? Это бессмысленный вопрос,
пока мы не определили, что значит думать, Марвин
Минский, математик довольно оригинального стиля,
рассказал по этому поводу такую притчу. Некто обыгрывает
всех в шахматы. Люди говорят: «Какой талант, какой ум,
что за изумительнейшая память, какой он прекрасный
мыслитель!». Его спрашивают^ «Как вам удается у всех
выигрывать?» Он отвечает: «Я знаю ряд правил и стараюсь
их применять». Тотчас же все начинают возмущаться:
«Да это вовсе и не мышление. Так, механическая работа».
Мораль Минского заключается в том, что люди
склонны считать мыслью только то, чего они сами не понимают.
Я пойду еще дальше и скажу, что люди часто считают
мыслью почти любую грамматически правильную
мешанину из «многозначительных» слов. Временами мне
кажется, что «мышление»— это то, что дает нам возможность
решать проблему и потому полезно, независимо от того,
механическое оно или нет. Как бы там ни было,
философы вкупе с представителями других гуманитарных
наук будут, наверно, вечно стараться подогнать
мышление под такое определение, чтобы оно всегда ставило
264

человека на ступеньку выше машины. Если в этом их
счастье — на здоровье, меня это нисколько не волнует.
Но я все же думаю, что, по-видимому, невозможно
указать осмысленную и четко определенную задачу, которая
по силам человеку, но не может быть решена машиной,
включая «игру в подражание» (imitation g,ame),
предложенную английским логиком Тьюрингом в 1936 году.
Эта игра заключается в том, что с помощью телетайпа
человека соединяют с вычислительной машиной или
с другим человеком. Причем он не знает с кем. Человек,
задавая вопросы, пытается выяснить, с кем же его
соединили. Вычислительная машина запрограммирована так,
чтобы водить его за нос. Конечно, современные
вычислительные машиныч и современная техника
программирования еще очень и очень далеки от той вычислительной
машины и от той программы, которые дадут возможность
машине играть в эту игру с реальными шансами на успех.
Мы видели, что кибернетика действительно очень
обширная наука. В нее входит теория информации, которой
посвящена эта книга, а также сложные теории
сглаживания и прогнозирования, очень важные для радиолокации
и для других военных применений. Когда мы пытаемся
точно вычислить положение самолета в данный момент
или в некоторый момент в будущем, основываясь на не
совсем точных данных радиолокатора, то, согласно
Винеру, имеем дело с кибернетикой. Даже при отделении
с помощью электрического фильтра шума одной частоты
от сигнала другой частоты нам приходится обращаться
к кибернетике.
Именно в эту общую область и внес величайший вклад
Винер; он разработал общую теорию прогнозирования
с помощью линейных устройств, где прогнозирование
осуществляется простым умножением каждого
измерения на коэффициент, зависящий от давности измерения,
и суммированием полученных произведений.
Другая часть кибернетики — это отрицательная
обратная связь. В термостате используется отрицательная
обратная связь, когда он измеряет температуру
помещения и включает или выключает обогреватель, чтобы
поддержать температуру на определенном уровне. В
автопилоте самолета отрицательная обратная связь исполь-
265

зуется, чтобы воздействовать на рычаги управления
и поддерживать таким образом заданную высоту полета
и курс. Люди используют отрицательную обратную связь
для управления движением своих рук.
Устройства с отрицательной обратной связью могут
быть неустойчивыми; воздействие выходного сигнала
иногда приводит к тому, что режим работы сильно
отклоняется от желаемого. Винер объясняет, например,
дрожание рук и некоторые другие нарушения нормальной
деятельности человеческого организма неправильным
функционированием механизма обратной связи.
Отрицательная обратная связь может также
использоваться, чтобы получить на выходе усилителя большой
сигнал, мало отличающийся по форме от небольшого
входного сигнала. Усилители с отрицательной обратной
связью имели чрезвычайно большое значение для систем
связи еще задолго до появления кибернетики.
И, наконец, кибернетика предъявляет право на всю
область автоматов и сложных машин, в том числе на
телефонные станции, существующие уже много лет, и на
вычислительные машины, появившиеся только после
второй мировой войны.
А раз так, то кибернетика — это квинтэссенция
современной техники. В нее входит и наше знание
человеческого организма, и его деятельности. Кибернетика стала
тем словом, которым обозначают почти все наиболее
увлекательные и волнующие проблемы. Как мы уже знаем,
Винер включил в кибернетику также социологические,
философские и этические проблемы.
Итак, если кто-нибудь и признается, что он
кибернетик, то это не слишком хорошо охарактеризует поле его
деятельности, разве что он гениальный универсал. И уж,
конечно, это не будет означать, что он обязательно хорошо
знает теорию информации.
К счастью, как я уже говорил, лишь немногие ученые
признают себя кибернетиками, да и то в разговоре с теми,
кого они считают безнадежно отсталыми. Хотя
кибернетика — понятие очень широкое, а может быть, даже и не
совсем ясное, эта широта и неясность не принесут нам
вреда. В самом деле, слово кибернетика очень полезно.
Оно может окружить ореолом романтичности человека,
предмет или даже книгу. Я надеюсь, что это слово придаст
и нашей книге немного романтики.

Глава двенадцатая
ТЕОРИЯ ИНФОРМАЦИИ
И
ПСИХОЛОГИЯ
Мной прочитано по теории информации и психологии
значительно больше того, что я могу и даже хочу
вспомнить. В большинстве случаев это были просто попытки
связать новые термины со старыми и туманными идеями.
Очевидно, авторы этих работ надеялись, что
жонглирование новыми терминами как по мановению волшебной
палочки прояснит все смутное и ранее непонятое.
Надо сказать, что некоторые попытки * применения
теории информации в области экспериментальной психо-
267

логии были довольно неплохо продуманы. Они привели
к экспериментам, в результате которых получен ряд
существенных данных. Правда, из этих экспериментов
трудно сделать сколько-нибудь определенные выводы,
но они послужили основанием или по крайней мере
предлогом для интересных гипотез. В этой главе я предлагаю
рассмотреть некоторые из этих экспериментов, достаточно
логичных, чтобы стоило в них разобраться. Я их отобрал,
конечно, на свой вкус, но ведь надо же каким-то образом
ограничить изложение, чтобы высказать нечто
вразумительное о столь широком и более чем неясном предмете.
Мне кажется, что первой реакцией психологов на
теорию информации был вывод, что поскольку энтропия —
чудесная и универсальная мера количества информации
и раз человек использует информацию, то трудность любой
задачи, скажем время, необходимое для ее решения,
в некотором смысле должна быть пропорциональна
количеству получаемой информации.
Такое понимание очень ярко проиллюстрировано
в статье Рэя Хаймэна — представителя
экспериментальной психологии. Статья была опубликована в Journal
of Experimental Psychology в 1953 году. Я расскажу
лишь об одном из проведенных им экспериментов.
Перед субъектом (как психологи называют подопытное
человеческое существо) помещают несколько лампочек.
Каждая лампочка названа односложным «именем», с
которым субъекта заранее познакомили. После
предупредительного сигнала вспыхивает одна из лампочек и субъект
должен возможно быстрее назвать ее «имя». При этом
измеряется время с момента вспышки до реакции субъекта.
В одном из опытов загорается одна из восьми
лампочек, причем включение каждой лампочки производится
случайным образом и равновероятно. В этом случае
количество информации, дающее возможность субъекту
верно назвать вспыхнувшую лампочку, равно log28, или
3 бита. В других опытах загорается одна из семи
лампочек (2,81 бита), одна из шести (2,58 бита), одна из пяти
(2,32 бита), одна из четырех (2 бита), одна из трех (1,58
бита), одна из двух (1 бит) и вообще одна (0 бит). Среднее
время реакции, или запаздывание, т. е. время между
вспышкой лампочки и произнесением ее имени, откладывалось
по одной оси графика, а информация в битах — по
другой (фиг. 12.1).
268

800
700
600
Щ 500
S3
$f 400
-8.
| 500
ZOO
100
0 0,5 ifl 1,5 2,0 2,5 - 3,0 3,5
Информация, биты на символ
Фиг. 12.1.
Ясно, что какое-то запаздывание будет наблюдаться
даже в том случае, когда опыт проводится только с одной
лампочкой, хотя выбора по существу здесь нет и инфор^-
мация равна нулю. Если в опыте используется больше
одной лампочки, возрастание времени запаздывания
пропорционально количеству информации. Такое
увеличение запаздывания с ростом числа вариантов выбора
было отмечено еще в 1885 году немецким психологом Мер-
келем. Это поразительно легко воспроизводимое
соотношение является, конечно, важной характеристикой
реакции человека.
Из графика, приведенного на фиг. 12.1, можно
заметить, что на каждый добавляемый бит время
запаздывания возрастает на 0,15 сек. Некоторые психологи
поспешили сделать отсюда опрометчивый вывод, что эти 0,15 сек
необходимы человеку, чтобы среагировать на 1 бит
информации, и, следовательно, пропускная способность
человека приблизительно равна 1/0,15, или около 7 битов
269
о Эксперимент
6 ^г
Si
)
9^
-

в секунду. Не открыли ли мы универсальйую койстайту
человеческого восприятия, а может быть, и
человеческого мышления?
В эксперименте Хаймэна возрастание времени запазды-.
вания пропорционально измеренной в битах
неопределенности событий. Однако в экспериментах,
проделанных другими исследователями, время запаздывания на бит
информации оказалось несколько иным. Более того,
данные, опубликованные Г. Мобреем и М. Родсом в 1959
году, говорят о том, что в результате длительной
тренировки можно добиться того, чтобы увеличение количества
информации незначительно сказалось или совсем не
сказалось на времени. По-видимому, разные люди могут
по-разному обрабатывать информацию; так, в процессе
обучения число возможных выборов очень важно, а после
длительной тренировки это количество выборов вплоть
до достаточно большой величины играет незначительную
роль. Но есть такой эксперимент, когда пальцы субъекта
лежат на клавиатуре и ему предлагается нажимать одну
или несколько клавиш в ответ на их вибрацию.
Оказывается, что в этом случае возрастание времени
запаздывания с увеличением количества информации и без
обучения может быть небольшим.
Более того, даже если бы время запаздывания
равнялось некоторой постоянной величине плюс приращение
времени, пропорциональное увеличению количества
информации, все равно нельзя было бы утверждать, что,
поделив увеличение количества информации в битах на это
приращение времени, мы получаем скорость передачи
информации. На том примере, который я сейчас опишу,
мы увидим, что таким путем можно прийти к
фантастическим скоростям передачи информации.
Г. Квостлер одним из первых проделал эксперименты
по определению скорости передачи информации, в
которых субъектам предлагалось на каком-либо инструменте
повторять случайную последовательность нот (или
аккордов) или возможно быстрее читать последовательности
совершенно случайно отобранных слов. Дж. Ликлидер
поставил эксперименты по определению скорости чтения
и скорости узнавания задаваемых объектов. Но прежде
чем мы услышали об этой работе, Дж. Карлин и я начали
большую серию экспериментов по чтению списков слов,
которые из всех подобных экспериментов дают самые
270

ШсОКйб скорости йбрёД&чй информации, йймйого
превышающие, например, скорость передачи информации
кодом Морзе или скорость печатания на машинке.
Предположим, что «отправитель» выбрал для передачи
сообщения «алфавит», скажем, из 16 слов. Затем он,
выбирая случайным образом и с равной вероятностью
слова из этого алфавита, составляет список. В этом
случае количественной мерой для выбора каждого слова
является log 16, или 4 бита. Субъект «передает»
информацию, преобразуя ее в новую форму, а именно в речь,
а не в печатные знаки. Для этого он читает вслух
составленный список. Если он может читать, скажем, со
скоростью 4 слова в секунду, то значит передает информацию
со скоростью 4x4, или 16 битов в секунду.
На фиг. 12.2 приведены данные, полученные в опытах
с тремя субъектами. Для эксперимента было выбрано
500 наиболее употребительных английских слов. Можно
заметить, что, если скорость передачи информации
заметно падает при переходе от словаря, содержащего
два слова, к словарю, содержащему четыре слова (т. е. при
переходе от 1 к 2 битам на слово), она почти не изменяется
для словарей («алфавитов»), содержащих от 4 до 256 слов
(от 2 до 8 битов на слово).
А теперь припомним утверждение, что можно якобы
получить значение скорости передачи информации,
пользуясь данными, которыми, например, пользовался для
этой цели Хаймэн, т. е. данными об увеличении времени
запаздывания с возрастанием числа битов, приходящихся
на событие. Усредним свойства наших трех субъектов
и в соответствии с полученными данными проведем на
фиг. 12.2 пунктирную линию. При переходе от 2 битов
на слово к 8 битам уменьшение скорости чтения
совершенно незаметно, а это означает, что разница в скорости
чтения на одно слово равна нулю, хотя число битов на слово
возросло на 6. Если мы теперь разделим 6 на 0, то
получим бесконечно большую скорость передачи информации!
Конечно, получилась нелепость, но разве менее нелепо
выводить скорость передачи информации из данных
экспериментов, подобных проведенным Хаймэном, деля
увеличение числа битов на приращение времени
запаздывания?
Из фиг. 12.2 можно прямо заметить, что когда субъект
А читает «восьмибитовые» слова со скоростью 3,8 слова
271

■θ.
Ддн/\НдО Θ 901/0 'ЬПНЭШЬ QU/OOdOHQ

в секунду, ему удается передавать информацию со
скоростью 8x3,8, или около 30 битов в секунду. Когда же
в список попадают слова, случайно выбранные из словаря
в 5000 слов (12,3 бита на слово), он ухитряется читать
их со скоростью 2,7 слова в секунду, что приводит к еще
большей скорости передачи информации (33 бита в секунду).
Очевидно, что нельзя пользоваться одной особой
скоростью передачи информации при описании
возможностей человека и его поведения. Человек в одних
условиях может передавать информацию (и, как мы увидим
далее, отвечать на вопросы, и запоминать) лучше, чем
в других условиях. Удобнее всего рассматривать человека
как некий канал или устройство для обработки
информации, обладающее присущими человеку свойствами
и ограничениями. Человек — очень гибкое устройство,
он может очень хорошо обрабатывать информацию,
представленную в различной форме, правда, он обрабатывает
ее лучше и быстрее, если она удобно закодирована и
соответствующим образом приспособлена к его возможностям.
А каковы его возможности? Из фиг. 12.2 видно, что
с возрастанием сложности задачи человек снижает
скорость работы совсем незначительно. Он может
прочитывать списки из 256 слов, выбранных из алфавита, почти
так же быстро, как и список в 4 слова. Человек заметно
проигрывает машине в быстродействии, и чтобы
заставить его работать продуктивно, нужно ставить перед ним
сложные задачи. А этого как раз и следовало ожидать.
Однако, как видно из точки графика на фиг. 12.2,
соответствующей алфавиту, состоящему из 5000 слов,
повышение сложности в конце концов все-таки снижает
возможности человека. По-видимому, существует некий
оптимальный алфавит, или словарь, который дает весьма
большое число битов на слово и в котором слов не
настолько много, чтобы заметно снизилась скорость передачи.
Отчасти именно в поисках такого словаря Карлин и я
измеряли скорость чтения в зависимости от числа слогов
в слове и от «степени знакомства» со словом, т. е. от того,
выбиралось ли слово из первой тысячи, из первых десяти
или из первых девятнадцати тысяч слов, расположенных
в порядке частоты их появления в языке. Результаты
наших измерений показаны на фиг. 12.3.
Мы видим, что увеличение числа слогов в слове
замедляет скорость чтения столь же заметно, как и уменьшение
273

ι
I
^
r^d
Ν
а. Читатель А
*\
L
fed
^Ί
i ι .'ι Tirf»i
Степень знакомства
о 1-1000
А 10000-11000
О 19000-20000
fed
—-J
г1 h
ί
? ι
ζ
[
rCi
pfe
Λ Читатель В
>^^
^
^
ТС
ir—,
_3
£d
lj
ι
ι
Ко
И
5. Читатель С
»—^
ts.
^
tr-—
____^
Ы
и
2 3 4
Число слогов в слове
Φ иг. 12 3.

степени знакомства. Следоййтольно, словарь,
составленный из знакомых односложных слов, мог бы, пожалуй,
оказаться наилучшим. Пользуясь словарем из 2500
наиболее знакомых односложных слов (такой объем словаря
дает 11,3 бита на слово) в качестве «предпочтительного»
словаря, можно читать список со скоростью 3,7 слова
в сркунду, что соответствует скорости передачи
информации 42 бита в секунду.
«Псевдотекст», т. е. текст, составленный из слов,
выбранных с вероятностями, характерными для
нетехнического текста, и расставленных как попало, без учета
грамматики, также позволяет получить высокую скорость
передачи информации при чтении. Энтропия в этом
случае приблизительно равна 11,8 бита на слово при
максимальной скорости чтения в 3,7 слова в секунду, что
соответствует скорости передачи информации 44 бита
в секунду.
Вероятно, эти показатели можно повысить за счет
совершенствования алфавита, но думаю, что ненамного.
Во всяком случае, из всех поставленных где-либо
экспериментов эти дали наивысшую скорость передачи
информации. Правда, она не высока по сравнению со скоростью
передачи информации средствами электрической связи,
но зато связана с огромным числом двоичных выборов —
2500 в минуту!
Чем же тогда ограничивается скорость? Может быть,
тем, что приходится читать слова по буквам? Но в таком
случае в наилучшем положении, пожалуй, оказались бы
китайцы, у которых каждое слово обозначается одним
знаком, но китаец, легко читающий как по-китайски,
так и по-английски, почти одинаково быстро читает и
случайные списки иероглифов, и случайные списки
эквивалентных английских слов.
А может быть, ограничения носят механический
характер? На фиг. 12.4 показаны результаты экспериментов,
в которых давались различные задания., Так, человек
может повторять заученные предложения со скоростью,
превышающей более чем в два раза скорость чтения
случайных списков слов, выбранных из «предпочтительного»
словаря; ощутимое увеличение скорости происходит и при
чтении осмысленного текста. Из этого явствует, что
ограничение скорости чтения объясняется, по-видимому, не
механизмом чтения, а свойствами психики человека.
275

Фиг. 12.4.
Итак, мы не можем охарактеризовать возможности
человека некоторой определенной скоростью передачи
информации. Хотя трудность задачи с увеличением
количества информации в конечном счете и возрастает, она
существенно зависит от того, насколько хорошо эта
задача согласуется со способностями человека.
Приспособляемость человека очень велика, но ему приходится
напрягаться и, следовательно, уменьшать скорость, делая
какую-нибудь непривычную для себя работу. Человек
очень хорошо, хотя и не очень быстро, справляется
со сложными задачами.
Один из методов согласования задачи со способностями
человека состоит в проведении тщательных и хорошо
продуманных экспериментов. Этот метод аналогичен
процессу такого кодирования сообщений, которое позволяет
т

получить максимальную скорость передачи информации
по каналу с шумом. Этот вопрос был рассмотрен в
главе 8, и там же эта наивысшая достижимая скорость
передачи была названа пропускной способностью
канала. Именно с целью получения высокой скорости
передачи информации при чтении списков случайно
выбранных слов и был составлен «предпочтительный словарь»
из 2500 наиболее часто встречающихся односложных
слов.
Отметим, однако, что при случайном выборе слов
с вероятностью, равной вероятности их появления в
английском тексте, достигается такая же или даже еще более
высокая скорость передачи информации. Быть может,
слова английского языка и частота их появления каким-то
образом в результате длительного процесса
бессознательного экспериментирования и эволюции были
приспособлены к способностям человека.
В главе 5 мы видели, что вероятность появления слова
в тексте приблизительно обратно пропорциональна его
рангу. Иначе говоря, сотое по употребимости слово
появляется почти в сто раз реже, чем наиболее
употребительное слово. На фиг. 5.2 (стр. 106) показана зависимость,
на которую первым указал Дж. Зиф, приписавший ее
принципу наименьшего усилия.
Очевидно, что закон Зифа в такой упрощенной форме
не может быть абсолютно верным. В главе 5 было
показано, что вероятности появления всех слов языка не могут
быть обратно пропорциональны их рангу. Если бы это
было так, то сумма вероятностей всех слов оказалась бы
больше единицы. Предпринимались неоднократные
попытки видоизменить, вывести и объяснить закон Зифа; мы
расскажем о них позднее. Для начала рассмотрим его
закон в первоначальной и простейшей форме, т. е.
рассмотрим его как приближенное описание одной из сторон
языкового поведения человека, как описание, которое
Зиф сформулировал эмпирически в результате
исследования статистики реальных текстов.
Как мы уже говорили, Зиф связал свой закон с
принципом минимальных усилий. Это была попытка
отождествить усилия, или «расход» времени, затрачиваемого
на построение текста, с числом букв в этом тексте. Однако
большинство лингвистов рассматривают в первую
очередь разговорный язык, и маловероятно, чтобы навыки
877

разговорной речи, чтения и письма определялись в
основном числом букв в словах.
И действительно, мы видели, что в экспериментах по
определению скорости передачи информации скорость
чтения оказалась одинаковой как для обиходных
китайских иероглифов, так и для равноценных английских слов,
записываемых с помощью букв. Кроме того, из фиг. 12.3
мы увидели, что употребительность слов или степень
знакомства с ними оказывают столь же большое влияние
на скорость чтения, как и число слогов в слове.
А нельзя ли в качестве меры усилия взять, например,
скорость чтения? Можно ведь допустить, что обыденные
^лова нам более доступны, что мы их узнаем с меньшим
усилием, с меньшим расходом времени, чем непривычные.
Возможно, человеческий мозг устроен так, что
небольшое число слов может храниться в нем и их мы узнаем
легко, а значительно большая часть хранится так, что
ими пользоваться труднее. Тогда можно было бы считать,
что время, затрачиваемое на чтение слова, есть мера его
доступности, легкости его использования, мера неких
«расходов» времени.
Можно представить, что, пользуясь языком, человек
выбирает слова так, чтобы передать как можно больше
информации при данных расходах времени. Если эти
расходы отождествить со временем, требуемым для
произнесения одного слова, то можно было бы сказать, что
человек подбирает слова так, чтобы передать как можно
больше информации за данное время.
С помощью математики нетрудно показать, что если
г-е слово (в порядке употребительности) произносится
за время tri то для сообщения, составленного из случайно
выбранных слов, скорость передачи информации будет
максимальна, при условии что r-е слово выбирается
с вероятностью ρ (г), равной
р(г) = 2~сЧ (12.1)
где с — нормировочная константа, выбираемая так, чтобы
сумма вероятностей всех возможных слов была равна
единице. Данное математическое выражение показывает,
что слова, требующие больше времени для их прочтения
вслух, должны встречаться реже, чем слова короткие,
легко произносимые. Соотношение (12Л) должно точво
т

выполняться, если необходима максимальная скорость
передачи информации.
Если предположить, что закон Зифа верен, то
вероятность появления г-го слова должна быть равна
Р(г) = ~, (12.2)
где А — еще одна константа. Из (12.1) и (12.2) мы
получаем
4 = 2~с^. (12.3)
Используя соотношения, данные в приложении,
выражение (12.3) можно записать в таком виде:
tr = a + blogr, (12.4)
где а и Ъ — константы, которые нужно определить,
исследуя зависимости времени tr от ранга слова г. Если закон
Зифа справедлив и если скорость передачи информации
максимизируется для слов, выбранных случайно и
независимо с вероятностями, даваемыми этим законом, то тогда
соотношение (12.4) должно подтверждаться
экспериментально.
Разумеется, при построении английского текста слова
выбираются не случайно и, следовательно, нельзя
утверждать, что слова, выбранные с вероятностями,
соответствующими выражению (12.1), будут обеспечивать
максимум информации в единицу времени. Тем не менее
интересно было бы знать, насколько совпадают прогнозы,
основанные на случайности и независимости выбора слов,
с тем, что имеется в реальном английском языке.
Бенуа Манделброт, математик, много занимавшийся
вопросами лингвистики, рассмотрел этот вопрос в связи
с анализом данных о времени чтения слов, полученных
психологом-экспериментатором Д. Хоуэсом. Весьма
опытный экспериментатор в области психологии Р. Риз и ваш
покорный слуга также пытались проверить совпадение
эксперимента с выражением (12.4).
При проведении такого сравнения имеются
определенные трудности. Довольно очевидно, что скорость чтения
вслух ограничена, временем узнавания, а не временем
произнесения слов. Человек, произнося длинное знакомое
слово, может одновременно воспринимать короткое, но
279

У
0,9
0,8
Ч. о,б
I
* 0J5
1
$■0,4
аз
ол
0,1
I · I
J j -J ---J
- ftj ^\
1 Γ* !^τ 1· ι
Ιχ^ Ι · Γ
1 τν^^ Ι ι 1 ] 1 1 j
i—L^i.» —————I
1 ^n ·
у**· J
4 5 6
Σ togffi г
Фиг. 12.5.
Ю
незнакомое слово. Чтобы обойти эту трудность, следует,
по-видимому, провести некоторое усреднение, измерив
полное время, необходимое для произнесения трех
последовательных слов, и сравнив затем это время с суммой
времен, найденных по формуле (12.4) для отдельных слов.
Риз остроумно и эффектно все это проделал и получил
данные, приведенные на фиг. 12.5. В его эксперименте
субъект читал отрывок с максимальной скоростью. Прямая
на фиг. 12.5, проведенная согласно формуле (12.4),
совпадает с экспериментальными данными так хорошо, как
только можно от нее требовать. Однако
экспериментальные точки слишком разбросаны, чтобы доказать, что
соотношение (12.4) действительно выполняется.
Более того, подобный разброс следовало ожидать,
ибо ранг г соответствует частоте появления данного слова
в тексте, полученном от разных источников, а мы его
использовали в качестве показателя степени опытности
и знакомства субъекта с этим словом. Кроме того, как
видно из фиг. 12.3, можно ожидать, что на время
прочтения некоторое влияние будет оказывать и длица слова,
W

И наконец, мы пренебрегли связью между
последовательными словами.
Это чрезвычайно нудный эксперимент. Можно
придумать и другие эксперименты такого рода, но все они
требуют много времени и мала вероятность, что из них будет
получено что-нибудь общезначимое и ясное. Возможно,
когда-нибудь какой-нибудь гений сможет быстро все
распутать, однако осторожный психолог скорее всего
выберет себе ту область, в которой его работа обещает
определенные, недвусмысленные результаты.
Но выполненная работа по крайней мере позволяет
предполагать, что употребление слов может определяться
экономией усилий, а экономию усилий в свою очередь
можно измерять как экономию времени. Интересно все же,
есть ли это результат развития способности справляться
с английским языком или язык каким-то образом оказался
приспособленным к возможностям человеческой психики.
Как, например, обстоит дело с количеством
употребляемых нами слов?
Мы иногда измеряем словарь писателя общим числом
различных употребляемых им слов, а словарь отдельного
человека — числом слов, которые on знает. Однако редкие
и необычные слова составляют лишь малую часть
разговорного и литературного языка. А что можно сказать
о словах, составляющих большую часть языка? Сколько их?
Можно было бы ожидать, что это число зависит от
степени цивилизации. Однако мы всегда имеем выбор
использовать разные слова или сочетания обычных слов для
обозначения одних и тех же понятий. Так, я могу сказать:
«блондинка», «брюнетка», «рыжая» или «девушка со
светлыми волосами», «девушка с темными волосами», «девушка
с огненными волосами». В данном случае слова с, светлый,
темный, огненный и волосы могут употребляться и для
других целей, тогда как слова блондинка, брюнетка,
рыжая применяются исключительно для обозначения
оттенков цвета волос.
Таким образом, все, что мы говорим, можно было бы
выразить, построив некий искусственный язык, в
который могло бы входить обыденных слов больше или меньше,
чем их имеет английский язык. В самом деле, если хотите,
можно считать 26 букв английского алфавита
приведенным словарем своеобразного языка, на который можно
церевести лдебое даск&зывацие ца английском языке.
т

10000
1000
<3
I юо
JO
'
β\
?v
^
10
100 1000
Ранг
10000
Фиг, 12.6.
Весьма вероятно, однако, что все языки имеют
тенденцию к использованию словаря некоторого определенного
объема, причем этот объем диктуется возможностями
и устройством человеческого мозга, а не кажущейся
сложностью окружающей обстановки. К этому
основному словарю умные и легко приспосабливающиеся
люди могут добавить столько специальных и
малоупотребительных слов, сколько захотят или сколько могут
запомнить.
Зиф изучал этот вопрос при помощи графиков,
иллюстрирующих его закон. На фиг. 12.6 * показана частота
(т. е. сколько раз использовано данное слово) в
зависимости от ранга (степени употребительности) для 260 430
слов из книги «Улисс» Джемса Джойса (кривая А) и для
* Заимствована из книги Дж. Зифа «Human Behavior and the
Principle of Least Effort», Reading, Mass,, 1949,
№

43 989 слов из газетного текста (кривая В). Прямая С
изображает идеализированную кривую Зифа, т. е. «закон».
Ясно, что положение кривых А и В определяется
только количеством слов в данной выборке; весьма важен
факт постоянства наклона кривых при изменении
количества слов. Изломы кривых в правом нижнем углу
вызваны тем, что редкие, малоупотребительные слова могут
встретиться один, два, три раза и т. д., но не 1,5 или
2,67 раза.
Если идеализировать эти кривые прямой С,
проведенной под углом 45°, то можно заметить, что при этом
правильно отражается не только их наклон. Мы начинаем
наши частотные измерения со слов, встречающихся только
один раз, что соответствует началу оси частот. Аналогично
ось рангов начинается с первого, т. е. с ранга наиболее
употребительного слова. Таким образом, вертикальная
и горизонтальная оси начинаются с цифры 1 (левый
нижний угол графика фиг. 12.6), а равные отрезки на осях
обозначают изменение в одно и то же число раз. Мы видим,
что прямая С, изображающая закон Зифа, говорит
следующее: число различных слов в выборке должно быть равно
числу появлений наиболее употребительного слова.
Можно пойти дальше и сказать, что если закон Зифа
в такой четкой и простой форме верен, то тогда половину
всех слов выборки составят наиболее употребительные
слова, число которых равно корню квадратному из числа
различных слов, встречающихся в данной выборке.
На фиг. 12.7 показано, как N — число различных слов
и V — число слов, составляющих половину общего
количества, зависят от L — общего числа слов в выборке.
Существуют ограничения словаря, от которых никуда
не денешься. Так, половина вышеупомянутого
произведения Джойса состоит из 170 слов, но, как видно из фиг. 12.6,
примерно то же самое справедливо и для газеты!
Зиф приводит кривые, показывающие, что этот закон
хорошо выполняется для готского языка, если считать
в нем словом то, что выглядит как слово. Этот закон
довольно неплохо выполняется также и для идиша
(новоеврейский язык), древнегерманского и средневерхнегер-
манского языков, хотя при этом и наблюдаются декоторые
отклонения в левом верхнем углу графика. Кривые для
норвежского языка получились круче в правой нижней
Чйсти? чем в левой верхней, а язык индейского племени
999

ЮООО
WOO
§
5
wo
w
OJ
η/
J^l
Ю1
10z
Ю3
10*
10й
10°
L, тысяч слов
Фиг. 12.7.
кри (обитавшего к югу Гудзонова залива) дает
кривую с наклоном 3/4 от наклона линии, проведенной в
соответствии с законом Зифа. Это означает большее число
различных слов в тексте данной длины, т. е. больший
словарь. Китайский язык дает кривую, которая взмывает
вверх в левой части, указывая на меньший словарь.
Весьма примечательно сходство, обнаруживаемое
у всех языков. Это объясняется тем, что в вероятностном
распределении слов многих, если не всех, литературных
языков очень много общего. Возможно, языки неизбежно
приспосабливаются к некоторой общей схеме,
диктуемой возможностями человеческой психики, структурой
мозга. Возможно, все народы замечают вокруг себя
примерно одинаковое число предметов и, следовательно,
говорят об одном и том же. Эскимос в унылой и суровой
северной стране ухитряется найти необходимое
количество слов, обозначая каждое из многочисленных
состояний снега особым словом. Араб в пустыне использует

массу слов для описания верблюдов и их снаряжения.
Возможно также, что все языки приспособились каким-то
образом к тому, чтобы свести к минимуму усилия при
обмене людей информацией. Но как обстоит дело в
действительности, мы, конечно, не знаем.
Работа Зифа была подвергнута критическому
исследованию. Я не могу поверить, что число различных слов
в выборке определяется только длиной выборки и не
зависит от автора. И, конечно же, частота появления артикля
the не может изменяться при изменении длины отрывка,
хотя это и утверждает простейшая форма закона Зифа.
Обычно говорят, что закон Зифа хорошо выполняется
для выборок приблизительно в 120 000 слов; для
меньших отрывков слишком многие слова появятся только
по одному разу, а для больших — слишком мало слов
появится по одному разу. Более разумно, по-видимому,
предположить, что только большая группа журналистов
сообща способна создать в газете такой же словарный
запас, как у одного Джойса.
До сих пор мы подходили к закону Зифа как к
некоторому приближенному описанию экспериментальных
данных и интересовались, к чему это приведет. К закону
Зифа можно подойти и по-другому. Попробуем показать,
что закон справедлив, исходя из простых предположений
о «порождении» текста. Хотя многие пытались показать,
что закон Зифа следует из некоторых допущений, только
математику Бенуа Манделброту (о нем мы уже говорили)
удалось сделать первый существенный шаг вперед и
продвинуться дальше всех в этом направлении.
Манделброт указал два способа вывода. В первом он
предположил, что текст создается в виде
последовательности букв и пробелов между словами, выбираемых
случайно, но с различными вероятностями, подобно
приближению первого порядка к английскому тексту главы 3.
Таким путем получается бесконечное количество
различных «слов», составленных из последовательностей букв,
разделенных пробелами.
Основываясь только на этом допущении, Манделброт
показал, что вероятность появления г-го из этих «слов»,
расположенных в порядке их употребительности, должна
выражаться формулой
p(r) = P(r + V)-B. (12.5)
285

Константы in? можно йайти, если йзвёбтны вероятности
появления различных букв и пробелов. Константа В
должна быть больше единицы, а величина Ρ должна быть
такой, чтобы сумма вероятностей р4г) всех «слов»
равнялась единице.
Легко видеть, что если V очень мала, а В очень близка
к единице, то формула (12.5) практически совпадает с
первоначальной формулировкой закона Зифа. В отличие
от прямой С, проведенной под углом в 45° на фиг. 12.6,
выражение (12.5) дает кривую, более пологую в левой
верхней части графика и более крутую в нижней правой
части. Во многих случаях такая кривая лучше совпадает
с данными, полученными для реальных текстов, нежели
закон Зифа в первоначальной его формулировке.
Доказано, однако, что длина «слов», получающихся
в описанном случайном процессе, не соответствует длине
слов реального английского текста.
Далее, свойства языка, конечно, не случайны. Слова
укорачиваются по мере того, как они все больше входят
в обиход. Например, слова taxi и cab * получены из слова
taxicab, а слово cab (кеб) — из слова cabriolet (кабриолет).
Вправе ли мы утверждать, что если случайное создание
букв приводит к появлению «слов», удовлетворяющих
закону Зифа, то это объясняет сам закон? Мне
представляется, что это можно утверждать только в том случае,
если мы сумеем показать, какие силы, формирующие
реальный язык, имитируют описанный выше случайный процесс.
Основой для другого способа вывода видоизмененного
закона Зифа явилось предположение Манделброта о том,
что частоты появления слов максимизируют информацию
при данном расходе времени. Для упрощения Манделброт
приписал каждой букве определенный расход времени
и предположил, что расход времени на каждое слово
(т. е. на каждую последовательность букв,
оканчивающуюся пробелом) равен сумме расходов времени на
буквы этого слова. Это привело его к тому же выводу, что
и первое допущение, т. е. к формуле (12.5). Однако смысл
входящих в эту формулу символов изменился. Константа В
может быть меньше единицы, если общее число
разрешенных слов конечно.
* Слова «taxi» и «cab» в данном случае обозначают «такси».—
Прим, перев.
286

f Не считаясь 66 СШлслок койстант Ρ, V и Ё в вЬф&-
жении (12.5), мы, если захотим, можем придать им такие
значения, чтобы кривая, описываемая этой формулой,
наилучшим образом совпадала с данными эксперимента,
проделанного с реальным текстом. Конечно, таким
путем можно получить совпадение лучше, чем при 7 = 0,
В = 1 (что соответствует закону Зифа в первоначальной
форме). И действительно, как показывает практика,
соответствующим подбором значений Р, V и В в
выражении (12.5) можно почти всегда, кроме нескольких
исключительных случаев, получить весьма хорошее
совпадение. В современном еврейском языке образца 1930 года
и в голландском языке, на котором говорят в
Пенсильвании и который представляет собой смесь языков,
наилучшее соответствие с экспериментом получается при 2?,
меньшем единицы.
По Манделброту богатство словаря измеряется в
основном константой В; если В много больше единицы, то это
означает, что в языке в основном используется
небольшое количество слов, а если В близко к единице, то
словарь значительно разнообразнее. Манделброт обратил
внимание на то, что, по мере того как дети взрослеют,
величина В уменьшается от 1,6 до 1,15 или даже до 1,
если ребенок вдруг окажется Джемсом Джойсом.
Несомненно, выражение (12.5) дает лучшее
совпадение с действительностью, нежели закон Зифа в его
первоначальном виде. Здесь удалось преодолеть трудность,
связанную с тем, что, согласно закону Зифа в его
первоначальном виде, вероятность появления артикля the
должна зависеть от длины отрывка текста. Однако это
еще не означает, что вывод и объяснение формулы (12.5),
сделанные Манделбротом, обязательно верны. Более того,
вполне возможно, что какие-то другие математические
выражения дадут лучшее совпадение с реальным текстом.
Чтобы решить эту задачу, необходимы значительно более
глубокие исследования.
Закон Зифа выполняется не только по отношению
к использованию слов, но и во многих других случаях.
Так, в большинстве стран этот закон справедлив для
зависимости численности населения от величины города.
Например, в десятом по величине городе живет, как
правило, в десять раз меньше жителей, чем в самом
крупном городе страны, и т. д. Однако тот факт, что закон
287

выполняется в различных случаях, может оказаться
просто совпадением. Закон обратных квадратов
выполняется для гравитационного притяжения и для
изменения интенсивности света на разных расстояниях от
Солнца, и все же эти два закона не могут быть выведены
из какой-либо общей теории.
Довольно ясно, что наша способность воспринимать
и обрабатывать информацию ограничена свойствами
нервной системы. Примером может служить закон Джорджа
Миллера «7 плюс — минус 2», который утверждает, что
за короткий период наблюдения человек может запомнить
и повторить названия от 5 до 9 знакомых объектов, таких,
как двоичные или десятичные цифры, буквы или
знакомые слова.
Можно при помощи тахистоскопа показать субъекту
на очень короткое время ярко освещенное изображение.
Если ему показать изображение нескольких черщлх бобов,
то он сможет точно назвать их число, пока их количество
не превысит 9. Таким образом, при каждой вспышке можно
передать лишь 10 исходов (от 0 до 9). Количество
переданной информации в этом случае равно log 10, или 3,3 бита.
Если показать субъекту последовательность двоичных
цифр, то он сможет запомнить и повторить максимум
7 цифр, т. е. количество переданной информации равно
7 битам.
Если показывать субъекту буквы, то он сможет
запомнить 4 или 5 букв, что составляет 5 log 26, или количество
информации равно примерно 23 битам.
Субъект, вероятно, может запомнить 3 или 4 коротких
хорошо известных слова, т. е. несколько меньше, чем
7—2. Если эти слова выбраны из 500 наиболее
употребительных слов, то количество информации равно 3 log 500,
или 27 битам.
Как и в том случае, когда экспериментируют с
чтением слов, выигрыш за счет усложнения задачи
превышает потери, обусловленные уменьшением числа
воспринимаемых объектов, и информация возрастает с
увеличением сложности.
Как закон Миллера «7 плюс — минус 2», так и
эксперименты по скорости чтения весьма озадачивают
исследователей. Если человек воспринимает только 27 битов
информации из любой картинки, то нельзя ли передать
при помощи этих же 27 битов изображение, которое при
288

проекции на экран удовлетворительно соответствовало бы
оригиналу? Если, как следует из экспериментов по
определению скорости чтения, человек способен передавать
только около 40 битов информации в секунду, то нельзя
ли добиться передачи телевизионного изображения или
человеческого голоса удовлетворительного качества при
помощи лишь 40 битов в секунду?
Я полагаю, что в обоих случаях ответ должен быть
отрицательным. В чем же дело? Дело в том, что мы
допускали ошибку: измеряли «выход» человека, а отнюдь не
«вход». Может быть, в каком-то смысле человек и
воспринимает только 40 битов информации в секунду, но
при этом он может выбирать, на что именно обратить
внимание и что следует запомнить. Он может, например,
обратить внимание на девушку, а может заметить только
ее платье. По-видимому, он замечает значительно больше,
однако все лишнее вылетает у него из головы раньше,
чем он об этом успеет сказать.
Два психолога — Е. Авербек и Г. Шперлинг —
сходными методами исследовали этот вопрос. При помощи
тахистоскопа они проектировали на экран значительное
число (16 или 18) букв и спустя небольшой промежуток
времени (доли секунды) после окончания вспышки
подавали субъекту сигнал указкой или звуком, какую букву
надо назвать. Если субъект мог безошибочно назвать
любую указанную букву, то все буквы считались
«запомненными», так как указка направлялась случайным образом.
Результаты этих экспериментов говорят за то, что
человек за несколько десятых долей секунды может
запомнить значительно больше, чем «7 плюс — минус 2»
объекта. По-видимому, перенос «7 плюс — минус 2» из этих
объектов в более долговременную память может
осуществляться со скоростью примерно один объект за одну
сотую долю секунды, или все объекты менее чем за одну
десятую долю секунды. Перенесенные объекты могут
сохраняться в этой, другой памяти в течение нескольких
секунд. По-видимому, именно ограниченный размер этой
более долговременной памяти и дает нам цифру «7 плюс —
минус 2» закона Миллера.
Поведение человека и свойства его памяти настолько
интересны, что можно продолжать и продолжать поиски
289

ьзаимосвйзей между теорией информации и
психологией. Мы рассмотрели только несколько избранных
вопросов из этой широкой области. Но все же нас могут
спросить, действительно ли полезна теория информации для
психологии или это лишь иной способ изложения фактов,
которые могут быть описаны как-то иначе? Лично я думаю,
что теория информации снабдила психологов новыми
важными представлениями о процессах передачи информации
и новым важным способом оценки сложности задач. Теория
информации пробудила любопытство психологов и
заставила их пересмотреть старые данные и искать новые.
Мне представляется, однако, что если теория информации
играет центральную роль в электрической теории связи,
то для психологии она пока только любопытна. Кроме того,
теория информации добавила несколько новых
блестящих выражений в словари специалистов, работающих
в других областях.

Глава тринадцатая
ТЕОРИЯ ИНФОРМАЦИИ
И
ИСКУССТВО
Один весьма авторитетный современный композитор,
посетив лаборатории фирмы Белл Телефон, был
потрясен тем, что музыкальные звуки, да и не только звуки,
а целые музыкальные произведения, могут быть
представлены в виде последовательности чисел. Для нас,
конечно, это уже дело привычное. Мы знаем, что при
помощи импульсно-кодовой модуляции можно любое
электрическое колебание отобразить последовательностью
отсчетов.
291

Но мы говорили еще коё о чем важном, что
ускользнуло от композитора. Для высококачественного
отображения музыки с шириной полосы 15 000 гц необходимо
брать 30000 отсчетов в секунду, и каждый отсчет должен
быть взят с точностью около одной десятой процента.
Это можно сделать, отобразив амплитуду каждого отсчета
тремя десятичными цифрами (или приблизительно десятью
двоичными).
Полную свободу, выбора звуков композитор получил
бы в том случае, если бы он мог каким-либо образом
составлять каждую секунду последовательность,
состоящую из 30 000 трехзначных десятичных чисел. Ему
пришлось бы выбирать из огромного множества 20-минутных
произведений, число которых можно записать единицей
со 108 миллионами нулей — невообразимое число! Иначе
говоря, выбор при таком методе сочинения музыки
составил бы 300 000 битов в секунду.
Я полагаю, читатель уже догадался, где допущена
ошибка. Мы уже отмечали, что даже если
воспользоваться самым быстрым из рассмотренных нами способов,
т. е. читать с наибольшей возможной скоростью списки
слов, можно получить скорость передачи информации
не больше 40 битов в секунду — чуть больше
десятитысячной части скорости, требующейся от нашего композитора.
Более того, человек, вероятно, способен воспринимать
информацию со скоростями, даже меньшими, чем 40 битов
в секунду. Когда мы слушаем выступление актера, то до
нас доносится очень избыточная речь, произносимая
с довольно умеренной скоростью.
Короче говоря, гибкость и свобода, которыми
располагает композитор, сочиняя произведения в виде
последовательности отсчетов, будут попусту растрачены.
Композитору при этом придется сочинить множество
«произведений», которые ни один из слушателей не отличит одно
от другого и сочтет неинтересными. С математической
точки зрения белый гауссов шум, содержащий в равной
дозе все частоты, есть вершина разнообразия и
неожиданности. Это наименее предсказуемый из всех источников
звуков. А вот для человека белый гауссов шум звучит
одинаково, тонкие различия шума остаются скрытыми
от слушателя, и он кажется ему скучным и монотонным.
Если человек находит монотонным то, что с
математической точки зрения наиболее разнообразно и
неожиданна?

но, го что же тогда он считает свежим и интересным? Чтобы
назвать вещь новой, человек должен суметь отличить ее
от старой. А чтобы быть различимыми, звуки должны
в известной степени быть знакомыми.
Мы можем описать каждого из своих друзей, можем
дать оценку их особых характерных для каждого черт,
а в незнакомых людях мы найдем гораздо меньше
характерного. Мы, конечно, отличим гауссов шум от
романтической музыки, но это мало что дает, ибо любой гауссов
шум звучит для нас одинаково.
В самом деле, для многих, любящих и разбирающихся
в композиторах-романтиках, большая часть музыки
XVIII века звучит почти одинаково. Для них «Гольберг-
сюита» Грига может показаться музыкой XVIII столетия
хотя в действительности имеется лишь внешнее сходство.
А для тех, кто хорошо знаком с музыкой XVIII века,
хоралы XVI века могут показаться монотонными и
однообразными. Мне известны и обратные примеры. Я знаю,
что некоторые приверженцы Моцарта находят Верди
монотонным, а для тех, кому нравится Верди,
современная музыка большей частью звучит как однообразная
какофония.
Конечно, композитору хочется быть свободным и
самобытным, но ему еще хочется получить признание. Если
слушатели не смогут отличить одно его сочинение от
другого, то, естественно, они не станут покупать пластинки
с разными его произведениями. Раз они не смогут
отличить его произведения от сочинений целой школы
композиторов, то, вполне возможно, их удовлетворит только
одна пластинка, приобретенная для образца.
Но тогда как должен поступить композитор, чтобы
слушатель узнавал его произведения? Этого он может
добиться, только сохранив их энтропию (скорость
создания информации), их разнообразие в пределах
человеческой способности к различению, и только в том случае,
если это разнообразие будет вводиться небольшими
дозами, со скоростью несколько битов в секунду, можно
ожидать, что публика поймет разнообразие представленных
произведений.
Значит ли это, что сочинения, так сказать,
«композитора от теории информации» будут представлять собой
простые и медленные последовательности случайно
выбранных нот? Конечно, нет — во всяком случае, не в боль-
29з

шей степени, чем литературное произведение представляет
собой лишь случайную последовательность букв. Скорее
всего композитор в основном будет использовать в своих
сочинениях приемы, уже знакомые слушателям по
другим произведениям. Причем пользоваться он ими будет
так, чтобы слушатель не сбивался все время с толку,
а мог догадаться, что будет дальше. Возможно,
композитор время от времени (ни в коем случае не постоянно)
будет делать сюрпризы слушателям, вводя совершенно
новые средства. Новинки он будет вводить экономно
и осторожно, а познакомив с ними слушателя, будет
повторять их в несколько видоизмененных формах.
Проводя аналогию с языком, можно сказать, что
композитор будет писать на языке, уже знакомом
слушателям. Он будет согласовывать музыкальные «слова» по
правилам музыкальной грамматики. Этими словами могут
быть уже известные аккорды, гаммы, темы или
орнаментика. Они будут следовать одно за другим, подобно
предложениям или строфам, обычно с частыми
повторениями и будут исполняться уже знакомыми голосами
оркестра. Если наш композитор — хороший
композитор, то он каким-то образом сумеет произвести на
подготовленного слушателя впечатление определенности
и индивидуальности. И даже если он просто грамотный
композитор, то его сочинения все же будут понятными
и приятными.
Конечно, в сказанном здесь нет ничего нового. Это
могли бы сказать, правда" другими словами, и люди,
совершенно незнакомые с теорией информации. Все же
представляется, что эти сведения особенно пригодятся
теперь, когда композиторы, да и другие деятели искусства
сталкиваются со множеством технических средств,
которые искушают их, иногда раздражают и чуть-чуть пугают.
Естественно, что первым соблазном для них является
возможность слишком свободного и широкого выбора.
М. Мэтьюз из лабораторий Белл Телефон был
заинтригован тем фактом, что электронно-вычислительная машина
способна создавать колебания любой желаемой формы
в ответ на ряд команд, записанных на перфокартах. Он
составил программу, позволившую ему закодировать
каждой перфокартой одну ноту — форму колебания,
высоту тона и громкость. Окрыленный полученной
свободой, он-заставил машину воспроизводить быстрые ритт
294

мические пассажи, состоящие из почти невыполнимых
сочетаний нот — например, три ноты против четырех
с необычным распределением акцентов. Эти хитроумные
упражнения звучали попросту хаотически.
Все же самые опытные в этих делах композиторы,
такие, как Варез, умудряются, компонуя записи самых
различных и видоизмененных звуков методами
конкретной музыки, вызвать у слушателя впечатление, что он
слушает музыкальное произведение. Уже написаны
«душещипательные» произведения, в которых были
использованы звуки, генерируемые электронными устройствами.
И все же композитор сталкивается с трудностями, отходя
от традиционных методов.
Какие же возможности открываются перед
композитором, если он хочет сойти с проторенной дороги? Чтобы
не растерять слушателей, он -может намного упростить
свои произведения и приблизить их к написанным в
традиционной манере. Он может также попытаться приучить
аудиторию запоминать и различать изобретенные им
и другими композиторами новые средства. И наконец,
композитор может предпочесть остаться непонятым и
ждать признания лишь от грядущих поколений. Не
исключено, что имеются и другие возможности; они,
несомненно, появятся, если композитор по-настоящему
гениален.
Так может ли теория информации предложить
искусству что-нибудь конкретное? Думаю, что вряд ли
что-нибудь серьезное, кроме новой точки зрения, но я полагаю,
что на ней есть смысл остановиться в оставшейся части
этой главы.
В главах 3, 6 и 12 мы говорили о языке. Язык состоит
из алфавита, или словаря, и грамматических правил, или
ограничений, налагаемых на использование слов в
грамматически правильном тексте. Мы научились отличать
особенности текста, обусловленные словарем и правилами
грамматики, от особенностей, обусловленных
действительным выбором пишущего или говорящего. Именно эта
возможность выбора, предоставляемая языком, и вносит
вклад в среднее количество информации, приходящейся
на слово. Как мы видели, по оценке Шеннона оно
находится в пределах 3,3—7,2 бита на слово. Эта величина должна
быть также тем выбором, который позволяет пишущему
цли говорящему передавать любое смысловое значение.
295

Словарь языка велик, хотя, как мы видели в главе 12,
основную массу текста составляет сравнительно
небольшое количество слов. Грамматические правила
настолько сложны, что не могут быть полностью
сформулированы. Тем не менее большинство людей обладает большим
словарным запасом и знает правила грамматики в том
смысле, что может писать грамматически правильно.
Разумно предположить, что тот, кто слушает музыку
внимательно и критически, столь же хорошо знает
музыкальные элементы и их взаимосвязь. Конечно,
необязательно, чтобы слушатель мог сформулировать эти
правила, как необязательно человеку, пишущему грамотно,
уметь формулировать правила грамматики. Да и уметь
писать музыку от слушателя требуется не больше, чем
от немого, понимающего речь, говорить. Все же слушатель
может в каком-то смысле знать правила и применять
свои знания, слушая музыку.
Такое знакомство с элементами и правилами музыки
определенного народа, эпохи или школы и есть то, что
я называю «знанием языка музыки», или стиля музыки.
Однако неважно, сколько этих правил музыки
основывается или не основывается на законах физики,
знание языка музыки приобретается только годами
практики, как и знание разговорного языка. Лишь практика
дает возможность различать стиль и индивидуальность
произведения, безразлично, литературного или
музыкального. Для неподготовленного слушателя музыка — это
набор звуков, выбранных не из ограниченного класса
уже известных звуков, а из бесконечного количества всех
возможных звуков. Неподготовленному слушателю
механическое применение законов музыки покажется
проявлением выбора и разнообразия. Поэтому неискушенного
слушателя или слушателя, знакомого лишь с каким-либо
другим музыкальным языком, очевидная сложность
музыки будет подавлять.
Нужно отметить, что, нарушая до определенной степени
законы грамматики, мы все же можем писать понятно.
Например, можно сказать «Моя большая-большая
человек». Понятность этого выражения можно было бы
сравнить с нашей способностью разобраться в несколько
странной музыке, но не совсем нам незнакомой. Следует
также отметить, что, строго придерживаясь правил
грамматики, можно писать чепуху («Гипсовое слово молча
т

Фиг. 13 J.
говорит порфире»). Именно на этой второй возможности
я хочу подробнее остановиться. Однако мне хочется
сначала отметить, что можно писать и умные вещи и
соблюдать все правила грамматики и все же смысл
написанного не будет достаточно ясен широкому кругу
читателей.
Известно, что можно почти полностью устранить смысл,
сохранив привычный словарь и некоторые или многие
правила соединения слов. Так, Моцарт оставил потомству
набор классифицированных и пронумерованных тактов
в 3/8 и ряд правил их соединения. И если в соответствии
с этими правилами соединять случайно выбранные (хотя
бы бросая для этого кости) такты, то даже полный профан
сможет «сочинить» почти неограниченное число
маленьких вальсов, которые звучат как нечто вроде своеобразно
«неорганизованного» Моцарта. Пример такого
«сочинения» приведен на фиг. 13.1. Кое-кто считает, что Иосиф
Гайдн, Максимилиан Штадлер и Карл Филипп Эммануил
Бах писали именно такую «случайную» музыку. А совсем
недавно Джон Кейдж использовал случайные- процессы
при выборе последовательностей нот.
Не ведая еще о столь знаменитых предшественниках,
Бетти Шеннон (супруга Клода Шеннона) и я в 1949 году
занялись сочинительством примитивной статистической,
или, как ее иначе называют, стохастической, музыки.
Сначала мы составили · список разрешенных аккордов
от I до VI ступени в тональности «до-мажор». В
действительности в список вошли лишь аккорды I ступени,
остальные выводились из них согласно правилам. Бросая три
специально изготовленные для этой цеди KQQtji, а затем
297

пользуясь таблицей случайных чисел, мы написали
несколько «произведений».
В этих произведениях единственным правилом
соединения аккордов было то, что два последовательных
аккорда в одном и том же голосе имели одну и ту же
тональность. В результате остальные голоса развивались самым
диким и невероятным образом. Нечто похожее
происходит, как было показано в главе 3, при создании
синтетического текста с помощью простых и соответствующих
действительности, но недостаточных вероятностей
появления диграмм.
Хотя микроструктура этих произведений очень
примитивна, была предпринята попытка дать им
правдоподобную и достаточно легко запоминающуюся
макроструктуру. Так, каждая композиция состояла из 8 тактов
по четыре четверти в каждом. Макроструктура
достигалась тем, что такты 5 и 6 повторяли такты 1 и 2, но такты
3 и 4 отличались от тактов 7 и 8. Следовательно, эти
произведения были написаны в стиле примитивного рондо.
Далее, чтобы получить эффект каденции, аккорды
подбирались так, что аккорды 1, 16 и 32 были построены
от I ступени, а аккорды 15 и 31 — от IV или V ступени.
Хотя формально эти произведения можно назвать
рондо, они больше напоминали церковные гимны. Один
из них я воспроизвел на фиг. 13.2. Поскольку каждый
церковный гимн должен иметь название и слова, я сочинил
и их, но уже не пользуясь здесь бросанием костей.
Остальные произведения звучали очень похоже на
приведенное. Ясно, что все они принадлежат одному
композитору. Все же после нескольких прослушиваний их
можно отличить одно от другого. А привыкнув, я
ухитрился даже полюбить их. Неиспорченному музыканту они
должны резать слух.
В 1951 году Давид Слепян, специалист по теории
информации (о нем уже упоминалось), взял несколько
иной курс. Следуя одной из ранних работ Шеннона, он
воззвал к скрытому статистическому знанию музыки
первых попавшихся под руку математиков, не имевших
никакого музыкального образования. Он показывал такому
«субъекту» х/4, х/2 или 3/2 такта и предлагал ему добавить
по своему разумению последующую 1/2 такта. Затем
он показывал другому лицу такой же отрывок,
включающий добавленную . V2 такта, получал еще одну
298

Random
Νϋ*
ЁШЁ!
Г iU 4
When once my ran - dom thoughts I turned
That Christmas day, did they fore- see
Or did they learn of us who sing
Ь ' ι Γ Γ ι ■ f ι1 ι f
J J I 1 ι fqg
On Beth- le - hem and on that star
The Child grown Christ, and Christ de - nied
The day when an - gels sang be - fore
f f f fif Ι ι I
i i J 4U F1^
Which drew three wise men from a - far
And Christ be -trayed and cru - ci - fied
And, lay - ing down the gifts they bore
ί J i i (ι i ι i i
I won - dered what the wise men learned
And ris- - en Christ the De - i - ty?
Fore-tell our gifts and car - oi - ing?
ρ ρ ρ f ι J 4__g__l
Фиг. 13.2.
V2 такта и т. д. Ну, конечно, он предупреждал всех о
предполагаемом стиле произведения.
На фиг. 13.3 показаны два образчика: фрагмент хорала,
в котором каждая 1/2 такта добавлялась на основе
предшествующей 1/2 такта, и фрагмент «романтической
композиции», в которой каждая V2 такта добавлялась на основе
предшествующих 3/2 такта. Меня просто поражает, что эти
«композиции» в какой-то мере согласуются, несмотря
на появляющиеся неподходящие и недопустимые,
аккорды и последовательности аккордов. Приковывает также
внимание «определенность» стиля. Очевидно, математики
имели совершенно различные, представления о том, что
299

Хорал
\ji Щ\1М р ι ι fi1!1 ι
11 JjiiffFHrrH 'I'lJiiu'lS1 ' '
Романтическая композиция
Iftlf^ijtll I'jiH^I f'MjJJ ||||J|
[■■I'T |lf ,, I.L Jill II "f I
f irl ,1 ,·' Ί! -ггл j^ ru u ji^i^j и
!■" f Г if Τ ι in'U J j J ι I"
Фиг. 13.3.
характерно для хорала, а что — для романтической
музыки.
Эксперимент Слепяна показал поразительную
приспособляемость человека, а также некоторые его слабости.
Надо сказать, что чисто стохастические процессы более
последовательны, но скучны. Музыку пробовали писать
и с помощью чисел.
Несомненно, с помощью вычислительной машины,
применяя соответствующую статистику, описывающую
стиль композитора, можно было бы писать «случайную»
музыку в стиле этого композитора. Эту возможность
иллюстрируют продемонстрированный Пинкертоном стиль
колыбельной песенки и разнообразие стилей,
рассмотренных Хиллером и Изаксоном, и об этом я собираюсь сейчас
рассказать.
В 1956 году Ричард Пинкертон опубликовал в журнале
Scientific American несколько простых приемов
сочинения мелодий. Он показал, как можно выбирать ноту,
используя вероятность ее появления вслед за данной
предыдущей нотой, и как эти вероятности зависят от
положения ноты в такте. Используя вероятности,
полученные из анализа мелодии колыбельных песенок, он
подсчитал величину энтропии, приходящейся на одну
ноту, и она оказалась равной 2,8 бита, Я убежден, что
300

эта величина завышена на 1 бит, поскольку учитывались
лишь вероятности появления двух последовательных нот.
Пинкертон предложил также простую машину с конечным
числом состояний, которая может создавать
банальные мелодии, подобно тому как машина, показанная на
фиг. 3.1 (стр. 71), создает «предложения».
В 1957 году Ф. Брукс, А. Хопкинс, П. Нейман и У. Райт
опубликовали доклад о возможности статистического
сочинения музыки на основе широкого изучения
статистики мелодий церковных гимнов.
В 1956 году корпорация «Burroughs Corporation»
сообщила об использовании вычислительной машины для
сочинения музыки, а в 1957 году было объявлено, что
Мартин Клейн и Дуглас Болито применили
вычислительную машину Дататрон для сочинения «популярных»
мелодий. Для одной из них слова написал Джек Оуэне,
и она была передана по программе Эй-Би-Си под
названием «Берта, нажми кнопку». Естественно, на этом
поприще стали подвизаться и многие другие.
Все же Хиллер и Изаксон из, Иллинойсского
университета провели по-настоящему серьезный эксперимент
создания музыки с помощью вычислительной машины.
Им удалось сформулировать правила контрапункта таким
образом, что вычислительная машина смогла выбирать
ноты случайно и отбрасывать их, если они противоречили
этим правилам.
Поскольку правила в основном учитывали только связь
между тремя нотами, произведение получилось несвязным,
хотя короткие отрывки звучали на редкость хорошо.
Пример подобного произведения приведен на фиг. 13.4 *.
Кроме того, Хиллеру и Изаксону удалось показать,
что вычислительную машину можно применять для
сочинения интересных ритмических отрывков, а также для
сочинения музыки в стиле «цепей Маркова», где выбор
последующей ноты зависит от вероятностных функций,
вычисленных по таблицам, полученным в результате расчета
различных обертонов (гармоник). Таким образом, следуя
простому рецепту, им удалось получить коду.
А потом все это было опубликовано под названием
«Сюита Иллиак для струнного квартета». В том виде,
* Перепечатано из работы: L. Α. Η i 1 1 е г, Jr., L. Μ. I s a a c-
son, Illiac Suite for String Quartet, New Music, 1957.
301

да
m
1Ш
mm
ш
Щр
^
^
1Ш
щи
J^NrrMH
Ш
al£
^
Ш
/fofo
1^Г.УГ(0>,,.р
ЗШ1
w
Щ*
J?
m
[PP
Ш
^
w
^
m
m
ш
PP
W
Фиг. ISA.
в каком она есть, эта музыка имеет хорошую
локальную структуру, но в целом слабая и рыхлая.
Делу существенно могло бы помочь добавление простого
композиционного рисунка или введение повторов. Но
все это носило бы строго детерминированный характер,
как обязательные повторения в рондо, или напоминало бы
грамматику Хомского, о которой мы говорили в главе 6.
Очевидно, что пытаться получить макроструктуру простым
присоединением нот к предшествующим нотам, основываясь
лишь на вероятностях появления нотных диграмм,
триграмм и т. д., глупо. Связывать нужно не только ноты,
но и отдельные части произведения.
Работа Хиллера и Изаксона убедительно показала,
что вычислительная машина может повторить многие
приемы сочинения музыки, ранее доступные лишь
человеку. Композитор, и особенно не очень опытный, может
с успехом передоверить вычислительной машине большую
часть шаблонной и нудной работы. Он может задать
машине лишь основную тему произведения и предоставить
ей самой развивать детали гармонии и контрапункта,
согласно особенностям стиля или эпохи. Далее,
вычислите

?ельйую машийу мозКйо использовав дли испытания
новых правил композиции, например правил
контрапункта или гармонии, непривычных для композитора.
Сейчас довольно часто говорят, что кибернетика скоро
даст нам обучающиеся машины. Но если они смогут
обучаться в полном смысле этого слова, то почему бы
им не научиться чему угодно, даже тому, чего мы сами
не знаем? Так, «поощряя» за успех или «наказывая»
за неудачу такую обучающуюся вычислительную машину,
можно было бы добиться того, чтобы при нажатии кнопки
с надписью «испанская музыка», «классическая музыка»,
«рок-н-ролл», «легкая музыка» и т. д. она сочиняла бы
именно то, что написано на кнопке. Такие мысли не могут
не волновать, но, увы, в настоящее время они еще не
реальны и, по-видимому, останутся такими еще долго.
Но музыка — не все искусство. Я начал с музыки
только потому, что на ее примере нетрудно показать
в непривычном свете некоторые идеи теории информации.
С неменьшим успехом то же самое можно было бы
проделать, используя в качестве примера язык. В самом деле,
эксперименты со стохастическим созданием текста
культивировались шире, чем эксперименты с музыкой.
Профессор Великой Академии Лагоды показал
капитану Гулливеру устройство для создания слов, состоящее
из насаженных на оси дисков, по окружности которых
написаны слова. Профессор произвольно поворачивал эти
диски и в возникающем наборе слов искал новую мудрость.
Это пример неправильного использования
стохастического процесса при создании текста. Конечно, таким
способом мы не получим новых знаний. Кому нужно
непроверенное слово случайного процесса? И так
развелось слишком много бездоказательных утверждений;
нам же необходимо знать, что правильно, а что — нет.
И все же стохастический процесс может порождать
некоторые интересные эффекты. В главе 3 мы говорили
о приближениях к английскому тексту, предложенных
Шенноном. Эти приближения были получены с помощью
частот повторения диграмм и триграмм и таблицы
случайных чисел. Мы уже видели, что среди них попадаются
интересные «слова».
Для меня слово deamy звучит приятно; мне хотелось бы
понимать высказывание «it's a deamy idea» как
комплимент. Но я бы возмутился, если бы меня обозвали ilonasive.
303

й не хотел бы, чтобы меня назвали grocid; возможно, это
«слово» напоминает мне gross (вульгарный), groceries
(бакалея) и gravid (беременная). Что бы ни означало слово
pondenome, оно звучит по меньшей мере величественно.
Здесь я приведу проведенное Шенноном приближение
второго порядка на уровне слов:
The head and in frontal attack on an english writer
that the character of this point is therefore another method
for the letters that the time who ever told the problem
for an unexpected. (Голова и лобовая атака на английского
писателя характер которого в этом пункте следовательно
другой метод для букв которые на время которое кто-
нибудь когда-нибудь говорил по этому вопросу для
неожиданного.)
Я нахожу в этом что-то беспокойное, угрожающее.
Я чувствую, что английский писатель находится в
смертельной опасности, но не могу прийти к нему на помощь,
ибо вторая часть послания искажена.
В поисках менее искаженного текста, как уже
упоминалось в главе 6, я писал на полоске бумаги одно под другим
три грамматически связанных слова. Я показывал их
приятелю и просил придумать предложение, включив туда
эти слова, а затем к этому предложению приписать
следующее слово. Потом я прикрывал верхнее слово и показывал
оставшиеся три слова другому приятелю, прося его
приписать еще одно слово. Опросив так двадцать приятелей,
я получил следующее:
When morning broke after an orgy of wild abandon he
said her head shook vertically aligned in a sequence of
words signifying what... (Когда пришло утро после дикой
оргии распутства он сказал здесь кивнув головой подобрав
последовательность слов означающих что...)
А вот более поздние примеры:
One day when I went to what was Dionysus thinking
of women without men go off half way decent impression...
(Однажды когда я шел к тому что было мнением Диониса
о женщинах без мужчин убегающих с половины дороги
приличное впечатление...)
I forget whether he went on and on. Finally he stipulated
that this must stop immediately after this. The last time I
304

saw him when he* lived. It happened one frosty look of
trees waving gracefully against the wall. You never can...
(Я забыл продолжал ли он снова и снова. Наконец он
обусловил что это должно прекратиться немедленно после
этого. Последний раз я видел его когда он жил. Оказалось
что были видны заиндевевшие деревья изящно качавшиеся
на фоне стены. Вы никогда не сможете...)
Мы видим, что кажущийся смысловой порядок
охватывает группы значительно большие, чем 4 слова. Однако
в конце концов текст начинает терять «связность».
Макроструктуру такой потери связности можно объяснить тем,
что отсутствует конечная цель, или смысл высказывания,
на основе которого делается выбор слов. Нечто подобное
мы иногда обнаруживаем в высказываниях* шизофреников.
У. Хадсон замечательно проиллюстрировал еще большую
потерю связности на одном из героев его книги «The Purple
Land» («Пурпурная земля»)—дядюшка Ансельмо никогда
не мог кончить рассказ, потому что все время отклонялся
от темы.
Макроструктуру можно в известной мере улучшить,
написав на видном месте, например в нижней части клочка
бумаги, на котором участники добавляют слова, название,
подсказывающее, о чем предполагается писать.
Дональд Данн из Станфордской лаборатории
электроники любезно предоставил мне несколько образчиков,
при написании которых испытуемый, добавляя слово,
видел только предыдущее слово, но знал название темы:
Men and women Мужчины и женщины
Eve loved intensely sentimen- Ева любила очень сентимен-
tal or not sufficient to night whe- тальное или недостаточно се-
rever you may die before yes- эдцня вечером где бы вы могли
terday again and whatever m'lo- не умереть раньше чем вчера
ve misbehaves. и как бы моя возлюбленная
неверна.
The seduced are compatible Соблазненные составляют не-
unusual family life seemed won- обычную семейную жизнь ка-
derful experience for tenderness жущуюся прекрасной жизнен-
forever yours. ной школой для нежности
навсегда ваш.
Orphans frequently visited Сироты часто посещали его
his promiscuity and infidelity беспорядочность и неверность
despite hate and love for tomor- вопреки ненависти и любить
row sex ain't nothing. ради завтрашнего секса значит
ничего.
305

В следующих примерах, полученных в лабораториях
фирмы Белл Телефон, испытуемый, добавляя слово, видел
три предыдущих слова и знал название:
About life
Life has many good and
wise men seldom condemn halfwits
lightly! You wonder why not.
Human feelings but savage
tribes found...
Engineers
It is frequently said that they
knew why forces might affect
salaries. However, all scientists
can't imagine...
Housecleaning
First empty the furniture of
the master bedroom and bath.
Toilets are to be washed after
polishing doorknobs the rest of
the room. Washing windows
semiannually is to be taken by
small aids such as husbands are
prone to omit soap powder.
Murder story
When I killed her I stabbed
Claude between his powerful
jaws clamped tightly together.
Screaming loudly despite fatal
consequences in the struggle for
life ebbing as he coughed
hollowly spitting blood from his
ears.
О жизни
Жизнь имеет многие хорошие
и мудрые люди редко осуждают
глупость с легкостью! Вы
удивляетесь почему бы нет.
Человеческие чувства но диких племен
найденных...
Инженеры
Часто говорят что они знают
почему силы могут влиять на
зарплату. Однако все ученые не
могут представить...
Домашняя уборка
Сначала вынуть все из мебели
в хозяйской спальне и ванной.
Туалеты должны быть вымыты
после полировки ручек дверей
остальных комнат. Мытье окон
раз в полгода должно быть
предпринято неважными
помощниками такими как мужья которые
склонны забывать о мыльном
порошке.
Рассказ об убийстве
Когда я убил ее я ударил
Клода ножом между его мощными
челюстями сжатыми плотно
вместе. Громко визжа несмотря на
фатальные последствия в
смертельной борьбе ослабевающий
когда он кашлял сплевывая
кровь из своих ушей.
Думаю, что такое нельзя читать без смеха. И все же
я испытываю некоторое восхищение. Я бы никогда не смог
написать: «Оказалось, что были видны заиндевевшие
деревья, изящно качавшиеся на фоне стены». Мне почти
хочется уметь так писать. Бедные поэты без конца
рифмуют розы с грезами, слезами и грозами, и их
высокоученой посредственности ни за что не придумать хорошей
306

строчки. В некотором смысле стохастический процесс
способен на большее; по крайней мере у него есть на это
шансы. Жаль, что мне не удалось самому додуматься до
слова deamy; у меня это так и не получилось.
Напишет ли вычислительная машина с помощью
грамматических правил и последовательности случайных чисел
текст, сколько-нибудь ценный с литературной'точки
зрения? Она могла бы, пожалуй, создавать свежие и забавные
«слова» и занятные отрывки текста. Можно, конечно,
вообразить машину, предназначенную для сочинения
детективных романов, в которую заложены типажи героев,,
а также определенная доза жестокости, загадочности,,
подозрительности и т. п., но до создания такой машины,,
сдается мне, еще далеко.
Для иллюстрации выводов, сделанных в связи с
музыкой и языком, можно воспользоваться примерами, взятыми
из изобразительного искусства. Совершенно случайный
рисунок, аналогичный совершенно случайному
звуковому колебанию или совершенно случайной
последовательности букв, с математической точки зрения наиболее
поразителен, наименее предсказуем. Совершенно случайный
Фиг. 13,6.
307

рисунок — увы, также и наиболее скучный; для нас они
все выглядят одинаково. Это иллюстрируется фиг. 13.5, на
которой разбросано 10 000 случайных черных и белых точек.
Бела Дьюлеш, занимающийся вопросами восприятия,
заставил электронную вычислительную машину создавать
рисунки из случайно разбросанных точек; это явилось
частью его работы по изучению стереоскопического зрения
и процесса опознавания. Он составил для машины
программу, по которой из таких случайных рисунков
отбрасывался некоторый элемент случайности. Сделал он это,
заставив вычислительную машину последовательно
исследовать различные группы из пяти точек, расположенных
в виде буквы X (на фиг. 13.6 эти точки обозначены
крестиками, другие точки — нуликами). Если центральная
точка имеет тот же цвет (черный или белый), что и точки 1
и 4 или 2 и 5, то ее цвет изменялся (вместо черного белый
или вместо белого черный). Это исключало возможность
появления черных или белых диагоналей, кроме тех
случаев, когда точки 1 и. 4 были белые, а точки 2 и 3
черные или наоборот.
Как видно из фиг. 13.7, уменьшая элемент случайности,
можно изменять рисунок и существенно улучшить его.
/ 2
О X О X О
3 4
О X о X О
о о о о о
Фиг. 13.6.
308

Фиг. 13.7.
Непредсказуемость (случайность) желательна с точки
зрения разнообразия или неожиданности, но, если мы
хотим, чтобы рисунок выглядел привлекательно,
необходима некоторая упорядоченность.
Секрет одновременного использования
упорядоченности и случайности искусству давно известен.
Очаровательный эффект в калейдоскопе достигается тем, что случайное
расположение кусочков цветного стекла отражается
несколькими зеркалами и получающийся при этом узор
имеет симметрию шестого порядка.
Много лет назад Марсель Дюшан, написавший картину
«Обнаженная, спускающаяся по лестнице», набросал
множество нитей на куски черной материи и вставил их
в рамку. Жан Тингули, швейцарский художник, с
помощью машины создал довольно неплохие упорядоченно-
случайные разноцветные произведения; одно из них висит
у меня в кабинете, и я не перестаю им любоваться. В
течение многих лет я хранил дощечку с каплями припоя
и собирался установить ее на эбонитовой подставке,
а затем подарить Музею современного искусства. В конце
концов я потерял и припой, и желание сделать
подарок.
309

Все, о чем говорилось в этой главе, дало мне своего
рода минимум философии искусства, в чем, спешу заверить
читателя, я не виню теорию информации. Это — минимум
философии, ибо здесь ничего не говорится о таланте или
гениальности, хотя только они определяют ценность
произведения искусства.
Для успеха в искусстве требуется не только талант
автора, но и .признание публики. Но на мнение публики
отказывают влияние, помимо самого произведения, еще
и другие факторы. Если кто-то заранее настроился против
какого-то произведения, то его уже ничто не заставит
изменить свое суждение. А вот заранее намеченное
желание что-то признать и хвалить может заставить
любоваться даже никудышной работой. Мне, например, нравятся
гимноподобные композиции, которые составили Бетти
Шеннон и я. Авторы зачастую отдают предпочтение хоть
π худшим, но собственным произведениям. Можно
заставить даже большую группу людей искренне восхищаться
модными вещами, которые живут не долго и, по-видимому,
не имеют большой ценности.
Публика, помимо всего прочего, в любом произведении
искусства хочет видеть собственный почерк автора, его
индивидуальность. Чтобы принести признание автору, его
творчество должно быть достаточно последовательным,
иначе его произведения невозможно будет отличить от
произведений других авторов. О какой искренней оценке
может идти речь, если, чтобы узнать, принадлежит ли
данная картина или музыкальное произведение
любимому художнику или композитору, необходимо сначала
посмотреть на этикетку или подождать объявления диктора?
Теперь предположим на минуту, что все шедевры,
которые мы теперь считаем работами целого ряда великих
мастеров, обладающих различными стилями, на самом
деле созданы задолго до них каким-то одним художником.
Это нас бы чрезвычайно поразило, но как бы мы ни
восхищались отдельными произведениями, едва ли мы смогли бы
по достоинству оценить его как художника. Вот Пикассо —
художник выдающийся, узнать его произведения нетрудно,
но уж очень он беспокойный. Он мастерски пишет в
различной манере, и все же именно эти бесконечные переходы
от одного стиля к другому не позволяют вынести
окончательного суждения о его творчестве. Насколько проще
дать оценку Матиссу!
310

Чтобы быть признанным, произведение искусства
должно быть понятно широкой публике. Мало кто из
американцев улыбнется даже очень хорошей шутке, сказанной
по-китайски, и даже десять китайских шуток вызовут
не больше улыбок, чем одна. Поэтому, чтобы быть
признанным, произведение искусства должно быть написано на
«языке», знакомом публике, иначе, как бы оно ни было
разнообразно, публике оно покажется скучным и
однообразным. Поразить нас может только контраст с тем,
что уже знакомо, а не хаос.
Некоторые авторы пользуются «языком», привитым
публике более ранними мастерами. К таким композиторам
относится Брамс. Другие же стараются научить публику
новому языку, как это делают, например,
импрессионисты. Естественно, что со временем язык искусства
изменяется и мы должны быть благодарны тем, кто говорит
для нас новые «слова» в искусстве. Однако не следует
сомневаться в оригинальности и самобытности таких
мастеров, как Бах и Гендель, которые говорят на языке
прошлого, но во весь голос.
Хотя язык с понятными словами и связями между
ними необходим искусству, одного языка недостаточно.
Механическое однообразие — очень скучное и печальное
зрелище. Лично я предпочитаю сюрпризы стохастической
прозы пресным виршам Оуэна Мередита. Возможно,
в какие-нибудь времена, когда наступит кризис в
искусстве, человечество вынуждено будет обратиться к
стохастическому искусству, чтобы уйти от набивших оскомину
творений ремесленников.
Ну вот и все о теории информации и искусстве.

Глава чети ρ над цата я
И СНОВА
ТЕОРИЯ ИНФОРМАЦИИ
Конечно, замечательно, когда новая идея способствует
решению самых разнообразных проблем. Но прежде всего
чтобы стоило уделять ей внимание, новая идея должна
быть четко обоснована и иметь ценность для какой-нибудь,
пусть даже очень узкой, области.
Один специалист по теории информации
раскритиковал меня за то, что я исследовал в этой книге
возможности применения теории информации в лингвистике,
психологии и искусстве. По его мнению, взаимосвязь теории
312

информации с этими предметами весьма слаба и даже
сомнительна. Зачем, спрашивает он, отвлекать внимание
читателя от тех областей, где теория информации
представляет очевидную ценность и важность, и
рассматривать то, о чем ничего определенного сказать нельзя?
Когда я писал эту книгу, то, с одной стороны,
чувствовал себя обязанным рассказать читателю о связи теории
информации в ее строгом и узком смысле с различными
областями, с которыми ее уже не раз связывали авторы
других работ. С другой стороны, я полагаю, что знание
теории информации поможет нам со знанием дела вести
разговор о некоторых проблемах лингвистики, искусства
и психологии или, на худой конец, удержит нас от
бессмысленных заявлений. Но, включая рассмотрение подобных
вопросов в книгу по теории информации, нужно знать
меру.
Было бы, конечно, неправильно утверждать или
полагать, что теория информации ценна главным образом
благодаря своим широким связям с различными
областями, такими, как язык, кибернетика, психология и
искусство. Считать так — значит повторять ошибки, сделанные
по отношению к другим важным открытиям.
Так, при жизни Ньютона его работа была затемнена
спорами и философскими рассуждениями, и поэтому
в течение многих лет после него она ассоциировалась
в умах людей с мнимой универсальностью, которая
только затуманивала ее реальную сущность. Эйнштейн сумел
более трезво посмотреть на вещи. Он сказал: «Разум,,
конечно, слаб по сравнению с теми задачами, которые ов
беспрестанно перед собой ставит». Когда Эйнштейн
говорит о вкладе Ньютона в науку, он замечает: «...и все же
цель была достигнута, наука о небесной механике создана,
подтверждена тысячи раз самим Ньютоном и теми, кто·
пришел после него».
Необходимо отдать должное, что со времен Ньютона его·
механика с успехом использовалась для решения или
нахождения путей решения проблем, о которых ни сам
Ньютон, ни его современники даже не подозревали, но она
не решила всех проблем науки, как некоторым
оптимистически настроенным философам, может быть, и хотелось.
В чем именно теория информации представляет
несомненную ценность, по-моему, ясно. Она охватывает понятие
скорости создания информации, или энтропии эргодиче-
31$

«кого источника сообщений, пропускной способности
канала с шумом и канала без шума, а также эффективного
кодирования сообщений, создаваемых источником,
которое позволяет передавать сообщения почти без ошибок
со скоростью, близкой к пропускной способности канала.
Мир, который мы понимаем благодаря теории информации
и который благодаря ей же представляет очевидную
ценность,— это мир систем электросвязи, главным образом,
тлир глубокого, обоснованного построения ж расчета
т?аких систем.
Заканчивая книгу, мне представляется разумным
отбросить всякие рассуждения о широких теоретических
возможностях (или невозможностях?) теории информации
ж задать такой вопрос: кроме того, о чем говорилось
в этой книге, что уже сделано и что делается специалистами
л о теории информации такого, что с математической точки
зрения хорошо обосновано, правильно, логично? Иными
словами, нас интересуют не занимательные рассуждения,
о которых можно еще долго спорить, нам нужно знать,
какие именно работы, проделанные специалистами, мы
должны признать серьезной наукой?
Здесь мы находим широкий круг с работ. Чтобы
полностью рассказать обо всех этих работах читателям,
потребовалась бы еще одна книга. Поэтому я ограничусь
кратким пересказом лишь некоторых работ по теории
информации, опубликованных после выхода в свет
основополагающей статьи Шеннона. Цель этой главы —
познакомить читателя с теорией информации в ее узком смысле
:и, если удастся, соблазнить его. заняться этой теорией
более глубоко.
Некоторые специалисты по теории информации
пытались применить понятие энтропии, характеризующей
скорость создания информации источником сообщений,
для решения несколько иных проблем, нежели проблемы
кодирования и передачи информации. Более честолюбивые
хотели придать этому понятию самостоятельный смысл,
«а более скромные готовы были согласиться и на меньшее,
на любое применение энтропии, лишь бы оно было
осмысленным и правильным.
До настоящего времени единственное удовлетворяющее
указанным критериям применение скорости создания
информации для решения проблемы, отличной от
проблемы эффективного кодирования, было найдено в 1956 году
Ш

Дж. Келли *. Он применил это понятие для исследования
случайных игр, в которых один из играющих (или
спорящих) секретно получает информацию относительно исхода
случайного события, которое является предметом спора.
Представим себе, например, что игральная кость уже
брошена (или уже закончились скачки) и что тот из
спорящих, кому оказывается покровительство, знает это,
а также знает кое-что и об исходе бросания (или скачек),
а тот, с кем он спорит, не знает ничего и честно основывает
свою игру на вероятности данного исхода.
Предположим, что первый игрок получает информацию
в виде битов, т. е. в виде ответов типа «да —нет».
Подсказчик, например, может полностью информировать первого
игрока о том, как выпала монета — орлом или решкой,
послав ему один бит информации. Или с помощью того
же бита информации подсказчик может уменьшить число
возможных исходов бросания кости для первого игрока
с 6 до 3, сообщив ему, какая выпала цифра —- четная или
нечетная.
Сделав это вступление, я предоставлю самому Келли
объяснить результат', процитировав из его книги
следующий отрывок:
«Если символы на входе канала связи представляют собой исходы
некоторого случайного события, по поводу которого заключено
пари, причем преимущество согласуется с вероятностями исходов
(т. е. преимущество «честное»), то один из игроков, приняв эти
символы, может воспользоваться этими сведениями так, чтобы его
капитал возрастал экспоненциально. Максимальная
экспоненциальная скорость роста капитала этого игрока равна максимальной
скорости передачи.информации по данному каналу. Этот результат
можно обобщить и на случай произвольного преимущества».
И так, мы нашли ситуацию, в которой понятие
максимальная скорость передачи информации имеет важное
значение, хотя здесь никакого кодирования не имеется
в виду. Ранее важность этого понятия предопределялась
только теоремой Шеннона, которая утверждает, что с
помощью соответствующих методов кодирования можно
было бы передать по данному каналу двоичные цифры с этой
скоростью и со сколь угодно малой вероятностью ошибки.
После N игр (пари) первоначальный капитал первого
игрока увеличится в следующее число раз:
r,NR
* New Interpretation of Information Rate, Bell System
Technical Journal, 35, 917 (1956).
315

где R — среднее число битов информации, передаваемое
первому игроку во время каждого пари (каждой игры).
Если это покажется слишком простым примером
использования выраженного в битах количества информации,
то я посоветовал бы читателю поразмыслить над тем, что
пока это единственное математически обоснованное
толкование количества информации, не связанное со скоростью
создания наиболее вероятных сообщений и с эффективным
кодированием этих сообщений для передачи.
Чтобы продвинуть вперед теорию информации, следует,
пожалуй, искать для нее новые области применения,
а не новые толкования скорости создания информации.
Так, в 1949 году К. Шеннон опубликовал длинную статью,
озаглавленную «Теория информации в секретных
системах» *. Сомнительно, чтобы эта статья существенно
помогла при расшифровке сообщений, но зато в ней впервые
была изложена теория шифрования (криптографии)
и дешифрации (криптоанализа), высоко оцененная
специалистами-шифровальщиками.
Пытаться в одной главе вникнуть в подробности
работы Шеннона — дело безнадежное, но я все же попробую
дать читателям некоторое представление о ее содержании.
Шифровальщик, перехвативший сообщение,
зашифрованное неизвестным ему способом, не знает двух вещей:
содержания перехваченного сообщения и метода,
использованного при его шифровании, так называемого ключа.
В некоторых случаях шифровальщик может иметь
некоторые сведения об общей схеме шифрования. Возьмем
до смешного простой пример и предположим, что он знает,
что при шифровании был использован шифр простой
подстановки, т. е. каждая буква алфавита, согласно некоторой
схеме, заменялась какой-то другой буквой.
Сообщение, подлежащее расшифровке, может
оказаться коротким или длинным. Если в сообщении содержатся
только три буквы, скажемQXD, то они могли бы заменять
слово AND или слово BET, или любое другое английское
слово, состоящее из трех различных букв. Но по мере
того, как сообщение становится длиннее, уменьшается
число возможных английских текстов, которые, будучи
зашифрованы при помощи шифра простой подстановки,
могли бы дать именно это сообщение; если шифрованное
* Bell System Technical Journal, 28, 656 (1949).
316

Фиг. 14.1.
сообщение достаточно длинное, то существует только одно
возможное сообщение данного источника.
Это уменьшение неопределенности относительно того,
какой текст мог бы дать исследуемое шифрованное
сообщение, Шеннон выразил через изменение ненадежности.
Ненадежность Ну(х)1 о которой говорилось в главе 8,
есть неопределенность того, какой именно текст, если его
зашифровать одним из обычных методов, даст
перехваченное шифрованное сообщение. Шеннон сумел вычислить
для различных шифров уменьшение ненадежности при
увеличении числа знаков в сообщении. Когда
ненадежность приближается к нулю, шифрованное сообщение
может иметь только одно «решение», и это сообщение
можно в принципе расшифровать единственным способом.
С какими еще проблемами сталкивались или
сталкиваются специалисты по теории информации? Некоторые
из этих проблем связаны с теоремой отсчетов. Специалисты
по теории информации используют теорему отсчетов для
отображения плавно изменяющегося, ограниченного по
полосе сигнала при помощи последовательности чисел —
отсчетов; отсчеты представляют собой значения
сигнала через каждые 1/2W сек, где W — ширина полосы
сигнала.
Отсчеты, отображающие определенный ограниченный
по полосе сигнал, можно брать различными способами,
например в разные моменты времени. Так, на фиг. 14.1
вертикальные сплошные и пунктирные линии являются
отсчетами, правильно отображающими данную функцию;
отсчеты можно было бы взять и во многих других точках.
Более того, необязательно даже брать отсчеты через
равные промежутки времени при условии, что среднее число
отсчетов, взятых в течение 1 сек, равно 2WI
Ограниченный по полосе сигнал однозначно
отображается 2W отсчетами в секунду только в том случае,
когда используются все отсчеты, начиная со взятых
бесконечно давно и кончая отсчетами, которые будут взяты
317

в бесконечно далеком будущем. Нам часто приходится
говорить о кусочке ограниченного по полосе сигнала, или
об ограниченном по полосе сигнале, который в любой
момент времени, за исключением только некоторого
промежутка времени, близок к нулю, и нам хотелось бы
уметь в сжатой форме посредством отсчетов описывать
такой кусочек сигнала или сигнал ограниченной
длительности.
Первым приходит в голову такой вопрос: можем ли
мы отобразить короткий сигнал или кусочек сигнала,
определив значения только конечного числа отсчетов,
ничего не сказав о предыдущих и последующих отсчетах?
Увы, подобная ограниченная последовательность отсчетов
отображает не только наш ограниченный по полосе
сигнал; через конечную последовательность отсчетов может
пройти множество различных ограниченных по полосе
сигналов, и если эти сигналы вне промежутка, в котором
берутся отсчеты, очень велики, то они могут сильно
отличаться внутри данного промежутка.
Можно было бы предположить, что этот недостаток
устранится, если определить некоторые последовательные
значения отсчетов, а все предыдущие и последующие
отсчеты положить равными нулю. Нам, естественно,
представляется, что определенный таким образом
ограниченный по полосе сигнал будет хорошо согласовываться со
значениями отсчетов там, где эти значения не равны нулю,
и что этот сигнал будет близок к нулю повсюду, где значе-
ния отсчетов равны нулю.
Пусть, например, значения всех взятых через равные
промежутки времени отсчетов, начиная с момента t0>
равны нулю, а значения отсчетов до момента времени t0
не равны нулю (показано точками на фиг. 14.2).
Поскольку значения отсчетов определены для всех времен как
в прошлом, так и в настоящем, то они действительно
определяют один-единственный ограниченный по полосе
сигнал. Будет ли этот сигнал близок к нулю в любой момент
времени, начиная с t0?
К великому сожалению, X. Поллак из лабораторий
Белл Телефон доказал, что это необязательно. Зададим,
например, такой вопрос: какая часть полной энергии
ограниченного по полосе сигнала, проходящего через эти
отсчеты, приходится на промежуток времени от момента
t0 до момента времени, который наступит через 10 секунд,
318

t
t—» to
Φ кг+ 14.2.
или 20 минут, или через 50 лет? Тут уместно напомнить,
что все отсчеты, начиная с момента t0l равны нулю.
Ответ неожиданный: независимо от того, с какого
момента времени положить отсчетй равными нулю,
энергия той части сигнала, которая начинается с этого момента
времени, может составлять почти половину полной
энергии сигнала. Таким образом, сигнал, начиная с
момента t0l может быть равен нулю во всех точках отсчета
и все же быть достаточно большим между ними.
Попытки использования теоремы отсчетов для точного
отображения сигналов ограниченной длины зашли в
математический тупик, и математики всеми силами стараются
найти какой-нибудь выход.
Работы Поллака и Слепяна указывают, что ни
отсчеты, ни синусоиды не годятся для отображения
ограниченных по полосе функций конечной длительности; они
использовали более подходящую для этих целей группу
функций, называемых эллиптическими.
Еще один вопрос, приводящий в замешательство
специалистов по теории информации, можно
проиллюстрировать на таком примере. Предположим, что при
телеграфной передаче сигналов положительный импульс
отображает точку, а отрицательный — тире. Предположим
далее, что какой-то шутник соединил провода в обратном
порядке и при передаче положительного импульса
принимается отрицательный, а при передаче отрицательного
импульса — положительный. Поскольку никакой
неопределенности введено не было, то, согласно теории
информации, скорость передачи информации осталась прежней.
И все же мы чувствуем, что нормальная работа системы
связи нарушена и система повреждена. Подобное
повреждение еще более опасно в телетайпной лидии, когда
319

телетайп вместо буквы W может посто.янно печатать А,
вместо буквы К печатать В и т. д.
Все это не давало покоя Шеннону, и он разработал
теорию, в которой было учтено изложенное
обстоятельство. В этой теории Шеннон вводит понятие критерий
точности. Так, если подстановке согласной буквы вместо
гласной приписать определенную меру искажения,
а подстановке одной гласной вместо другой — несколько
меньшую меру искажения, то с помощью этой теории
можно оценить меру искажения всего сообщения при наличии
как постоянных, так и случайных помех. Шеннон показал,
как свести искажения, которые появляются в результате
случайных ошибок при передаче по каналу с шумом,
к минимуму, и показал, сколько битов в секунду
требуется для передачи сигнала при заданном критерии
точности.
Шеннон проделал еще значительную работу,
связанную с передачей сообщений по каналам, в которых одно
сообщение может накладываться на другое и мешать
приему. Простейший случай — двусторонняя передача
сообщений по одному и тому же каналу между пунктами
А и 2?. Для упрощения предположим, что свойства канала
не зависят от направления передачи, т. е. от того,
передается ли сообщение от В к А или от А к В,
Вычертим, как показано на фиг. 14.3, график
пропускной способности канала при передаче от А к В
в зависимости от пропускной способности канала при
передаче от В к А. Рассмотрим два наиболее простых
случая. Первый случай — передача от В к А не мешает
передаче от А к В, а передача от А к В не мешает
передаче от В к А. Искомая кривая в этом случае состоит из
горизонтальной сплошной линии, которая определяет
пропускную способность канала от В к А, и вертикальной
сплошной линии, которая определяет пропускную
способность канала от А к В.
Второй случай — в каждый момент времени можно
вести передачу только в одном направлении — от А к В
или от В к А. Тогда, если передача от А к В ведется в
течение одной трети всего времени работы канала, то
от В к А можно вести передачу в течение двух третей
всего времени работы и т. д. Так как сумма пропускной
способности канала от В к А и пропускной способности
канала от А к В должна быть постоянной, то на фиг. 14.3
S20

t
f
ί
«Г
ос
I
ι
f
О
Отсутствие взаимных помех.
\"~^^
\ ^^Промежуточный
ч \ случай
\ \
\
Помехи ^ч \
максимальны \^ у.
\ \
\ \
\
V
^ Информация от В к А, бит в секунду ■ »
Фиг. 14.3.
этот случаи показан пунктирной прямой, проведенной
под углом 45°.
В промежуточном случае, когда имеются некоторые
взаимные помехи между передачей в том и другом
направлении, мы получим кривую, изображенную на фиг. 14.3
короткими штрихами.
Внимание специалистов по теории информации
продолжают приковывать и вопросы эффективного
кодирования. Теоретики постоянно охотятся за наиболее
эффективным кодом, исправляющим А ошибок при передаче
по дискретному каналу последовательности, состоящей
из В цифр, и они непрерывно ищут систематический
способ нахождения наилучших кодов, но пока ни того, ни
другого им сделать не удалось.
Специалисты по теории информации пытаются найти
также наилучшие коды для передачи информации по
непрерывному каналу с шумом. В 1959 году Шеннон
опубликовал длинную статью, в которой определил
верхнюю и нижнюю границы вероятности ошибки для кодов
различной сложности (т. е. длины), используемых при
' 321

передаче сигналов по непрерывному каналу с гауссовым
шумом.
Кроме того, инженеры, желая улучшить
электрическую связь, постоянно пытаются найти новые достаточно
простые для использования схемы кодирующих и
передающих устройств. В частности, они пытаются
закодировать телевизионные и звуковые сигналы как можно
меньшим количеством двоичных цифр в секунду; о методах,
которыми они при этом пользуются, говорилось в главе 7.
Значение такого эффективного кодирования будет
возрастать по мере того, как цифровая передача сигналов
(импульсно-кодовая модуляция, например) будет
становиться более обычным явлением. Его значение будет
возрастать также по мере того, как шифрование сигналов для
обеспечения секретности будет становиться более
обычным делом, ибо секретность лучше всего достигается
цифровыми методами.
Инженеры ищут еще простой и вместе с тем
эффективный код, который исправлял бы многочисленные ошибки,
возникающие при передаче сигналов по существующим
телефонным каналам. При передаче текста и деловых
и технических данных как в военной, так и в гражданской
областях все больше и больше используются цифры.
Телефонные провода проникли почти всюду. Многие
возможности передачи данных были бы реализованы гораздо
быстрее, если бы был способ их кодировать так, чтобы
их можно было передавать по существующим телефонным
каналам с достаточно малой вероятностью ошибки.
И наконец, как уже отмечалось в главах 9 и 10,
инженеры ищут более эффективные методы модуляции, нежели
AM и ЧМ, которые позволили бы передавать сигналы
на большие расстояния при малой мощности передатчиков.
Когда для передачи телевизионных и телефонных
сообщений между континентами будут использоваться
спутники, то почти наверняка для этого будет использован
один из методов широкополосной модуляции, при которой
требуется примерно в сто раз меньшая мощность, чем
при амплитудной модуляции. Так, передатчик мощностью
2 вт, установленный на спутнике, обеспечит передачу
телевизионного сигнала из Америки в Лондон или Париж.
Читателю эти вопросы, возможно, покажутся слишком
мелкими, не вдохновляющими по сравнению с теми
широкими горизонтами, которые открывает нам теория инфор-
322

мации. Может ли глубокое и любовное понимание природы,
которым полны работы французских импрессионистов или
голландских мастеров жанровой живописи, произвести
такое же впечатление, как ошеломляющая встреча
с новым и чуждым миром искусства, скажем японского?
А вот искусствовед, с любовью изучающий свой предмет,
вполне может восхищаться им не меньше, чем
восторженный дилетант. Нужно видеть и ценить свою область такой,
какая она есть на самом деле, а не судить о ней по тому,
что она вызывает в умах людей непосвященных. Мне
кажется, что моя книга имеет свои интересные стороны,
и я надеюсь, что не увел читателя слишком далеко от той
точки зрения на теорию информации, которой
придерживаются исследователи, работающие в этой области.
Несколько успокоив чувства, можно, пожалуй, и
закончить.

Приложение
О МАТЕМАТИЧЕСМИХ
ОБОЗНАЧЕНИЯХ
В этой книге читатель найдет довольно много разных
математических обозначений и формул. Это, пожалуй,
заставит его сказать, что книга эта —математическая.
Конечно, это так. Ведь теория информации — теория
математическая, а поскольку в этой книге излагается
математическая теория связи, то неминуемы и
математические выражения. Однако пусть читателя не пугают
использованные нами математические символы. Книга
наша могла бы содержать ровное столько же математики,
сколько в ней содержится сейчас, и в*то же время не
иметь ни единого символа или знака равенства.
Древние вавилоняне и индусы умели выполнять
многие математические операции, в том числе и некоторые
алгебраические, обходясь при этом лишь словами и
фразами. Математические обозначения появились много
позже. Вводятся они для упрощения математических
выкладок, и это действительно так для тех, кто с ними
знаком. Математические обозначения — это простенькие
значки, заменяющие длинные словосочетания, которые
без них пришлось бы непрерывно повторять. При этом
каждая рассматриваемая величина получает удобное
короткое «имя». Математические обозначения позволяют
сделать математические соотношения более краткими и
наглядными, так что становится возможным с одного
324

взгляда уловить зависимость между величинами, которые
в ином случае были бы разбросаны по всему предложению
(или предложениям), так что всю зависимость охватить
целиком было бы трудно.
Математические обозначения — это всего лишь
удобный способ записи математических выражений, наподобие
того, как нотами записываются звуки музыки. С помощью
математических знаков можно написать чушь, как,
впрочем, и с помощью*букв или нот. Есть графоманы, которые
пишут труды, полные математических обозначений, но
в которых нет ни грана математики.
В этой книге я старался изложить все наиболее важные
идеи словами. Но поскольку много легче и проще
понимать то, что записано кратко с помощью математических
знаков, я в большом числе случаев пользовался
математической формой записи. В ходе изложения я объяснял
многие математические обозначения, но они разбросаны
по всей книге, поэтому я решил свести их в одно место,
а заодно поговорить о них более подробно. Я рискнул
рассмотреть здесь еще несколько простых родственных
вопросов и обозначений, не использованных в данной книге,
в надежде, что они будут полезны и интересны для
читателя.
В первую очередь мне хотелось бы отметить, что числа,
а также другие понятия можно обозначать буквами. Так,
в главе 5 через Bj обозначена группа, или
последовательность, символов или знаков, например букв алфавита;
буквой / определяется, какая группа имеется в виду. Для
первод группы букв f могло бы быть равно единице,
а сама эта первая группа могла бы быть, например, AAA.
Для другого значения /, скажем 121, эта группа могла
бы быть ZQE.
Нам часто приходится складывать, вычитать, умножать
и делить числа. При этом иногда цифры заменяются
буквами. Вот примеры математической записи этих операций:
Ί
Сложение
2 + 3
a + d
Мы читаем запись а + d как «а плюс d». Под выражением
а + d мы понимаем сумму числа, обозначенного буквой а,
и числа, обозначенного буквой d.
325

Вычитание
5—4
Я —г
Мы читаем запись q — г как «q минус г».
3x5, или 3-5, или (3)(5)
их у, или и-у, или ир.
Если бы не было скобок, разделяющих цифры 3 и 5, то
эти две цифры можно было бы принять за 35 (тридцать
пять). Мы можем использовать скобки для разделения
любых величин, которые мы хотим перемножить. Мы
могли бы записать uv как (и)(у), но в этом нет
необходимости. Мы читаем (3) (5) как 3, умноженное на 5, но wy
не <ш, умноженное на у», а «иу», не делая паузы между
и и v.
Деление
6 :3, или у , или 6/3
—, или 1/р.
Мы обычно читаем Ир так: «единица на р», а не «единица,
деленная на р».
Величины, заключенные в скобках, считаются одним
числом, например:
(2+4) _ 6 «
3 ~У~^
(4+ 8) (2) =(12) (2) = 24
(а + Ь) с = ас + be
Мы читаем (а + Ъ) либо как «а плюс &», либо как
«сумма а плюс &», если первый способ может привести
к путанице. Так, если мы скажем «с, умноженное на а
плюс &», то это может означать са + δ, хотя в этом случае
правильнее было бы сказать «са плюс Ь». Если же мы
скажем «с, умноженное на сумму а плюс δ», то будет ясно,
что мы подразумеваем под этим с (а + Ь).
326

Таблица 16
Значение j
1
2
3
4
! 5
6
и т. д.
Соответствующая
буква
Ε
Τ
А
О
N
R
В этой книге часто использовалось понятие
вероятность. Мы могли бы сказать, например, что в некоторой
последовательности символов вероятность появления ;-го
символа есть ρ (/). Читается это «р от />.
Символами могут служить слова, числа или буквы.
Можно свести символы в таблицу; так, под различными
значениями / можно понимать различные числа,
приписанные соответствующим символам. Один из способов
установления такого соответствия между числами / и буквами
алфавита показан в. табл. 16.
Если мы захотим записать вероятность появления
какой-либо буквы, например iV, то, пользуясь этой
таблицей, напишем ρ (5), поскольку букве N в нашей таблице
соответствует число 5. Однако обычно пишут
просто ρ(Ν).
Что такое вероятность появления буквы? Это есть
отношение числа, выражающего сколько раз в длинной
выборке встретилась данная буква, к общему числу букв
в выборке. Так, из миллиона букв 130 000 будут
буквами Е, поэтому
„ ίτ?. 130 000 п , о
Иногда мы говорим о вероятности двух событий,
происходящих либо одно за другим, либо одновременно.
Например, обозначим переданную букву ж, а
принятую — у. Вероятность того, что будет передана буква χ
и принята у, запишется ρ (χ, у). Читается это выражение
как «р от #, у» (слово «запятая» не произносится, вместо
цее делается пауза). Пусть, скажем, передана буква W,
Щ

ai принята буква В. Вероятность данного исхода можно
было бы записать p(W, В). Вероятности других исходов
можно было бы записать ρ (Α, Α), ρ (Q, S), ρ (Ε, Ε) и т. д.
Под ρ (#, у) понимается любой из этих исходов.
Существуют также условные вероятности.
Предположим, я передаю букву ж. Какова вероятность получить
букву у? Эта условная вероятность записывается рх (у).
Читается: «р со значком χ от у». Многие авторы
записывают такую условную вероятность р(у\х); это можно
прочесть как «вероятность у при х». Я пользовался теми же
обозначениями, что и Шеннон в своей основополагающей
статье по математической теории связи.
Запишем теперь простое математическое соотношение
и попробуем его истолковать
Ρ (ж, у) = р(х)Рх(у).
Иначе говоря, вероятность совместного появления χ я у
равна вероятности появления #, умноженной на
вероятность появления г/, если известно, что появилось х.
Нам часто приходится складывать много чисел,
вероятностей и т. п.; это действие мы обозначаем греческой
буквой 2 (сигма). Пусть / — некоторое целое число, т. е. /
может быть 0, 1, 2, 3, 4, 5 и т. д. Предположим, что нам
надо записать
0 + 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8;
в сумме это равно 36. Записывается это так:
Σ/.
а читается данное выражение как «сумма / по всем / от /,
равного 0, до /, равного 8». Знак У^ обозначает
суммирование. Написанное под знаком суммы / == 0 означает, что
суммирование нужно начинать с 0, а / = 8, написанное
над знаком 2» означает, что остановиться надо на цифре 8.
Написанная справа от знака суммы буква / означает,
что в данном случае суммировать нужно сами целые числа.
Встречаются величины, для которых / — не более чем
порядковый номер. Таковы, например, вероятности
появления различных букв, представленные в табл. 17.
328

Таблица 17
Значение
j
1
2
3
4
5
6
7
8
9
10
И
12
13
I I

Соответствующая
буква
Ε
Τ
А
0
Ν
R
I
S
Η
D
L
F
G
Вероятность
появления
данной
буквы, ρ (j)
0,13105
0,10468
0,08151
0,07995
0,07098
0,06882
0,06345
0,06101
0,05259
0,03788
0,03389
0,02924
0,02758
Значение
j
14
15
16
I 17
18
19
20
21
22
23
24
25
26

Соответствующая
буква
Μ
и
G
Υ
Ρ
W
В
V
К
X
J
Q
ζ
Вероятность
появления
данной
буквы, ρ (j)
0,02536
0,02459
0,01994
0,01982
0,01982
0,01539
0,01440
0,00919
0,00420
0,00166
0,00132
0,00121
0,00077
Если бы мы захотели просуммировать эти вероятности
по всем буквам алфавита, то эту сумму записали бы так:
26
Σ ρ ω,
а читается это: «сумма ρ (j) по всем / от 1 до 26». Величина
этой суммы, естественно, равна 1. Для буквы Ε (/ = 1)
величина ρ (1) есть относительное число, показывающее,
как часто встречается эта буква, для буквы Τ (/ = 2)
то же относится к величине ρ(2) и т. д.; иначе говоря,
величины p(j) каждой буквы алфавита с номером /
характеризуют частоту появления соответствующей буквы
вообще в каком-то достаточно большом тексте.
Если просто написать
Σ/>(/).
то это будет означать сумму по всем возможным
значениям /, т. е. по всем /, которые хоть что-то означают.
Прочесть это можно как «сумма ρ (/) по /». Если / — буква
алфавита, то тогда это выражение означает, что нужно
329

сложить, или иначе говоря, просуммировать двадцать
шесть различных вероятностей.
Иногда нам встречаются выражения, в которые входят
две буквы, например i и /. Предположим, что нам нужно
просуммировать эти выражения по одному из индексов.
Пусть ρ (t, /) есть вероятность того, что вслед за буквой i
появится буква /, т. е. p(Q, V) есть вероятность появления
последовательности QV. Сумму мы запишем так:
Σ ρ (*,/·)·
Это выражение читается так: «сумма ρ от i, j по /». Иначе
говоря, нужно подставить все возможные значения /
и сложить вероятности. Отметим, что
Σρ(*>/)=ρ(0·
i
Прочтем это так: «сумма ρ от i, / по / равна ρ от г». Если
сложить вероятности того, что вслед за некоторой буквой
появится одна из возможных букв, то получится
вероятность появления первой буквы, поскольку каждый раз
за этой буквой следует всегда какая-нибудь буква.
Помимо сложения, вычитания, умножения и деления,
мы должны уметь обозначать и умноженце какого-либо
числа какое-то количество раз само на себя. Это можно
сделать, приписав справа вверху от перемножаемого
числа цифру, показывающую, сколько раз нужно произвести
умножение; называется эта цифра показателем степени:
2* = 2
«2 в первой (или 2 в первой степени) равно 2»; показатель
степени есть 1;
22 = 4
«2 в квадрате (или 2 во второй) равно 4»; показатель
степени 2;
23 = 8
«2 в кубе (или 2 в третьей) равно 8»; показатель степени 3;
24 = 16
«2 в четвертой равно 16»; показатель отепеци 4.
«W

Показателем степени может быть буква, например п;
выражение 2П, которое читается как «2 в п-ж степени»,
означает, что нужно умножить 2 само на себя η раз.
Выражение аЛ, которое читается как «а в п-ж степени»,
означает, что а нужно умножить само на себя η раз.
Чтобы получать логичные результаты, необходимо
положить
«а в нулевой степени равно единице», независимо от того,
каково число а.
В математике допускаются также дробные и
отрицательные показатели. В частности,
а~п = -1Г, или 1/αη.
Выражение а"п читается как «а в минус п-ж степени».
Отметим также, что
«а в п-ж степени, умноженное на α в т-ж степени, равно
а в степени η плюс яг». Так,
23χ22-8χ4 = 32 = 2δ
или
41/2х41/2 = 41 = 4.
Число, возведенное в степень 1/2, есть квадратный корень
из этого числа.
41/2 = Корень квадратный из 4 = 2.
Большие числа удобнее всего записывать с помощью
степени числа 10 или какого-либо другого числа:
3,5 х106 = 3 500 000.
Читается это так: «три и пять десятых, умноженное на
десять в шестой».
В настоящей книге широко использовалась еще
логарифмическая функция. Логарифмы могут быть по
различным основаниям. Кроме случаев, специально оговоренных
в главе 12, все логарифмы в этой книге имели основание 2.
S3I

Логарифм данного числа по основанию 2 есть степень,
в которую нужно возвести основание, чтобы получить
данное число. Логарифм числа χ по основанию 2
записывается в книге log χ * и читается «логарифм х».
Приведенное определение логарифма по основанию 2 можно
записать еще так:
21οδ* = *,
т. е. «2 в степени log χ равно χ». Например,
log8 = 3,
23 = 8.
А вот логарифмы других чисел по основанию 2:
X
1
2
4
8
16
32
64
log я
0
1
2
3
4
5
6
Следует отметить некоторые важные свойства
логарифмов:
log ab = log a + log Ь,
log у = log a—log b,
log dc — с log d.
Как частный случай последнего соотношения,
log2m = mlog2 = 7rc.
Логарифмы по основанию 2 используются только в теории
информации. Как правило, обычно пользуются
логарифмами по основанию 10 или по основанию е (е приблизитель-
* Обычно принята запись log2 я.— Прим. ред.
332

но равно 2,718). Если написать основания у знака
логарифма, то полезно отметить, что
log2x = (log, Ю) (logiox) = -{ggf,
log2a; = 3,321og10a;,
log2 χ - (log2 e) (log, a;) = -}!gf- = -~f ,
log2 s = 1,44 log* a? = 1,44 In #.
^Логарифм по основанию е называется натуральным
логарифмом и записывается In ж. Он имеет ряд простых
и важных математических свойств. Если, например, χ
много меньше единицы, то тогда приблизительно
In (1 + 2) = я.
Этим приближенным соотношением мы воспользовались
в главе 10.

ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА 5
ОТ АВТОРА
9
Глава 1. МИР И ТЕОРИЯ 13
Глава 2. ИСТОКИ ТЕОРИИ ИНФОРМАЦИИ S3
Глава 3. МАТЕМАТИЧЕСКАЯ МОДЕЛЬ 60
Глава 4. КОДИРОВАНИЕ И ДВОИЧНЫЕ ЗНАКИ 81
Глава 5. ЭНТРОПИЯ 96
Глава 6. ЯЗЫК И СМЫСЛ 129
Глава 7. ЭФФЕКТИВНОЕ КОДИРОВАНИЕ 161
Глава 8. КАНАЛ С ШУМАМИ 173
Глава 9. МНОГОМЕРНОСТЬ 196
Глава 10. ТЕОРИЯ ИНФОРМАЦИИ И ФИЗИКА 216
Глава 11. КИБЕРНЕТИКА 243
Глава 12. ТЕОРИЯ ИНФОРМАЦИИ И ПСИХОЛОГИЯ 267
Глава 13. ТЕОРИЯ ИНФОРМАЦИИ И ИСКУССТВО 291
Глава 14. И СНОВА ТЕОРИЯ ИНФОРМАЦИИ 312
Приложение. О МАТЕМАТИЧЕСКИХ ОБОЗНАЧЕНИЯХ
324

Дж. Пирс
СИМВОЛЫ, СИГНАЛЫ, ШУМЫ
Редактор Л. В. Г ЕС СЕН
Художник Г. А. Щетинин
Художественный редактор Я. Ф. Некундэ
Технический редактор ДО. #. Экке
Сдано в производство 18/П 1967 г.
Подписано к печати 10/VI 1967 г.
Бумага тип. № 1 84x108*732 = 5,25 бум. л.
17,64 усл. печ. л.
Уч.-изд. л. 17,09. Изд. № 2/3540
Цена 1 р. 07 к. Зак. 842
Темплан изд-ва «Мир», 1967 г., пор. № 68
ИЗДАТЕЛЬСТВО «МИР»
Москва, 1-й Рижский пер., 2
Московская типография №16
Главполиграфпрома Комитета
по печати при Совете
Министров СССР
Москва, Трехпрудный nep.f 9.

}
Книга наппсана в свойственной Джону Пирсу
манере. г)то математическая теорпя связп в популярном
изложении, а по только разговоры о ней. Для чтения
специальных знании и области техники связи не
требуется, необходимо лишь настойчивое желание попять
π разобраться... Автор беседует с читателем, заставляя
его думать, возражать н, наконец, логически
приходить к основным утверждениям теории. Делается это
мягко, по настойчиво. Порой автор тащит читателя
почти насильно, по затем читатель уже сам
прочитывает увлеченно страницу за страницей, которые будят
любопытство н манят неизведанным.
Из предисловия редактора перевода
проф. Б. П. Мишяшева