сигналов в этих случаях обратно пропорциональна числу позиций,
что позволяет эффективно подавлять «технические» боковые ле-
пестки.
ЛИТЕРАТУРА
1.	Вудворд Ф. М. Теория вероятностей и теория информации
с применениями в радиолокации. Пер. с англ. Изд-во «Советское радио»,
1955.
2.	Рихачек А. В. Разрешающие свойства импульсных последо-
вательностей. Пер. с англ. Труды института инженеров по электротехнике и
радиоэлектронике, 1964, № 2.
3.	Sherman Н. Some optimal signals for time measurement. Trana
IRE, 1956, IT-2, № 1.
4.	Coo k С. E. Pulse compression key to more efficient radar transmis-
sion. Proc. IRE, 1960, № 3.
5.	T и м и с Ц. Л., С а й т p и н А., Л э в и о л а М. А. Блок
сжатия импульсов для РЛС сопровождения. «Зарубежная радиоэлектро-
ника», 1964, №11.
6.	Т о р Р. К- Техника сжатия импульса с большим произведением
длительности на ширину спектра. «Зарубежная радиоэлектроника», 1963,
№ 12.
7.	Т е m е s С. L. Sidelobe suppression in a range channel pulse —
compression radar. Trans. IRE, 1962, MiL-6, № 2.
8.	К л а у д e p Д. P. и др. Теория и расчет импульсных радиолока-
ционных станций с частотной модуляцией. «Зарубежная радиоэлектроника»,
1961, № 1.
9.	Дифраико Ж. В., Рубин В. Л. Анализ искажений при об-
работке радиолокационного сигнала. «Зарубежная радиоэлектроника»,
1963, № 9.
10.	Ц и р л е р Н. Линейные рекуррентные последовательности. «Ки-
бернетический сборник», 1963, вып. 6.
11.	Хаффмеи Д. Синтез линейных цепей последовательного коди-
рования. Сб. ст.: «Теория передачи сообщений». Изд-во иностранной литера-
туры, 1957.
12.	Плоткин М. Двоичные коды с заданным минимальным расстоя-
нием. «Кибернетический сборник», 1963, вып. 7.
13.	Д ж о ш и. О верхних границах для кодов с минимальным расстоя-
нием. «Кибернетический сборник», 1960, вып. 1.
14.	Burker R. Н. Group synchronizing of binary digital systems.
Communication theory. Academic Press, 1953.
15.	Фрэнк P. Многофазовые коды с хорошими непериодическими
корреляционными свойствами. «Зарубежная радиоэлектроника», 1963, №12.
Раздел IV
ТЕОРИЯ ИНФОРМАЦИИ

Глава 15
ДИСКРЕТНЫЕ СИСТЕМЫ СВЯЗИ
§ 1. ОСНОВНЫЕ ЗАДАЧИ ТЕОРИИ ИНФОРМАЦИИ
Теорией информации называется раздел теории вероятностей,
в котором изучаются количественные закономерности, связанные
с получением, хранением, передачей и обработкой информации.
Возникнув в конце 40-х годов нашего века из практических задач
теории связи, теория информации в настоящее время широко ис-
пользуется не только в теории связи, ио и при изучении различных
процессов управления.
В дальнейшем ограничимся рассмотрением тех основных задач
теории связи, на которые дает ответ теория информации. С этой
целью выберем обобщенную модель системы связи и установим
типовые функции, выполняемые отдельными элементами.
Основной задачей любой системы связи является эффективная
передача различных сообщений от одного объекта или корреспон-
дента к другому. Эффективность передачи понимается в том смысле,
что через систему связи в течение заданного времени должно пере-
даваться как можно больше достоверных сведений.
Эта основная задача может решаться при помощи систем, разно-
образных по своему принципу действия и конструкции. Однако
в качестве обобщенной модели одноканальной автоматизированной
системы связи с применением вычислительных машин можно взять
функциональную схему, представленную на рис. 15.1. Данная схема
позволяет указать общие типовые функции, выполняемые отдель-
ными элементами, и установить их оптимальный характер. Обыч-
ная система радиосвязи (см. рис. 1) является частным случаем пред-
ставленной схемы.
Поясним назначение отдельных элементов. Под источником со-
общений понимается какой-либо объект или оператор, производя-
щий сообщения. Сообщение о состоянии системы или о каком-либо
событий может представлять собой любые сведения (речь, музыка,
607
изображение, текст, цифры, коды, команды и т, д.), подлежащие
передаче.
По своей форме сообщения можно разделить на три группы:
дискретные, непрерывные и смешанные.
Дискретные сообщения представляют собой последовательности,
составленные из конечного числа элементарных символов. Полный
набор элементарных символов, из которых составляются различ-
ные реализации сообщений, называется алфавитом.
Типичным примером использования дискретных сообщений яв-
ляется телеграфия. Здесь элементарными символами служат два
или несколько различных элементарных импульсов. В случае теле-
метрии, когда передаются результаты измерений некоторого пара-
метра, принимающего дискретный ряд оцифрованных значений,
Рис. 15.1. Функциональная схема одноканальной автоматизиро-
ванной системы связи.
под символами понимаются цифры. Причем в десятичной системе
счисления алфавит содержит десять цифр (0, 1, 2,	9), а в двоич-
ной системе — две цифры (0 и 1).
Непрерывные сообщения представляются функциями времени,
принимающими непрерывное множество значений. В качестве при-
меров можно указать радиотелефонию и телевидение, а также теле-
метрию (когда должны передаваться результаты измерений непре-
рывно изменяющегося параметра).
Отметим, что с некоторой погрешностью непрерывные сообщения
можно преобразовать в дискретные, например, при помощи кван-
тования. Характерным примером в этом отношении является пере-
дача непрерывных функций времени (в частности, речи) при помощи
кодово-импульсной модуляции.
Смешанные сообщения представляют собой разнообразные ком-
бинации дискретных и непрерывных сообщений.
Целью первого кодирующего устройства, которое условно мож-
но назвать кодировщиком сообщения, является представление лю-
бого сообщения в некоторой стандартной форме, например в виде
608
I последовательности символов алфавита, содержащего конечное
число элементов. Пусть закодированное сообщение на выходе ко-
тировщика представлено в виде соответствующей последователь-
ности двойных цифр. Естественно потребовать, чтобы такое пре-
образование было экономным, т. е. на каждое сообщение нужно
использовать в среднем как можно меньше двоичных цифр.
Второе кодирующее устройство (кодировщик сигнала) служит
для преобразования закодированного сообщения в сигнал, пере-
даваемый терез заданную линию связи.
Линия связи представляет собой среду, через которую передает-
ся сигнал от источника до пункта приема. Передача радиосигналов
в радиосвязи осуществляется через окружающее пространство от
передающей до приемной антенны, в электросвязи сигналы пере-
даются по проводам.
Совокупность устройств (второй кодировщик, линия связи,
первый деюдировщик), по которым проходят сигналы, можно на-
звать каналом.
При передаче через линию связи возможны различного рода
искажения сигнала. Наиболее характерные искажения в радиосвязи
обусловлены наличием естественных аддитивных помех, распро-
странением сигналов через турбулентную атмосферу и ионосферу
(замирания) и приходом сигналов в пункт приема по нескольким
лупам с равными временами запаздывания (многолучевость). В тео-
рии информации предполагается, что характеристики линии связи
заданы.
Из-за искажений сигнал на выходе линии связи не может быть
однозначно определен по входному сигналу и, следовательно, по
принятому сигналу можно лишь судить о вероятностях передачи
возможных сигналов. Задача кодировщика сигнала состоит в том,
чтобы осуществить такое преобразование закодированного сообще-
ния в сигнал, при котором ошибки определения правильного сооб-
щения на выходе заданной линии связи были бы минимальными.
Позже будет показано, что при некоторых условиях эти ошибки
можно сделать произвольно малыми.
Назначение первого декодировщика (декодировщика сигнала)
состоит в определении закодированного сообщения по сигналу,
принятому с выхода линии связи. В идеальном случае сообщение
на выходе декодировщика сигнала должно быть идентично закоди-
рованному сообщению на входе кодировщика сигнала. Если счи-
тать это условие выполненным, то функция второго декодировщика
(декодировцика сообщения) состоит в восстановлении нужного со-
общения по его закодированной стандартной форме.
Желательный вид сообщения на выходе второго декодировщика
не обязательно должен совпадать по форме с первоначальным сооб-
щением источника. Как форма представления сообщений, так и
ценность т&х или иных сведений определяется конкретным крите-
609
рием, зависящим от характеристик получателя сообщений. В целом 1
приемник по принятому сообщению должен наилучшим образом I
решить, какое было передано сообщение.	Я
В дальнейшем предполагается, что характеристики источника I
и получателя сообщений, как и линии связи, заданы. Так как ха- I
рактеристики получателя сообщений заранее заданы, то вопрос Я
об относительной ценности (значимости) отдельных сведений в тео- 1
рии информации обычно не рассматривается.	I
Из сказанного следует, что два кодирующих устройства пред- Я
назначены для преобразования сообщения в сигнал, способный Я
передаваться с минимальными искажениями через заданную линию 1
связи, а два декодирующих устройства преобразуют сигнал с вы- Я
хода линии связи в соответствующее сообщение, позволяющее при- 1
нять правильное решение.	
Применительно к обычным системам радиосвязи (см. рис. 1) 1
функции двух кодирующих устройств выполняет передающее 1
устройство, а функции двух декодирующих устройств — радио- I
приемное устройство. Однако в описанной функциональной схеме 1
(рис. 15.1) специально выделены два кодирующих и два Декоди- 1
рующих устройства с той целью, чтобы отчетливее подчеркнуть |
различие между двумя операциями кодирования — декодирования,
одна из которых определяется заранее заданными характеристиками
пары источник — получатель сообщения, а другая — характерис-
тиками линии связи. Целесообразность такого разделения может I
быть оправдана тенденцией широкого использования элементов я
вычислительной техники в различных современных системах пере- I
дачи информации.	я
Для сравнения различных систем связи между собой по их эф- я
фективности необходимо установить разумную универсальную меру, Я
позволяющую количественно оценивать как объем передаваемых 1
данных (сведений), так и способность системы связи правильно 1
передавать эти данные. В теории информации такая универсальная I
количественная характеристика, независящая от конкретной физи- I
ческой природы сообщений, определяется через информацию, со- I
держащуюся в одном символе относительно другого символа. Ойре- I
деление информации и ее простейшие свойства приведены в § 2. 1
Ценность введения понятия информации определяется двумя 1
основными теоремами, которые будут рассмотрены позже.	]
Первая из них касается операций, выполняемых кодировщиком I
сообщения. Грубо говоря, она гласит, что число двоичных цифр, I
необходимое в среднем для однозначного представления любого |
сообщения, равно среднему количеству информации, содержащейся 1
в сообщении.	1
Вторая фундаментальная теорема касается операций, выполняв- J
мых кодировщиком и декодировщиком сигнала. Ее содержание со- j
стоит в том, что при определенных условиях возможно кодировать ’
’5
ею
। декодировать сигналы таким образом, что вероятность ошибоч-
ного приема переданного сообщения будет произвольно малой.
В теории информации оказывается целесообразным раздельное
рассмотрение дискретных и непрерывных систем связи. В дискрет-
ной системе связи как реализации сообщения, так и реализации
> игнала представляют собой последовательности символов алфавита,
содержащего конечное число элементарных символов. В непрерыв-
ных системах связи реализации сообщения и сигнала рассматри-
ваются как некоторые непрерывные функции времени.
В данной главе будут рассмотрены основные положения теории
информации для дискретных систем связи. В гл. 16 эти положения
будут обобщены на непрерывные системы связи.
§ 2. КОЛИЧЕСТВО ИНФОРМАЦИИ. ОСНОВНЫЕ СВОЙСТВА
ИН ФОРМАЦИИ
Интуитивно мы считаем, что получаем информацию, когда узнаем
о событии, осуществление которого не было заранее предопределено.
Более того, кажется в известной степени разумным, что чем более
вероятно событие, тем меньше информации мы получаем, узнавая
о его действительном осуществлении. Перейдем от таких очевидных
качественных рассуждений
к холичестаенным опреде-
лениям и соотношениям
11—3].
Обозначим совокупность
возможных различных эле-
ментарных символов алфа-
вита на входе какого-либо
блока схемы рис. 15.1
через i = 1, 2, ..., д,
а совокупность выходных
элементарных символов —
через у7, j = 1, 2, ..., т
(рис. 15.2), Под символа-
Рис. 15.2. Возможные переходы входного
символа х / в разные выходные симво-
лы yj.
мп Xt можно понимать сим-
волы («буквы») алфавита источника сообщений, а под z/;— символы
закодированного сообщения. Можно также подразумевать под xt
символы закодированного сообщения, а под — сигналы на вы-
ходе кодировщика сигналов; xt—-сигнал на входе линии связи,
у- — сигнал на выходе линии связи и т. д.
Если рассматривать процесс передачи сообщений по отдельным
блокам, тс в простейшем случае он заключается в том, что из п
символов на входе блока выбирается некоторый символ а на вы-
ходе наблюдается символ z/y. На основании полученного (принятого)
символа у} нужно решить, какой символ xt передавался на входе.
611
Большая часть используемой нами информации сообщается по-
средством того или иного «языка», подчиняющегося определенным
статистическим закономерностям. Рассмотрим здесь простейший
случай, когда сообщения записываются при помощи п символов xt,
относительные частоты появления которых взаимно независимы и
полностью определяются априорными вероятностями p(xj). Разу-
п
меется, что У p(xj) = 1. В реальных сообщениях чаще всего бывает
не так (см. § 6). Однако строгий учет взаимной зависимости симво-
лов значительно усложнил бы последующее рассмотрение.
Из-за наличия помех и случайных искажений символы xt и yj
связаны неоднозначно, т. е. один и тот же передаваемый символ xt
может перейти в различные символы yt, и наоборот (см. рис. 15.2).
Поэтому можно говорить о совместных вероятностях p(xt,yj) по-
явления на выходе символа у,, если на входе был символ xt.
На основании теоремы умножения вероятностей (1.5.1) можем
написать:
Р (*i> yj)=р (xj) р (yf \xt) = p (у,) р (xi | у;).	(15.2.1)
Если известен физический механизм преобразования символа
xt в символ у7, то аппарат теории вероятностей позволяет вычислить
условные вероятности р (у7|х;) появления на выходе блока симво-
лов у., если на входе был символ хс Тем самым при известных апри-
орных вероятностях p(xj) будут определены вероятности p(Xi,yj).
Поэтому будем считать вероятности р(хг, yj) заданными. Очевидно,
что имеют место равенства:
И
(15.2.2)
Для придания общности последующим рассуждениям не будем
конкретизировать физический смысл символов (сообщений, сигна-
лов) х( и yf, а будем просто говорить о случайных событиях xt и yj.
Определим теперь меру количества информации, доставляемой
событием у, относительно события xt [3, 4].
С точки зрения лица, наблюдающего за событием Y, результат
появления конкретного исхода yj сводится к тому, что первоначаль-
ное незнание относительно появления события х,, которое харак-
теризовалось априорной вероятностью p(xj), заменяется на то не-
знание, которое остается после наблюдения у-. Это оставшееся не-
знание теперь полностью характеризуется апостериорной вероят-
ностью p(xjyj). Иначе говоря, наблюдение события у, изменяет
612
вероятность появления события с априорной р(х^ на апостериор-
ную p(xt\yj). Эта апостериорная вероятность равна
Р I уу) =
p(xhyj)
Р (Ур
Р (.*1, У/)
п
2 р(х;>у/)
<=1
1.	Представляется физически обоснованным, чтобы количество
информации относительно события xit доставляемое событием щ,
являлось функцией только вероятностей р(х;) и pix-tyj). Д,ля того
чтобы определить конкретный вид этой функции, нужно наложить
на нее некоторые дополнительные ограничения. Не касаясь строгого
математического вывода формулы для меры количества информа-
ции, основанного на ряде постулатов [3], мы сразу приведем опре-
деление количества информации, из которого эти постулаты полу-
чаются как следствия.
Определим количество информации /(хг; уу) относительно со-
бытия х,-, доставляемое событием у,-, как логарифм отношения апо-
стериорной вероятности p(xjt/,) к априорной р(х;):
(15.2.3)
Выбор основания логарифмов определяет единицу количества
информации. В технических приложениях чаще всего пользуются
логарифмами при основании два; это хорошо согласуется с приме-
няемой в электронных цифровых вычислительных машинах двоич-
ной системой счисления. При этом количество информации I изме-
ряется в двойных единицах (иногда для сокращения двоичную
единицу называют бит). При математических операциях с инфор-
мацией удобно пользоваться основанием логарифмов, равным числу
е = 2,718 ... В этом случае говорят о натуральных единицах ин-
формации. При основании логарифмов 10 информация измеряется
в десятичных единицах. С принципиальной точки зрения выбор
основания логарифмов не имеет значения, так как по известной фор-
муле log6 k — log ak log ba легко перейти от одной системы логариф-
мов к другой.
Натуральная единица информации в 1,443 раза больше двоичной
(log2e = 1,443), а десятичная единица больше двоичной в 3,322 раза
(log210 = 3,322). В дальнейшем, если особо не оговорено, будем
употреблять логарифмы при основании 2.
2.	Умножая числитель и знаменатель в формуле (15.2.3) на
p(z/ ), получим
(15.2.4)
613
Видно, Что мера количества информации является симметричной
функцией относительно xL и i/, т. е.
/М = /(У/>4	(15.2.5)
Следовательно, информация, доставляемая событием у, относи-
тельно события xit равна информации, доставляемой событием х,-
относительно события yj. Поэтому введенную нами меру количества
информации (15.2.3) можно назвать взаимной информацией двух
случайных событий относительно друг друга.
Структура правой части формулы (15.2.4) показывает, что ве-
личина 1(хг, yj с информационной точки зрения характеризует
меру статистической связи между двумя событиями хг и уг Дей-
ствительно, если события xz и yf статистически независимы, то
p(xt, Pj) = P(xi)P(yj) и /(х(;£/ф=0. При независимых событиях
результат наблюдения у^ не увеличивает знаний относительно со-
бытия хг.
3.	Из формулы (15.2.3) следует, что при фиксированной вероят-
ности p(xz) взаимная информация /(xz; yj) достигает максимума,
когда p(xj\yj) =1, т. е. когда у}- достоверно и однозначно опреде-
ляет xt. Это максимальное значение равно
I (xi) = — !°g Р (х<)-	(15.2.6)
Величина I(хг) называется собственной информацией события xt.
Она представляет количество информации, доставляемое самим
событием xt или любым другим, однозначно связанным с xt. Ясно,
что само событие доставляет о себе большее количество информа-
ции, чем какое-либо другое, статистически связанное с ним. По-
этому взаимная информация между двумя событиями всегда не пре-
вышает значения собственной информации каждого из событий, т. е.
I (хй yj) < I (xj)> I (*5 yj < I (У/)-
(15.2.7)
Заметим, что собственная информация всегда является положи-
тельной величиной, поскольку вероятность p(xt) заключена между
О и 1. Взаимная информация может иметь как положительное, так
и отрицательное значение. Она положительна, когда вероятность
совместного наблюдения двух событий xt и ^больше, чем если бы
эти события xt и yj были независимыми, и отрицательна в противном
случае.
4.	Предположим, что событие X/ статистически связано не только
с событием yjt но и с третьим событием zk, k= 1, 2, ..., I, причем -
известны вероятности p(xz, y/tzj). Нас интересует информация,
доставляемая событием у-, относительно х(-, когда предварительно
известно событие zk. Количество информации Z(xz; соответ-
ствующее этим условиям, называется условной взаимной информа-
цией .
Апостериорную вероятность после одного наблюдения будем рас-
сматривать как априорную вероятность для другого наблюдения.
614
В результате наблюдения zk (перед событием знание относительно
события xt изменяется с априорной вероятности р(х() на условную
вероятность р(хг]2к). После наблюдения yj это знание в свою оче-
редь изменится и будет определяться апостериорной вероятностью
Иначе говоря, в данном случае (при предварительном наблюде-
нии события zA) начальное незнание относительно появления собы-
тия характеризуется условной вероятностью p(x-^zk), а конечное—
апостериорной вероятностью р (x^ytz^. Поэтому логическим обоб-
щением выражения (15.2.3) является следующая формула для
условной взаимной информации:
I (*i> У] I = log
Р (*1 | yj гк)
P(xii zk)
(15.2.8)
Эту формулу можно обобщить на случай, когда предварительно из-
вестно не одно событие zk, а несколько событий.
5.	Взаимная информация удовлетворяет условиям аддитив-
ности, Рассмотрим информацию I (х^, у;гк), которая получается от-
носительно Х[ при совместном наблюдении двух событий у= и zk.
t/
yj^k) = log
(15.2.9)
Применительно к схеме рис. 15.1 можно рассматривать как
входное сообщение первого кодировщика, a yj и zk — как соответ-
ствующие символы, получающиеся последовательно на выходе этого
кодировщика. Тогда формула (15.2.9) определяет взаимную ин-
формацию, доставляемую двумя выходными символами tjj и zk отно-
сительно входного сообщения.
Умножая числитель и знаменатель в правой части формулы
(15.2.9) на р(х[у^, получим
. Р (xi I У1 zk)
н log 7(<; v;)' '	У^-	О5-2-10)
Следовательно, информация, доставляемая совместным появле-
нием двух событий у} и zk относительно события х(-, равна сумме
информации, доставляемой событием у} относительно х(, и информа-
ции, доставляемой событием гк относительно xt при условии, когда
событие pj считается известным. Этот результат хорошо согласуется
с нашими интуитивными представлениями об информации.
Так как по физическому смыслу порядок следования символов у-
и zk не должен иметь значения, то формулу(15.2.10) можно записать
в другом виде:
1(^1 У/2а)-/(хд zft)+Z(xz; yj\zk\	(15.2.11)
615
Если сложить левые и правые части формул (15.2.10) и (15.2.11),
то получим выражение, полностью симметричное относительно
и zA:
2	Уj)(Xl > Z^)-{-I(Xi; У] I 2а) -|~
+ I (х,; zk | уу)].
Выше указывалось, что взаимная информация обладает свой-
ством симметрии. Поэтому взаимную информацию (15.2.10) можно
рассматривать как информацию, доставляемую событием xt отно-
сительно событий yj и zk. Меняя порядок символов в формуле
(15.2.11), можем написать
I(УуXi) = I (у/, х^ 4-Z (zk; х( | уу). (15.2.13)
Формулы (15.2.11) и (15.2.13) позволяют выразить взаимную
информацию сложных событий через информацию более простых
событий. Например:
I (xi ил; у} ^) = I (xi и*; y}\+I(Xi иа; | уу) = / (xz; уу.) 4.
+ Циа; yj\Xi) + I(xt; v? |уу) + I(иа; v?lxiyj. (15.2.14)
6.	Нетрудно проверить, что если события xt, и события иа,
V;i статистически независимы, т. е.
p(Xi, у}, Ua, v?)=p(xh yf)p(ua, ц₽),	(15.2.15)
то в правой части формулы (15.2.14) второй и третий члены равны
нулю, а условная взаимная информация, представленная последним
членом, совпадает с безусловной информацией. Следовательно,
применительно к независимым событиям из формулы (15.2.14) полу-
чаем следующее условие аддитивности взаимной информации:
I(XiUa; yjV$) = I(Xi; yj)-[-I(ua; vfi. (15.2.16)
Эта формула допускает простую интерпретацию, если рассма-
тривать Xi и «а как независимые символы на входе двух самостоя-
тельных каналов, а у}- и — как соответствующие им выходные
символы. Тогда формула (15.2.16) гласит, что информация, достав-
ляемая парой выходных символов о паре входных символов, равна
сумме информаций, доставляемых каждым выходным символом
о своем входном символе.
7.	По аналогии с условной взаимной информацией можно ввести
условную собственную информацию. Условная собственная инфор-
мация I(xi\zh) события Xi при известном событии zk определяется
формулой
/ (Xi \Zk)=— log р (Xi I zk).
(15.2.17)
616
Условную собственную информацию можно интерпретировать
или как максимальное количество информации, которое способно
доставить само событие х(- при известном zk, или же как количество
информации, которое должно доставляться некоторым другим собы-
тием, позволяющим однозначно определить х,- при известном zk.
Формулы (15.2.3), (15.2.5), (15.2.6) и (15.2.17) позволяют выра-
зить взаимную информацию через собственную информацию:
/ (*«; У]) = I (*/) — I (xt j у:) = I (у) — I (у | Xi). (15.2.18)
ф	* J	tr	1
Видно, что взаимная информация, доставляемая событием у}
относительно х(-, равна разности между количеством информации,
требуемым для определения х;- до и после того, как стало известно
событие У]. Эта взаимная информация равна также разности между
количеством информации, необходимым для определения до и
после того, как стало известно событие х,.
8.	На основании формулы (15.2.4) можно написать
I	1 (xi) + / (У7) — I (Х1У/)-	(15.2.19)
Здесь 7(xzz/y) — собственная информация совместного события х.у],
равная
или
/ (X,- у7)	— log р (х; уу)
1 (xi yj) - I kxi)-\-I (у,) — /(*/! у,).
(15.2:20)
(15.2.21)
Формула (15.2.21) показывает, что собственная информация
сложного события х,У] равна количеству информации, необходимому
для определения события хг-, плюс количество информации, требуе-
мое для определения события yj независимо отх,, минус количество
взаимной информации между событиями хг- и р-.
9.	Определим теперь среднее значение взаимной информации
Кх1уУ1) по множеству событий X = {х,}, i — 1, 2.п, при усло-
вии, что событие р, остается неизменным, равенством
/(хг;Уу)р(хг | у7) =
п
У/) log
(15.2.22)
Величина I (X; у}) характеризует среднее количество информа-
ции, доставляемое принятым символом у. относительно множества
всех передаваемых символов X. Покажем, что эта информация не
может быть отрицательной, т. е.
7(Х; у,)>0,	(15.2.23)
617
причем знак равенства имеет место в том и только в том случае,
когда события X и событие уj статистически независимы.
Для доказательства воспользуемся следующим неравенством
(рис. 15.3):
In U) W — 1,
(15.2.24)
Из формулы (15.2.22) имеем
п
Ъ)In log е < 2 Ip (*Л — Р (*d У/)11о§ е= °,
7	i=l
так как
Из формулы (15.2.22) видно, что знак равенства в (15.2.23) имеет
место при условии р(х(\у) = р(Х/), i = 1, 2, .... п, т. е. когда собы-
тия X и событие у- статистически
Рис. 15.3. Графическая иллюстра-
ция неравенства lnw< 1Л
независимы.
Если понимать под X любое из
сообщений, которое может быть
передано, то неравенство (15.2.23)
говорит о том, что факт приема
символа yj всегда доставляет по-
ложительную (точнее, неотрица-
тельную) информацию о возмож-
ных передаваемых сообщениях.
Чем больше эта информация, тем
лучше приемное устройство.
Применяя аналогичные рас-
суждения, можно убедиться, что
среднее значение взаимной инфор-
мации по множеству событий
Y =	/ = 1. 2, .... т, при
фиксированном событии Xi также
удовлетворяет условию (15.2.23):
т
/ (х,-; У) = 2 Р & I *<)log ЧдД* > 0-	(15.2.25)
/=1 J
10. Определим полное среднее количество взаимной информа-
ции в множестве событий Y относительно множества событий X
формулой
618
п т
I (X; У) = 2 2 Р Ъ) 1о§
z=i /=1
Р (*i I yj)
Р (Xi)
(15.2.26)
Величина. /(X; У) характеризует количество информации, ко-
торое содержится в среднем в множестве принимаемых символов
относительно множества передаваемых символов до того, как был
фактически передан какой-либо определенный символ. На практике
наибольший интерес представляет именно среднее количество ин-
формации /(X; У), а не количество взаимной информации /(х,-; у/)
в некотором определенном принимаемом символе относительно
какого-то определенного передаваемого символа.
Путем усреднения формул (15.2.5), (15.2.10) и (15.2.13) по мно-
жеству соответствующих событий для полной взаимной информации
получаются следующие соотношения:
/(Х;У)-/(У;Х)>0;
/(Х;У7) = /(Х;У)+/(Х; Z | У);
(15.2.27)
(15.2.28)
(15.2.29)
/(У7;Х) — 7(У;Х)
I(Z-, Х|У).
§ 3. ЭНТРОПИЯ И ЕЕ СВОЙСТВА
В § 2 указывалось, что собственная информация (15.2.6) сообще-
ния Xi представляет то количество информации, которое необхо-
димо для однозначного определения этого сообщения. По аналогии
со средней взаимной информацией, определим среднюю собственную
информацию формулой
п	п
ЦХ) = 2	— 2 Р (^) log р (xf) = Я(Х). (15.3.1)
i = 1	z ~ 1
Средняя собственная информация /(X) характеризует то коли-
чество информации, которое необходимо в среднем для определения
любого частного сообщения из множества X возможных передавае-
мых сообщений.
В литературе величину /(X) называют энтропией дискретной
случайной величины X и обозначают через Н(Х). Энтропию можно
истолковать как количественную меру неопределенности о сообще-
нии до его приема, т. е. как то количество информации, которое
должно быть в среднем получено для опознавания любого сообще-
ния множества X.
619
Энтропия не может быть отрицательной величиной, так как J
собственная информация /(х) = — logp(x.) > 0. Отметим, что |
lim (—plogp)=0, —plogp—0 при р~1.	1
Поэтому энтропия Н(Х) равна нулю лишь в том случае, когда одна j
из вероятностей р(л,), i == 1, 2, ..., л, равна единице, а все осталь- 
ные равны нулю. Этот результат хорошо согласуется с физическим Я
смыслом энтропии как меры неопределенности: действительно. я
в этом случае может передаваться только одно сообщение, которое 
заранее достоверно известно. Прием такого сообщения (достовер-* Я
ного) не доставляет получателю никакой информации.	Я
1.	Покажем, что энтропия Н(Х) удовлетворяет неравенству' 
Н (X) < log п,	(15.3.2) ]
где п — число возможных событий xt (сообщений и т. п.). Здесь 1
знак равенства имеет место тогда и только тогда, когда все события .|
равновероятны, т. е. р(х() = 1/n, i = 1, 2, .... п.
Рассмотрим разность

n
2 P (Xi) log
n
n
На основании неравенства (15.2.24) можем написать
п
Я (X) — log п
— 1 loge
n
П
Р(Х;) loge —0,
n
так как ^p(x£) = 1. Отсюда сразу получаем неравенство (15.3.2),
причем из доказательства следует, что знак равенства относится
лишь к случаю, когда w = 1/пр(х') ~ 1. При этом энтропия дости-
гает максимального значения
(15.3.3)
Если рассматривать х£ как элементарные символы алфавита,
то неравенство (15.3.2) показывает, что количество информации,
доставляемое в среднем одним символом алфавита, будет максималь-
ным, равным логарифму числа символов алфавита, когда все сим-
• 5
620
волы являются равновероятными. По этим соображениям величину
Нп(Х) можно назвать информационной емкостью алфавита. Оче-
видно, что емкость алфавита, состоящего из двух равновероятных
элементарных символов, равна одной двоичной единице, если осно-
вание логарифмов взято равным 2.
Обобщая формулу (15.2.17), введем среднее значение условной
собственной информации
л т
7(Г|Х)=— s 5 p{*i, у,) log р (уу | хг) — Я (У | X).	(15.3.4)
£ = 1 у — 1
Величина 1(Y\X) называется условной энтропией множества со-
бытий Y при данном множестве событий X и обозначается H(Y[X).
Энтропия множества совместных событий XY определяется путем
усреднения выражения (15.2.20):
Если под знак логарифма подставить очевидное соотношение
(15.2.1), то формулу (15.3.5) можно представить в другом виде:
И (XY) ^H(X)-\-H(Y\X).	(15.3.6)
2.	Докажем, что для условной энтропии справедливо нера-
венство
/7(У|Х)	//(У),
(15.3.7)
где знак равенства имеет место лишь в том случае, когда события
и статистически независимы, т. е. р(у/х{) :p(yj) при любых воз-
можных индексах i и /.
Для доказательства рассмотрим разность
H{Y\X) — H{Y) = 2 £p(xz,yy)log—yjy.
z = l /=1	Р\У]\^1)
Воспользовавшись соотношением (15.2.24), можем написать
л ш
Отсюда получаем неравенство (15.3.7), причем из доказательства
следует, что знак равенства имеет место лишь при условии
= р(.У/)1р(У)\х1') -- 1.
3.	Применяя аналогичное доказательство, можно убедиться
в правомерности соотношения
Н (Z I ХУ)< Н (ZI У),	(15.3.8)
621
где знак равенства имеет место тогда и только тогда, когда при лю-
бом события zk статистически не зависят от Xi, т. е. p(zA|x;t/,) =
= Р(Ш).
Соотношения (15.3.7), (15.3.8) играют важную роль при рассмо-
трении вопросов кодирования сообщений. Если xt, у, и zk— по-
следовательно следующие элементарные символы кодовых комбина-
ций (кодовых слов) на выходе кодировщика сообщений, то среднее
количество информации, которое может доставить символ zA, будет
только уменьшено, если символ zk будет зависеть от предыдущих
символов, т. е. если условная вероятность	будет отли-
чаться от вероятности p(z^). В частности, емкость алфавита, исполь-
зуемого на выходе кодировщика, может быть только уменьшена за
счет введения любых внутренних связей между элементарными кодо-
выми символами.
Выразим среднюю взаимную информацию через энтропии^ Для
этого нужно воспользоваться формулами (15.2.26), (15.3.1),
(15.3.4), (15.3.5) и учесть очевидные соотношения (15.2.1) и (15.2.2).
После несложных преобразований получим:
(1Ь.3.9)
(15.3.10)
I (X- Y) = H (Х)+Н (Y) — Н (ХУ),
7(Х;У) = Я(Х)-Я(Х|У),
/(X; У) = H(Y) — H(Y\X).
Кроме этого, согласно формуле (15.2.7) имеем
/(Х;У)<Я(Х), 7(Х;У)<Я(У).
Формулы (15.3.9)—(15.3.11) позволяют дать три различные ин-
терпретации средней взаимной информации. Согласно (15.3.9)
средняя взаимная информация равна разности между средним ко-
личеством информации, необходимым для определения событий
X и У по отдельности (как если бы они были статистически неза-
висимыми), и количеством информации, требуемым для определе-
ния множества совместных событий ХУ. Как следует из (15.3.6),
для взаимно независимых событий X и У взаимная информация
равна нулю /(X; У) = 0, так как в данном случае H(XY) = Н(Х) 4-
+ H(Y). Поэтому величина /(X; У) характеризует меру статисти-
ческой связи между событиями X и У.
Формулы (15.3.10) и (15.3.11) приобретают простое физическое
содержание, если рассматривать X; как передаваемые элементар-
ные символы сообщения в системе связи, подверженной действию
помех, a yj—как элементарные принимаемые сигналы. В этом
случае формула (15.3.10) показывает, что средняя взаимная инфор-
мация /(X; У) равна разности между средним количеством инфор-
мации, необходимым для определения X перед и после приема У.
При этом энтропия Н(Х) характеризует среднее количество пере-
данной информации, величина 7(Х; У) — среднее количество при-
622
Рис. 15.4. Энтропия двоичного ал-
фавита как функция вероятности
одного из символов.
пятой информации о переданном сообщении и условная энтропия
Я(Ж) --среднее количество потерянной информации из-за влия-
ния помех. Величина H(X\Y) характеризует неопределенность
(неоднозначность) относительно X, остающуюся после приема Y,
т. е. степень скрытности передачи.
Формула (15.3.11) выражает среднее количество принятой ин-
формации как разность между средним количеством информации,
доставляемой фактически приня-
тыми сигналами, и средним коли-
чеством информации, содержащей-
ся в принятых сигналах при
условии, когда передаваемые сооб-
щения заракее известны. Величина
H{Y\X) определяется структурой
помех и характером их взаимодей-
ствия с сигналом. Поэтому Н(у\Х)
часто называют «шумовой энтро-
пией».
В заключение приведем простой
пример. Пусть имеется система,
через которую передаются два
возможных значения случайной
величины X: хх — 0 и л'2=1, при-
чем априорные вероятности пере-
дачи равны соответственно
p(xi) р, p(xz)
- 1
Воспользовавшись формулой (15.3.1), находим энтропию такого
сообщения:
Н (X) - - [р log р+(1 - р) log (1 - р)].	(15.3.13)
Зависимость энтропии Н(Х) от вероятности р представлена на
рис. 15.4.
Убеждаемся, что энтропия всегда положительна, достигает
максимального значения, равного одной двоичной единице, при
равновероятных значениях и кривая симметрична относительно
прямой р = 1/2.
Предположим теперь, что на выходе системы воспроизводятся
два значения Y : ух — 0 и j/2= 1, причем из-за наличия помех
вероятность безошибочного приема любого переданного значения
равна 1 — Ре, а вероятность ошибки Ре (рис. 15.5), т. е.
p(yiki)=i—р(уМ=Ре;
Р(У2\х^=Ре, р(у2 х2)-1~~Ре.
Такой канал передачи информации можно назвать двоичным (би-
нарным) симметричным каналом.
623
Вычислим среднюю взаимную информацию, воспользовавшись
формулой (15.3.11). Для этого предварительно найдем вероятности
Р(Уи и Р(Уз)- На основании второй из формул (15.2.2) имеем
Р (У1)=Р (*1) Р (У! | Xj)+p (х2) р (У11 х2)=р — 2р Ре+Ре,
Р (Уг) =^Р Ui) р (у2 | xj) +р (х2) р (у2[ х2) — 1 — (р — 2рРе-\-Ре).
Поэтому
Я (У) = - [(р - 2рРе+Ре) log (p-2pPe+PJ+
+ (1 — р+2рРе — Ре) log (1— р\-2рРе ~ Ре)].
(15.3.14)
Можно убедиться, что энтропия H(Y) как функция р достигает
максимума, равного одной двоичной единице, при р = 1/2..
р(х2}^р;х
yffP(yihp+Pe‘ZpP?
У2\Р(У2>1-Р(У1)
Рис. 15.5. Пример двоичного симметричного канала.
Запишем формулу (15.3.4) для условной
виде:
энтропии в следующем
Н (У I X) = — 2 р (Xi) 2 р (у, | xz.) log р (у  ] Xi),
i i
Подставив отдельные величины, получим
Я(У|Х) = — [(1 —Ре) log (1 —.PJ+P, log PJ. (15.3.15)
Условная энтропия H(Y\X) для бинарного симметричного канала
вовсе не зависит от априорной вероятности р.
Если положить р = 1/2, то формула (15.3.11) в данном случае
принимает вид:
ЦХ- Y) = I + [(1 - Р,) log (1 - Р.) + Р, fog PJ [^]. (, 5.3 J 6)
График зависимости информации /(X; У) от вероятности ошибки Р
приведен на рис. 15.6.	е
624
Рис. 15.6- Зависимость передавае-
мой информации в двоичном сим-
метричном канале от вероятности
ошибки.
Формула (15.3.16) показывает, что из-за действия помех среднее
количество икформации, доставляемое приемом одного символа,
уменьшается на величину шумо-
вой энтропии 7/(У|Х).
Пусть, например, Ре = 0,01,
т. е. присутствующий в канале шум
вносит ошибки, так что в среднем
один символ из 100 принимается
неверно (0 вместо 1 и 1 вместо 0).
В данном случае /(Х;У) =
= 0,919 дв. ед./символ.
Интересно отметить, что если
процент ошибок возрастает до
50%, то значение Н(У) остается
неизменным, a H(Y\X) возрастает
до 1 дв.ед./символ. В этом случае
среднее количество передаваемой
информации оказывается равным
нулю, т. е. не передается никакой
информации.
При —1 (наличие 100% ошибок) передаваемая информация,
как и в отсутствии помех (Ре = 0), равна 1 дв.ед./символ. Хотя
в этом случае с вероятностью единица xt=pyj, i = 1,2, однако легко
по принятому символу определить переданный: надо только вместо
0 читать и наоборот.
§ 4. ЭКОНОМНОЕ КОДИРОВАНИЕ СООБЩЕНИИ
№
Полные сообщения, при помощи которых передается информа-
ция, обычно строятся на том или ином формализованном языке.
Все различные элементарные символы, из которых составляются
сообщения, представляют алфавит сообщения. Так, если сообще-
ния записаны на русском языке, то алфавит содержит 33 буквы
русского алфавита, на латинском языке — 26 букв латинского ал-
фавита и т. д. Аналогами букв в устной речи являются фонемы —
характерные звуки, соответствующие отдельным буквам.
Во многих случаях оказывается выгодным первоначальное со-
общение источника представить в другом виде, т. е. при помощи
другого алфавита. Для этой цели в схеме рис. 15.1 предусмотрен
кодировщик сообщения, назначение которого состоит в преобразо-
вании входного сообщения в последовательность символов интере-
сующего нас алфавита.
Правило, сопоставляющее каждому элементарному символу со-
общения некоторую комбинацию символов другого алфавита, на-
зывается кодом, а сама операция перевода полного сообщения в по-
21 Зак.245	625
следовательность символов другого алфавита — кодированием со
общения.
Таким образом, кодировщик преобразует сообщения, представ-
ленные в виде определенных последовательностей символов алфа-
вита сообщения, в комбинации кодовых символов. Эти комбинации
символов алфавита кода, представляющие кодовые обозначения
соответствующих элементарных сообщений, будем называть зако-
дированными сообщениями или просто «кодовыми словами».
Коды, использующие только два различных элементарных сим-
вола (0 и 1), называются двоичными кодами; коды, использующие
три различных элементарных символа, — троичными кодами и т.д/
В настоящее время наиболее широко используются двоичные коды,
так как для них аппаратура кодирования и декодирования полу-
чается наиболее простой, дешевой и надежно работающей. В част-
ности, они применяются при вводе информации в электронные циф-
ровые вычислительные машины, а также в радиотелеграфии (код
Бодо). Практическая реализация двух элементарных символов 0 и 1
может быть различной (пауза и посылка тока, посылка тока в одном
и противоположном направлениях, гармонические колебания с дву-
мя разными частотами и др.).
Одно и то же элементарное сообщение можно закодировать раз-
ными способами. Поэтому возникает вопрос о наивыгоднейших
(оптимальных) способах кодирования. Естественно считать, что
наивыгоднейшим является такой код, при котором, во-первых,
сохраняется информация, содержащаяся в сообщении, и, во-вто-
рых, на передачу элементарного сообщения затрачивается мини-
мальное время (или, что то же самое, минимально возможное число
элементарных кодовых символов заданной длительности). Первое
требование по существу определяет обратимость операции кодиро-
вания, а второе — экономность кода.
Поясним эти два требования к наивыгоднейшему коду. Очевид-
но, что при кодировании, как и при любом другом преобразовании,
можно лишь сохранить информацию, содержащуюся в сообщении,
но нельзя увеличить ее. Закодированное сообщение будет сохранять
первоначальную информацию при условии, если кодовые слова раз-
личимы и однозначно связаны с соответствующими первоначальны-
ми сообщениями. Способ кодирования, при котором не происходит
потери информации, можно назвать обратимым в том смысле, что,
применив к кодовым словам обратную операцию (декодирования),
можно восстановить первоначальное сообщение также без потери
информации.
Рассмотрим простейший ансамбль N взаимно независимых
элементарных сообщений ui, i = I, ..., N, имеющих априорные
вероятности передачи p(ui). Предположим, что мы хотим закоди-
ровать каждое элементарное сообщение при помощи последователь-
ности символов (кодовых слов) алфавита кода, содержащего L раз-
личных символов Vj, j= 1, ..., А, где L<N. При L<N нельзя каж-
626
дое элементарное сообщение однозначно представить одним с&У'
волом алфавита кода, а приходится использовать несколько chnp
волов.
Заметим, что если алфавит содержит L символов, то число М
различны! последовательностей, содержащих по п символов, равно
М = Ln-	(15.4.1)
Действительно, возможны L различных последовательностей, со-
держащих по одному символу, а именно, L символов алфавита.
Прибавление к каждому из этих символов любого другого дает L2
различных последовательностей р = 1............L; v — 1, ..., L,
содержащих по два символа, и т. д.
На основании формулы (15.4.1) наш ансамбль различных эле-
ментарных сообщений можно однозначным образом закодировать
припомощиМ различных кодовых слов,содержащих поп символов,
где п — наименьшее целое число, при котором выполняется нера-
венство
Ln^N.	(15.4.2)
Различным значениям L и п будут соответствовать разные коды.
Так, например, для однозначного представления 32 букв рус-
ского алфавита двоичным кодом нужно иметь 26 = 32 различные ком-
бинации. При этом все буквы можно представить различными кодо-
выми словами, составленными из пяти двоичных элементарных сим-
волов (0 и 1). Если оба элементарных символа (посылка тока и пау-
за) имекэт одинаковую длительность, то все кодовые слова будут
одинаковыми по длительности. Такой код называется равномерным.
Именно таким кодом является код Бодо, применяемый в радиотелег-
рафии. По сравнению с неравномерными кодами равномерные ко-
да имеют некоторые технические преимущества, в частности, они
просто декодируются, причем процесс декодирования легко может
быть автоматизирован.
Простейший способ перевода сообщений (букв) в кодовые слова
проиллюстрируем на примере двоичного кода. В данном случае
этот способ можно свести к записи различных чисел в двоичной
системе счисления. Действительно, перенумеруем все сообщения
по какому-либо признаку (например, в порядке уменьшения ве-
роятностей появления). Тогда, вместо N сообщений, можно рас-
сматривать числа 0, 1,2, ..., N — 1. Запишем эти числа в двоичной
системе счисления.
Обычно мы пользуемся десятичной системой счисления, в ко-
торой любое число представляется в виде суммы степеней числа 10:
т=аЛ.10*4-ал_1.10А-1+...-|-а1.10-|-ао,	(15.4.3)
.где ak, ..., аг, ай — цифры, могущие принимать значения от
О До 9. При этом число т обозначается последовательностью
627
своих цифр, т. е. т = akak_\...alaQ. Например, 537 = 5-102 +
3 • 10-}- 7.
Аналогично этому число т можно записать в двоичной системе
счисления в виде суммы степеней числа 2:
т~ br2l+bi-i-2l~l 4- ... +61-2+&0 =	...^Ьо» (15.4.4)
где цифры bt, bi-\, bi, bo могут принимать все значения мень-
ше 2, т. е. О и 1. Например, 7 = 1 -22 + 1 -2 + 1 =111.
Во второй строке табл. 15.4.1 приведена запись в двоичной
системе целых чисел от нуля до десяти.
Таблица 15.4.1
Запись чисел в двоичной системе
Десятичная си- стема . . .	0	1	2	3	4	5	6	7	8	9	10
Двоичная си- стема . . .	0	'4 ’1 4^	10	11	100	101	но	111	1000	1001	1010
Кодовые обоз- начения ж .	обоо	0001	0010	ООН	0100	0101	оно	0111	1000	1001	101СУ
Таким образом, все сообщения можно перенумеровать в двоич-
ной системе счисления, причем номер сообщения будет представлять
кодовое обозначение соответствующего сообщения.
Видно, что полученный двоичный код оказывается неравномер-
ным (кодовые обозначения составлены из различного числа двоич-
ных цифр). При декодировании кодовых слов возникают ошибки и
недоразумения, так как в нашем неравномерном коде нельзя понять,
где кончается одно кодовое слово и начинается другое. Так, напри-
мер, сообщение № 4 можно расшифровать как сообщение № 1 и два
последующих сообщения с нулевым номером или как сообщение
№ 2 и одно сообщение с нулевым номером и т. д.
Для устранения неоднозначности следует или ввести специаль-
ный разделительный знак между отдельными кодовыми словами
(что эквивалентно переходу к троичной системе счисления) или же
сделать код равномерным, добавив в начале каждого из кодовых
обозначений, длина которых меньше максимальной длины встре-
чающегося кодового обозначения, необходимое число одинаковых
цифр (например, нулей). После этого получим равномерный код
(см. 3-ю строку табл. 15.4.1).
Возвратимся снова к рассмотрению обратимых экономных кодов.
Формула (15.4.2) позволяет утверждать, что в принципе всегда мож-
но указать несколько кодов, для которых выполняется первое тре-
бование — обратимость.
Однако, как правило, эти коды не будут удовлетворять второму
требованию - экономности кода. Требование экономности кода
628
является практически очень важным. Например, при радиораз-
ведке возаикает необходимость своевременной передачи большого
количества информации. Передача полученной информации не-
экономным кодом может привести к большому временному запазды-
ванию прг доставке ее потребителю, что иногда недопустимо.
В том, что многие из обратимых кодов будут неэкономными,
убеждают следующие рассуждения. Пусть элементарными сообще-
ниями щ являются буквы русского алфавита. Тогда вероятность
р(«<) приближенно равна относительной частоте появления буквы
ug в достаточно длинном смысловом тексте. Для разных букв
вероятное^ р(«ё) различны. Выше эти вероятности вообще не учи-
тывались. Если их учесть, то, очевидно, более экономным будет
тог код, в котором буквам, имеющим большую вероятность, сопо-
ставляются более короткие кодовые обозначения, чем сравнительно
маловероятным буквам. Поэтому в общем случае экономный код
является неравномерным.
Чтобы неравномерный код был обратимым, необходимо потребо-
вать выполнения следующего условия: никакое кодовое обозна-
чение не должно совпадать с начальной частью какого-либо дру-
гою более длинного [5, 6]. При выполнении этого условия кодовые
обозначения будут различимыми, т. е. всегда можно указать, где
кончается одно кодовое слово и начинается другое. Например,
если в двоичном коде использовано кодовое обозначение «101»,
то уже не должно быть кодовых обозначений «10» или «1010». В про-
тивном случае начало первого кодового обозначения можно понять
как второе, начало третьего — как первое и т. д.
Можно показать (3, 71, что выполнение неравенства
N
2 L-rr*<l	(15.4.5)
*=i
является необходимым и достаточным условием существования
множества N различных кодовых слов, использующих алфавит из L
различных элементарных символов, длина которых равна задан-
ным целым числам пк, /г = 1, 2, ..., АГ, и ни одно из которых не
является продолжением более короткого слова.
Перейдем теперь к основной теореме о кодировании сообщений.
Она дает ответ на вопрос о минимальном числе символов кода, не-
обходимом в среднем для однозначного представления элементар-
ного сообщения. Ввиду того, что математически строгое доказа-
тельство этой теоремы является довольно сложным 181, ограни-
чимся простыми рассуждениями, приводящими к ней.
Предположим, что какое-либо элементарное сообщение щ из
рассматриваемого множества W сообщений может быть представле-
но nt символами Vj кодового алфавита, содержащего L различных
629
символов. Тогда среднее число </г) символов кода, приходящих-
ся на одно сообщение, очевидно, равно:
N
= 2	(15.4.6)
Определим нижнюю границу для величины <п>.
В § 3 указывалось, что энтропия H(U) множества элементарных
сообщений представляет собой среднее количество информации,
необходимое для однозначного опознавания какого-либо сообще-
ния. С другой стороны, формула (15.3.3) показывает, что каждый
символ кодового алфавита в среднем доставляет максимальное ко-
личество информации, равное емкости алфавита log L, когда все
символы взаимно независимы и равновероятны. Будем считать пока
это условие выполненным (см. ниже). Согласно условию аддитив-
ности (15.3.6) среднее число таких символов (п> может доставить
при этом максимальное количество информации, равное <«> logL.
Следовательно, чтобы представление каждого сообщения со-
ответствующим кодовым словом было однозначным, должно выпол-
няться неравенство
<п) log L > Н (U)
или
(п)
ЩЦ)
logL •
(15.4.7)
Таким образом, среднее число символов в кодовой комбинации,
соответствующей одному элементарному сообщению, не может быть
меньше отношения энтропии множества сообщений к емкости кодо-
вого алфавита.
Знак равенства в формуле (15.4.7) имеет место тогда и только
тогда, когда отношение собственной информации каждого из эле-
ментарных сообщений к емкости алфавита кода равно целому числу.
Действительно, пусть
Ци{)
и,. = -j--г =
1 log L
log Р <“i)
log L
(15.4.8)
где tii — целые числа, i = 1, 2, ..., AL
Подставив эти значения в (15.4.6), получим
N
= TogL Р	= logL ’
1
(15.4.9)
Установим теперь верхнюю границу для величины <«>.Очевид-
но, что каждое кодовое слово должно состоять из целого числа
символов. Однако в общем случае правая часть выражения (15.4.8)
630
не равна целым числам. Поэтому число символов пг- в каждом кодо-
вом слове должно удовлетворять неравенству
(15.4.10)
Если для целых чисел т, удовлетворяющих этому неравенству,
выполняется также условие (15.4.5),которое является достаточным,
то задачу кодарования элементарных сообщений в принципе можно
считать решенной.
Умножим обе части неравенства (15.4.10) на положительную
величину p(ug) и затем просуммируем по всем индексам*7!. В ре-
зультате придем к окончательному соотношению
с <„> <
log Л	' log А
(15.4.11)
где <гг> —- среднее число кодовых символов, приходящихся на одно
элементарное сообщение.
Разница между верхней и нижней границей становится несу-
щественной при больших отношениях 77(t/)/logL. Это отношение
можно увеличить, кодируя не отдельные элементарные сообщения,
а целые «блоки», содержащие достаточно большое число элемен-
тарных сообщений.
Действительно, выше мы рассмотрели кодирование отдельных
элементарных сообщений, не обращая внимания на тот факт, что на
выходе источника элементарные сообщения и} появляются во вре-
мени последовательно один за другим, и полное сообщение пред-
ставляет достаточно длинную последовательность символов щ.
Разобьем полное сообщение на блоки, содержащие по v симво-
лов. Если алфавит сообщения содержит N разных символов, то
согласно формуле (15.4.1) число возможных различных блоков
длины v равно N'. Так как отдельный блок содержит v статисти-
чески независимых символов, то энтропия H(UV) ансамбля
составленного из всех блоков, равна
Н (У,) = v Н (U),
где — энтропия символов алфавита сообщения.
Укажем, что написанное равенство справедливо лишь при допол-
йительном условии, что каждый отдельный блок статистически
не зависит от всех предыдущих.
Будем кодаровать не отдельные символы сообщения, а блоки.
Подберем длиаы кодовых слов, соответствующих разным блокам,
так, чтобы выполнялось условие (15.4.5) обратимости кода. Пусть
<Пч> есть среднее число символов в кодовом слове. Тогда среднее
число кодовых символов, приходящихся на один символ сообщения,
равно
{п) = (n,)/v.
631
Рассматривая теперь ансамбль, составленный из блоков, и
применяя к нему формулу (15.4.11), можем написать:
ч vH (U)	.
log £	log Л + *•
Разделив все члены на v, получим окончательное соотношение
+	(15.4.12)
Это соотношение принимает особенно простой вид для двоичного
кода ( L = 2):
Н (U) < <п> < Н ((/) + 4*.	(15.4.13)
Соотношение (15.4.12) позволяет сформулировать основную
теорему о кодировании сообщений: минимальное среднее число ко-
довых символов, приходящихся на один символ сообщения, можно
сделать сколь угодно близким к H(U)l\ogL (т. е. к отношению ин-
формации, содержащейся в одном символе сообщения, к емкости
алфавита кода), применяя кодирование достаточно длинных бло-
ков сообщения. Эта теорема может быть обобщена на случай взаим-
но зависимых символов сообщения [3].
Важность основной теоремы о кодировании состоит в том, что она,
во-первых, определяет предельно возможную экономность кода,
во-вторых, позволяет оценить, насколько тот или иной конкретный
код близок к наивыгоднейшему, и, в-третьих, придает прямой фи-
зический смысл одному из основных понятий теории информации —
энтропии элементарного сообщения как минимальному числу двоич-
ных символов, приходящихся в среднем на одно такое сообщение
[см. формулу (15.4.13)].
Из соотношения (15.4.12) следует, что кодирование блоков
(v>2) по сравнению с кодированием отдельных символов (v = 1)
позволяет уменьшить среднее число кодовых символов, приходя-
щихся на один символ сообщения.
Отметим, что в некоторых отношениях кодирование по блокам
является менее выгодным, чем кодирование отдельных символов.
При кодировании по блокам кодирующая и декодирующая аппара-
тура становится все более сложной и громоздкой с увеличением
длительности блоков. Кроме этого, при декодировании закодиро-
ванного сообщения неизбежно возникает запаздывание на время,
не менее длительности формирования соответствующего блока
источником.
Сформулированная выше теорема о кодировании указывает на
принципиальную возможность наивыгоднейшего способа кодиро-
вания и определяет предельную экономность кода, а путь вывода
теоремы указывает методику фактического построения наивыгодней-
632
шего кода, В частности, можно отметить следующие два простых
признака оптимального кода:
1. Различные символы кодового алфавита должны использо-
ваться с равными вероятностями на каждом месте кодовых слов.
При этом символы будут доставлять максимальное количество
информация.
2. Вероятности появления символов на любом месте кодовых
слов не должны зависеть от всех предыдущих символов. Если эти
два признака выполняются точно, то средняя длина кодовых слов
будет равна минимальному значению (15.4.7). Однако выполнить
эти правила удается только в специальных случаях.
Ниже на двух примерах показаны два способа построения двоич-
ных кодов, близких к оптимальным. Первый пример принадлежит
Р. М. Фэнои К. Шеннону; второй способ, предложенный Д. А. Хаф-
фменом, иллюстрирует методику получения предельно оптимального
кода.
1. Пусть сообщения ui (буквы, символы, блоки символов и т. п.),
подлежащие кодированию, имеют априорные вероятности р(щ).
Все сообщения записываются в порядке убывания их вероятностей.
Записанная последовательность разбивается на две группы так,
чтобы суммы вероятностей сообщений в каждой из групп были бы-
ло возможности близкими к 1/2. Всем сообщениям, входящим в верх-
нюю группу, припишем цифру 0 в качестве первой цифры двоичного
кода, а сообщениям, входящим в нижнюю группу, — цифру 1.
Затем каждая ,из групп аналогичным образом разбивается на под-
группы приблизительно с одинаковыми суммарными вероятностями,
причем верхним подгруппам в обеих группах опять приписывается
цифра 0 (в качестве второй цифры кода), а нижним—цифра 1.
Это деление повторяется до тех пор, пока в каждой подгруппе не-
останется по одному сообщению. Указанный процесс разбиения
сообщений на подгруппы и определения кодовых обозначений пред-
ставлен на табл. 15.4.2.
Таблица 15.4.2
Пример оптимального кодирования
Сообщения			Двоичные знаки				Кодовое обозначение	Число знакое в кодовом обозначении п1
	P(ui j	ЬЙ	2-й	3-й	4-Й	5-й		
	1/2	0			- —	W,	. !	0	1
«2	1/4	1	0	———	*-	1		1 0	2
	1/8	1	1	0	  	 । *"	1 1 0	3
	1/16	1	1	1	0	 —	1110	4
	1/32	1	1	1	1	0	11110	5
	1/32	1	1	1	1	1	11111	5
21В Зак. 245
633
Нетрудно убедиться, что найденный двоичный код является опти-
мальным. Действительно, вычислим энтропию сообщений
е
Н (U) = — 2 Р log Р («О — 1,94 де. ед.
7 = 1
Среднее число двоичных знаков, приходящихся на одно сообщение,
равно
6
<«>= 2 tii р (Ui) = 1,94 =
что и доказывает оптимальный характер кода.
Весьма существенно, что в полученном коде буквам, имеющим
большую вероятность, соответствуют более короткие кодовые обоз-
начения, чем сравнительно маловероятным буквам. Это приводит
к тому, что среднее значение длины кодового обозначения оказы-
вается близким к H(U)t несмотря на значительную длину некоторых
кодовых обозначений.
10
01
00
111
1101
1100
Рис. 15.7. Иллюстрация оптимального кодирования сообще-
ний методом вспомогательных группировок.
Отметим, что для сообщений, указанных в таблице, выполняется
условие (15.4.8). В более общем случае, когда это условие не выпол-
няется, описанный способ построения кода приводит к значению
(п>, несколько превышающему H(U).
При большом числе сообщений работа по распределению их
в группы и подгруппы, которые по возможности должны иметь
одинаковую суммарную вероятность, может превратиться в весьма
кропотливое занятие. Для сокращения времени в этом случае мож-
но рекомендовать применение второго способа.
2. Все сообщения в левом столбце располагаются в порядке убы-
вания их вероятностей. На рис. 15.7 показан пример кодирования
шести сообщений. Два нижних, т. е. наименее вероятных сообще-
ния (занимающих нижнее положение в столбце), объединяются
634
в одно, причем им приписывается суммарная вероятность. После
этого составляется первая вспомогательная группировка в порядке
убывания вероятностей. При этом объединенное сообщение зани-
мает в ноной группировке строку, соответствующую ее общей ве-
роятности. Два наименее вероятных сообщения вновь объединяются
в одно и составляется вторая вспомогательная группировка. Этот
процесс продолжается до тех пор, пока два сложенных сообщения
не дадут вероятность, равную единице. На рис. 15.7 для этого пот-
ребовалось пять вспомогательных группировок.
Для составления кода нужно проследить путь перехода сообще-
ния по строкам от исходного положения в первом столбце до по-
следней группировки. При каждом переходе из строки в строку
условимся ставить цифру 1 в том случае, когда рассматриваемое
сообщение занимает верхнее место в объединенном сообщении,
и цифру 0, когда это место нижнее. Число подобных переходов
определяет количество двоичных знаков в кодовой группе. Двоичные
знаки выставляются справа налево.
Проследим за образованием кодового обозначения для пятого
сообщения. При переходе в первую вспомогательную группировку
пятое сообщение занимало верхнее место и поэтому ставим цифру 1.
При переходе во вторую вспомогательную группировку добавится
цифра 0, при переходе в четвертую — 1 и, наконец, при переходе
в пятую — снова 1. Таким образом, кодовое обозначение пятого
сообщение будет четырехзначным, а именно, 1101. Эти кодовые
обозначения на рис. 15.7 проставлены слева от сообщений.
Воспользовавшись данными, указанными на рис. 15.7, вычислим
энтропию сообщений и среднюю длину кодового обозначения:
о
И (U) = — S р (Ui) log р (Ui) = 2,42 де. ед.\
i=\
6
<п> = 2 Р (ui) = 2,55.
/ = !
В рассматриваемом примере среднее число двоичных знаков
кода, приходящихся на одно сообщение, удовлетворяет неравенству
(15.4.11) и несколько превышает значение энтропии сообщений.
§ 5. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА БЕЗ ПАМЯТИ
ПРИ НАЛИЧИИ ПОМЕХ
Как указывалось в § 1, основное назначение любой системы связи
состоит в правильной передаче возможно большего количества ин-
формации. Рассмотрим с этой точки зрения операции, которые дол-
жен выполнять канал. Так как линия связи находится вне контроля
инженера, разрабатывающего систему связи, то наше рассмотрение
21В*	635
будет касаться операций, выполняемых вторым кодировщиком,
формирующим из закодированных сообщений передаваемые сигна-
лы, и первым декодировщиком, восстанавливающим закодирован-
ные сообщения по принятым сигналам, искаженным помехами.
Из формул (15.3.9) — (15.3.11) и данных им пояснений следует,
что если понимать под Xi символы закодированного сообщения
(или отдельные сообщения), а под у. соответствующие им элемен-
тарные сигналы на выходе линии связи (рис. 15.1), то среднее ко-
личество информации, получаемой в результате приема одного сиг-
нала у}, определяется величиной
/(Х;У)
V / \ / м ₽ (У/1
2 Р (Xz) р (yj I xi} log -v^r
- H (X) — H (X | Г).
(15.5.1)
Видно, что количество принятой информации определяется вероят-
ностями p{xt) и
Заметим, что в общем случае принятый сигнал у- дает информа-
цию не только о соответствующем переданном символе хь но также
и о ранее переданных символах. Это может быть обусловлено взаим-
ной зависимостью отдельных символов в закодированном сообщении
и сравнительно большим временем корреляции помех, действующих
в канале. Взаимная зависимость символов сообщения определяется
статистической структурой кодового языка. Большое время кор-
реляции помех приводит к тому, что вероятность данного сигнала
зависит от ранее переданных символов.
При наличии зависимости сигнала от ранее переданных сим-
волов для описания системы связи нужно располагать следующими
условными вероятностями. Если зависимость распространяется на
два символа, то нужно знать условные вероятности р(х/|х/),
р(г/7-|хг-, xz), где х/ — символ, переданный непосредственно перед
х£. Когда имеет место зависимость между тремя символами, нужно
знать вероятности p(xzjx/, X/),
предшествующий х£ и т. д.
Хотя большинство реальных радиоканалов имеет конечную па-
мять, для простоты ограничимся рассмотрением простейших кана-
лов — стационарных каналов без памяти. Отсутствие памяти (по-
следействия) означает, что вероятность появления какого-либо сим-
вола на любом месте закодированного сообщения не зависит от воех
предыдущих символов и помехи в линии связи воздействуют на
данный элементарный сигнал независимо от того, как они действо-
вали на предыдущие сигналы. Полное описание канала без памяти
дается априорными вероятностями р(х/) и условными вероятно-
стями р(У] | х/). Для стационарных каналов эти вероятности не за-
висят от рассматриваемого момента времени.
р\У}\ X/, xi, xi), где Xt — символ,
636
Как видно из формулы (15.5.1), в стационарном канале без па-
мяти среднее количество информации, доставляемое одним эле-
ментарным сигналом, зависит от априорных вероятностей р(х/)
и условных вероятностей	Априорные вероятности p(xt)
характеризуют структуру закодированных сообщений. Условные
вероятности р(//у | определяются характеристиками канала, т. е.
формой элементарных сигналов, их энергией и уровнем помех
(см. § 3, 4 гл. И).
Пусть характеристики канала заданы. Возникает вопрос: какое
максимальное количество информации в принципе можно передать
через данный канал и какими для этого должны быть сообщения?
Вторую часть вопроса можно сформулировать иначе: как кодировать
(строить) сообщения, чтобы они были согласованы с каналом, т. е.
полностью использовали возможности канала в отношении скорости
передачи информации?
Следует иметь в виду, что теперь кодирование преследует совсем
другие цели, чем в случае, рассмотренном в предыдущем параграфе.
Там необходимо было добиться наиболее экономного представления
сообщений источника кодовыми словами. Теперь же ставится задача
закодировать сообщения, представленные в некоторой стандартной
форме (например, в виде последовательностей двоичных знаков
О и 1), таким образом, чтобы канал обеспечивал правильную пере-
дачу максимального количества информации. Поэтому такое коди-
рование, в отличие от рассмотренного ранее экономного, можно
назвать помехоустойчивым кодированием.
Определим пропускную способность канала как максимальную
скорость передачи информации, которая может быть достигнута
выбором оптимального распределения вероятностей передачи p(xi)
символов сообщения.
Скорость передачи мож;но характеризовать количеством приня-
той информации в единицу времени или количеством полученной
информации, приходящейся на один символ.
Пусть все символы Xt сообщения, как и соответствующие им
элементарные сигналы имеют одинаковую длительность
т = 1/F, где/"— частота посылки символов. Поскольку в канале
без памяти символы считаются независимыми, то среднее количество
информации, поступающей на вход второго кодировщика в еди-
ницу । времени, равно
/У1(Х)= ±-Н(Х) = FH(X)
(15.5.2)
Здесь энтропия Н(Х) вычисляется по формуле (15.3.1) и равна сред-
нему количеству информации, приходящемуся на один символ со-
общения. Величину Н^Х) можно назвать производительностью
источника информации или скоростью создания информации.
Среднее количество информации, доставляемой одним принятым
элементарным сигналом, определяется формулой (15.5.1), а среднее
количество информации, получаемой в единицу времени, очевидно
равно
/1№ Y) = FI(X- Y)
дв. ед.
сек.
(15.5.3)
Пропускную способность канала определим формулой
С= Max FI(X; Y) = MaxF {Н(Х) — H(X\Y)}
р (X.)	р (zj
'де. ед.
сек
(15.5.4)
Из самого определения следует, что передача информации со
скоростью, большей пропускной способности канала, невозможна.
Однако К. Шенноном была доказана следующая важная теорема
о кодировании сообщений при наличии помех. Принципиально
существует по меньшей мере одна процедура кодирования сообще-
ния, при которой информация может передаваться со скоростью,
меньшей, но сколь угодно близкой к пропускной способности канала
при произвольно малой вероятности ошибок. Доказательство этой
теоремы приведено в [1, 3, 7, 8].
Сформулированная теорема представляет фундаментальный ре-
зультат теории информации применительно к дискретным каналам.
Однако она только устанавливает принципиальное существование
оптимального способа помехоустойчивого кодирования, но не ука-
зывает метод, как его фактически осуществить К настоящему вре-
мени имеется обширная специальная литература, в которой рас-
сматриваются различные правила кодирования сообщений при на-
личии помех [9—11].
Вычислим пропускную способность двоичного симметричного
канала (рис. 15.5), а затем приведем некоторые соображения, по-
ясняющие основную теорему о кодировании сообщений при наличии
помех.
Воспользуемся формулой
С = F Max [Н (Y) — Н (Y \ X)].
(15.5.5)
Равенство (15.3.15) показывает, что ввиду симметрии канала услов-
ная энтропия H(Y | X) не зависит от вероятности передачи р. По-
этому максимальное значение /(X; Y) достигается просто максими-
зацией //(У). Как следует из предыдущего, максимум H(Y) равен
одной двоичной единице и получается в том случае, когда символы
Ух и уг независимы и равновероятны, что в свою очередь имеет место
при равновероятных передаваемых символах (см. стр. 620).
Таким образом, пропускная способность двоичного симметрич-
ного канала равна
С = F [1+Ре log Ре + (\
дв. ед.~
сек
(15.5.6)
log (1-^)1
638
В отсутствие помех (Ре = 0) пропускная способность достигает
максимума Ст = F дв. ед./сек. График рис, 15.6 дает зависимость
С!Сп от вероятности ошибочного приема Ре.
Как было показано в § 3, 4 гл. 11, вероятность ошибки Ре можно
выразить через отношение сигнал/шум 2E/N0. Если воспользо-
ваться вычисленными ранее значениями Ре для различных систем
Рис. 15.8. Пропускная способность различных систем
радиотелеграфии при приеме детерминированных сиг-
налов (сплошные кривые) и сигналов со случайной на-
чальной фазой (пунктирные кривые) на фоне белого
шума.
радиотелеграфии (рис. 11.14) и подставить их в формулу (15.5.6),
то получим графики, представленные на рис. 15.8. Они дают зави-
симость С1Ст от отношения сигнал/шум при оптимальных методах
приема типовых радиотелеграфных сигналов. Эти графики показы-
вают, насколько при указанных методах радиотелеграфии оказы-
ваются недоиспользованными потенциальные возможности канала
в отношении скорости передачи информации.
63*
Следует отметить, что вычисление пропускной способности яв-
ляется простым только для простейших каналов. Для более слож-
ных каналов оно может оказаться довольно трудоемким и сложным.
Основной причиной этого является то, что максимизация информа-
ции /(X; У) должна осуществляться при определенных ограниче-
ниях: вероятности передачи должны быть неотрицательными чис-
лами и их сумма должна равняться единице.
Возвратимся снова к операциям кодирования и декодирования,
выполняемым вторым кодировщиком и первым декодировщиком
(рис. 15.1). Для простоты ограничимся рассмотрением двоичного
симметричного канала. В этом случае кодировщик и декодировщик
трансформируют одну последовательность двоичных цифр в другую
последовательность двоичных цифр. При этом основная задача
состоит в том, чтобы правильно воспроизвести на выходе первого
декодировщика ту последовательность двоичных цифр, которая
была на входе второго кодировщика.
Прежде всего заметим, что количество информации, необходимое
для определения каждой двоичной цифры на входе второго кодиров-
щика (цифры сообщения), равно одной двоичной единице, так как
по предположению цифры являются статистически независимыми
и равновероятными. С другой стороны, пропускная способность
канала, отнесенная к одному элементарному символу
Ct= [l+PJogPe+(l -Pt) log (1 -Pe)]	(15.5.7)
всегда меньше одной двоичной единицы.
Следовательно, для правильного воспроизведения на выходе
первого де кодировщик а сообщения из N двоичных информационных
знаков необходимо передавать Nk = N + /Vj двоичных элемен-
тарных сигналов, где NkCi>N или
#/#*<(?!.	(15.5.8)
Поскольку возможно всего 2N различных последовательностей
сообщений, содержащих N двоичных знаков, и 2^ различных
последовательностей по Nk двоичных элементарных сигналов, то
имеется большая степень свободы в сопоставлении сообщениям
определенных последовательностей сигналов. Основная цель поме-
хоустойчивого кодирования сообщений в сигналы как раз и состоит
в том, чтобы выбрать из 2Nk возможных последовательностей сиг-
налов 2N последовательностей таким образом, чтобы вероятность
правильного воспроизведения сообщений на выходе первого декоди-
ровщика была максимальной.
Оказывается, что при наличии Л/, «избыточных» символов можно
предложить такие правила кодирования, которые позволяют не
только обнаружить ошибочно принятый информационный символ
сообщения (так называемые обнаруживающие коды), но и исправить
640
его на правильный символ (исправляющие или корректирующие
коды) [9].
Из предыдущих рассуждений следует, что в отличие от эконом-
ного кодирования, при помехоустойчивом кодировании на каждый
блок из W символов сообщения мы специально вводим Л\ дополни-
тельных, избыточных символов с тем, чтобы компенсировать вред-
ное действие помех.
Система передачи информации с оптимальным помехоустойчи-
вым кодированием может, например, работать следующим образом.
Входное сообщение от источника оцифровывается и преобразуется
в блоки no?V цифр. После этого вычислительное устройство (второй
кодировщик) согласно заранее выбранному правилу находит, ка-
кими должны быть избыточных сигнальных символов кодовой
комбинации. Полная последовательность из Nk = N + сигналь-
ных импульсов передается по каналу.
На приемном конце известны все сообщения, которые могут
быть переданы по каналу. В принятых сообщениях некоторая
часть символов будет неверной из-за действия помех. После приема
кодовой комбинации вычислительное устройство (первый деко-
дировщик) определяет возможное оцифрованное сообщение, кото-
рое отличается от принятого наименьшим числом символов. Это
сообщение и рассматривается как то, которое было передано.
Оказывается, что подобная процедура обеспечивает наименьшую
вероятность того, что какой-то информационный символ принято-
го сообщения будет ошибочным. Первый декодировщик выдает
определенную последовательность импульсов, которая представляет
оцифрованное сообщение.
Основная теорема о кодировании сообщений при наличии помех
утверждает, что скорость передачи информации, близкая к пропуск-
ной способности канала, при малой вероятности ошибок в опреде-
лении каждого символа сообщения всегда может быть достигнута
хотя бы при кодировании блоков, содержащих достаточно большое
число N символов. В последние годы было также доказано, что в слу-
чае оптимального кодирования вероятность ошибочного определе-
ния переданного сообщения убывает по экспоненциальному закону
с возрастанием «длины» передаваемых сигналов Nk = N 4- Л\.
При возрастании N и Nk существенно усложняется кодирующая
и декодирующая аппаратура, а также увеличивается временное-
запаздывание при расшифровке закодированных сообщений. Час-
тично из этих соображений, а также из-за недостаточной разрабо-
танности оптимальных систем передачи информации, в настоящее-
время применяются более простые способы кодирования, которые-
не реализуют всех возможностей, указываемых теорией.
641
§ 6. ЭНТРОПИЯ И ИЗБЫТОЧНОСТЬ ТЕКСТА
Применим основные положения теории информации к конкрет-
ному типу сообщений, а именно, к письменному тексту.
Можно считать, как это принято в телеграфии, русский алфа-
вит, состоящим из N = 32 букв (не различаются буквы е и е, ь и ъ,
что не приводит к разночтениям, но вводится промежуток между
словами, который будем обозначать « —»).
Если бы все буквы были равновероятны и взаимно независимы,
то при приеме одной буквы доставлялась бы информация, равная
«емкости алфавита и определяемая по формуле (15.3.3): Но —
=log32=5<?e. ед./буква. При этом для передачи Л1 буквенного сооб-
щения двоичным кодом потребовалось бы МНЦ двоичных единиц.
Однако ни в одном общепринятом языке условие независимости
и равновероятности появления букв не выполняется. Каждый язык
характеризуется вполне определенной статистической структурой.
Так, например, в любом смысловом русском тексте буквы о и е
встречаются много чаще, чем буквы ф и в английском тексте
наиболее часто встречаются латинские буквы е и t и очень редко
q и z, В табл. 15.6.1 приведены относительные частоты появления
отдельных букв (в порядке убывания) в русском тексте.
Таблица 15.6.1
Относительные частоты появления букв
Буква		о	е, ё	а	а	т	н	с	р	в	Л
Частота	0,175	0,090	0,072	0,062	0,062	0,053	0,053	0,045	0,040	0,038	0,035
Буква	Я	м	д	п	У	Я	ы	3	ь, ъ	б	г
Частота	0,028	0,026	0,025	0,023	0,021	0,018	0,016	0,016	0,014	0,014	0,013
Буква	ч	й	X	/ц/’	ю	ш	ц	щ	э	ф	
Частота	0,012	0,010	0,009	0,007	0,006	0,006	0,004	0,003	0,003	0,002	1»
Приравняв эти частоты вероятностям, по формуле (15.3.1) на-
ходим энтропию одной буквы Hi = 4,05 дв. ед./буква.
Из сравнения этого значения с величиной Яо видно, что неравно-
мерность появления различных букв приводит к уменьшению ин-
формации, содержащейся в одной букве русского текста, примерно
на 0,95 дв. ед.
Оказывается, что учетом вероятностей появления отдельных
«букв не исчерпывается статистическая структура языка. В языке
642
всегда существуют дополнительные закономерности, что приводит
к дальнейшему уменыпеййю степени неопределенности (энтропии)
одной буквы.
Каждый язык имеет свои особенности в отношении частоты по-
явления двух-, трех- и многобуквенных сочетаний. Например,
если известно, что очередной буквой была гласная, то значительно
возрастает вероятность появления следующей согласной буквы;
за гласной буквой и знаком «—» не может следовать буква ь
и т. д. В английском языке очень часто за буквой t следует h, а за
q буква и к т. д.
Если учесть вероятности появления двух-, трех- и многобук-
венных сочетаний в смысловом литературном тексте, то для зна-
чений соответствующих энтропий Н2, Н3 и т. д., приходящихся на
одну букву русского и английского текста, получаются приближен-
ные значения, указанные в табл. 15.6.2 [5].
Таблица 15.6.2
Значения энтропий Н,
.Энтропия, дв.ед,/буква	Но	Н1		Н3	На
Русский текст		5,00	4,05	3,52	3,01	
Английскиii текст . . .	4,76	4,03	3,32	3,10	2,3
Даже из этих неполных данных следует, что в письменном тексте
содержится иного «лишней» информации. Количество этой «лишней»
информации характеризуется избыточностью языка, которая опре-
деляется следующим образом.
Обозначим число различных букв используемого алфавита через
N, а энтропию, приходящуюся на одну букву смыслового текста
при учете всех многобуквенных сочетаний, — через Нт. Тогда
информация, содержащаяся в одной букве смыслового текста, равна
Нао дв. ед./буква. Если бы буквы были независимы и равновероят-
ны, то каждая буква доставляла бы информацию Но = log/V,
равную емкости алфавита. Величина
Н ПА
1 ~	= 1 —	(15.6.1)
iogW	Hq	'	'
называется избыточностью языка.
Избыточность характеризует величину, на которую удлиняются
сообщения на данном языке по сравнению с минимальной длиной,
потребной для передачи той же информации. Действительно, смыс-
ловой текст из М букв содержит информацию МНХ. Передача
этого же количества информации требует М' независимых и равно-
вероятных букв, где М' находится из равенства
M'\ogN^MHm.
Отсюда определяем удлинение текста:
Величину
М — М'^
— log Л/ — М
(15.6.2)
(15.6.3)
можно назвать коэффициентом сжатия текста. Он приближенно
равен среднему числу элементарных символов экономного кода,
приходящемуся на одну букву текста.
Таким образом, применяя экономное кодирование, в принципе
можно сократить обычный текст на MR букв; при сокращении текс-
та более чем на MR букв заведомо нельзя безошибочно восстановить
переданный текст. Разумеется, это не означает, что можно наудачу
пропустить указанное число букв в тексте.
Избыточность является весьма важной статистической характе-
ристикой языка. Имеющиеся данные о статистической структуре
различных языков (см. также табл. 15.6.2) позволяют считать, что
избыточность наиболее распространенных европейских языков,
превышает 50%. Именно избыточность позволяет сокращать теле-
графный текст и восстанавливать правильный текст при наличии
значительного числа ошибок и опечаток.
Избыточность устной речи всегда больше избыточности письмен-
ного текста (в разговоре встречается больше повторений, много лиш-
них слов и т. д.). Особенно велика избыточность при служебных
разговорах, где часто используются одни и те же стандартные
фразы.
ЛИТЕРАТУРА
г
1.	Шеннон К- Работы по теории информации и кибернетике. Пер»
с англ. Изд-во иностранной литературы, 1963.
2.	Колмогоров А. Н. Теория передачи информации. Изд-во
АН СССР, 1956.
3.	Ф а н о Р. Передача информации. Пер. с англ. Изд-во «Мир», 1965.
4.	Тарасенко Ф. П. Введение в курс теории информации. Изд-во
Томского университета, 1963.
5.	Я г л о м А. М., Я г л о м И. М. Вероятность и информация.
Физматгиз, 1960.
6.	Долуханов М. П. Введение в теорию передачи информации по
электрическим каналам связи. Связьиздат, 1955.
7.	Файнстейн А. Основы теории информации. Пер. с англ. Изд-во
иностранной литературы, 1960.
8.	Хинчин А. Я. Об основных теоремах теории информации. УМН,
1956, вып. 1 (67).
9.	X а р к е в и ч А. А. Борьба с помехами. Физматгиз, 1963.
10.	«Теория кодирования». Пер. с англ, под ред. Э. Л. Блоха. Изд-во
«Мир», 1964.
11.	Питерсон У. Коды, исправляющие ошибки. Пер. с англ.
Изд-во иностранной литературы, 1964.
644
Глава 16
НЕПРЕРЫВНЫЕ СИСТЕМЫ СВЯЗИ
§ 1. КОЛИЧЕСТВО ИНФОРМАЦИИ И ЭНТРОПИЯ
До сих пор мы рассматривали количество информации и энтро-
пию применительно к дискретным сообщениям и сигналам. Обоб-
щим теперь эти понятия на случай непрерывных сообщений и сиг-
налов, которые на конечном временном интервале (О, Т) пред-
ставляются некоторыми непрерывными функциями времени [1—3].
Обозначим реализацию непрерывного сообщения на входе како-
го-либо блока схемы рис. 15.1 через x(f), а реализацию выходного
сообщения (сигнала) — через //(/). Как известно, простейшее стати-
стическое описание ансамбля входных сообщений дается одномер-
ной плотностью вероятности ш(х), ансамбля выходных сообщений —
одномерной плотностью вероятности w(y), и статистическая связь
между x(ti) и y(t/) характеризуется совместной плотностью вероят-
ности ю2(х, у). Для плотностей вероятностей справедливы соотно-
шения, аналогичные (15.2.1), (15.2.2), в частности
{х, y)=w (х) w(y | х) = ги(у) ге>(х| у).	(16.1.1)
Разобьем интервал времени (О, Т) равноотстоящими точками
t0 — 0,	— А, ..., ti —	..., tk = kA = T на k элементарных
подынтервалов одинаковой длины А, и обозначим значения х(0
в точках отсчета соответственно через х,- = x(Zz), где i — 0,1, .... k
(квантование по времени).
Интервал возможных значений х(/) также разобьем на элемен-
тарные подынтервалы достаточно малой длины Ах (квантование по
уровню), например, следующим образом. Если истинное значение
сообщения в какой-либо момент времени ti + ^А находится внутри
некоторого подынтервала хр. — x|r_i = Ах, то вместо него возьмем
ближайший разрешенный уровень (рис. 16.1).
Произведем аналогичное квантование по времени и по уровню
соответствующей реализации y(t) длительностью Т. Обозначим зна-
645
чения y(f) в точках отсчета через у} = y(tj), где / = 0, 1, .... k, а
интервал квантования по уровню — через Ду.
После таких преобразований непрерывные сообщения x(t) и
у(/) будут заменены дискретными
Рис. 16.1. Преобразование непрерывной
функции в ступенчатую кривую путем
квантования по времени и по уровню.
(ступенчатыми) кривыми, как
это практически и делается
при квантовании сообщений
в системах связи с кодово-
импульсной модуляцией.
Указанную замену непре-
рывных сообщений ступенча-
тыми кривыми можно оправ-
дать физически, если взять
величины Дх и Ду прибли-
женно равными точности
измерений, когда значения
непрерывной функции внутри
одного элементарного подын-
тервала оказываются прак-
тически неразличимыми.
Точность измерений опреде-
ляется как точностью используемых измерительных или ана-
лизирующих устройств, так и интенсивностью мешающих помех.
После перехода от непрерывных сообщений к дискретным для
последних можно применить формулу (15.2.4), так как вместо плот-
ностей вероятностей теперь можно рассматривать вероятности
р (х,) = w (х^ Ах, р (у;) = w Ду,
Р {xi> У/) — w (хь У]) Ах Ду.
(16.1.2)
Применяя к дискретным сообщениям формулу (15.2.4) и пере-
ходя затем к пределу при Дх-> 0 и Ду-> 0, получаем определение
взаимной информации между каким-либо значением х входного и
значением у выходного сообщений в виде соотношения
, .	,	ш2(х,у)	.	® (х I у) . w (у | х)
У) = 1о« '.ичуГ1'1^ = |»8-г75г=/<>':Л
Это определение можно обобщить на многомерный случай.
Таким образом, формула (15.2.4) остается справедливой и для
непрерывных сообщений с той лишь разницей, что теперь в нее,
вместо вероятностей, нужно подставить соответствующие плотности
вероятности.
Аналогом формулы (15.2.22) в непрерывном случае является
следующее выражение для среднего значения условной информации;
I (X; у) = / (х; у) w (х | у) dx,
(16.1.4)
646
где интегрирование производится по всем возможным значениям х.
Воспользовавшись неравенством (15.2.24), нетрудно проверить, что
Z(X;y)>0,	(16.1.5)
причем знак равенства относится только к случаю, когда w(x | у) =
= w(x).
Полная средняя взаимная информация в непрерывном случае^
по аналогии с (15.2.26), определяется формулой
I (X; Y) = J w (у) I (X; у) dy = J J wz (х, у) / (х; у) dxdy = / (У; X).
Y	YX
(16.1.6)
Можно убедиться, что полная взаимная информация не может быть
отрицательной:
/(Х;У)>0,	(16.1.7)
где знак равенства имеет место тогда и только тогда, когда X и Y
статистически независимы.
Подставив выражение /(х; у) из (16.1.3) в формулу (16.1.6),.
можно написать
1 (* 1 Н = П (*, У) log dxdy =
* ' *f	W \Л )
YX
— — J w (х) log w (х) dx -|- j | wz (x, у) log w (x | y) dxdy. (16.1.8)
X	XY
Определим энтропии непрерывных сообщений формулами
Н (X) = —j w (х) log w (х) dx,	(16.1.9)
Н (X | Y) = —	(х, у) log w (х | у) dxdy.	(16.1.10)
XY
Аналогично записываются формулы для Н (Y) и H(Y\X).
Тогда для полной взаимной информации (16.1.8) получим соот-
ношения, аналогичные (15.3.10), (15.3.11):
/(X; Y) = Н(Х)-Я(Х|У),	(16.1.11)
/(X; У) = Я(У)-Я(У|Х).	(16.1.12)
* Отметим, что формулы (16.1.9) и (16.1.10) для энтропии и услов-
ной энтропии непрерывных сообщений нельзя рассматривать как
простое обобщеяие формул (15.3.1) и (15.3.4) для дискретных со-
общений. Действительно, если попытаться обобщить определение
энтропии (15.3.1) на непрерывные сообщения, то^придем к резуль-
тату, что энтропия стремится к бесконечности." Это объясняется
647
тем, что при Ах-> 0 увеличивается до бесконечности число элемен-
тарных подынтервалов и, следовательно, степень неопределенности
•оказывается бесконечно большой.
Следует также указать, что полная взаимная информация (16.1.6)
обладает свойством инвариантности при преобразовании перемен-
ных х и у, а энтропии непрерывных распределений (16.1.9) и (16.1.10)
этим свойством не обладают; они зависят от системы координат.
Чтобы убедиться в этом, рассмотрим простейшее преобразование,
•состоящее в изменении масштаба: х' = ах, у' = ау.
Согласно формуле (16.1.9) можем написать:
Я(Х) = —J tw(x)logay(x)dx = —w (yj logoy (y)dx'.
x	X’ ’	‘
Но плотность вероятности ^(x') для x' равна w1(x>) = w(x'/a)/a.
Поэтому
H(X') = — f (x') log(x')dx' = — - f )log dx'.
»J \	/	Ijt
X'	X-
Из сравнения этих двух выражений имеем
Н(Х') =H(X) + loga.
Аналогичным путем доказывается, что
H(X'\Y') = Н (X \Y) + log a.
Подстановка этих выражений в формулу (16.1.11) доказывает, что
ЦХ- У) = I(X’-Y').
Приведенные соображения показывают, что в отличие от случая
дискретных сообщений энтропия непрерывных распределений не
имеет самостоятельного значения; физический смысл имеет лишь
полная взаимная информация I(X; Y). Поэтому в дальнейшем мы
будем пользоваться энтропией лишь на промежуточных этапах
вычисления.
Применим приведенные выше формулы к следующему частному
случаю. Пусть
У = х + /г,	(16.1.13)
•где х и п — независимые нормальные случайные величины с нуле-
выми средними значениями и дисперсиями, равными соответствен-
но Os и а2п.
Случайная величина у будет иметь также нормальную плот-
ность вероятности с нулевым средним значением и дисперсией
Gy = Hs + ffn.
648
Если случайную величину х рассматривать как амплитуду
импульсов на входе канала, то у будет представлять амплитуду
соответствующих импульсов на выходе канала, когда к входным
импульсам добав.1яется шум п.
В данном случае плотности вероятности равны
W {у
Отсюда получим
W(y)
При вычислении полной взаимной информации между х и у
воспользуемся формулой (16.1.12), куда подставим
(Y) =— J w (у) log w (у) dy,	(16.1.14)
-со
Я(К|Х) = - j
—оо
(х, у) log w (у | х) dxdy.
(16.1.15)
Если в подын?егральных выражениях предварительно перейти
к натуральным логарифмам в соответствии с правилом logx =
= Inxlog е, где е—основание натуральных логарифмов, и затем
выполнить вычимения, то получим
Н (Y) = у 10£ [2ле (ст® + ст®)],
Я(У|Х) = ^1об(2лео®).
Подстановка этих значений в формулу (16.1.12) дает
(16.1.16)
Ниже мы увидам, что эта формула при некоторых ограничениях
определяет максимальное количество полной информации между
входным и выходным сигналами.
Если две случайные величины х и у являются нормальными и
статистически зависимыми, т. е. имеют коэффициент взаимной кор-
реляции
* =	~ тУ^	(16.1.17)
22 Зак. 245
649
где тх, ту и ох, Оу— средние значения и дисперсии величин х
и у, то полная взаимная информация между ними равна
/(Х;У) = -Ьоё(1-/?г).
(16.1.18)
Эта формула получается путем подстановки в (16.1.6) выражения
вида (3.15.8) для совместной плотности вероятности случайных
величин х и у.
§ 2. ОДНОМЕРНЫЕ СВОЙСТВА КАНАЛА ПРИ НАЛИЧИИ
АДДИТИВНОГО НОРМАЛЬНОГО ШУМА
Предположим, что колебание на выходе канала y(t) представляет
собой сумму входного сигнала x(t), содержащего полезную информа-
цию, и нормального стационарного шума n(t):
y(t) = x(t) + nit).
(16.2.1)
Сигнал x(t) и шум n(t) считаются взаимно независимыми.
В данном случае условная плотность вероятности w(y |х) равна
w(y I*) = wo(y ~ *) = wo(n)>	(16.2.2)
где w0(ri) — нормальная плотность вероятности шума.
Для рассматриваемого канала условная энтропия H(Y\x)
множества выходных значений при фиксированном входном значе-
нии не зависит от последнего и определяется только шумом:
оо
H(Y\x) = - J
— ОО
оо
tt»(y| x)logoa(y| x)dy = — f w0(n) logw0(n)dn.
— ОО
Отсюда следует, что условная энтропия H(Y [X) также не зависит
от плотности вероятности ш(х):
оо	оо
H(Y\X) = | H(Y\x')w(x')dx = — f w0 (n) log w0 (n) dn. (16.2.3)
—oo	—-oo
Будем считать среднее значение шума n(t) равным нулю, а дис-
персию обозначим через о^. Подставив в формулу (16.2.3) нормаль-
ную плотность вероятности
(16.2.4)
650
и выполнив вьчисления, получим
Я(Г|Х) =
1~ log (2rteo^),
(16.2.5)
где е — основание натуральных логарифмов.
Определим пропускную способность одномерного канала как
максимальное значение полной взаимной информации
СО 00
Л(Х;У’) = J j W(х)W(у|х)logdxdy =
—оо — оо
= Н (Y) — H(Y\X),
(16.2.6)
которое достигается выбором оптимальной плотности вероятно-
сти ау(-х):
Сг - Мах Д(Х; У).
UI (х)
(16.2.7)
Для канала t аддитивным шумом энтропия H(Y | X) не зависит
от вида &у(х) и определяется формулой (16.2.5). Поэтому максимум
информации /t(K; Y) достигается максимизацией энтропии H(Y).
При нахождении максимума H(Y) необходимо учитывать огра-
ничения на плотность вероятности w(y), которую можно записать
через а/ (х) в виде:
ОО
w (у) = J w (х) te>0 (у — х) dx.
— ОО
(16.2.8)
Хотя здесь югут встретиться разные случаи (заданы наиболь-
шее значение у, дисперсия <7у и т. п.), мы рассмотрим один случай,
для которого легко выполняются вычисления. Предположим, что
задан средний квадрат <г/2> случайной величины у.
ОО
(у2)  ( У2 w (у) dy = const.
- оо
(16.2.9)
Докажем, что при этом условии для энтропии H(Y) справедливо
соотношение
log (2лео2),
(16.2.10)
где знак равенства имеет место тогда и только тогда, когда слу-
чайная величина у является нормальной с нулевым средним
значением и дисперсией Оу = <г/3>.
22*
651
Формулу (16.2.10) обычно доказывают при помощи вариацион-
ного исчисления [4]. Приведем более простое доказательство [1].
Для любой плотности вероятности ш(у) справедливо соотношение


оо
~оо
—у2/2 <уг>
<у2>
— оо
У2
При написании последнего знака равенства было учтено, что lne= 1.
Если в выражении энтропии (16.1.14) оперировать с натураль-
ными логарифмами, то можем написать
1
hj
-у2/2 <у2>
------— dy.
w (у) V 2тс <у2>
Из неравенства (15.2.24) следует, что
у^/2<у2>	1
1П - е...-	< -....- L
е- У’-/2<у*
Подставив это неравенство в предыдущее соотношение, получим
ОО
Н (Y) — — 1п(2ле<у2»
dy —
— оо
00
C w (y) dy = 0
что и доказывает (16.2.10). Знак равенства в (16.2.11) и, следова-
тельно, в (16.2.12) имеет место лишь при условии, когда аргумент
натурального логарифма равен единице, т. е. когда
1	-У2/2з2
(16.2.13)
Таким образом, энтропия случайной переменной с фиксирован-
ной дисперсией будет наибольшей тогда, когда эта переменная имеет
нормальное распределение с нулевым средним значением. На осно-
вании этого результата, кстати, можно сделать следующий вывод.
Так как энтропия характеризует степень неопределенности, то при
нулевом среднем значении и заданной дисперсии среди аддитивных
шумов п(0 разного вида наиболее вредным (максимально разру-
шающим полезную информацию) является шум с нормальным рас-
пределением.
652
ЧЯ
1
• J
i
3
J
2-1п(2л(/)) dy =
*
Г
4
I


F

Очевидно, что при нормальном шуме n{t) с нулевым средним зна-
чением плотность вероятности w(y) нормальна и имеет нулевое сред-
нее значение, если только входной сигнал x(t) имеет нормальное
распределение с нулевым средним значением. Поскольку сигнал
x(t) и шум п(Г) предполагаются независимыми, то из равенства
(16.2.11 следует, что дисперсия Оу равна сумме дисперсий
2
У
о
(16.2.14)
где о? — дисп^эсия сигнала x(t).
При указанных выше ограничениях пропускную способность
канала находш путем подстановки выражения (16.1.16) в формулу
(16.2.71:
log (1
\ °п
(16.2.15)
Отметим, что пропускную способность канала Сг, определенную
формулой (16.2.7), не следует отождествлять с пропускной способ-
ностью» дискретного канала С, которая была определена формулой
(15.5.4). Пропускная способность Сг характеризует максимально
возможное количество передаваемой информации, отнесенное не
к единице вреиени, а к элементарному событию.
§ 3. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА
С ОГРАНИЧЕННОЙ ПОЛОСОЙ ЧАСТОТ
Не касаясь вопросов практического осуществления, рассмот-
рим следующую идеализированную модель канала связи. Пусть
выходное колебание y(t) представляет собой сумму (16.2.1) вход-
ного сигнала ;(/) и нормального стационарного шума n(Z), при-
чем сигнал и лум являются статистически независимыми. Пред-
положим, что сггнал и шум имеют постоянные спектральные плот-
ности, отличньв от нуля только в интервале частот 0
где F — верхняя граничная частота спектра. Такой канал кратко
назван каналом с ограниченной полосой частот. Кроме этого, пред-
положим, что средняя по ансамблю мощность входных сигналов
х(/) фиксирован а и равна
<№(/)> = <Js = const.
(16.3.1)
Покажем, что пропускная способность такого канала достигает
максимального значения
С	(16.3.2)
653
только в том случае, когда сигнал x(f) представляет собой нормаль-
ный стационарный шум.
Пропускная способность непрерывного канала определяется
формулой
С = Jim Мах
Т -*оо w(x)
(16.3.3)
Она представляет максимальное количество полной взаимной ин-
формации в единицу времени, которое достигается выбором опти-
мального распределения w(x) входного сигнала х(/) при достаточно
большом интервале времени Т.
Если при вычислении полной информации основание логариф-
мов принято равным 2, то, как и в дискретном случае, пропускная
способность канала указывает максимальное число двоичных еди-
ниц, которое может быть передано по каналу за 1 сек при сколь угод-
но малой вероятности неправильного опознавания переданного
сигнала.
Поскольку энергетические спектры сигнала x(i) иу шума n(t)
постоянны и отличны от нуля лишь при частотах 0<yf<F, то энер-
гетический спектр колебания y(t) будет также постоянным на ин-
тервале частот и равным нулю вне этого интервала. Поэтому
к реализациям x(t), y(t) и n(t) применима теорема отсчетов (тео-
рема В. А. Котельникова).
Согласно этой теореме [5] любая функция времени f(t), спектр
которой не содержит составляющих с частотой выше F гц, полностью
определяется последовательностью ее значений в точках отсчета,
отстоящих друг от друга по оси времени на одинаковом расстоянии
А = 1/2F сек, по формуле
оо
р. —— 00
sin (2nFt — р-н)
2r.Fi — р.п
(16.3.4)
Рассмотрим пока достаточно большой, но конечный интервал
времени Т, на котором имеется 2FT точек отсчета, причем
2ЕГ>М»1,	(16.3.5)
где 7И — ближайшее целое число, не превышающее значение 2FT.
Обозначим значения функций x(t), y(t) и n(f) в точках отсчета
соответственно через Хр. = х(/р), у^ = y(t,J и/^Пр = и(^), где
р = 1, 2, ..., М. Согласно (16.2.1) можем написать
Ур. = Хц + Пр..	(16.3.6)
Таким образом, если спектры сигнала и шума равномерны и
ограничены частотой F, то входной сигнал x{t), шум п(0 и колебание
y(t) на интервале Т определяются 2FT своими значениями в точках
отсчета. При этом вместо непрерывных функций можно рассматри-
654
вать 2FT их дискретных значений. Вся информация о входном сиг-
нале x(t) заключена в 2FT отсчетных значениях колебания y{t).
В этом и заключается простота рассмотрения канала с ограничен-
ной полосой частот.
По предположению, сигнал x(t) и шум n(t) статистически неза-
висимы. Поэтому условная энтропия H(Y |Х) согласно формуле
(16.2.3) не зависит от плотности вероятности и>(х). При этом формула
(16.1.12) показывает, что полная взаимная информация /(X; У)
будет иметь максимальное значение, когда достигается максимум
энтропии H(Y). Очевидно, что дисперсия каждого отсчета у^ оди-
накова и равна
о2 = о2 + ст2,	(16.3.7)
ст2—Af0F,	(16.3.8)
где /Vo — спектральная плотность шума n(t).
Если No = const и значение о2 фиксировано, то дисперсия ст2
задана. Как следует из формулы (16.2.10), при заданной средней
мощности энтропия Я(У) максимальна в том случае, когда случай-
ная переменная у^ имеет нормальное распределение. Поэтому и
случайная величина = у^ — п». должна иметь также нормальную
плотность вер оя тн ости.
Итак, приходим к следующему выводу. Полная взаимная ин-
формация для рассматриваемого канала (с ограниченной полосой
частот и заданной средней мощностью сигнала) максимальна при
условии, когда входной сигнал x(t) является нормальным стацио-
нарным процессом с нулевым средним значением.
Вычислим теперь пропускную способность С рассматриваемого
канала. На стр. 255 отмечалось, что если спектральная плот-
ность нормального стационарного процесса равномерна и отлична
от нуля только при частотах 0<f-^.F, то значения процесса в точ-
ках отсчета статистически независимы.
На основании статистической независимости значений шума
в точках отсчета совместная плотность вероятности для M^2FT
отсчетных значений нормального шума n(t) равна произведению
одномерных плотностей вероятностей:
^(«1, «2. •••>	•••№() (М>
где	(п) — одномерная нормальная плотность вероятности (16.2.4).
По формуле (16.2.3) находим условную энтропию
H(Y\X) = — J ... f wM(nJ,...,nM)\ogwM(n1,...,nM)dn1...dnM =
— 00	- оо
= — М J w0(ri) logto0 (ri}dn = FT log(2neo2). (16.3.9)
“ oo
655
Здесь при написании второго равенства было учтено, что плотности
вероятности удовлетворяют условию нормировки, а третье равенст-
во написано на основании формулы (16.2.5).
Нормальный случайный процесс //(/) имеет равномерную спект-
ральную плотность внутри полосы шириной F. Поэтому его значе-
ния в точках отсчета также независимы, причем дисперсия любого
отсчетного значения у,, одинакова и определяется выражением
(16.3.7).
Применительно к какому-либо одному отсчетному значению у$_,
имеющему нормальное распределение, в соотношении (16.2.10)
имеет место знак равенства. Учитывая свойство аддитивности энт-
ропии независимых событий, находим энтропию -2FT независимых
отсчетов колебания y(t)-.
Н (У) = FT log [2 ле (о2 + о2)].	(16.3.10)
Подставив значения энтропий из (16.3.9) и (16.3.10) в формулу
(16.1.12), получаем максимальное значение полной информации
/ (X; У) = FT log^l	(16.3.11)
Величина 1(Х; У) характеризует максимальное общее количество
информации, передаваемое по рассматриваемому каналу за время Т.
При этом передаваемые сигналы по своим статистическим свойст-
вам должны быть подобны нормальному белому шуму.
Из формулы (16.3.11) следует, что при уменьшении отношения
сигнал/шум Gs/N^F можно сохранить количество передаваемой
информации, расширяя полосу, и, наоборот, можно сужать поло-
су канала за счет увеличения отношения сигнал/шум или увеличе-
ния времени передачи.
'Если подставить значение /(X; У) из (16.3.11) в формулу (16.3.3),
определяющую пропускную способность канала, то придем к ос-
новной формуле (16.3.2), которая была получена К. Шенноном [6].
Формула (16.3.2) для теории связи имеет принципиальное значе-
ние. При достаточно сложных способах кодирования (преобразую-
щих исходное сообщение в нормальный случайный процесс с рав-
номерной спектральной плотностью в полосе частот F) можно пере-
давать длинные отрезки Т сообщения (сигнала) со скоростью мень-
шей, но очень близкой к пропускной способности канала С при
сколь угодно малой вероятности ошибок; передача со скоростью
большей С при малой вероятности ошибок невозможна.
Формулой (16.3.2) иногда пользуются неправильно. Нужно иметь
в виду, что эта формула справедлива лишь при указанных ранее
условиях, а именно, когда сигнал в виде нормального стационар-
ного шума с заданной средней мощностью и равномерной спектраль-
ной плотностью внутри полосы F складывается аддитивно с белым
шумом.
656
Пропускная способность канала (16.3.2) зависит от ширины
полосы F и отношения средней мощности входного сигнала erf
к средней мощности шума = N0F. Зависимость пропускной спо-
собности С от F показана на рис. 16.2.
Рис. 16*2. Зависимость пропускной способно-
сти канала от ширины полосы частот F.
Пропускная способность С очень быстро растет с увеличением Л
при малых значениях F и затем асимптотически приближается к пре-
дельному значению
с2	с2
Coo - lirnC - -~10ge = 1,443.	(16.3.12)
Л-юо 7V0	yv0
Это предельное значение легко находится на основании соотно-
шения
lim [In (1 +г)/г] = 1.
2 -> О
Можно показать, что если выполняются другие указанные ранее
условия, то формула (16.3.2) применима и к радиочастотному каналу,
когда спектры сигнала x(t) и шума n(f) равномерны в полосе частот
f — /о I ^Р> где /о 2 Р — некоторая центральная частота поло-
сы пропускания.
В данном случае сигнал х(/), шум и колебание y(f) фор-
мально можно представить в виде квазигармонического колебания
вида (7.1.20), в котором синусная и косинусная составляющие оги-
бающей являются нормальными и независимыми случайными про-
цессами. Каждая из этих составляющих имеет равномерный спектр,
отличный от нуля только при частотах f^^F. Поэтому на интервале
времени Т синусная составляющая определяется FT независимыми
22В. Зак. 245	657
отсчетными значениями и косинусная составляющая — своими
FT независимыми отсчетными значениями, Эти 2FT отсчетов опре-
деляют FT значений огибающей и FT значений случайной фазы.
Формулу Шеннона (16.3.2) можно обобщить на другие случаи
[3, 7]. В частности, пусть спектральная плотность нормального
случайного сигнала x(t) есть S(f), а спектральная плотность ад-
дитивного нормального шума n(t) —Если разбить всю полосу
частот на малые частотные интервалы, в пределах которых S(f) и
N(f) можно считать постоянными, то к каждому из этих интервалов
можно применить формулу (16.3.2). Проинтегрировав затем по этим
интервалам, получим
00
— 00
(16.3.13)
В конкретных приложениях эта формула позволяет решать раз-
нообразные задачи об определении оптимальных спектров сигнала
или шума,
ЛИТЕРАТУРА
1.	Ф а н о Р. Передача информации. Пер, с англ. Изд-во «Мир», 1965.
2.	Колмогоров А. Н. Теория передачи информации. Изд-во
АН СССР, 1956.
3.	Гельфанд И. М., Я г л о м А. М. О вычислении количества
информации о случайной функции, содержащейся в другой такой функции.
УМН, 1957, вып. 1 (73).
4.	Голдман С. Теория информации. Пер. с англ. Изд-во иностран-
ной литературы, 1957.
5.	X у р г и н Я- И., Яковлев В. П. Методы теории целых
функций в радиофизике, теории связи и оптике. Физматгиз, 1962.
6.	Ш е н н о н К- Работы по теории информации и кибернетике. Пер.
с англ. Изд-во иностранной литературы, 1963.
7.	П и н с к е р М. С. Количество информации о гауссовом случайном
процессе, содержащееся во втором процессе, стационарно с ним связанном,
ДАН СССР, 1954, № 2.
ПРИЛОЖЕНИЕ I
ДЕЛЬТА-ФУНКЦИЯ
По определению, дельта-функцией &(z — z0) называется такая функ-
ция, которая равна нулю всюду, кроме особой точки где она обращается
в бесконечность (рис. П. 1), и притом так, что интеграл от нее, распространен-
ный на сколь угодно малый отрезок, заключающий особую точку, равен
единице:
„ . ч I 00 ПРИ z = ?о> ° р
О (г — 20)= Пппи	J Цг — г0) 4г = 1 при любом г > 0.	(П.1)
I и прн z 7е’ ?о, г0~~£
*
Дельта-функция является четной, Ц? — г0) =	— г), и симметричной от-
носительно особой точки г0. Поэтому
J 5(z~z0)Jz~ J Ъ(г — z0) dz = у, е> 0.
Zo~~s	г0
(П.2)
Дирак широко применял дельта-функцию в теоретической физике. Поэтому
дельта-функцию часто называют фукцией Дирака. Дельта-функцию можно
понимать как результат предельного перехода
в надлежащим образом подобранных функциях. Д	)
В качестве одного из примеров таких функций	а °
можно указать нормальную плотность вероят-
ности:
— z0) = lim - -ехр
с-»-0 с У 2л:
(П.З)
Использование дельта-функции позволяет во
многих случаях значительно упростить и в 2--------------------------
известном смысле автоматизировать вычисления. V	*-0	2
Это объясняется тем, что дельта-функция обла- р п 4 л
дает рядом замечательных свойств. Укажем ис' п*'* Дельта“функция.
некоторые из них.
Для любой функции /(г), непрерывной в точке г0, справедливы соотно-
шения
4- Е
J f (Z)S(2 —ZoM2 = f(Zo)> £ > 0,
?0 “ £
+ Р
J f (?)(z — 2*о) dz = 0, а > 0, р > 0.
(П4)
22В*
659
Действительно, &(z — z0) равна нулю всюду, кроме точки z0 (рис. ПЛ),
а в бесконечно малой окрестности точки z& непрерывная функция f(z) приб-
лизительно постоянна и равна f(zo). Вынося ее за знак интеграла и исполь-
зуя формулу (ПЛ), получаем (П.4).
Равенство (П.4) можно рассматривать как представление функции
f(zo) в виде совокупности следующих один за другим элементарных импульсов
f(z)dzb(z— Zo). Каждый импульс существует только в момент z ~ го, пло-
щадь импульса равна f(z)dzt т. е. произведению ординаты функции в рас-
сматриваемой точке на элемент длины.
Если точка zq является точкой разрыва первого рода функции f(z), то,
разбивая интервал нитегрнрования в формуле (П. 4) на Zo— e<z<Zo,
zo<z<zo 4“ £» вынося в каждом из этих интервалов функцию f(z) за знак
интеграла и воспользовавшись (П. 2), получим
f (z)Mz-z0) dz=4tHzo-°) + f (*o + °)L
(П.5)
Таким образом, формула (П. 4) справедлива и в том случае, когда точка zq
является точкой разрыва первого рода функции f(z), если принять за значе-
ние функции в точке разрыва среднее арифметическое ее пределов слева и
справа.
Найдем спектр делы*а-функцнн. Воспользовавшись формулой (П.4),
для преобразования Фурье имеем
J 8 (t — ta) dt = e-7"'*.	(П.6)
— co
При /о — CLотсюда следует, что спектр функции Ь(/) равномерный на всех
частотах с интенсивностью, равной единице:
J 8 (/) e—7tuf d/= 1.
—ОО
(П.7)
Если спектром для дельта-функции о(/), расположенной в нуле, являет-
ся постоянная величина, то спектром для полусуммы двух дельта-функций
— М и Ь(/+ симметрично расположенных относительно начала
координат, является косинусоида. Действительно, согласно формуле (П. 4)
получим
со
2 ( Г (7 + 1о) + 8 (/ - /0)] e“7“f dt =	(е7ш/« + e~7“4 = cos at0. (П.8)
—ОО
Применительно к формулам (П. 7) и (П. 8) из обратного преобразования
Фурье получаем соотношения
ОО
cos dto = 6 (/),
(П.9)
о
со
2~ J cos u>t0 е,ш1
—00
оо
J 1 С	1
da = — 1 cos ata cos at da = у [8 (/-|- to) +8 (t—^o)J- (П.10)
о
660
При изменении масштаба по
дельта-функции. Если, например,
где со = 2т:Д то из равенства
оси абсцисс должна
рассматривать две
изменяться «высота»
переменные ю н /,
оо	оо	оо
1= [ 8(«)</«>= [&(/)# = [ 8(f)^
J	J	J
— CO	—oo	—oo
получаем численное соотношение между S (ю) и §(f):
(П.Н)
Путем формального применения интегрирования по частям нетрудно
убедиться, что свертка производной n-го порядка дельта-функцин с любой
функцией, имеющей непрерывную производную n-го порядка в точке го,
равна
Zo + 6
J f (г) М"’ (г - г0) dz = (- 1)" fw (z0), е > 0.
20 — е
(П.12)
Если производная (г) имеет в точке г0 разрыв первого рода, то
+ £
J /(г)?/"’
Е
(г - 20) dz = (- 1)" 4 lfW (го - 0) +	(z0 + 0)]. (П. 13)
Применяя формулу (П.12) к двукратному интегралу вида
b ь
а а
получим, что прн выполнении равенства
Э3/(х, у) д2 f (л, у)
дх2 ~ ду2
(П.14)
порядок интегрирования с дельта-функцией не имеет значения, т. е.
(П.15)
ПРИЛОЖЕНИЕ 11
СПРАВОЧНЫЕ ФОРМУЛЫ
1-	Полный эллиптический интеграл 1-го рода:

2.	Полный эллиптический интеграл 2-го рода:
7Г
т
Е(й)= J /1 —
О
3.	Частное соотношение между эллиптическими интегралами:
2Vk \	1
Т+Т) = Т+1 (2Е (*) ~ (I ~ *2) К (k)].
4.	Полиномы Чебышева 1-го рода:
Тт. (г) =	1(г + / 1 — г2)"г4~ (г — / /1 —г2
ским5и ^унк1?иями^КОе СООТНОШение межДУ вырожденными гипергеометриче-
1Л («; 7; 2) = ег( Fj (Т-а; р, -г).
6- "
ции Бесселя:
Выражения вырожденной гнпергеометрической функции через функ-
662
Продолжение
1Л
еч
сч
СЧ
N N N
СО
0>
LC
СО
N CQ М
еч
N
N
N
S
а
сч м
со со
сч со




(Л
cd
Е.
И
и
cd
Ы М М N N
СЗ
О

СО
667
ПРИЛОЖЕНИЕ V
Ф' (г)
Ф* (2)
.-(3) (г)
Таблица производных
dn ! 1	--1г.\
(5) (г)
интеграла вероятности*
ф(«+ I) 2) =	ф(« + О
Ф<6> (,)	Ф(7)(2)	Ф<8>(2)	Ф(9)(г) 0
Ф(10> (г)
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
0,39894
0,39695
0,39104
0,38139
0,36827
0,35207
О,33322
0,31225
О,28969
О,26609
0,24197
0,21785
0,19419
0,17137
0,14973
0,12952
0,11092
0,09405
0,07895
О,06562
О,05399
О,04398
0,03547
О,02833
О,02239
0,01753
0,01358
0,01042
О,00792
О,00595
0,00443
0,00327
0,00238
0,00172
0,00123
О,00087
0,00061
0,00042
О,00029
О,00020
0,00013
• Tables of the error
—0,00000
0,03970
О,07821
0,11442
0,14731
0,17603
О,19993
0,21858
0,23175
0,23948
0,24197
0,23964
О,23302
О,22278
0,20962
0,19428
0,17747
0,15988
0,14211
О,12467
0,10798
0,09237
О,07804
0,06515
О,05375
О,04382
О,03532
0,02814
0,02216
0,01726
0,01330
0,01013
О,00763
0,00568
0,00419
0,00305
О,00220
0,00157
0,00111
0,00077
—0,00054
—0,39894
0,39298
О,37540
О,34706
О,30935
0,26405
0,21326
О,15925
0,10429
—0,05056
О,00000
+0,04575
О,08544
0,11824
0,14374
0,16190
О,17304
0,17775
0,17685
0,17126
0,16197
0,14998
0,13622
0,12152
0,10660
О,09202
0,07824
О,06555
0,05414
0,04411
О,03545
0,02813
О,02203
0,01704
0,01301
О,00982
О,00732
О,00539
О,00392
О,00282
+0,00201
+0,00000
0,11869
0,23150
0,33295
0,41835
0,48409
0,52783
0,54863
О,54694
О,52445
0,48394
0,42895
(Г, 36352
0,29184
0,21800
0,14571
0,07809
+0,01759
—0,03411
0,07605
О,10798
0,13024
0,14360
0,14920
0,14834
0,14242
О,13279
0,12071
О,10727
О,09339
0,07977
О,06694
0,05523
О,04485
0,03586
О,02825
0,02194
0,01680
0,01269
0,00946
—0,00696
+ 1,19683
1,16708
1,07990
0,94130
0,76070
0,55010
О,32309
+0,09371
—0,12468
О,32034
0,48394
О,60909
О,69255
0,73413
О,73642
О,70425
О,64405
0,56316
0,46915
О,36928
О,26996
0,17646
О,09274
—0,02141
+0,03623
0,07997
0,11053
0,12926
0,13793
0,13850
О,13296
0,12313
0,11066
0,09690
0,08290
О,06943
О,05703
0,04599
0,03646
О,02842
+0,02181
—О,00000
0,59146
1,14197
1,61420
1,97770
2,21141
2,30517
2,26012
2,08800
1,80951
1,45182
1,04580
0,62301
—0,21300
4-0,15897
0,47355
0,71813
0,88702
0,98090
1,00583
0,97184
0,89150
0,77844
0,64604
О,50642
0,36974
0,24376
0,13381
4-0,04287
—0,02810
0,07977
0,11395
0,13319
О,14036
0,13840
0,13000
0,11755
0,10297
0,08777
0,07302
—Q,05942
—5,98413
5,77625
5,17112
4,22226
3,01241
1,64481
-0,23237
41,11354
2,29382
3,23026
3,87153
4,19585
4,21034
3,94753
3,45953
2,81094
2,07125
1,30785
40,58014
—0,06467
0,59390
0,98987
1,24885
1,37883
1,39654
1,32421
1,18645
1,00761
0,80970
0,61102
0,42546
0,26242
0,12712
-0,02130
40,05607
О,10784
О,13802
0,15102
0,15124
0,14264
40,12861
О,00000
4,12640
7,88604
10,95186
13,07116
14,09086
13,97043
12,78121
10,69297
7,94983
4,83941
4 1,65938
— 1,31434
3,85379
5,79719
7,05770
7,62277
7,54545
6,92967
5,91208
4,64322
3,27030
1,92319
— 0,70493
4 0,31316
1,09209
1,62219
1,91766
2,00993
1,94058
1,75501
1,49720
1,20591
0,91245
О,63975
0,40256
О,20841
4 0,05903
— 0,04809
0,11820
— 0,15792
441,88894
40,02114
34,62066
26,27024
15,85844
4 4,46820
— 6,75565
16,74166
24,61111
29,76666
31,94014
31,19624
27,89516
22,62277
16,10066
9,09001
— 2,30231
4 3,67230
8,41240
11,68565
13,44375
13,79669
12,97297
11,27320
9,02423
6,53922
4,08745
1,87559
4 .0,04011
— 1,35056
2,28683
2,80441
2,96904
2,86201
2,56761
2,16387
1,71643
1,27560
0,87591
0,53750
— 0,26860
0,00000
— 37,01335
70,01248
95,49596
110,91265
114,96102
107,71005
90,53055
65,85486
36,80862
— 6,77518
4 21,04084
43,98892
60,23994
68,91848
70,09659
64,66584
54,12072
40,29504
25,09387
4 10,25828
— 2,81069
13,15503
20,28889
24,16345
25,08481
23,60487
20,40538
16,19172
11,60800
7,17959
3,28394
— 0,14635
4 2,14502
3,61189
4,35307
4,51183
4,24744
3,71321
3,04186
4 2,33775
function and of its
first
twenty derivatives. Cambridge,
Massachusetts, Harvard University press, 1952.
668
669
ПРИЛОЖЕНИЕ V
Ф* (2)
Таблица производных
dn ! 1	—*г>\
2 )
(5) (г)
интеграла вероятности*
ф(”+ 1) (__2) = (—1)" Ф<п + Ч (2)
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1.1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
0,39894
0,39695
0,39104
0,38139
0,36827
0,35207
О,33322
0,31225
О,28969
О,26609
0,24197
0,21785
0,19419
0,17137
0,14973
0,12952
0,11092
О,09405
О,07895
О,06562
О,05399
О,04398
0,03547
О,02833
О,02239
0,01753
0,01358
0,01042
О,00792
О,00595
О,00443
0,00327
0,00238
0,00172
0,00123
О,00087
0,00061
0,00042
0,00029
О,00020
0,00013
—0,00000
0,03970
О,07821
0,11442
0,14731
0,17603
О,19993
0,21858
0,23175
0,23948
0,24197
0,23964
О,23302
0,22278
0,20962
О,19428
0,17747
0,15988
0,14211
0,12467
0,10798
0,09237
О,07804
0,06515
О,05375
О,04382
0,03532
0,02814
0,02216
0,01726
0,01330
0,01013
О,00763
О,00568
0,00419
О,00305
О,00220
0,00157
0,00111
0,00077
—0,00054
—0,39894
О,39298
0,37540
О,34706
0,30935
0,26405
0,21326
О,15925
0,10429
—0,05056
О,00000
+0,04575
О,08544
0,11824
О,14374
0,16190
0,17304
0,17775
0,17685
0,17126
0,16197
0,14998
0,13622
О,12152
0,10660
О,09202
О,07824
0,06555
0,05414
0,04411
О,03545
0,02813
О,02203
0,01704
0,01301
О,00982
0,00732
0,00539
О,00392
0,00282
+0,00201
+0,00000
0,11869
0,23150
О,33295
0,41835
0,48409
0,52783
О,54863
О,54694
О,52445
0,48394
0,42895
ОТ, 36352
0,29184
0,21800
0,14571
О,07809
+0,01759
—0,03411
0,07605
О,10798
0,13024
0,14360
О,14920
0,14834
О,14242
0,13279
0,12071
0,10727
0,09339
0,07977
0,06694
0,05523
0,04485
0,03586
О,02825
0,02194
0,01680
0,01269
0,00946
—0,00696
+ 1,19683
1,16708
1,07990
0,94130
0,76070
0,55010
0,32309
+0,09371
—0,12468
О,32034
0,48394
О,60909
О,69255
0,73413
0,73642
О,70425
О,64405
0,56316
0,46915
О,36928
0,26996
0,17646
О,09274
—0,02141
+0,03623
0,07997
0,11053
0,12926
0,13793
0,13850
0,13296
0,12313
0,11066
0,09690
О,08290
О,06943
О,05703
0,04599
0,03646
О,02842
+0,02181
—0,00000
0,59146
1,14197
1,61420
1,97770
2,21141
2,30517
2,26012
2,08800
1,80951
1,45182
1,04580
0,62301
—0,21300
+0,15897
0,47355
0,71813
0,88702
0,98090
1,00583
0,97184
0,89150
0,77844
0,64604
О,50642
0,36974
0,24376
0,13381
+0,04287
—0,02810
0,07977
0,11395
0,13319
О,14036
0,13840
0,13000
0,11755
О,10297
0,08777
0,07302
—2,05942
—5,98413
5,77625
5,17112
4,22226
3,01241
1,64481
-0,23237
+ 1,11354
2,29382
3,23026
3,87153
4,19585
4,21034
3,94753
3,45953
2,81094
2,07125
1,30785
+0,58014
—0,06467
0,59390
0,98987
1,24885
1,37883
1,39654
1,32421
1,18645
1,00761
0,80970
0,61102
0,42546
0,26242
0,12712
-0,02130
+0,05607
0,10784
О,13802
0,15102
0,15124
0,14264
+0,12861
О,00000
4,12640
7,88604
10,95186
13,07116
14,09086
13,97043
12,78121
10,69297
7,94983
4,83941
+ 1,65938
— 1,31434
3,85379
5,79719
7,05770
7,62277
7,54545
6,92967
5,91208
4,64322
3,27030
1,92319
— 0,70493
+ 0,31316
1,09209
1,62219
1,91766
2,00993
1,94058
1,75501
1,49720
1,20591
0,91245
О,63975
0,40256
0,20841
+ 0,05903
— 0,04809
0,11820
— 0,15792
+41,88894
40,02114
34,62066
26,27024
15,85844
+ 4,46820
— 6,75565
16,74166
24,61111
29,76666
31,94014
31,19624
27,89516
22,62277
16,10066
9,09001
— 2,30231
+ 3,67230
8,41240
11,68565
13,44375
13,79669
12,97297
11,27320
9,02423
6,53922
4,08745
1,87559
+ 0,04011
— 1,35056
2,28683
2,80441
2,96904
2,86201
2,56761
2,16387
1,71643
1,27560
0,87591
0,53750
— 0,26860
О,00000
— 37,01335
70,01248
95,49596
110,91265
114,96102
107,71005
90,53055
65,85486
36,80862
— 6,77518
+ 21,04084
43,98892
60,23994
68,91848
70,09659
64,66584
54,12072
40,29504
25,09387
+ 10,25828
— 2,81069
13,15503
20,28889
24,16345
25,08481
23,60487
20,40538
16,19172
11,60800
7,17959
3,28394
— 0,14635
+ 2,14502
3,61189
4,35307
4,51183
4,24744
3,71321
3,04186
+ 2,33775
• Tables of the error function and of its
first
twenty derivatives. Cambridge,
Massachusetts, Harvard University press, 1952.
668
669
ПРИЛОЖЕНИЕ VI
Таблица вырожденной гипергеометрической функции
0,5
0,5
1,0
U5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
0,8859
0,7788
0,6783
0,5841
0,4960
0,4137
0,3370
0,2657
0,1994
0,1380
0,9412
0,8848
0,8307
0,7788
0,7291
0,6814
О,6358
О,5922
0,5505
0,5106
0,9602
0,9216
О,8842
0,8480
0,8128
О,7788
0,7458
0,7139
0,6830
0,6531
О,9699
0,9405
0,9118
О,8839
0,8566
0,8300
0,8041
0,7788
0,7542
0,7301
0,9758
0,9520
0,9287
0,9060
0,8836
0,8618
0,8404
0,8194
0,7989
0,7788
0,9797
0,9598
0,9402
0,9210
0,9021
О,8835
О,8652
О,8473
0,8297
0,8125
1,0
1,0
О,6450
0,3679
0,1564
О,0000
—0,1107
—0,1839
—0,2267
—0,2453
—0,2448
—0,2299
0,8015
О,6321
0,4886
О,3679
О,2672
0,1839
0,1160
0,0613
0,0181
—0,0153
О,8600
0,7358
0,6257
О,5285
0,4429
О,3679
О,3023
0,2453
0,1958
0,1533
0,8914
0,7927
0,7031
0,6218
0,5483
0,4818
0,4219
О,3679
0,3194
0,2759
0,9112
0,8291
0,7534
0,6836
0,6193
0,5601
0,5057
0,4557
О,4099
0,3679
О,9248
О,8545
О,7889
0,7277
О,6706
0,6174
О,5679
0,5218
0,4790
О,4392
670
П родолжение
5
1,5
0,5	0,4358	0,6489	0,7389	0,7906	0,8247	0,8490
1.0	0,1054	0,3976	0,5355	0,6194	0,6767	0,7185
1,5	—0,0653	0,2227	0,3788	0,4801	0,5520	0,6060
2,0	—0,1317	0,1054	0,2597	0,3676	0,4475	0,5092
2,5	—0,1344	0,0307	0,1707	0,2775	0,3603	0,4261
3,0	—0,1021	—0,0132	0,1054	0,2058,	0,2878	0,3551
3,5	—0,0549	—0,0353	0,0587	0,1493	0,2278	0,2944
4,0	—0,0058	—0,0428	0,0263	0,1054	0,1785	0,2429
4,5	0,0372	—0,0409	0,0050	0,0716	0,1381	0,1992
5,0	0,0697	—0,0336	—0,0082	0,0461	0,1054	0,1623
2,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
0,3085
0,0183
—0,0644
—0,0549
—0,0169
0,0183
0,0387
0,0427
0,0342
0,0183
0,5238
0,2454
0,0932
0,0183
—0,0119
—0,0183
—0,0139
—0,0061
0,0011
0,0061
0,6266
0,3773
0,2153
0,1136
О,0526
0,0183
0,0010
—0,0061
—0,0075
—0,0061
0,6902
0,4670
0,3085
0,1978
0,1220
0,0714
0,0387
0,0183
0,0064
0,0000
О,7343
0,5330
0,3817
0,2692
0,1865
0,1264
О,0834
0,0531
О,0323
0,0183
0,7669
0,5838
0,4407
О,3297
0,2441
0,1786
0,1289
0,0916
0,0638
О,0435
3,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
0,1942
0,0001
—0,0150
—0,0010
О,0051
О,0029
—0,0012
—0,0032
—0,0026
—0,0006
О,3652
0,1111
О,0232
0,0001
—0,0022
—0,0004
0,0007
О,0007
О,0002
—0,0003
0,4616
0,1975
0,0760
0,0247
0,0057
0,0001
—0,0006
—0,0002
0,0001
0,0002
0,5282
0,2675
0,1285
0,0576
0,0234
0,0082
0,0021
0,0001
—0,0003
—0,0002
О,5782
0,3256
0,1776
О,0933
0,0467
О,0220
О,0095
0,0036
0,0010
0,0001
0,6178
О,3747
0,2226
0,1290
0,0727
0,0396
0,0207
0,0102
0,0047
0,0019
4,0
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
0,1434
0,0000
—0,0052
—0,0000
0,0007
0,0000
—0,0092
—0,0000
0,0001
0,0001
0,2776
0,0625
О,0093
0,0000
—0,0004
—0,0000
0,0001
О,0000
—0,0000
—0,0000
О,3589
0,1172
О,0335
0,0078
0,0012
О,0000
—0,0001
—0,0000
О,0000
О,0000
0,4185
О,1655
0,0610
О,0205
0,0061
0,0015
0,0002
0,0000
—0,0000
—0,0000
0,4655
0,2086
О,0894
0,0363
0,0137
0,0048
0,0015
0,0004
0,0001
0,0000
О,5042
0,2473
0,1175
0,0539
0,0236
0,0098
0,0038
0,0014
0,0004
0,0001
1Л(а; 1;0)= 1,	iFi(«;i;+z) = e21F1 (7-“; т; -г)
lF1'(«+l; 71 — г) = “ {(к — a)i^i(a—1; 71 —г) + (2а— 7— z)iF,(a; 7; — г)}
1 + 1; -2) = г(7_а)- h (7 -	7 - 1;
—г) +
+ 7(1 — 7 + 2)1F1(«; 7; —г)},	т а.
671
ПРИЛОЖЕНИЕ VII
Таблица гамма-функции Г(д)
п
Г(п)
1,00
01
02
03
04
1,05
06
07
08
09
1,10
11
12
13
14
1,15
16
17
18
19
1,20
21
22
23
24
1,25
26
27
28
29
1,30
31
32
33
34
1,35
36
37
38
39
1,40
1,0000
0,9943
9888
9835
9784
0,9735
9687
9642
9597
9555
0,9514
9474
9436
9399
9364
0,9330
9298
9267
9237
9209
0,9182
9156
9131
9108
9085
0,9064
9044
9025
9007
8990
0,8975
8960
8946
8934
8922
0,8912
8902
8893
8885
8879
0,8873
1,40
41
42
43
44
1,45
46
47
48
49
1,50
51
52
53
54
1,55
56
57
58
59
1,60
61
62
63
64
1,65
66
67
68
69
1,70
71
72
73
74
1,75
76
77
78
79
1,80
0,8873
8868
8864
8860
8858
0,8857
8856
8856
8857
8859
0,8862
8866
8870
8876
8882
0,8889
8896
8905
8914
8924
0,8935
8947
8959
8972
8986
0,9001
9017
9033
9050
9068
0,9086
9106
9126
9147
9168
0,9191
9214
9238
9262
9288
0,9314
1,80
81
82
83
84
1,85
86
87
88
89
1,90
91
92
93
94
1,95
96
97
98
1,99
0,5
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
5,5
6,0
6,5
7,0
7,5
8,0
8,5
9,0
9,5
10,0
0,9314
9341
9368
9397
9426
0,9456
9487
9518
9551
9584
0,9618
9652
9688
9724
9761
0,9799
9837
9877
9917
0,9958
1,7725
1,0000
0,8862
1,0000
1,3293
2,0000
3,3234
6,0000
11,6317
24,0000
52,3428
120,000
287,885
720,000
1871,25
5040,00
14034,4
40320,0
119292
362880
672
Г(л) = Р’-1 e~zdz, (n > 0), Г (n) = (n — 1) Г(п — 1).
о
Повторное применение этой формулы позволяет любой аргумент при-
вести к аргументу, содержащемуся в приведенной выше таблице. Так, на-
пример,
Г (4,2) =3,2x2,2 X1,2хГ (1,2), Г (и) Г (1 — п) — л/sin пк.
Если п — положительное целое число, то Г(п) = (п—1)!,
-р / . 1 \	1 • 3*5* • • • (2п — 1) .—	1 \	__ /	1 \	_
ОГЛАВЛЕНИЕ
Стр.
Предисловие....................................................   3
Введение........................................'................ 5
Раздел I
Основы теории вероятностей и случайных процессов
Глава Г Основные законы теории вероятностей....................11
§1.0	вероятностных закономерностях ......................... 11
§ 2.	Исходные понятия. Вероятность	события...................12
§ 3.	Сумма и произведение событий............................17
§ 4,	Теорема сложения вероятностей	.......................19
§ 5.	Теорема умножения вероятностей..........................21
§ 6.	Формула полной вероятности..............................24
§ 7.	Формула обратной вероятности..........................  26
§ 8.	Теорема о повторении опытов	.......................28
Литература...............................................30
Глава 2. Случайные величины и законы распределения............31
§ 1.	Случайная величина. Закон распределения дискретной случайной
величины ..................................................... 31
§ 2.	Функция распределения..............................• • 33
§ 3.	Плотность вероятности. . ..............................35
§ 4.	Числовые характеристики случайных величин. Математическое
ожидание....................................................37
§ 5.	Моменты случайной величины. Дисперсия .................42
§ 6.	Биномиальный закон распределения вероятностен..........45
§ 7.	Распределение Пуассона.................................48
§ 8.	Нормальное распределение...............................52
§ 9.	Другие часто встречающиеся распределения...............Б5
Литература........................................... 62
Глава 3, Случайные процессы...................................63
§ 1.	Общие сведения о случайных процессах................ . . 63
§ 2.	Плотности вероятности............................. 64
§ 3.	Характеристические функции и функции распределения вероят-
ностей .....................................................67
§ 4.	Моментные и корреляционные функции................. 69
§ 5.	Стационарные и нестационарные процессы..................73
§ 6.	Корреляционные функции и их свойства ...................75
§ 7.	Коэффициент корреляции..................................78-..,
§ 8.	Эргодическое свойство стационарных процессов..........79/
§ 9.	Экспериментальное определение дисперсии и корреляционной (
функции.....................................................
674
Стр.
§ 10.	Спектральная плотность.....................................   85
§ 11.	Экспериментальное определение спектральной плотности . . 88
§ 12.	Взаимная спектральная плотность.......................  ...	92
§ 13.	Корреляционная функция периодического процесса................94
§ 14.	Часто встречающиеся корреляционные функции ...................97
§ 15.	Нормальный случайный процесс..................................97
§ 16.	Белый пум....................................................108
§ 17.	Процессы, мало отличающиеся от нормальных. Ряды Эджворта
и Лагерра ..................................................111
§ 18.	Общие сведения о марковских процессах........................118
§ 19.	Уравнение Фоккера — Плаика...................................122
§ 20.	Применение уравнения Фоккера — Планка к реальным случай-
ным процессам.............................................  129
§ 21.	Задачи о достижении границ. Срыв слежения....................137
Литература .................................................. 141
Глава 4, Импульсные случайные	процессы.................144
§	1.	Классификация случайных	импульсов.................144
§ 2.	Характеристики импульсов по ансамблю и по времени . . . 147
§ 3.	Вычисление функции корреляции случайных прямоугольных
импульсоа ................................................. 150
§ 4.	Спектральная плотность случайных прямоугольных импульсов 157
§ 5.	Корреляционная функция пуассоновских импульсов................161
§ 6.	Детектирование случайных прямоугольных импульсов . . . 165
Литература ...................................................169
Глава 5. Воздействие случайных процессов на нелинейные безынер-
ционные элементы	. , •..........................170
№
§	1.	Преобразование плотностей вероятностей................170
§	2.	Примеры,..............................................175
§	3.	Плотности вероятности гармонических колебаний и нормального
шума . .......................................................183
§	4.	Моментные функции прн полиномиальном	преобразовании .	.	189
§	5.	О двух методах анализа кусочно-разрывных преобразований	.	192
§ 6.	Функция корреляции прн кусочно-лннейных преобразованиях
нормальных флуктуаций ..................................... 193
§	7.	Квантовадие случайных сообщений.......................200
§	8.	Кусочно-линейные преобразования суммы	сигнала и шума .	.	203
§	9.	Метод характеристических функций......................206
§	10.	Нелинейные преобразования нормальных	флуктуаций ....	208
§11.	Нелинейные преобразования сигнала и шума......................215
Литература....................................................218
Раздел II
Воздействие случайных сигналов на линейные и нелинейные устройства
Глава 6, Воздействие случайных сигналов на линейные системы . . .223
§	1.	Основные соотношения нз теории цепей................223
§	2.	Дифференцирование случайной функции.................227
§	3.	Процесс со стационарными и независимыми	приращениями	.	.	232
§	4.	Действие белого шума и видеоимпульса на	интегрирующую	це-
почку ГС	233
§ 5.	Примеры учета случайных начальных условий . ..................236
67^
Стр.
§ 6.	Вычисление корреляционных функций на выходе линейной си-
стемы ....................................................    245
§ 7.	Воздействие белого шума на контур ..................... 248.
§ 8.	Воздействие сигнала н шума на колебательный контур . . . , 250
§ 9.	Функции корреляции сингулярных и узкополосных процессов 255
§ 10.	Взаимная корреляция шумов на выходе усилителей с перекры-
вающимися частотными характеристиками......................  .	259
§ 11.	Нормализация случайных процессов инерционными системами 263
§ 12.	О необходимой детальности рассмотрения случайных процессов 271
Литература................................................    274
Глава 7. Узкополосные случайные процессы.......................276
§ 1.	Определение огибающей и фазы квазигармонических флуктуаций 276
§ 2.	Характеристики огибающей и фазы квазигармонических флук-
туаций ....................................................   282
§ 3.	Взаимная корреляция огибающих шумов на выходе узкополосных
усилителей с перекрывающимися частотными характери-
стиками ......................................................287
§ 4.	Совместная плотность вероятности огибающей, фазы и их про-
изводных суммы	сигнала и шума.........................290
§ 5.	Плотность вероятности огибающей и ее производной ....	293
§ 6.	Плотность вероятности фазы и косинуса фазы..........   .	297
§ 7.	Плотность вероятности частоты ...........................300
§ 8.	Основные характеристики огибающей и ее квадрата .....	304
§ 9.	Характеристики фазы и косинуса фазы . . . . 1.......308
§ 10.	Функция корреляция и спектр случайной частоты.......310
§ 11.	Об условиях применимости законов Релея и Райса......312
Литература............................................... 315
Глава 8. Воздействие случайных процессов на нелинейные инерцион-
ные устройства................................... •	.....317
§ 1.0	методах решения стохастических нелинейных дифференцналь-
§ 2.	Метод линеаризации. Флуктуации колебаний автогенератора . 319
§ 3.	Метод марковских процессов. Преобразование фазы автоколеба-
ний колебательным контуром...................................329
§ 4.	Об устойчивости систем и срыве слежения ......... 337
§ 5.	Квазистатнческий метод. Детектор огибающей .............341
§ 6.	Функция корреляции стохастически модулированного сигнала 345
§ 7.	О случайных воздействиях на параметрические системы. Устой-
чивость систем ..... .....................................   347
Литература .. . . ....................................'	. 353
Глава 9, Выбросы случайных процессов.........................356
§ 1.	Общие сведения........................................  356
§ 2.	О воздействии флуктуационных помех на пороговые устройства.
Нестабильность	момента срабатывания ...................  358
§ 3.	Общая формула	для среднего числа выбросов..............361
§ 4.	Число выбросов	нормального случайного процесса..........364
§ 5.	Число выбросов	огибающей, фазы и частоты................369
§ 6.	Число выбросов после нелинейного безынерционного преобра-
§ 7.	Дисперсия числа выбросов .........................374
§ 8.	Распределение максимумов..........................380
§ 9.	О распределении наибольших значений...............386
Литература.....................................    389
676
Стр.
Раздел III
Оптимальные методы радиоприема
Глава 10. Апостериорные вероятности
.............................393
§ 1.	Основные задачи теории............-....................393
§ 2.	Общая характеристика сигналов и помех..................397
§ 3.	Апостериорная вероятность............................. 402
§ 4.	Структура апостериорной вероятности в частном случае .... 407
§ 5.	Корреляционный прием . ..............................  416
§ 6.	Согласованные линейные фильтры ....................... 421
§ 7.	Оптимальные и квазноптнмальные линейные фильтры........429
§ 8.	Апостериорные вероятности параметров радиоимпульса .... 437
Литература ............................................ 442
Глава //, Оптимальные устройства для обнаружения сигналов и раз-
личения двух сигналоп........................................444
§ 1, К р hi с [hi 11 । hi i и м .1.4 Un и о (»r>ii .i p у /копия сигналов.444
§ 2.	Обнаружение сигналов но критерию Неймана — Пирсона . . . 450
§ 3.	Различение двух детерминированных сигналов...........................457
§ 4.	Различение двух радиосигналов со случайной начальной фазой 464
§ 5.	О квазикогерситпом приеме фазомаиипулировапных сигналов 474
Л и т е р i т у р л ..............................;	. . . 480
/ шва 12. Предельные точности илмсрснин параметров радиосигнала 481
С Характеристики оценки и методы опенки параметра.............481
| ” (»цснка амплитуды ст пила . . ............................  484
I i Оценка незнергетичп кн х параметрон радиоимпульса...........487
у I '[нсперсияоценки нромецн< i<> положения радиоимпульса со слу-
чайной начальной фачой . . ..............................493
| Ь Дисперсия оценки смещения чис’юты радиоимпульса.............498
§ <) Соотношение неопредглсчпкя i и и пыСор формы сигнала .... 501
i t иггимальвая схемп 'iiirin'indi аптонодгтройки.............505
Литература	...........................513
Глава 13. Фильтрация случайных chi налов из шумов...............514
$ I	Формулировка Н1ДЛЧИ фильтрации...........................514
§ 2	Линейная фильтрнппн .......................................515
§ X	Нелинейная фильтрации....................................519
§ 1.	Фильтрация слv’l-HiHoii фазы узкополосного сигнала и фазовая
автоподстройка ч;н-готы . ......................................529
§ 5.	Оптималыди фильтрация частоты узкополосных	сигналов	.	.	537
§ 6.	Синхрон и ни прием лмплптудпо-модулнрованного	радиосигнала	540
Л и т е р j । \ р а........................................541
Глава 14. Формирование и прием сигналов с внутриимпульсиой мо-
дуляцией ...................................................543
§ 1.	Характеристики зондирующих сигналов........................543
§ 2.	Функции неопределенности последовательности импульсов . . 546
§ 3.	Оптимальный прием сигналов с внутриимпульсиой модуляцией 554
§ 4.	Импульсы с линейной частотной модуляцией ..................560
§ 5.	Искажения ЛЧМ импульсов в радиотракте РЛС..................572
§ 6.	Дискретные сигналы.........................................576
677
Стр.
§ 7.	Дискретные сигналы, связанные с линейными рекуррентными
последовательностями .....................................579
§	8.	Другие классы дискретных сигналов	............	587
§	9.	Подавление боковых лепестков при	неоптимальном	приеме	.	590
§	10.	Вопросы «сверхукорочения» ...............................595
§	11.	Формирование дискретных сигналов.......................597
§	12.	Искажения ФМ импульсов в радиотракте РЛС ................599
Литература..............................................604
Раздел IV
Теория информации
Глава 15. Дискретные системы связи.......... .......... . . 607
§ 1.	Основные задачи теории информации ......................  607
§ 2.	Количество информации. Основные свойства информации . . .611
§ 3.	Энтропия и ее свойства....................................619
§ 4.	Экономное кодирование сообщений . ........................625
§ 5.	Пропускная способность канала без памяти при наличии помех 635
§ 6.	Энтропия и избыточность текста........................... 642
Литература . ..............................................644
Глава 16. Непрерывные системы связи ...........................645
§ 1.	Количество информации и энтропия..........................645
§ 2.	Одномерные свойства капала при наличии аддитивного нормаль-
ного шума ............................................... 650
§ 3.	Пропускная способность канала с ограниченной полосой частот 653
Литература ...............................................658
Приложения
I.	Дельта-функция.......................................    659
IJ. Справочные формулы.....................................662
III.	Решение интегральных уравнений...........................664
IV.	Таблица интеграла вероятности	Ф(г)..........666
V.	Таблица производных интеграла	вероятности Ф^п+'^(г) .... 668
VI.	Таблица вырожденной гипергеометрической функции
1Л(а; 7-f-l; — z2)	............. ...... 670
VII.	Таблица гамма-функции Г(п)................................672
Василий Иванович Тихонов
СТАТИСТИЧЕСКАЯ РАДИОТЕХНИКА
Редактор Т- М. Любимова
Техн, редактор В. В. Беляева
Художественный редактор В. Т. Сидоренко
Обложка художника В. М. Позднякова
£
f
J
П
10.
12. Ис
Л
Глава 1
§ 1. Осн(
§ 2. Кол:
§ 3. Энтр
§ 4. Эков
§5. Прог
§ 6. Энтр
Л и 1
Глава /6
§ 1.	Коли
§ 2.	Одно*
него
5 3.	Проп;
Л и 1
IL
III.
IV.
V.
VI.
Дель
Cnpai
Реше
Таблу
Табл1
Табл1
VII.	Табли
<	• ч
и
Г
Сдано в набор 1.IV.66 г.
Подписано к печати 3.VIII.66 г. Формат 6Ох90>/1(
Т12136. Объем 42/5 п.л. Уч.-изд. л. 43.306
Заказ тип. 245. Тираж 17000.
Цена в пер. № 7 2 р. 54 к. Бумага типографская
Московская типография №4 Г лавполиграфпром
Комитета по печати при Совете Министров QCC
Б. Переяславская, 46.	<
L*
Стр.
йжнмшнр
Строка или
формула
89
10 сн
131
2 св.
{3.20.22)
160
(4.4.12)
187	3 сн.
252
рис. 6.12
254
7 сн,
259
20 св.
272
12 сн.
273	6 си.
277
14 сн.
292
(7.4.8)
32Б
(8.2.26)
339
(8.4.7)
343
Б св.
4Б2
>ис. 11,Б
Зак U4F
ОПЕЧАТКИ
Напечатано
Должно быть


дГГг (х, х. 0 д^
dt ’ аха
dWa (х, x,t) а»
-----дГ~~ V >
О>2

2
1

Й7](т)
АС (т)
/0 — 5 кгц ,
4 г г 06, 2аг6 cos 6
—оо 0
Т)<1>
2Е/1У»

-----------—...
прн v =£= 0 все кривее
проходят через нача£<
координат

2
МО
fo = 15 кгц
4 г иёо , 2а z 0 dost
верна лишь при а — 0
I I 11И1Й fM4i —	< nii'w
1/5Ё7^