Author: Цымбал В.П.
Tags: компьютерные технологии кибернетика кодирование теория информации
ISBN: 5-11-001943-6
Year: 1992
Text
В.П.ЦЫМБАЛ JL JJ Vi J If JL
ИНФОРМАЦИИ
.КОДИРОВАНИЕ
ББК 32.811я73
Ц94
УДК 681.325(075.8)
Рецензент д-р техн, наук
Ю. Г. Заренин (Киевский институт автоматики)
Редакция литературы по информатике и автоматике
Редакторы Л. И. Чмиль, Ж. Г. Давиденко
Цымбал В. П.
Ц94 Теория информации и кодирова-
ние : Учебник.— 4-е изд., перераб. и
доп.— К- : Вища шк., 1992.— 263 с.: ил.
ISBN 5-11-001943-6
Изложены основные положения теории инфор-
мации, теории и практики безызбыточного кодирова-
k ния, построения эффективных кодов, оптимальных
\ с точки зрения минимальной средней длины кодовых
\ слов.
\ Четвертое издание учебника (3-е изд.— 1982 г.)
\ дополнено описанием кодирования в информацион-
\ но-вычислительных сетях.
\ Для студентов экономических вузов.
и\п30000-243
Ц ББК 32.811я73
ISBN \11-001943-6 © Издательское объединение
\ «Вища школа», 1973
\ © В. П. Цымбал, 1992, с измене-
\ ииями
ПРЕДИСЛОВИЕ
Теорией информации называется раздел кибер-
нетики, в котором математическими методами изучаются способы из-
мерения количества информации, содержащейся в каких-либо со-
общениях, и способы ее передачи.
Слово «информация» полисемично и поэтому неопределенно. С од-
ной стороны, информацией часто называют то, что никакой информа-
ции не несет, с другой — существует много слов, смысл которых тож-
дествен понятию «информация», знания, реакция, показания, сведения...
В настоящей книге под информацией подразумеваются лишь те
сведения, которые сокращают неопределенность, существовавшую до их
поступления. Сведения, не увеличивающие и не уменьшающие неопре-
деленность,существующую до их поступления, называются информаци-
онными шумами. Степень новизны информации может быть оценена по
вероятности появления того или иного сообщения. Поэтому вероятност-
ные и статистические методы — основа математического аппарата
теории информации. Несмотря на то, что в настоящее время статисти-
ческая теория информации получила признание и распространение,
это определение слишком узко, поскольку трудно перечислить все
области человеческих знаний, в которых могут быть использованы по-
ложения теории информации помимо теории передачи сообщений,
кроме того существуют нестатистические способы вычисления количе-
ства информации [17, 25, 40].
Дисциплина «Теория информации и кодирование» не может рас-
сматриваться без близких ей дисциплин: статистической теории связи,
теории потенциальной помехоустойчивости, теории кодирования.
Статистическая теория связи сформировалась в результате слия-
ния теории информации [12) и теории потенциальной помехоустойчи-
вости [28|. Теорию кодирования можно считать частью современной
теории информации [26], так как теоремы кодирования составляют
ее основное содержание. Теория кодирования изучает проблемы раз-
работки алгоритмов кодирования и декодирования, оценивает их
эффективность. Ее можно разделить на кодирование источников сооб-
щений (оптимальное кодирование, сжатие сообщений) и помехоустой-
чивое кодирование (обнаружение и исправление ошибок).
Одна из основных задач теории информации — максимальное ис-
пользование потенциальных возможностей каналов связи путем сов-
местной реализации оптимального кодирования источника и помехо-
устойчивого кодирования.
Теория потенциальной помехоустойчивости ставит, по существу,
ту же задачу, что и теория кодирования — стремление получить оп-
тимальную или субоптимальную (т. е. оптимальную при ряде ограни-
чений) обработку принимаемых сообщений; имеет тот же критерий оп-
тимальности — минимум вероятности ошибки при заданных ограни-
!•
3
чениях (скорость передачи, частота, мощность и другие); совпадают
также задача поиска способов обработки на приеме, расчет вероят-
ностей ошибок и нахождение видов сигналов, минимизирующих ошиб-
ки при передаче сообщений. Но теория кодирования имеет дело с дис-
кретными сигналами, формируемыми по заданному закону в конечное
множество кодовых комбинаций, а теория потенциальной помехо-
устойчивости связана с передачей непрерывных сигналов.
Теория кодирования по своей природе ближе к математическим
дисциплинам, а теория потенциальной помехоустойчивости — к ра-
диотехническим. Этим обусловлены различия в аппарате исследова-
ния: для первой это линейная алгебра, теория конечных полей, ком-
бинаторика, марковские цепи, для второй — теория вероятностей и
случайных процессов, математическая статистика: теория решений,
теория оптимального управления, т. е. дисциплины, используемые
при описании непрерывных процессов. Более глубокое различие
между теорией потенциальной помехоустойчивости и теорией коди-
рования заключается в том, что при оптимальном приеме, как прави-
ло, обрабатывается небольшое конечное число сигналов, а число
кодовых комбинаций мощных кодов необозримо. Следовательно, для
мощных кодов, которые являются наиболее эффективными, невозмож-
но построить устройство, генерирующее все комбинации в конечный
промежуток времени.
Согласно [27], «оптимальный прием — это «хорошая» обработка
«плохих» сигналов, а кодирование — «плохая» обработка «хороших»
сигналов». Иными словами, «теория кодирования начинается там,
где кончается оптимальная обработка». Разрыв между этими двумя
направлениями начинает существенно уменьшаться, хотя интерес
к теории кодирования преобладает.
Действительно, кодирование целесообразно за исключением тех
случаев, когда увеличение избыточности сообщения за счет корректи-
рующих элементов ведет к такому уменьшению длительности самого
элемента в канале связи, что вероятность ошибки не может быть ском-
пенсирована корректирующей способностью кода. Это бывает в слу-
чаях, когда накладываются жесткие ограничения на скорость передачи
сообщений, т. е. на длину сообщения во времени. В случаях, когда
вероятность ошибки не зависит от мощности сигнала, повысить до-
стоверность можно только за счет помехоустойчивого кодирования либо
многократного повторения сообщений. Это относится к коммутируе-
мым телефонным каналам, в которых большинство ошибок вызывает-
ся «дрожанием» контактов, к каналам с мощными импульсными поме-
хами и к каналам с переходными или взаимными помехами.
Интерес к теории информации и кодированию, а также к техни-
ческим проблемам, связанным с передачей, обработкой и хранением
информации, растет пропорционально увеличению объемов информа-
ции, что наблюдается во всех областях науки и техники. Открываются
новые классы кодов и областей их применения, совершенствуются
методы и устройства кодирования и декодирования. Расширяется об-
ласть применения теории кодирования, сфера смежных с ней задач,
еще не сформированных в самостоятельные дисциплины.
Глава
ОСНОВНЫЕ ПОНЯТИЯ И
ОПРЕДЕЛЕНИЯ
Любое отражение материального мира, которое мо-
жет быть зафиксировано живым существом или прибором, несет в се-
бе информацию.
Отражение результатов человеческой деятельности или понимания
окружающего мира может быть представлено в формализованном виде,
например в виде наборов букв или цифр. Такие формализованные на-
боры обычно называют данными. Данные, полученные от источника
информации, называют сообщением. Они становятся информацией
в момент их использования, поэтому не всяким данным суждено стать
информацией. Информацией становятся те сообщения, которые сни-
мают неопределенность, существовавшую до их поступления.
Теория информации занимается изучением количества информа-
ции в сообщениях безотносительно конкретного их содержания, так
как процесс формализации и механизации передачи информации не
предусматривает изменения содержания сообщений. ПредметОлМ изу-
чения теории информации являются вероятностные характеристики
исследуемых объектов и явлений, так как вероятность есть наиболее
удобная численная мера неопределенности, с уменьшением которой
и связан процесс получения информации. Неопределенность появле-
ния того или иного явления, неопределенность нахождения в том или
ином состоянии некоторой физической системы или ее отдельных эле-
ментов, неопределенность появления той или иной буквы в текстовом
сообщении можно представить при помощи вероятностных характе-
ристик символов некоторого абстрактного алфавита и изучать его
информационные характеристики безотносительно того физического
содержания, которое кроется за тем или иным символом. С помощью
такого абстрактного алфавита в теории информации моделируются вес
источники информации.
Теория передачи информации является частью теории информа-
ции. Предметом изучения теории передачи информации является по-
лучение оптимальных методов передачи сообщений.
Сообщения передаются при помощи сигналов, обладающих опре-
деленными физическими свойствами. В общем случае сигналом мо-
жет быть любое изменение начального состояния объекта, которое
способно вызвать реакцию человека или прибора. Различают сигна-
лы: зрительные (телевизионное изображение), звуковые (звонок),
электрические (положительные и отрицательные импульсы), радио-
сигналы и г д. Одни сигналы могут вызывать другие. Так, электри-
ческий сигнал может вызвать звуковой (в электрическом звонке), све-
товой сигнал — электрический (в фотоэлементе). Сигналы могут быть
взаимосвязаны в пространстве и во времени (звуковое кино).
5
Основными параметрами, характеризующими сигнал, являются:
длительность сигнала Тс, ширина частотного спектра Fc и средняя
мощность Рс. Для надежной передачи сигналов, как правило, необхо-
димо рассматривать эти характеристики во взаимосвязи друг с дру-
гом, так как они могут дополнять друг друга. Например, недостаток
мощности сигнала можно компенсировать за счет увеличения его
длительности, а расширение частотного спектра фактически является
увеличением длительности (по крайней мере является возможностью
увеличения длительности). Поэтому существует еще одна (собира-
тельная) характеристика, которая называется объемом сигнала Ус.
Длительность сигнала Тс — характеристика, показывающая вре-
мя нахождения сигнала в канале связи.
Частотный спектр сигнала Fc — характеристика, показывающая
полосу частот, при которой данный сигнал передается по данному ка-
далу связи. В качестве комментария к этой характеристике следует
сказать, что теоретически ширина спектра сигнала конечной длитель-
ности неограничена. Из практики магнитной записи мы знаем, что
чем шире диапазон частот используемой аппаратуры, тем выше ка-
чество записей. Но практически каждый конкретный вид передачи
имеет спектр частот, при котором искажения сигнала лежат в допус-
тимых пределах. Например, телефонные разговоры ведутся в диапа-
зоне от 300 до 3400 Гц и полоса частот/д = 3100 Гц является допусти-
мой для телефонных каналов.
Средняя мощность сигналов Рс — характеристика, показывающая
мощность, которую обеспечивает сигналу передающая аппаратура
и аппаратура восстановления сигнала в процессе его прохождения по
каналу связи. На практике в качестве энергетической характеристики
сигнала берут отношение средней мощности сигнала Рс к средней мощ-
ности помехи Рп и называют его динамическим диапазоном
De = logPc/Pn.
Объем сигнала Vc — собирательная характеристика, показывающая
в обобщенной форме условия, которые должен обеспечивать канал
связи для качественной передачи сигналов
Vc = TCFCDC.
Аналогичная характеристика существует и для канала связи, она
называется емкостью канала связи
VK = TKFKDK,
”.д Тк — время использования канала связи; FK — полоса частот,
обеспечиваемая при передаче сигналов по данному каналу связи;
DK—динамический диапазон уровней сигналов, который спосооен
обеспечивать данный капал связи.
Качественное прохождение сигнала гарантируется при
тс < Тк;
Dc Da.
6
Это условие полного согласования сигнала с каналом связи. Со-
временная аппаратура передачи данных часто позволяет согласовывать
сигнал с каналом связи даже в случае, когда не соблюдаются все три
вышеуказанных условия, но для этого необходимо выполнение усло-
вия, без которого невозможна качественная передача сигналов: Vc VK.
С точки зрения положения во времени и в пространстве сигналы де-
лятся на статические и динамические. Статическими называются
сигналы, отображающие устойчивые изменения состояния объекта (триг-
геры и ячейки памяти в вычислительной машине, фотографии, маг-
нитные ленты и перфоленты и т. д.). Динамическими называются сиг-
налы, отображающие непрерывные изменения состояния объекта либо
процессы при переходе от одного устойчивого состояния в другое.
К динамическим сигналам относятся все виды электромагнитных коле-
баний (световые, радиосигналы) и упругие колебания среды (распро-
странение звука в воде, твердом теле и т. д.).
По структуре сообщения сигналы делятся на непрерывные и ди-
скретные. Если сигнал (сообщение) в конечном интервале амплитуд
принимает произвольное количество значений, то он (оно) называется
непрерывным. Например, сигналы в аналоговых устройствах, откло-
нение стрелки барометра при изменении давления, модуляция несущей
в телефонном канале под влиянием речи говорящего в микрофон або-.
нента и т. д. Если сигнал (сообщение) в конечном интервале амплитуд
принимает ограниченное количество значений, то он (оно) называется
дискретным.
Дискретные сигналы как средство передачи информации нашли
более широкое применение, чем непрерывные. Это объясняется тем,
что дискретные сигналы в меньшей степени подвержены влиянию по-
мех в каналах связи, искажение дискретного сигнала легче обнару-
жить, чем искажение непрерывного, и, главное, дискретные сигналы
легко обрабатываются на электронных вычислительных машинах
(ЭВМ) и отображаются устройствами цифровой индикации.
Возможность передачи непрерывных сообщений при помощи ди-
скретных сигналов была доказана академиком В. А. Котельниковым
еще в 1933 г. Согласно теореме Котельникова, или теореме отсчетов,
если функция непрерывна и ее частотный спектр не содержит состав-
ляющих с частотой, превышающей F, то она полностью определяется
совокупностью ординат, отстоящих во времени друг от друга на I/2F.
Физический смысл теоремы отсчетов заключается в следующем.
Предположим, требуется передать значение непрерывной функции
v (/) (рис. 1) при помощи дискретных сигналов. Это можно сделать,
передавая через определенные интервалы времени Д/ значения функции
v (/). Чем короче эти интервалы, тем точнее будет передана функция
v (/). Передача непрерывных функций при помощи конечного числа
значения (уровней) называется квантованием, а минимальный отрезок
времени между соседними уровнями — шагом квантования. Спраши-
вается, какой минимальный интервал А/(шаг квантования) необходим
для точной передачи функции и (/)?
Из-за несовершенства аппаратуры, условий работы, которые обыч-
но отличаются от идеальных, и других причин невозможно передать
7
Рис. 1. Отображение непре-
рывного сигнала дискретны-
ми значениями.
весь спектр частот, а следовательно, абсолютно точно передать и не-
прерывную функцию. Так же, как невозможно абсолютно точно пере-
дать мысль, каким бы богатым не был словарный запас человека:
мысль — непрерывна, словарь — дискретен. Однако чем больше сло-
варный запас, тем точнее можно высказать мысли. Аналогично, чем
большим числом квантов передавать функцию, тем точнее можно ее
воспроизводить. Теорема Котельникова отвечает на вопрос, каким
должен быть выбран шаг квантования — интервал отсчетов, чтобы
непрерывную функцию передать при помощи дискретных сигналов.
Согласно теореме, функция с ограниченным спектром полностью
определяется своими значениями, отсчитанными через интервалы
\t~ H2F, где F — ширина спектра. От-
счеты берутся тем чаще, чем шире спектр
функции. Таким образом, тактовая частота
следования импульсов [0 = = 2F, где
F — верхняя граница спектра. Справедли-
вость теоремы легко воспринимается ин-
туитивно: если в спектре отсутствует час-
тота выше F, то за время, равное половине
периода самой высокой из частот спектра,
функция не успеет заметно измениться.
Единичные элементы дискретных сооб-
щений называются дискретными посылка-
ми. Они могут обладать различными физическими свойствами, кото-
рые позволяют однозначно отличать их друг от друга, Эти свойства
называются качественными признаками. Наиболее распространенными
качественными признаками дискретных сигналов являются полярный,
амплитудный, временной и частотный.
Полярный признак. Качеством одной посылки является положительный, а ка-
чеством другой — отрицательный импульсы (рис. 2, а, б). Число качеств т = 2.
Полярные признаки могут выделяться при помощи триодов разной проводимости,
поляризованных реле, диодных сборок и т. д.
Амплитудный признак. Качеством каждой посылки является амплитуда. Теоре-
тически амплитудных признаков может быть бесконечное множество (рис. 2, ^в),
практически же используют только два: наличие и отсутствие сигнала (рис. 2, г).
Это вызвано тем, что помехи в канале связи часто искажают часть импульса, вслед-
ствие чего возможен прием ложной информации. Амплитудные признаки выделяют при
помощи различных пороговых устройств на стабилитронах, реле различной чувстви-
тельности, тиратронах с холодным катодом и т. д.
Временной признак. Качеством посылки является ее длительность (рис. 2, д).
Число качеств т 2. Удлинение элементарной посылки — это распространенное
средство защиты от помех. Выделяют временные признаки при помощи интегрирую-
щих цепей, одновибраторов, реле времени и т. д.
Частотный, признак. Качеством посылки служит частота ее заполнения (рис. 2,
е, ж). Выделяют частотные признаки преимущественно при помощи как электриче-
ских, так и электромеханических резонансных фильтров.
Часто при передаче сообщений используют одновременно несколько качественных
признаков, что позволяет с большей уверенностью отличать истинный сигнал от
ложного. Такие сообщения обладают большей помехоустойчивостью — свойством
сохранять истинные значения при наличии помех в капало связи.
Одними из наиболее распространенных способов передачи сообщений со смешан-
ными признаками являются частотно-временные. К ним относятся сообщения, состоя-
8
щие из многочастотных посылок с фиксированной длительностью. Элементарные
посылки идут друг за другом последовательно во времени. Число таких качеств
7< = mq + mB, (1)
где тч и тв — количество соответственно частотных и временных признаков.
На рис. 2, з представлена одна из комбинаций при тч = 3, пч = 2 и пв == 3,
где пч — количество частот в посылке; пв — количество посылок в комбинации.
пппп п п п п
е
Рис. 2. Качественные признаки дис-
кретных сигналов.
3
Для передачи частотного набора качественных признаков во времени и простран-
стве используется процесс модуляции — изменения параметров регулярного физи-
ческого процесса (например, гармонического колебания), осуществляющегося во вре-
мени в соответствии с текущими значениями сигнала. Различают частотную, фазовую,
амплитудную и импульсную модуляции (в последнем случае модулируется импульс-
ная несущая). На рис. 3 представлены примеры отображения отдельных чисел и
их наборов при помощи модулированных сигналов.
I J I 4 I / О 1 4 О
е
Рис. 3. Отображение отдельных чисел модулиро-
ванными сигналами:
а — частотная (ортогональная) модуляция, б — фа-
зовая модуляция; в — импульсная модуляция; г —«
представление числа 3430140 частотно-модулирован-
ными сигналами; д, е, ж — представление чисел
221, 201 и 021 амплитудно-модулированными сиг-
налами.
jr Как правило, число однозначно различимых сигналов, предназна-
ченных для передачи сообщений, значительно меньше количества сим-
волов алфавита, описывающего источник сообщений. Во всех случаях,
когда число символов исходного алфавита больше числа однозначно
Рис. 1. Отображение непре-
рывного сигнала дискретны-
ми значениями.
весь спектр частот, а следовательно, абсолютно точно передать и не-
прерывную функцию. Так же, как невозможно абсолютно точно пере-
дать мысль, каким бы богатым не был словарный запас человека:
мысль — непрерывна, словарь — дискретен. Однако чем больше сло-
варный запас, тем точнее можно высказать мысли. Аналогично, чем
большим числом квантов передавать функцию, тем точнее можно ее
воспроизводить. Теорема Котельникова отвечает на вопрос, каким
должен быть выбран шаг квантования — интервал отсчетов, чтобы
непрерывную функцию передать при помощи дискретных сигналов.
Согласно теореме, функция с ограниченным спектром полностью
определяется своими значениями, отсчитанными через интервалы
A/™ 1/2F, где F — ширина спектра. От-
счеты берутся тем чаще, чем шире спектр
функции. Таким образом, тактовая частота
следования импульсов f0 = = 2F, где
F — верхняя граница спектра. Справедли-
вость теоремы легко воспринимается ин-
туитивно: если в спектре отсутствует час-
тота выше F, то за время, равное половине
периода самой высокой из частот спектра,
функция не успеет заметно измениться.
Единичные элементы дискретных сооб-
щений называются дискретными посылка-
ми. Они могут обладать различными физическими свойствами, кото-
рые позволяют однозначно отличать их друг от друга, Эти свойства
называются качественными признаками. Наиболее распространенными
качественными признаками дискретных сигналов являются полярный,
амплитудный, временной и частотный.
Полярный признак. Качеством одной посылки является положительный, а ка-
чеством другой — отрицательный импульсы (рис. 2, а, б). Число качеств т = 2.
Полярные признаки могут выделяться при помощи триодов разной проводимости,
поляризованных реле, диодных сборок и т. д.
Амплитудный признак. Качеством каждой посылки является амплитуда. Теоре-
тически амплитудных признаков может быть бесконечное множество (рис. 2, 'в),
практически же используют только два: наличие и отсутствие сигнала (рис. 2, г).
Это вызвано тем, что помехи в канале связи часто искажают часть импульса, вслед-
ствие чего возможен прием ложной информации. Амплитудные признаки выделяют при
помощи различных пороговых устройств на стабилитронах, реле различной чувстви-
тельности, тиратронах с холодным катодом и т. д.
Временной признак. Качеством посылки является ее длительность (рис. 2, д).
Число качеств т 2. Удлинение элементарной посылки — это распространенное
средство защиты от помех. Выделяют временные признаки при помощи интегрирую-
щих цепей, одновибраторов, реле времени и т. д.
Частотный, признак. Качеством посылки служит частота ее заполнения (рис. 2,
е, ж). Выделяют частотные признаки преимущественно при помощи как электриче-
ских, так и электромеханических резонансных фильтров.
Часто при передаче сообщений используют одновременно несколько качественных
признаков, что позволяет с большей уверенностью отличать истинный сигнал от
ложного. Такие сообщения обладают большей помехоустойчивостью — свойством
сохранять истинные значения при наличии помех в канале связи.
Одними из наиболее распространенных способов передачи сообщений со смешан-
ными признаками являются частотно-временные. К ним относятся сообщения, состоя-
8
щие из многочастотных посылок с фиксированной длительностью. Элементарные
посылки идут друг за другом последовательно во времени. Число таких качеств
Д’ = тч + тв, (1)
где тц и тв — количество соответственно частотных и временных признаков.
На рис. 2, з представлена одна из комбинаций при тч = 3, пч = 2 и пв = 3,
где пч — количество частот в посылке; пв — количество посылок в комбинации.
пппп п п пл
е
Рис. 2. Качественные признаки дис-
кретных сигналов.
3
Для передачи частотного набора качественных признаков во времени и простран-
стве используется процесс модуляции — изменения параметров регулярного физи-
ческого процесса (например, гармонического колебания), осуществляющегося во вре-
мени в соответствии с текущими значениями сигнала. Различают частотную, фазовую,
амплитудную и импульсную модуляции (в последнем случае модулируется импульс-
ная несущая). На рис. 3 представлены примеры отображения отдельных чисел и
их наборов при помощи модулированных сигналов.
I J I 4 I / О 1 I 4 О
Рис. 3. Отображение отдельных чисел модулиро-
ванными сигналами:
а — частотная (ортогональная) модуляция; б — фа-
зовая модуляция; в — импульсная модуляция; г —•
представление числа 3430140 частотно-модулирован-
ными сигналами; д, е, ж — представление чисел
221, 201 и 021 амплитудно-модулированными сиг-
налами.
jr Как правило, число однозначно различимых сигналов, предназна-
ченных для передачи сообщений, значительно меньше количества сим-
волов алфавита, описывающего источник сообщений. Во всех случаях,
когда число символов исходного алфавита больше числа однозначно
различимых качественных признаков т2, являющихся непосред-
ственным переносчиком сообщений, для однозначного представления
сообщений необходим процесс кодирования.
Код — универсальный способ отображения информации при ее
хранении, передаче и обработке в виде системы однозначных соответ-
ствий между элементами сообщений и сигналами, при помощи кото-
рых эти элементы можно зафиксировать [39, г. 1, с. 459]. Добавим
к этому, что кодирование всегда может быть сведено к однозначному
преобразованию символов одного алфавита в символы другого. При
этом код есть правило, закон, алгоритм, по которому осуществляется
это преобразование.
Абстрагируясь от конкретного физического содержания, подлежа-
щие формальному описанию события независимо от того, являются
ли они явлением природы, состоянием системы или буквами языкового
алфавита, будем обозначать символами некоторого абстрактного ал-
фавита А {аь а2, ..., От^ и называть первичным алфавитом. Таким
образом, первичный — это исходный, кодируемый алфавит. Абстракт-
ным будем называть алфавит, за символами которого не кроется кон-
кретное содержание. Число качественных признаков (ими могут быть
произвольные однозначно различимые наборы символов, буквы алфа-
витов различных языков либо произвольная буква с разным набором
индексов при ней) абстрактного первичного алфавита обозначим — т±.
Набор однозначно различимых качественных признаков, облада-
ющих необходимыми физическими свойствами для перемещения симво-
лов первичного алфавита в пространстве и во времени, будем обозна-
чать В {blt b2, ..., Ьт2} и называть вторичным алфавитом. Таким обра-
зом, вторичный — это алфавит, при помощи которого символы
первичного алфавита преобразуются в ту форму, в которой они обра-
батываются либо перемещаются. Число качественных признаков вто-
ричного алфавита обозначим т2.
Во всех случаях, когда т± > т2, необходим процесс кодирования.
Для равномерных (равномерными называются коды, все комбинации
которых имеют одинаковую длину; они рассматриваются в главе 9)
безызбыточных кодов, у которых тх является целой степенью т2,
соотношение между тх и т2 имеет вид
тг ~ т”,
где п — длина комбинаций кода во вторичном алфавите. Число сим-
волов, букв, в общем случае, однозначно различимых качественных
признаков т2, составляющих вторичный алфавит, определяют основа-
ние кода. Так, в коде Морзе, вторичный алфавит которого составляют
тире, точка и пауза, основание — три, сам код Морзе относится к тро-
ичным кодам.
В более общем случае, закон преобразования символов алфавита
щ в кодовые комбинации, составленные из алфавита т2, может быть
представлен в виде
тх m2.
10
Код представляет собой полный набор всех возможных комбина-
ций символов вторичного алфавита, построенных по данному закону-
Комбинации символов, принадлежащие данному коду, называются
кодовыми словами. В каждом конкретном случае могут быть использо-
ваны все либо часть кодовых слоев, принадлежащих данному коду.
Тем более, что существуют «мощные коды», все комбинации которых
практически невозможно отобразить. Поэтому под словом «код» под-
разумеваем прежде всего закон, по которому производится преобразо-
вание, в результате которого получаем кодовые слова, полный набор
которых принадлежит данному коду, а не какому-то другому, построен-
ному по иному закону.
Символы вторичного алфавита независимо от основания кода явля-
ются лишь переносчиками сообщений. Сообщением при лом является
буква первичного алфавита безотносительно конкретного физического
либо смыслового содержания, которое она отражает.
В случае необходимости передачи сообщений символам вторичного
алфавита ставятся в соответствие конкретные физические качественные
признаки. Процесс воздействия на закодированное сообщение с целью
превращения его в сигнал называется модуляцией. Сигналы
служат переносчиками информации в пространстве и во времени.
Основной задачей теории информации и кодирования как самостоя-
тельной дисциплины является оптимальное использование информа-
ционных характеристик источников сообщений и каналов связи для
построения кодов, обеспечивающих заданную достоверность переда-
ваемой информации с максимально возможной скоростью и минималь-
но возможной стоимостью передачи сообщений. Частными задачами
при этом являются: проблемы измерения количества информации,
изучение свойств информации, исследование взаимодействия систем
и элементов систем методами теории информации, решение задач
яр икладного характера.
Выводы: 1. Не следует путать понятия «информация» и «знание».
Создание информации со стороны источника рассматривается как
цепь случайных событий и при исследовании ансамблей сообщений
используется математический аппарат теории вероятностей.
2. Информация от источника к адресату передается при помощи
сигналов, которые могут быть «прочитаны» благодаря тому, что ад-
ресату известен закон формирования сообщений из данных сигналов.
3. Теория информации оперирует не с конкретными смысловыми
сообщениями, не с физическими источниками информации и реальны-
ми каналами связи, а с их математическими моделями, цель изучения
которых,—создание реальных информационных систем, передающих
данные с максимальной точностью при минимальных затратах.
н
Глава
МОДЕЛЬ СИСТЕМЫ ПЕРЕДАЧИ
ИНФОРМАЦИИ.
КАНАЛЫ СВЯЗИ
Сообщения передаются от объекта к адресату при
помощи совокупности технических средств, образующих систему
передачи информации. Сколько существует методов отображения ин-
формации, столько можно создать и способов ее передачи. Поэтому,
говоря в дальнейшем о модели системы передачи информации, будем
иметь в виду ее наиболее общий вид (рис. 4). К системам передачи ин-
формации относится и почта, и телевидение, и сигнализация при помо-
щи костров.
В качестве примера рассмотрим работу одноканальной системы
передачи информации (рис. 4, а), в которой объект — скрипач в радио-
студии, адресат — слушатель. Первичным преобразователем являет-
ся микрофон. Сигнал с микрофона через систему усилителей и модуля-
тор поступает на передатчик. Затем через приемник демодулированный
и усиленный сигнал попадает к адресату. Шифратор и дешифра-
тор в данной системе представлены в неявном виде, так как с некоторы-
ми допущениями шифратором можно было бы, например, считать ком-
позитора, кодом — ноты, а дешифратором — элементы слухового и
эмоционального восприятия слушателя. Такое допущение сделано с
целью подчеркнуть условность общей модели системы передачи инфор-
мации.
В простейших каналах связи приемник, передатчик и преобразо-
ватель мощности могут быть совмещены. Например, телефон (или те-
леграф): сигналы от микрофона (или телетайпа) передаются непо-
средственно по проводной линии связи.
Для многоканальной системы передачи информации характерны
устройства объединения и разделения сигналов (рис. 4, б). Предпо-
ложим, требуется передать информацию о состоянии доменных печей.
Первичные преобразователи (например, датчики температуры и уров-
ней, газоанализаторы) передают информацию ЭВМ, которая ее обраба-
тывает и затем в определенной последовательности передает на модуля-
тор. В данном случае ЭВМ играет роль устройства объединения и шиф-
ратора. Адресатом является световое табло, на котором доменные печи
обозначены условными символами. Рядом с символом домны в соответ-
ствующих ячейках появляются цифры, отражающие информацию о
времени загрузки, проценте содержания кислорода, количестве вы-
плавленного металла и т. д.
Многоканальная система допускает построение кодирующих уст-
ройств до устройства объединения, а декодирующих—после устрой-
ства разделения. Однако ее следует пытаться строить так, как пока-
зано на рис. 4, б, что приводит к существенной экономии аппаратуры.
Многоканальная система не обязательно подразумевает передачу
информации по нескольким проводам или на нескольких несущих.
Не следует путать канал связи и линию связи. Канал связи — сово-
купность технических средств, предназначенных для передачи инфор-
12
мации от объекта к адресату; линия связи — среда, в которой распро-
страняются сигналы, несущие информацию. Для повышения пропуск-
ной способности линий связи по ним могут передаваться сообщения
от нескольких источников одновременно. Такой прием называется
уплотнением. В этом случае сообщения от каждого источника пере-
даются по своему каналу связи, хотя линия связи у них общая.
Рис. 4. Обобщенная модель системы передачи информации:
а — одноканальная; б — многоканальная
Различают каналы связи дуплексные и симплексные. Канал связи
между пунктами А и Б называется дуплексным, если он обеспечивает
возможность передачи информации как от пункта А к 5, так и от Б
к Л. Если канал связи обеспечивает возможность передачи только
в одном направлении (от А к Б или от Б к Л), то он называется
симплексным.
Вполне возможно, что у одного объекта может быть несколько ад-
ресатов, например, в системах телеуправления, телеизмерения и теле-
сигнализации. В зависимости от структуры связи объекта с адресата-
ми каналы связи могут быть: последовательными — однофидерная
линия связи проходит через каждый адресат Лх — Лб (рис. 5, а);
13
радиальными — каждый из адресатов — Л5 соединен с (объектом
отдельной однофидерной линией (рис. 5, б); кустовыми — оДнофидер-
ные линии соединяют с объектом по нескольким адресам; ч^сло линий
связи больше или равно двум (рис. 5, в)\ древовидными — бднофидер-
ные линии непосредственно не соединяются с объектом, аг подключа-
ются к нему через отдельную линию; число линий связи больше или
равно трем (рис. 5, г).
В зависимости от линии связи каналы связи делятся на проводные
(металл), радио (воздух), оптические (световой луч), гидроакустиче-
ские (вода).
Передача информации при помощи проводов — наиболее древнее и по сей день
наиболее распространенное средство связи объекта с адресатом. Проводные каналы
связи бывают одностороннего (симплексный) и двустороннего (дуплексный) действий.
Проводные каналы связи используются обычно в диапазоне от долей герца до
12 кГц. Ограничение частотного диапазона проводного канала связи обусловлено тем,
что с увеличением частоты возрастает активное сопротивление провода под влиянием
поверхностного эффекта. Максимальная протяженность проводного канала связи
определяется затуханиями в нем, которые, в свою очередь, зависят от параметров
линии связи: активного сопротивления, индуктивности, емкости и проводимости изо-
ляции проводов. Эти параметры меняются в зависимости от времени года (активное
сопротивление зимой — минимальное, летом — максимальное), расстояния между
проводами (чем больше расстояние, тем больше емкость), диаметра проводов (чем
больше диаметр, тем больше индуктивность), влажности воздуха (чем больше влаж-
ность, тем больше проводимость изоляции проводов). Поэтому при передаче инфор-
мации на большие расстояния возникает необходимость в промежуточной аппаратуре,
которая осуществляла бы усиление и частичную регенерацию импульсов, а также
коррекцию их частотных искажений.
В настоящее время для передачи информации применяют телефонные и телеграф-
ные каналы, в которых дополнительная аппаратура установлена лишь на передаю-
щем и приемном концах. При этом чаще стараются использовать подземные (кабель-
ные) каналы связи, так как они меньше зависят от внешних условий и имеют стабиль-
ные параметры. Кроме того, у кабелей значительно лучше частотные характеристики.
Разработаны специальные коаксиальные кабели, которые могут использоваться в
диапазоне 60...12 000 кГц, что позволяет передавать по ним даже телевизионные
программы.
Для передачи информации используют также линии электропередачи (ЛЭП).
К достоинствам ЛЭП следует отнести высокую прочность конструкций, а также
строгий надзор за ними, меньшую возможность случайных повреждений; к недостат-
кам — ЛЭП могут отключить и планово, и аварийно, и для проверки новых под-
станций.
Особенности передачи информации по радиоканалу определяются преимуще-
ственно выбранным рабочим диапазоном частот (табл. 1).
Длинноволновый (ДВ) диапазон. Длинные волны хорошо огибают Землю и сравни-
тельно слабо поглощаются ею. Кроме того, на распространение длинных волн ионо-
сфера практически не влияет, и, следовательно, условия их распространения заметно
не изменяются в течение суток Длинные волны хорошо отражаются от самого нижнего
ионизированного слоя атмосферы, и на больших расстояниях напряженность прост-
ранственной волны оказывается больше напряженности поверхностной. Однако для
передачи сигналов в этом диапазоне необходимо применять высокие антенны, так как
к. п. д. последней зависит от соотношения ее размеров и длины волны, либо мощные
передатчики, чтобы компенсировать низкий к. п. д. антенны. Самый большой недоста-
ток длинноволнового диапазона — низкая пропускная способность и низкая помехо-
защищенность от природных и промышленных помех.
Средневолновый (СВ) диапазон. Средние волны распространяются в виде как по-
верхностных, так и пространственных волн. Днем пространственные волны испыты-
ваю! сильное поглощение при отражении от ионосферы, поэтому для связи основную
роль играют поверхностные волны. Ночью поглощение при отражении от ионосферы
резко уменьшается, поэтому связь обеспечивается пространственными волнами,
14
В результате интерференции пространственных и поверхностных волн в местах приема
с наступлением темноты наблюдаются значительные замирания сигналов с периодом
в несколькб секунд. Устойчивость связи СВ диапазона в значительной степени зависит
от времени года и фазы солнечной активности (при одинаковых размерах). К. п. д.
антенн для , передачи в СВ диапазоне значительно выше, чем в ДВ диапазоне.
Коротковолновый (КВ) диапазон. Короткие волны распространяются в виде
как поверхностных, так и пространственных волн. Поверхностные волны испытывают
сильное поглощение Землей. Поэтому связь в КВ диапазоне осуществляется преиму-
щественно пространственными волнами. Благодаря способности многократного отра-
жения от ионосферы волны КВ диапазона могут распространяться на значительные
расстояния. Устойчивость связи в КВ диапазоне сильно зависит от процессов, про-
исходящих в й^носфере, в связи с чем наблюдаются глубокие замирания сигналов
длительностью от десятых долей секунды до нескольких секунд. Качество связи
меняется в течение дня, месяца и года, а также в течение цикла солнечной активности.
Таблица 1. Характеристики диапазонов радиоволн
Диапазон Длина волны, м Полоса частот Дальность распространения волны, км
дв 3000...10 000 30... 100 кГц 500...1000
, св 200... 3000 1С0... 1500 кГц 1000...15 000
кв 10...50 б...30 МГц Свыше 15 000
УКВ 1...10 30...300 МГц 60...300
Ультракоротковолновый (УКВ) диапазон. Дальность дифракционного распро-
странения ультракоротких волн лишь незначительно превышает расстояние прямой
видимости (рис. 6) и приблизительно равна
r ~4 (/л; + (2)
где и h2 — высота подъема соответственно передающей и приемной антенны.
В ультракоротковолновом диапазоне работают радиорелейные линии связи.
Радиорелейные линии очень надежны, что обеспечивается резервированием аппарату-
ры, применением автоматики и телемеханики. При использовании радиорелейной ли-
нии могут возникнуть помехи, вызванные близостью телевизионного диапазона.
Поэтому конечные пункты радиорелейных линий следует выносить за пределы города
а оттуда передавать информацию по кабелю.
Оптический канал связи создается за счет очень узкого луча света, регенерируе-
мого квантовым генератором — лазером Слово лазер составлено из первых букв
английского названия принципа, по которому работает квантовый генератор: light
amplification by stimulated emission of radiation. Достоинством оптического канала
являются следующие его свойства: высокая концентрация энергии в пространстве
(при мощности излучения 10 кВт лазерный луч можно увидеть невооруженным гла-
зом на расстоянии 0,1 светового года); колоссальная плотность энергии (в середине
лазерного луча плотность энергии составляет 1016 Вт/м2, а на Солнце — 108 Вт/м2);
огромная пропускная способность. Последнее свойство представляет интерес для
создания информационных систем с оптическим каналом связи.
Известно, что пропускная способность канала связи прямо пропорциональна
рабочей полосе частот. Лазер может обеспечить ширину полосы порядка 1012... 1014 Гц
(для сравнения напомним: на красном участке оптического спектра частота световых
колебаний равна 4 • 104 Гц), что позволяет разместить только в этом диапазоне около
биллиона телефонных каналов. Другими словами, оптический канал связи может
обеспечить одновременную передачу всех телефонных разговоров на всех телефонных
станциях мира.
Сама по себе оптическая линия связи — дорогая. Но если учесть огромное число
каналов свя ш, которое может быть организовано при помощи одной оптиче-
ской линии сняли, то стоимость одного канала будет одна из самых низких, что
иллюстрируется рис. 7 [4].
Свойства оптического канала связи нашли практическое использование в стек-
ловолоконных линиях передачи. В настоящее время в США эксплуатируется стекло-
15
волоконная линия, которая обеспечивает скорость передачи информации 90 X
X 10е бит/с.
При передаче информации одной и той же аппаратурой, во по обычному и опти-
ческому каналу связи, по данным американских ученых, частота ошибок снизилась
с 10~4 до 10“12. /
Создание стекловолоконной линии связи сопряжено с определенными техноло-
гическими трудностями. Для того чтобы световой луч не поглощалёя на границе
среды, его необходимо направлять под строго определенным углом, который зависит
от коэффициента преломления на границах сред. Стыковка волокон, толщина которых
измеряется микронами, также требует специальных разъемов. Стекловолоконные
линии связи, очевидно, буду! внедряться одновременно с автономными системами,
рассчитанными на оптические каналы связи. Затухание сигнала в стекловолоконной
линии связи преимущественно определяется наличием примесей в стекле. В настоя-
щее время в нашей стране уже выпускаются стекловолоконные линии связи с затуха-
нием 30 децибелл на километр. Японские линии связи обеспечивают затухание 0,2
Рис. 6. К определению дальности рас-
пространения ультракоротких волн.
Коаксиальная система (12 МГц);
микроволновая система
на 2700 каналов
Коаксиальная система (600 МГц);
система РСМ800м; И КМ- системы
квазимиллиметрового диапазона
Большие коаксиальные системы
Волн вводные системы
миллиметрового диапазона
Оптические системы
связи
1
Л:
З-Ю3 ЗЮ4 31053-1053-107
Число телефонных каналов
Рис. 7. Иллюстрация уменьшения стои-
мости линии связи с увеличением про-
пускной способности канала.
децибелл на километр. Учитывая тот факт, что мы намного позже приступили к из-
готовлению стекловолоконных линий связи, следует ожидать, что в нашей стране
вскоре появятся оптические каналы с затуханиями в доли децибелла на километр.
Гидроакустический канал связи стоит несколько обособленно от перечисленных
выше каналов, так как передача информации по нему связана не столько с привычной
передачей электрических сигналов или электромагнитных волн, сколько с передачей
упругих колебаний водной среды.
Особенностью гидроакустического канала является неоднородность среды, об-
разующей линию связи. Присутствие в морской воде солей обусловливает существо-
вание в ней свободных и связанных ионов, число которых изменяется при распростра-
нении акустической волны под влиянием сжатия и разрежения, вследствие чего она
теряет часть энергии. На свойство воды как звукопроводящей среды существенно
влияет степень ее нагретости и солености. Поэтому в различных слоях моря условия
распространения акустической волны не одинаковы. Кроме того, при распростране-
нии звука в воде происходит отражение волн от поверхности и дна моря. Отраженные
волны искажают информационные посылки, а также вызывают реверберацию (после-
звучание).
Перечисленные факторы обусловливают специфические требования к помехо-
устойчивости и надежности кодов, передаваемых по гидроакустическому каналу.
* * *
Для передачи информации при помощи различных технических средств требу-
ются определенные частотные диапазоны. Ниже Приведены средние значения верхних
границ диапазонов работы стандартной аппаратуры (в Гц):
Телеграф
ручной ...............................................60
быстродействующий ....................................1200
Телефон................................................. 3400
Радиовещание с амплитудной модуляцией................... 4500
16
Фототелеграф ............................................. 5500
Трехканальная аппаратура связи ........................... 30 000
Радиовещание с частотной модуляцией ......................75 000
12-канальная аппаратура связи ............................ 150 000
Телевидение...............................................8 000 000
Радиолокация .............................................10 000 000
Не всякая линия связи может обеспечить требуемый частотный диапазон выбран-
ного средства передачи информации, что видно из следующей таблицы, в которой по-
лоса частот дана в кГц:
Междугородная проводная линия связи ..................... 5
Кабель
ВЧ ..................................................150
коаксиальный ......................................... 4000
Радиорелейная линия ...................................... 500 000
Линия оптической связи ................................... 40 000 000 000
Построение систем связи в каналах связи с замиранием и рассея-
нием сигналов, несущих информацию, может быть осуществлено с по-
следовательной или параллельной их посылкой.
Практически все реальные каналы связи характеризуются рас-
сеянием энергии передаваемого сигнала либо по времени, либо по
частоте, либо и по времени и по частоте. В терминах частотно-времен-
ного описания рассеяние энергии означает, что принимаемый сигнал
занимает на частотно-временной плоскости большую площадь по
сравнению с переданным. Кроме рассеяния энергии в ряде каналов
(коротковолновые, каналы с тропосферным рассеянием, гидроакусти-
ческие) наблюдаются замирания сигналов, выражающиеся в том, что
различные элементарные компоненты (из которых состоит сигнал) име-
ют различные и случайные коэффициенты передачи в канале.
Наличие замираний и рассеяния заметно осложняет задачу постро-
ения эффективных систем связи в такого рода каналах. К настоящему
времени еще не сформировался единый подход к решению этой задачи.
Не можно выделить два направления, условно называемые параллель-
ным и последовательным (или многочастотным и одночастотным).
Исторически первым сформировался параллельный подход. Его
идея состоит в следующем. Рассеяние энергии рассматривается как
нежелательное явление и для его исключения вводятся защитные ин-
тервалы (по времени и частоте) между соседними передаваемыми
сигналами. Введение защитных интервалов приводит к снижению
скорости передачи (за счет неплотной упаковки сигналами отведенной
для передачи частотно-временной области), поэтому длительность сиг-
нала и его полосу выбирают так, чтобы они были намного больше со-
ответствующих защитных интервалов. Реализация этой идеи, например,
в коротковолновом канале с рассеянием по времени 1 мс и по частоте
2 Гц означает, что длительность сигнала должна быть порядка 10 мс и
больше, а ширина полосы — от 20 Гц и выше. При работе в полосе
стандартного телефонного канала (3100 Гц) отведенную полосу сле-
дует разбил» примерно на 30 подканалов и вести передачу многочас-
тотными (30 частот) сигналами. В этом и состоит по существу парал-
лельный подход. Сформированные таким образом каналы можно счи-
тать однолучевыми. Передачу в каждом подканале целесообразно
17
вести с использованием относительной фазовой телеграфии (ОФТ),
позволяющей при использовании оптимального некогерентного при-
ема избежать изменения параметров подканала.
Воздействие канала на сигнал при описанном подходе сводится
к тому, что каждая компонента многочастотного сигнала (точнее ее
синфазная и квадратичная составляющие) умножается на свой слу-
чайный коэффициент передачи (и, конечно, добавляется аддитивный
шум; см. гл. 13).
Таким образом, канал может быть представлен в виде частотно-
временной матрицы случайных коэффициентов с тем или иным ха-
рактером зависимости по времени и частоте. Размерность матрицы по
частоте совпадает с числом составляющих многочастотного сигнала,
размерность по времени — с длиной передаваемой комбинации (чис-
лом последовательно передаваемых сигналов). Теоретический анализ
предельной помехоустойчивости в случае независимых подканалов
содержится в 1231, конкретные инженерные алгоритмы рассмотрены
в [13]. Анализ систем связи с зависимыми подканалами содержится
в [27]. Вопросы инженерной реализации многочастотных моделей рас-
смотрены в работе [14].
Последовательный подход начал формироваться на рубеже 60-х
и 70-х годов. Согласно этому подходу передача ведется сигналами,
спектр которых занимает всю отведенную полосу частот. Период сле-
дования выбирается в зависимости от требуемой скорости передачи.
При достаточно большой скорости передачи рассеяние энергии по вре-
мени приводит к появлению межсимвольной интерференции. Напри-
мер, в типовом коротковолновом канале интерференция появляется
при скорости порядка 800 символов в секунду (при работе в полосе
3100 Гц). В этих условиях приемнику для эффективной работы не-
обходимо иметь информацию о текущем состоянии канала, которую
можно получить, например, периодическим тестированием канала.
Наличие такой информации позволяет использовать в последователь-
ных системах обычную фазовую модуляцию вместо ОФТ.
Обработка принятых сигналов в последовательных системах вклю-
чает два этапа: а) демодуляцию по высокой частоте; б) компенсацию
межсимвольной интерференции. Первый этап реализуется с помощью
подстраиваемого (в зависимости от состояния канала) фильтра, согла-
сованного либо со всем сигналом, либо с его частью.
Второй этап реализуется либо нелинейным компенсатором с об-
ратной связью по решению, либо процессором Витерби [211 (см. гл. 14).
При сопоставлении указанных подходов наибольший интерес
представляют такие характеристики, как помехоустойчивость и слож-
ность реализации. Проведенный В. А. Таубиным |33| сравнительный
анализ помехоустойчивости показал, что в отсутствие кодирования,
т. е. на уровне модема (модулятора—демодулятора) последователь-
ный подход обеспечивает выигрыш по вероятности ошибки на несколь-
ко порядков. Введение кодирования уменьшает разрыв между обо-
ими подходами. Это объясняется тем, что дискретный подканал, фор-
мируемый параллельным модемом, имеет более слабую память по
сравнению с каналом, формируемым последовательным модемом,
18
вследствие чего коды, исправляющие независимые ошибки (а на прак-
тике приходится только ими и ограничиваться), оказываются более
эффективными в параллельной системе. Однако и при использовании
кодирования последовательный подход оказывается предпочти-
тельнее.
Основные недостатки параллельного подхода с точки зрения реа-
лизации следующие: наличие большого числа разделительных фильт-
ров; большой пик-фактор (отношение максимальной мощности сигна-
ла к его средней мощности) излучаемого сигнала (он равен Vп, где
п — число подканалов). Последнее обстоятельство означает, что
передатчик должен иметь большой запас линейности (отношение мак-
симального уровня сигнала, при котором нелинейные искажения ук-
ладываются в заданные нормы, к номинальному уровню) или, дру-
гими словами, большой динамический диапазон.
«Узким местом» последовательного подхода является сложность
компенсатора межсимвольной интерференции. Так, в канале с времен-
ным рассеянием 1 мс процессор компенсатора должен выполнить 16
операций за тактовый интервал, что при скорости 2400 бод составляет
4 • 104 операций в секунду. В настоящее время реализация такого
компенсатора представляет определенные трудности, однако, учитывая
стремительное развитие микроэлектронной техники и технологии,
представляется вероятным, что в самом ближайшем будущем вопрос
о сложности компенсаторов не будет играть существенной роли.
Построение систем связи в каналах связи с помехами может быть
осуществлено с применением решающей обратной связи (РОС) либо
с коррекцией ошибок на приемном конце при помощи специальных
кодов. Эти вопросы будут рассмотрены ниже после усвоения ряда
необходимых понятий (см. гл. 14 и 15).
В заключение следует отметить, что в буквальном смысле слова
одинаковых каналов связи нет, как нет одинаковых отпечатков паль-
цев. Но большинство из каналов связи поддается довольно точному
описанию при помощи конечного числа математических моделей. Сле-
дует отличать процессы, связанные с источником сообщений, от про-
цессов, происходящих в канале связи. Соответственно различаться
будут и модели, описывающие источник и канал. Кодирующие и де-
кодирующие устройства для источника и канала связи могут также
отличаться, так как одной из основных задач шифратора для источни-
ка является представление выхода источника наиболее короткой по-
следовательностью символов, а одной из основных задач шифратора
и дешифратора для канала связи — надежная передача данных, по-
ступающих в канал связи.
Архитектура телеобработки данных дает представление о взаимо-
связях конструктивных блоков в системах, предназначенных не только
для передачи, но и обработки данных.
Дистанционная обработка данных не противоречит обобщенной
модели системы передачи данных, но для нее характерен ряд особен-
ностей, например, наличие программного обеспечения.
Архитектурная взаимоувязка конструктивных блоков имеет много
вариантов. Наиболее распространенные из них представлены на рис. 8.
19
АП
АП
АП
АП
АП
АП
а
ЭВМ
М
АП
ЭВМ
Устройство
сопряжения
сканалом
Устройство —
ЭВМ - сопряжения — М
сканалом *-—
м
।
*2
АП
Мг —
НМ*
АП
МП -
ЭВМ
д
м
м
ЭВМ \\МикроЭВМ
м
ЗВМ
ЭВМ \\МикроЭВМ
М
6
Видеотерминал
Видео-
телефон
Терминал
Аналоговый
телефон
Цифровой телефон
базы банных
Перекачка
файлов
Рис. 8. Варианты организации сети теледоступа:
а — выделенный; 6 — коммутируемые телефонные и телеграфные каналы
связи, в — цифровая сеть интег[ ального обслуживания. М — модемы; МПД —
мультиплексоры передачи данных; ПТД — процессоры телеобработки дан-
ных; АП — абонентские пункты.
В сетях телеобработки данных теледоступ организовывается как
с помощью двустороннего обмена данными между одной и несколь-
кими ЭВМ, так и обращением к ЭВМ с одного или нескольких абонент-
ских пунктов.
Поскольку организация теледоступа требует загрузки в оператив-
ную память, кроме операционной системы, еще и поискового пакета
.20
и телемонитора, то в качестве основной ЭВМ рекомендуется исполь-
зовать ЭВМ с объемом оперативной памяти не менее 1 мбайта. Для того
чтобы ЭВМ сети могли взаимодействовать друг с другом, они должны
быть программно совместимыми (гомогенными). Для обеспечения
этих условий в качестве хост ЭВМ-сети теледоступа можно рекомендо-
вать универсальные ЭВМ: ЕС-1033, ЕС-1035, ЕС-1040, ЕС-1046,
ЕС-1046, ЕС-1050, ЕС-1055 М, ЕС-1060, ЕС-1061, ЕС-1065, ЕС-1066,
ЕС-1067 и терминальную ЭВМ ЕС-1008.
Сеть абонентских пунктов строится с использованием как выделен-
ных, так и коммутируемых сигналов связи.
Для выделенных каналов связи (рис. 8, а) наиболее типичным яв-
ляется использование в качестве устройства сопряжения с каналом
связи стандартной аппаратуры ЕС-7920-11, которая позволяет орга-
низовывать двусторонний обмен данными с 16 дисплеев. В качестве
модема рекомендуется использовать ЕС-8010.
Для телеграфной сети общего пользования (сеть ПД-200) в ка-
честве терминала в настоящее время наиболее распространен
ЕС-8534 (ТАП 34). Стыковку с сетью ПД-200 обеспечивает устройство
для подключения к сети УПСТГ ТТХ-300 мультиплексора передачи
данных (МПД) ТМХ-2410 и групповое согласующее устройство между
мультиплексором и сетью ГУПСТГ-1250.
Для наиболее распространенной коммуникационной среды — теле-
фонной с^ти общего пользования (ТФ-ОП) сопряжение ЭВМ с каналом
связи осуществляется при помощи мультиплексоров передачи данных
ЕС-8403 на 4 входа, МПД-IA на 16 входов, процессоров телеобработ-
ки данных (ПТД/ЕС—8371/ЕСТЕЛ 4.1 на 352 входа или более совер-
шенных ЕСТЕ Л 4.3, 4.4), набора модемов ЕС-8001, ЕС-8002, ЕС-8009,
ЕС-8010, ИЗОТ-8015, СМ-8107, КН-1200, которые обеспечивают под-
ключение различных типов абонентских пунктов (АП), работающих
в диапазоне скоростей 300...4800 бит/с по ТФ-ОП. Электрический ин-
терфейс оконечных устройств с аппаратурой передачи данных следует
осуществлять в соответствии с требованиями ГОСТ 18145-81 (рекомен-
дация международного консультативного комитета по телефонии и
телеграфии V.24) — стык С2 с возможностью обеспечения автомати-
ческого соединения в сети ТФ-ОП в соответствии с рекомендаци-
ей V.25.
В качестве абонентских пунктов могут быть использованы терми-
нальные устройства, поддерживаемые стандартными средствами сис-
темной телеобработки: VT-340, VDT-52130, VDT-52103, VDT-52106;
алфавитно-цифровые дисплеи ЕС-7168, ВТА-2000-15, СМ-7209, «Элек-
троника 15 ИЭ-00-013»; микроЭВМ «Искра-1030», «Электроника-60»,
Робо1 роп-1715, ЕС-1840, ЕС-1841; диалого-вычислительные ком-
плексы типа ДВК-2, 3, 4...; миниЭВМ «Искра-226», «Искра-250», «Лаб-
там-3000», терминальных комплексов типа СМ-1300.
В качестве программного обеспечения используется операционная
система версии ЕС ОС.6.1 и выше, телемонитор КАМА, поисковые
пакеты типа «I ЮИСК-1.2», «ДИАЛОГ-2» для реализации файловой
технологии (обработка документальной, текстовой информации) и
пакеты типа «ДИСОД» для реализации банковской технологии (обра-
21
ботка фактографической и других видов структурируемой информа-
ции).
Для использования в сети теледоступа гетерогенных (программно-
неоднородных) вычислительных комплексов на базе наиболее распро-
страненных в нашей стране СМ ЭВМ и ЕС ЭВМ можно предложить
следующую конфигурацию:
Терминалы — ЕС-7168 (VT-340), ВТА-2000-03, ВТА-2000-15,
СМ-7209, ЕС-8501М, VDT-52130, 15 ИЭ-00-013.
Модемы — ЕС-8001, ЕС-8005.
Межмашинный обмен между ЭВМ СМ-4, СМ-1420, СМ-1425 и
ЕС ЭВМ может быть реализован на базе устройства сопряжения
УСВМ А7 1118 и стандартного терминального оборудования СМ ЭВМ,
имеющего стык С2 для сопряжения с каналами связи. Операционная
среда ОС РВ 2.0. Для выполнения обмена со стороны ЕС ЭВМ иници-
ируется программа системного вывода (WTR) или утилита GENER.
На рис. 8, в, на котором показаны различные виды услуг, представ-
ляемые цифровой сетью интегрального обслуживания, показано, как
надо соединять двухмашинные вычислительные комплексы, у которых
микроЭВМ разгружают ЭВМ общего назначения от работы с ка-
налом связи, например, осуществляют сборку-разборку пакетов в
сетях с коммутацией пакетов.
Выводы: /. Информация передается от объекта к адресату при
помощи совокупности технических средств, образующих систему
передачи информации. При этом канал связи относится к средствам
передачи информации, а линия связи представляет собой среду, в ко-
торой распространяются сигналы.
2. В зависимости от линии связи каналы связи бывают проводные,
радио, оптические и гидроакустические.
3. Чем шире полоса частот канала связи, тем большее количество
сообщений может быть по нему передано одновременно.
4. С точки зрения возможности одновременной передачи макси-
мального количества сообщений наиболее перспективным является
оптический канал связи.
3
Глава
КОЛИЧЕСТВЕННАЯ ОЦЕНКА
ИНФОРМАЦИИ.
ЕДИНИЦЫ КОЛИЧЕСТВА
ИНФОРМАЦИИ
Из основной и частных задач теории информации
и кодирования вытекают следующие технические и экономические
проблемы: изыскание способов передачи информации при возможно
меньших временных и энергетических затратах; повышение достовер-
ности передачи, т. е. изыскание средств защиты систем передачи ин-
формации от влияния внешних физических факторов (помех, затуха-
ний в линии связи, аппаратурных отказов); определение рентабель-
ности выбора способа передачи информации и метода кодирования.
22
В дальнейшем будет показано, что существует принципиальная
возможность запроектировать устройство со сколь угодно малой веро-
ятностью ошибки. Но практические последствия данного решения мож-
но оценить, лишь предварительно ознакомившись с некоторыми
понятиями и методами, позволяющими производить оценку эффектив-
ности систем связи. Для этого, прежде всего, необходимо уметь изме-
рять количество и скорость передачи информации по каналам связи.
Попробуем проследить, от чего зависит количество информации.
Для примера рассмотрим известную задачу о передаче места нахожде-
ния фигуры на шахматной доске. Ее можно решить одним из двух спо-
собов: закодировать каждую клетку или передать номера вертикали и
горизонтали. В первом случае необходимо иметь коД, отображающий
64 знака (в двоичной системе его комбинации будут состоять из шести
элементов), а во втором случае—код, отображающий всего восемь
знаков (в двоичной системе его комбинации будут состоять из трех
элементов), но для передачи места нахождения фигуры потребуется
два сообщения (номер по горизонтали и номер по вертикали). Коли-
чество информации, переданное тем и другим способом, будет одина-
ково. Следовательно, количество информации, содержащейся в источ-
нике информации, не зависит от способа ее передачи. Длина сообщения
для передачи полной информации о координате клетки также будет
одинакова (6 двоичных элементов). Длина сообщений при разных
способах передачи была бы различной, если бы и число качественных
признаков вторичного алфавита было бы различным Например, если
число дискретных качественных признаков вторичного алфавита —
64, то длина любого сообщения о координате клетки будет состоять
из одной дискретной посылки. Если для второго способа передачи
информации в рассмотренном выше примере будет использовано два
качественных признака, то, как мы уже знаем, длина сообщения будет
равна шести, если же во вторичном алфавите будет восемь качествен-
ных признаков, то длина всего сообщения будет равна двум дискрет-
ным посылкам и т. д. Естественно, количество информации во всех
случаях, когда речь будет идти о координате одной и той же клетки,
будет одно и то же.
Количество информации будет увеличиваться при увеличении числа
сообщений, несущих информацию о координатах новых клеток, т. е.
будет удовлетворять условию аддитивности: при передаче сообщений
одним и тем же методом, одной и той же аппаратурой, по одному и
тому же каналу связи количество информации тем больше, чем боль-
шее число символов мы передаем. Действительно, чем больше слов
в телеграмме, тем естественнее ожидать от нее большего количества
информации; чем больше количество строк в телевизионной развертке,
тем выше качество изображения; чем больше частных значений ис-
ходной функции будет передано, тем точнее она может быть воспроиз-
ведена. Не следует при этом путать термины количество и ценность
информации. С точки зрения теории информации в телеграмме «Ба-
бушка здорова. Целую, Федя» информации может быть больше или
меньше, чем в телеграмме «На Марсе есть жизнь» в зависимости от
того, в каком из сообщений было больше исходной неопределенности
23
для адресата. Теория информации непосредственно не занимается
определением ценности информации, хотя уже есть интересные рабо-
ты в этом направлении [7, 15, 17, 25, 35, 40].
Способ получения сообщения влияет на количество принятой ин-
формации. Неопределенность относительно температуры утюга может
быть снята как путем прикосновения пальца к утюгу;так и путем пере-
дачи на расстояние соответствующего кодирования сообщения. То
же сообщение можно передать по каналу связи с помехами и без
помех и т. д. При этом возможна различная полнота информации.
Однако способ передачи — получения информации не может служить
характеристикой последней, так как количество информации, содер-
жащееся в ее источнике, не зависит от способов кодирования и пере-
дачи.
Количество информации / вычисляют как произведение устра-
ненной неопределенности Н, снимаемой одним сообщением, на число
сообщений k. Так как сообщением является буква первичного алфа-
вита, то k можно рассматривать как число символов первичного алфа-
вита.
Мерой неопределенности Н в теории информации является энт-
ропия.
Если исходный ансамбль сообщений А может быть представлен
конечным множеством символов абстрактного алфавита (аъ а2, ...» at)
с распределением вероятностей (рь р2, ..., pf), то энтропия есть вели-
чина, характеризующая источник сообщений в целом и представляет
собой среднюю неопределенность появления на выходе источника од-
ного из сообщений исходного ансамбля. Но так как исходный ансамбль
может быть выражен через символы некоторого абстрактного алфави-
та, который мы назвали первичным, то справедливо следующее опре-
деление.
Определение 1. Энтропия представляет собой удельную
неопределенность на символ первичного алфавита и характеризует
алфавит в целом.
Опр е деление 2. Информацию несут в себе те сообщения, кото-
рые снимают неопределенность, существовавшую до их поступления.
Эти сообщения могут представлять собой как результат отдельного
или группы опытов, так и буквально принятые сообщения.
Информация всегда есть результат разности априорной и апосте-
риорной энтропий.
В самом упрощенном виде это можно понимать в том смысле, что
до опыта (апостериори) была некоторая неопределенность его исхо-
да Нг. После опыта (априори) стала неопределенность II2. Чем меньше
апостериорная неопределенность, т. е. чем больше разность между
Нг и Н2, тем большее количество информации было получено.
Например, чтобы усвоить тезис, что информация есть разность
энтропий, рассмотрим элементарный опыт, целью которого является
определение пола первого вышедшего из троллейбуса человека. Трол-
лейбус в этом случае является источником сообщений Л. Исходный
ансамбль сообщений в первичном алфавите может быть представлен
как А {м, ж}, тогда априорная неопределенность этого источника со-
24
общений Н (Л). Если произойдет событие В —из двери троллейбуса
выйдет человек, то апостериорная неопределенность может быть пред-
ставлена как Н (A/В), т. е. информацию, содержащуюся в источнике
Л, мы можем получить при свершении события В. Таким образом,
после того как из двери троллейбуса выйдет человек, апостериорная
неопределенность станет равной нулю и в результате опыта получим
количество информации, равное собственной информации, содержа-
щейся в одном из событий исходного ансамбля сообщений. Это собы-
тие можно представить в'виде человека, который первым появится
на выходе троллейбуса, для нашего опыта являющегося источником
сообщений, но мы об этом еще не знаем, так как не произошло событие
В (дверь еще не открылась).
Аналогичные рассуждения могут быть экстраполированы и на все
подобные опыты, имеющие только два равновероятных исхода (на-
пример, бросание монеты). Во всех подобных случаях апостериорная
неопределенность равна нулю. Но, если бы после бросания монеты она
стала на ребро или у троллейбуса сломалась и не открылась дверь,
то апостериорная неопределенность равнялась бы априорной и коли-
чество полученной информации равнялось нулю, так как не выполня-
лось главное условие: не произошло событие В. В этом случае
И (AiB) - Н (А) и
/(А, В) =//(А) —//(А) = 0.
Если обозначить А {аъ а2, ..., amt}, исходный ансамбль сообщений в
первичном алфавите; В {Ьъ Ь2, ..., множество кодовых слов, с по-
мощью которых мы кодируем символы ансамбля А во вторичном
алфавите, то Н (A/В) может быть результат неоднозначного кодиро-
вания или результат потерь информации при передаче по каналу
связи. В общем случае Н(А/В} можно интерпретировать как коли-
чество информации, недостающей наблюдателю для полного, снятия
неопределенности, оставшейся после того, как этот наблюдатель
установил, что произошло событие В.
Обозначение Н (А!В} применяется для условной энтропии, которая
рассмотрена в гл. 5. Там же подробно изложены способы вычисления
Н (МВ). Таким образом (пока без строгих доказательств), средняя
взаимная информация / (А, В) равна разности между энтропией
А и условной энтропией А при заданном В:
/(А; В) = Н(А) — Н (А/В). (3)
Если ансамбль В составлен так, что осуществляется однозначное
соответствие аг <— Ьг\ а2 ч- &2; ...; ат Ьт при передаче не происхо-
дит потерь в канале связи, то приход любой буквы ансамбля В снимает
всякую неопределенность относительно того, что именно передава-
лось. Тогда неопределенность вида Н (A/В) равна нулю. В этом слу-
чае при независимых составляющих ансамбля
Дз = kH (А). (4)
Казалось бы, что информация и неопределенность должны быть свя-
заны обратной зависимостью. Но информацию мы рассматриваем
25
как меру снятой неопределенности. С приходом каждого нового сооб-
щения (символа первичного алфавита) общая неопределенность, су-
ществовавшая до его поступления, в среднем уменьшается на вели-
чину энтропии, присущей этому алфавиту.
Энтропия есть функция вероятности р. Чем больше вероятность
события, тем меньше неопределенность относительно того, произо-
йдет оно или нет. Нулевая или близкая к нулю вероятность может рас-
сматриваться как большая вероятность того, что событие не произо-
йдет. В этом случае также не будет особой неопределенности относи-
тельно факта свершения события р = 1 и р 0.
На даном этапе изложения мы еще не можем обосновать закон,
описывающий изменение энтропии в интервале от р ~ 0 до р — 1.
С полной уверенностью можно лишь утверждать, что максимум этого
значения для двух событий будет в точке рх = р2 = 0,5, т. е. когда
наиболее трудно предсказать результат свершения любого из них.
Очевидно также, что увеличение вероятности любого из двух априор-
но равновероятных событий будет уменьшать общую неопределенность.
При рх -> 1; р2 -> 0 (и наоборот), Н -> 0 в обоих случаях. Приведен-
ные рассуждения позволяют предполагать, что И = f (р) и функция
эта выпуклая. С другой стороны, эти же рассуждения делают очевид-
ным тот факт, что любое отклонение от равновероятного состояния,
независимо от числа событий, уменьшают энтропию Н (Л), где А ss
= {«i ..., ат} — алфавит, при помощи которого эти события отобра-
жаются. А это, в свою очередь, позволяет нам сформулировать сле-
дующее утверждение.
Утверждение 1. Для априорно равновероятных событий количество
информации, которое мы получаем в результате свершения этих
событий, уменьшается с увеличением вероятности любого из со-
бытий.
Следствием утверждения является то, что информация, заключен-
ная в данном событии А, находится в обратно пропорциональной
функциональной зависимости от вероятности р (А):
(5)
\ Ра /
Выражение (5) справедливо при условии, что уменьшение вероят-
ности свершения события А рассматривается как увеличение вероят-
ности несвершения этого события рд, тогда (5) может выглядеть так:
Ia = ИРа),
при этом обязательно рл + рд = 1.
Теорема 1. Если информация является функцией вероятности,
то эта функция может быть только логарифмической.
Доказательство. Согласно iсорив вероятностей, если
а1У а2, ат — попарно несовместимые случайные события, то вероят-
ность появления одного из них равна сумме их вероятностей:
/>(«!, а2, ... ,ат) = р («J Ьр(а2)+ ••• + (рат).
26
но только логарифмическая функция удовлетворяет условию
f [р (01) Р (О2) Р («Л = f [р (01)1 + f [р (а2)1 + • • • +
+ f(P («т)1.
так как логарифм произведения равен сумме логарифмов сомножи-
телей.
Логарифмическая мера количества информации была предложена
в 1928 г. американским ученым Р. Хартли. При выводе логарифми-
ческой меры количества информации Р. Хартли мог пользоваться сле-
дующими рассуждениями.
Число сообщений N, которое можно получить, комбинируя т
символов алфавита по п элементов в сообщении,
N = тп- (6)
Например, комбинируя два символа, можно передать восемь сообще-
ний при п ~ 3, шестнадцать — при я = 4, тридцать два — при п --
= 5 и т. д. Таким образом, число сообщений N, а вместе с ним и коли-
чество передаваемой информации находятся в экспоненциальной зави-
симости от количества элементов в сообщении. Поэтому N нельзя
непосредственно использовать как меру количества информации.
Р. Хартли предложил в качестве меры количества информации
принять логарифм числа возможных последовательностей символов:
1 = logAf = logm" = п logm. (7)
Основание логарифма зависит от выбранной единицы количества
информации. В выражениях, где могут быть использованы произволь-
ные логарифмы, основание логарифма не ставится.
Такое представление меры количества информации соответствует
требованию аддитивности, отражает экспоненциальный характер за-
висимости количества возможных кодовых комбинаций от количества
символов в исходном алфавите, согласуется с основным психофизиоло-
гическим законом Вебера — Фехтнера S = К log Е и почти совпадает
с классической формулой Больцмана для энтропии в статистической
термодинамике ?7Т = k log со, где S — восприятие; К — некоторая
константа, зависящая от характера проводимого опыта; Е — возбуж-
дение; Ну — термодинамическая энтропия; k — константа; со —
вероятность данного состояния системы.
Подобные совпадения не случайны. Они объясняются общностью
природы этих явлений; не зря во всех рассмотренных случаях наблю-
дается логарифмическая зависимость.
При передаче информации по каналам связи данное частное сооб-
щение выбирают из определенного количества возможных сообщений.
Коль скоро при передаче сообщений речь идет о выборе одного
из данной группы, то очевидно, что простейшим является выбор между
двумя взаимоисключающими друг друга сообщениями, априорно рав-
новероятными для адресата. Иными словами, простейший выбор со-
стоит в решении дилеммы «да — нет», результат решения которой мо-
жет быть передан двумя качественными признаками: положительным
и отрицательным импульсами, двумя частотными посылками, импуль-
27
сом и паузой — в общем случае сигналами 0 и 1. Количество информа-
ции, переданное в этом простейшем случае, принято считать едини-
цей количества информации. Так как единица количества информации
представляет собой выбор из двух равновероятных событий, то это
двоичная единица или бит (от английских слов binary didgit — дво-
ичная единица).
При решении таких задач, как: будет ли четной сумма цифр взя-
того в трамвае билета, выйдет ли из метро первым мужчина или жен-
щина, выпадет ли при бросании монеты орел или решка,— количество
полученной информации будет равно одной двоичной единице, потому
что в каждой из рассмотренных задач имеем дело с выбором из двух
равновероятных событий. При решении задачи, придет ли завтра сту-
дент Иванов на лекцию или нет, информация 1 бит может быть полу-
чена только в том случае, если до этого Иванов систематически про-
пускал ровно 50 % лекций, так как именно в этом случае существует-
максимальная неопределенность опыта. Если же этот студент система-
тически посещал все лекции, то в сообщении, что он и завтра придет
на лекцию, особой новизны не будет, количество информации будет
меньше, чем 1 бит.
Если выбранная единица количества информации 1 бит есть дво-
ичная единица, то представляется оправданным количество информа-
ции определять при помощи двоичного логарифма числа возможных
последовательностей символов / = log2 N (если бы на практике наи-
более часто встречалось десять равновероятных выборов, то за едини-
цу количества информации удобнее было бы выбрать десятичную еди-
ницу дит, а основанием логарифма в выражении [7] взять 10). Из
свойства логарифмов известно, что log& a logu М = log^Al. Это позво-
ляет записать М = 2logz™ = 10 log М, отсюда log2 М = = 3,32 1g /14.
Если при вычислении информации удобно пользоваться натуральны-
ми логарифмами, то единицей количества информации будет одна на-
туральная единица (1 нат). Натуральная единица связана с двоичной
единицей следующим соотношением: 1 нат/символ = 1,443 бит/сим-
вол.
Количество информации на одну букву алфавита, состоящего из
восьми равновероятных букв, / = log2 8=3 бит/символ, т. е. мера
снятой неопределенности при выборе одной буквы из данного алфавита
равна трем двоичным единицам. Физически это означает, что доста-
точно сделать три раза выбор «Да» или «Нет» (0 или I), чтобы выбрать
любой символ данного алфавита.
В этом легко убедиться, выразив символы алфавита и их аналоги
в двоичном коде и произведя выбор по принципу, иллюстрированному
рис. 9. Как видим, первые ветви соответствую! первому выбору между
0 и 1, причем все кодовые комбинации, у коюрых первый символ 1,
остаются слева, а те, у которых первый символ 0,— справа. Затем,
в каждой из групп производят аналогичный выбор, причем слева оста-
ются кодовые комбинации, у которых второй символ 1, а справа — у
которых второй символ 0. После третьего выбора будет однозначно
определена любая буква кода, состоящего из восьми символов. Если
28
продолжить это кодовое дерево, то можно убедиться, что передача
любого символа 16-значного кода требует четыре выбора, 32-значного —
пять и т. д.
Построение кода с основанием т (двоичны е коды являются лишь
частным случаем) эквивалентно поиску по m-значному дереву (кодо-
вые слова представляют собой последовательность качественных
признаков, которые встречаются по пути от вершины дерева к основа-
нию). При приеме — передаче кодовых слов приход каждого символа
уменьшает в т раз неопределенность того, какое из исходного мно-
жества кодовых слов было передано (имеется в виду равновероятный
первичный алфавит). Общее уменьшение неопределенности находится
в логарифмической зависимости oi числа символов в сообщении. Ин-
формационная нагрузка на символ сообщений, передаваемых кодами
равной длины, возрастает с рос-
том основания кода. Если при-
нйть три сообщения длиной в
три символа с основанием, coot- (V
ветственно, 2, 3 и 10, то: Уу
а) для первого сообщения \
приход первого символа исклю- 11С)
чает четыре варианта из восьми, // /\ /\ |\
второго символа — два из четы- Д. х-Z
рех, третьего — один из двух ХУ vJ kJ kJ kJ
возможных; б) для второго сооб- 100 010 001 000
щения приход первого символа Рис. 9. К иллюстрации соответствия дли -
исключает 18 вариантов из 27 ны кода ЧИСЛУ равновероятных выборов,
возможных, второго — шесть из
девяти, третьего — два из трех; в) для третьего сообщения первый
символ исключает 666 вариантов из 1000; второй — 224 из 334; тре-
тий — девять из десяти.
Первое сообщение тпемя символами сняло неопределенность о воз-
можности получение едкого из восьми сообщений; второе — одного
из 27; третье — при $ой же длине сообщения сняло неопределенность
о возможности получения одного из 1000 сообщений. Очевидно, что
информационная нагрузка на символ этих сообщений — разная.
Приведенные выше соображения позволяют сформулировать сле-
дующие утверждения.
Утверждение 2, Не существует двух различных единиц измерения
информации, переданной одним и тем же кодом.
У тверждение 3. Единица измерения количества принимаемой ин-
формации равна основанию кода, при помощи которого отобража-
ются принимаемые сообщения.
Из последнего утверждения следует, что единиц измерения инфор-
мации может быть столько, сколько существует оснований кодов, пе-
редающих ее.
Основание логарифма при измерении энтропии должно быть рав-
но единице измерения количества информации.
Логарифм с натуральным основанием следует применять для вы-
числения энтропии непрерывных сообщений, больцмановской энтропии
29
замкнутой термодинамической системы в общем случае там, где
необходимо подчеркнуть экспоненциальный характер энтропии, где
исходное разнообразие не может быть определено целым числом.
Если число передаваемых символов первичного алфавита т1 яв-
ляется одним из чисел степенного ряда т?у то количество информации
определяется степенью т2.
В многопозиционных кодах (с основанием больше 2) при т 3
применение единицы количества информации бит недопустимо без
соответствующего модуля перехода от системы логарифмов с основа-
нием т в выбранную систему логарифмов, например, с основанием 2.
В этом случае бит может быть универсальной единицей измерения
количества информации наиболее удобной и сточки зрения ее восприя-
тия, и сточки зрения ее соответствия характеру современной техники.
Вернемся теперь к понятию энтропии, которая представляет собой
среднюю неопределенность на опыт, событие, сообщение, состояние
и т. д. При этом будем иметь в виду более общий случай, когда пер-
вичный алфавит представляет элементы систем, события, языковые
алфавиты с неравновероятным законом распределения.
Говорить об энтропии Z-го опыта, состояния, букв для неравнове-
роятных алфавитов нельзя, если буква, состояние, опыт представляет
собой одну из букв, состояний, опытов, составляющих в вероятностном
отношении полную группу, так как энтропия есть величина, которая
характеризует весь алфавит. Сама по себе величина log pt не говорит
ни о чем, кроме того, что мы имеем дело с некоторым неравновероят-
ным событием, сообщением, в общем случае с буквами некоторого не-
равновероятного абстрактного алфавита Л {аь а2, ..., ат}. В вероят-
ностном отношении события, представляемые алфавитом Л, должны
составлять полную группу, т. е. если они попарно несовместимы, то
при каждом повторении испытания должно произойти хотя бы одно
из них. С другой стороны, если события а19 а2у ..., ат образуют полную
группу, то р (aj + р (а2) + ... + р (ат) = 1. Поэтому нельзя рас-
сматривать отдельное событие с вероятностью 0<р(аг)<; 1. Эн-
тропии отдельно взятого f-го события с вероятностью 0<р (ад < 1
не существует.
Говоря об энтропии неравновероятного алфавита, нельзя не учи-
тывать вероятностную взаимосвязь каждой буквы алфавита со всеми
остальными буквами, составляющими полную группу событий. По-
этому энтропия на букву любого алфавита должна рассматриваться
как математическое ожидание М величины — log р (а,):
т
Н(А) = М[ — logp(a;)] =— £ pifli) log/? (at). (8)
i=l
Докажем справедливость выражения (8).
Теорема 2. Энтропия дискретного эргодического источника сообще-
ний равна математическому ожиданию функции распределения £
вероятностей появления на выходе источника сообщений исходного
ансамбля.
Доказательство. Если алфавит источника сообщений
содержит kr символов а19 k2 символов а2, ..., kt символов aiy km симво-
30
лов ат, то общее число элементов исходного множества
& — + ^2 + * * * + + • • • + km — k}. (9)
Вероятность появления в сообщении символов с f-м признаком равна
pi, вероятность совместного появления символов исходного множе-
ства, имеющих вероятность для аг — pi', для а2 — р%2, • • •, для ат — pk™
равна
ten т К
р’1=Пр<{. (10)
1=1
При бесконечном числе передач N сообщений в алфавите А вели-
чина kjk будет характеризовать вероятность появления символа
а с i-м признаком, т. е. при N -> оо kjk pi, что позволяет не при-
вязываясь в обозначениях к конкретному алфавиту, записать
k^kPi. (11>
Подставим значение kt в (10), тогда
Р = Пр*% (12)
i=I
Учитывая (5) и (12), выражение для I может быть представлено
следующим образом:
Поскольку f (р) согласно теореме 1 есть функция логарифмичес-
кая, то '
(1 \ m fen
-7rV-| = -10griP< =
П pi 1 I м
/
-Ж — kp^Ogpx — kpz\ogp2— ••• — kpm\ogpm = — k^pilogpt.
Для случая однозначного кодирования, отсутствия взаимозависи-
мости между символами и отсутствия помех в канале связи I = kH>
а pi log pi — есть математическое ожидание величины log р^
4=1
Следовательно,
//= Л1 [ — log рг] = — 2 Р; log Рь (14)
i=l
Соотношение (14) было получено Шенноном для определения сред-
него количества информации в сообщении с произвольными вероят-
ностями появления значений символов. При равновероятных символах,
31
т. е. при pt = 1/m, формула Шеннона переходит в формулу Хартли:
т ш 1 1
/ = — £ £ A-logp; = —/г £ —log — ==/slogzn. (15)
l'=1 1=1
Выражение (15) несколько отличается от (7). Для разъяснения
этого обстоятельства вернемся к понятиям первичного и вторичного
алфавита и с помощью примера рассмотрим взаимосвязь между числом
качественных признаков первичного и вторичного алфавитов.
Пример 1. Тексты, составленные из 32 букв украинского алфавита, передаются
по телетайпу при помощи двух качественных признаков: наличия и отсутствия токовой
посылки. Чему равно количество информации, приходящейся на одну принятую бук-
ву, на k принятых букв?
Решение. Число качественных признаков первичного алфавита т1 = 32;
число качественных признаков вторичного алфавита т2 — 2. Для передачи 32 букв
при помощи двух качественных признаков их следует комбинировать по пять симво-
лов в сообщении, так как
тг = т” = 25 = 32,
отсюда длина сообщения во вторичном алфавите п = 5.
Количество информации на букву относительно первичного алфавита
/ = log2 = log2 32 = 5 бит.
Количество информации на букву относительно вторичного алфавита
I = log2 т% = log2 25 = 5 log2 2 = 5 бит.
Количество информации на k принятых букв
I = k log2 tn1 = kn log2 m2. (16)
Выражение (16) подтверждает отсутствие противоречий между выражениями
(7) и (15).
Понятие информации связано со снятием неопределенности, ко-
торая существовала до получения сообщения. И чем большая не-
определенность была до передачи сообщения, тем большее коли-
чество информации содержится в принятом сообщении.
Предположим, в урне находится 10 000 шаров: 9999 черных и один
белый. Вынимаем шар, передаем сообщение о цвете шара в какой-то
условный пункт приема, кладем шар обратно в урну, перемешиваем
шары и повторяем процедуру. Вероятности получения сообщения о
том, что вынут черный или белый шар, будут равны соотвественно р± =
= 0,9999 и = 0,0001. Количество передаваемой информации при
этом
/ = — (Pi log2 Pl + Pi log2 p2) = — (0,9999 logs, 0,9999 +
+ 0,0001 log2 0,0001) = 0,001329 + 0,000144 =
= 0,001473 бит/опыт.
Следовательно, заранее предсказать, какого цвета будет вынут шар,
не представляет особого труда, так как мы почти уверены в результате
опыта. Количество получаемой информации ничтожно мало. Если
мы заранее уверены в ответе, то ответ несет нулевую информацию.
32
Если в примере с шарами в урне было 5000 черных и 5000 белых,
то трудно было бы предсказать содержание сообщения. В этом слу-
чае неопределенность максимальна, так как вероятности появления
черного и белого шаров равны друг другу: pi = р2 = 0,5. Количество
полученной информации при этом
1 = — (Pl log2 Pl + Рг log2 р2) = — (0,5 log5 0,5 + 0,5 log2 0,5) =
= 1 бит/опыт.
Чем больше априорная неопределенность, тем большее количество
информации получается при снятии ее. В этом смысле неопределен-
ность является удобной мерой оценки количества информации при
исследовании ее свойств.
После опыта, когда решен вопрос о том, какой символ (или группа
символов) передан, в каком состоянии находился элемент системы
(или вся система), неопределенность становится равной нулю. Таким
образом, если при передаче информации не было информационных
потерь, то в случае однозначного кодирования количество информа-
ции на символ сообщения будет точно равно Н, а количество информа-
ции при передаче k символов / = kH.
Следует различать понятия «количество информации» и «объем
информации».
Количество информации уменьшается с числом повторений по
экспоненте как логарифм от числа повторений.
Объема информации, как такового, не существует. Речь может идти
о количестве принятых знаков, составляющих числовые данные,
тексты... Именно в этом смысле экономисты часто употребляют тер-
мин «объем информации».
Следовательно, «объем информации» не зависит от числа повторе-
ний (при повторном чтении одного и того же текста его информатив-
ность быстро падает, а число знаков остается прежним).
Количество информации вычисляется относительно первичного
алфавита, а «объем информации» — относительно вторичного алфа-
вита.
Количество информации зависит от вероятностных характеристик
первичного алфавита, а объем не зависит. «Объем информации» за-
висит от длины сообщения во вторичном алфавите п и равен
Q = kn.
Пример 2. Определить объем и количество информации при передаче русского
текст из 350 букв при помощи пятизначного двоичного кода.
Р г in е н и е: Известно, что энтропия русского алфавита без учета взаимозави-
симост и между буквами, равна 4,358 бит/букву. Тогда количество информации
I = kH = 350 • 4,358 бит/букву 1525,3 бит.
Длина сообщения во вторичном алфавите п = 5 дв. знаков; «объем информации»
Q = kn = 350 • 5 дв. знаков == 1750 дв. знаков.
Количество ин(|юрмацйи равно объему в соизмеримых единицах,
если выполняются условия: 1) символы первичного алфавита встреча-
ются в сообщениях с равной вероятностью; количество символов
2 2”10i2 33
первичного алфавита является целой степенью двух, в случае, если
вторичный алфавит — двоичный, и целой степенью т2, в случае,
если т2 > 2; 2) для неравновероятных алфавитов pi = т^пц где
п — целое.
Во всех остальных случаях «объем информации» в соизмеримых
единицах будет больше, чем количество информации.
Если т2 > 2, то, при сравнении количества и «объема информа-
ции», в формуле для вычисления количества информации основание
логарифма должно быть равно т2. При этом равенство объема и коли-
чество информации при передаче равновероятных сообщений возмож-
ны лишь при условии т1 = ml При тх < тп> всегда / < Q при тг >
> т? невозможно однозначное декодирование сообщений.
Выводы: 1. Информация имеет количественную оценку.
2. Зависимость между количествам информации и количеством
комбинаций, составленных из данного алфавита.— логарифмическая.
3. Общепринятая единица количества информации — двоичная.
Получается она при выборе одного из двух равновероятных символов и
равна 1 бит.
4. Количество информации определяется не количеством ситуа-
ций (хотя, безусловно, зависит от него), а устранением неизвест-
ности о передаваемом факте.
5. Количество информации определяется относительно первичного
алфавита и не зависит от способа ее передачи и длины сообщения во
вторичном алфавите.
6. Объем информации определяется относительно вторичного
алфавита и равен произведению средней длины сообщения во вторичном
алфавите на число сообщений.
7. Количество информации не может быть больше объема той
же информации в соизмеримых единицах.
8. Информация есть единичные сообщения либо их совокупности,
которые снимают неопределенность, существующую до их поступ-
ления.
9. Энтропию появления отдельно взятой буквы алфавита опреде-
лить нельзя, так как энтропия характеризует алфавит в целом
и представляет собой математическое ожидание величины — log pt.
Поэтому оперировать понятием «энтропия» относительно появления
кодовых слов на выходе источника сообщений можно лишь в том смысле,
что неопределенность появления кодового слова па выходе источника
сообщений равна энтропии источника.
4 БЕЗУСЛОВНАЯ ЭНТРОПИЯ И ЕЕ
СВОЙСТВА
Безусловная энтропия — удельное количество ин-
формации на один элемент сообщений, составленных из алфавитов,
между символами которых не наблюдается взаимозависимость. Когда
говорят о безусловной энтропии, определение «безусловная» опуска-
34
ют. Оговариваются другие виды энтропии как менее распростра-
ненные.
Рассмотрим понятие энтропии как меры неопределенности некото-
рого опыта, исход которого зависит от выбора одного элемента из
множества исходных. Множество исходных элементов называется
выборочным пространством. Вероятности нахождения элементов ис-
ходного множества в том или ином состоянии есть числа положитель-
ные, а сумма их равна единице (в противном случае результат опыта
не относился бы к полной группе событий).
Выборочное пространство и его вероятностные характеристики
представляют собой ансамбль сообщений. Для дискретного ансамбля
вероятность события равна сумме вероятностей элементов выборочного
пространства, содержащихся в этом событии.
Ансамбль сообщений на выходе источника будем называть ансамб-
лем источника сообщений и обозначать буквой А, Абстрактный алфа-
вит, при помощи которого мы представляем исходное множество эле-
ментов источника сообщений, обозначается {а3, а2, ..., аь ат}.
Вероятности появления буквы на выходе источника сообщений обоз-
т
начим р (аг), р (а2), ...» р (aj, р (ат), X Ръ = Ь В этом случае
z=l 1
энтропия источника сообщений
т
fi(A) = -^p(at)\ogp(at)
i=l
и представляет собой неопределенность появления на выходе источ-
ника сообщений буквы первичного алфавита.
Ансамбль сообщений на входе приемника будем называть ансамб-
лем приемника сообщений и обозначать буквой В. Для того чтобы
отличить переданные и принятые сигналы, абстрактный алфавит,
в котором представлен ансамбль приемника сообщений, обозначается
b2, .... bh ..., bm}, а соответствующие вероятности — р
р (Ь2), р (bj), р (Ьт).
Энтропия приемника сообщений
т
н (В) = - 2 р (bi) log р (bit)
f=l
представляет собой неопределенность появления на входе приемника
буквы после ее появления на выходе источника сообщений. Если
в канале связи не происходит потерь информации, то всегда буква
соответствует букве Ьъ а2— Ь2 и т. д. При этом Н (Л) = Н (В).
11оиятие'энтропии используется не только при передаче сообщений.
Эпронпя широко применяется для описания состояния механиче-
ских и юрмодинамических систем, для изучения свойств алфавитов
различных языков, при исследовании экономических систем и т. д.
Пример 3. Чему равна энтропия системы, состоящей:
a) in двух ик'ментов, каждый из которых может с равной вероятностью нахо-
диться В ДВУХ С<Н* К Bill иях?
б) из трех моментов, каждый из которых может с равной вероятностью нахо-
диться в четырех состояниях?
2* 35
Решение: а) число элементов системы т = 2; число состояний п = 2; энт-
ропия Н ~ log2 тп ~ п log2 т — 2 log2 2=2 бит/состояние;
б) число элементов системы т — 3; число состояний п =» 4; энтропия Н =
= log2 tn -= 4 log2 3 = 6,32 бит/состояние или условный источник сообщений прини-
мает одно из пц = mg = З4 = 81 возможных равновероятных состояний. Энтропия
на состояние
Н = — log2 р = — log2 ~— = log2 /Hi = и log2 т2 = 4 log2 3 = 6,32 бит/состояние.
(Значения логарифмов целых чисел приведены в приложении 1, а фрагмент табли-
цы значений pi log2 р{ дан в П2).
В данном примере мы рассматривали равновероятные состояния
элементов системы. Поэтому для вычисления энтропии использовалась
формула Хартли (7).
Если между элементами системы не наблюдается никаких корре-
ляционных связей, а состояния системы (или буквы первичного ал-
фавита, представляющего их) неравновероятны, то энтропия та-
кой системы вычисляется по формуле Шеннона (14) при значениях
k = 1. I
Пример 4. Определить энтропию системы, состояние которой описывается ди-
скретной величиной со следующим распределением вероятностей состояний
Q,[ tZj CZ2
Pat 0,1 0,2 0,3 0,4
Решение.
Н = — S log2 Pi = - (0,1 10g2 0,1 + 0,2 log2 0,2 + 0,3 log, 0,3 + 0,4 log, 0,4) =.
f=l
= 1,846440 бит/состояние.
В примерах 3 и 4 состояния элементов условных источников сооб-
щений не зависят друг от друга. Энтропия источников, у которых
элементы ансамблей сообщений взаимонезависимы, называется эн-
тропией нулевого порядка. \
При исследовании свойств энтропии наибольший интерес пред-
ставляет ее зависимость от числа т возможных признаков (качеств)
и вероятности pt появления в сообщении элемента с Лм признаком.
Свойство 1. Если известно, что событие наверняка произойдет
(эквивалентно передаче сообщения с одним качественным признаком),
то его энтропия равна пулю.
Доказательство. Если т{ ~ i 1, то вероятность прие-
ма сигнала с ьм признаком pt = 1, тогда
/Л - VpJog-4- И log 1-0.
iSt р‘
Это свойство хорошо воспринимается интуитивно, так как если
заранее известно, что будет передано сообщение с i-м признаком, то
36
очевидно, что при его получении ничего нового мы не узнаем, т. е.
получим нулевую информацию.
Свойство 2. Если известно, что событие наверняка не произойдет
(эквивалентно отсутствию Эго качественного признака), то его энтро-
пия равна нулю.
Доказательство. Если вероятность появления Эго
признака в ансамбле сообщений равна нулю, то слагаемое с этим
признаком принимает вид неопределенности типа нуль, умноженный
на бесконечность. Действительно,
Pl log-j- = о . оо.
Раскроем эту неопределенность, используя правило Лопиталя. Для
этого прежде всего неопределенность вида 0 • оо приводим к ви-
ду оо/оо:
/ 1 \
/ !og — \
lim (pi log Д-) = lim - Z'1' .
Pz->0\ pi J — /
\ Z>. /
Обозначим --- = k (при px -> 0 k оо). Тогда можно записать
(1 x
log — \
pi \ r log&
----:-- == lim---1— .
* / £->oo
Pi /
Согласно правилу Лопиталя, lim но производная
(log k)'= T log e, t. e.
1
-7— log e
lim 10° k —0.
k-+oo k 1
Известно, что если отдельные слагаемые стремятся к нулю, то к
пулю стремится и сумма, т. е. окончательно можно записать
т 1
lim 2 Pi log — = 0.
Pi-0 ^1 Pi
Таким образом найдены два крайних условия, при которых энтро-
пия минимальна и равна нулю.
Свойство 3. Если опыт представляет из себя цепь равновероятных
событий Эквивалентно передаче сообщений из равновероятных вза-
имонезавш имых символов), то его энтропия максимальна.
Дока з а т е л ь с т в о. Максимальное значение энтропии, ко-
т
торая представляет собой сумму вида — У pt \в£р„ будет в том случае,
г—1
когда значение слагаемых суммы будет максимальным. Максимальная
37
величина слагаемого может быть найдена после его исследования
на экстремум. Для этого составим вспомогательную функцию F
вида
т
F ^ — ^.pilogpt — k, (17)
1=1
где X — множитель Лагранжа.
Используя метод Лагранжа для отыскания условного экстремума,
представим (17) в виде
т т
F — VpJogPi — K^Pt.
i=l i=l
m
Это выражение фактически не отличается от (17), так как У, = 1.
Теперь представим F в следующем виде:
т т
F = ~y\\Pi\^pi + ^Pi\ = ^iFi
i—I i=l
и найдем максимум этой функции, который будет при
dF.
= — \ogPi — \oge — k = 0, (1 = 1,2....т).
log pt = — loge — к,
где i = 1, 2, 3, ...» tn.
Таким образом, максимальная величина слагаемого pt log pt не
зависит от pt, что может быть только при условии равенства вероят-
ностей появления в сообщении любого качественного признаки из
алфавита с т качественными признаками, т. е. при
Р1 = Р2 = • • • - Рт - •
Свойство 4. Энтропия с конечным числом исходов всег и положи-
тельна.
Доказательство. Выражение для энтропии представляет
собой математическое ожидание правильной дроби со знаком «минус».
Так как логарифмы правильных дробей всегда отрицательны, то зна-
чение выражения
н = М [ — log pz]
всегда положительное.
Итак, энтропия есть величина вещественная, положительная и
имеет экстремум
График функции — pt log р, - - [ (р?) июбражен на рис. 10. Этот
график представляет нитерес с той точки зрения, что позволяет оценить
влияние вероятности появления отдельного символа на величину вы-
ражения энтропии для сообщения в целом. Как видно из графика, при
pi < 0,1 величина log pi растет круто. Это означает, что на данном
38
участке даже незначительное уменьшение вероятности ведет к рез-
кому уменьшению слагаемого pt log piy т. е. при малых значениях ее-
роятности pi члены в выражении энтропии, содержащие рь не играют
существенной роли и часто могут быть опущены.
Из рис. 10 также видно, что наибольшие значения слагаемых вида
Pt log Pi принимаются при вероятностях появления импульса с х-м
признаком, лежащих в области от 0,2 до 0,6. Это понятно, так как
при малых вероятностях появления /-го признака легко предсказать
его отсутствие в сообщении и, наоборот, при больших вероятностях
появления /-го признака легко предсказать его присутствие в сообще-
нии. В обоих случаях величина неопределенности, существующей до
получения сообщения, будет мала. Соответственно мало и количество
Рис. 10. График функции
A log Pi = f (pt) при m > 2.
информации при снятии этой неопределенности, что и иллюстрируется
рис. 10.
Свойство 5. Энтропия бинарного сообщения обладает свойством
симметрии: увеличение или уменьшение вероятности любого из эле-
ментов бинарного сообщения на одну и ту же величину ведет к одина-
ковому изменению энтропии.
Доказательство. Если число символов в сообщении равно
двум, то
н = — £ Pi log2 Pi = — (р, loga Pr + p2 log2 p2). (18)
Z=1
График функции, соответствующей (18), представляющий собой
. 1
выпуклую функцию с одним экстремумом в точке рг = —, интересен
также и ।<‘м, что полностью объясняет факт уменьшения энтропии как
при у вс и пче|| и и, так и при уменьшении вероятности одного из событий
аъ а2, , и,, . ат (образующих в вероятностном отношении полную
группу) онкнительно некоторого исходного равновероятного состоя-
ния. Если же nt' брать за исходное равновероятное состояние, то вооб-
ще нельзя у'пюрждать, что увеличение вероятности ведет к уменьше-
нию энтропии, 1лк как если увеличение вероятности свершения одного
39
из событий ведет к выравниванию вероятностей в группе, то энтропия
будет увеличиваться.
т
Поскольку в (18) 2 Pt = 1> то Pi + Р2 = 1- Обозначим для удоб-
i—1
ства pi = р2 = р, тогда р2 = 1 — pt = 1 — р. Подставим значения
и р2 в (18):
Н = — lplog2p + (l — P)log2(l —/?)]. (19)
График функции (19) представлен на рис. 11. Как видим, отклоне-
ние от величины р 0,5 в любую сторону ведет к одинаковому умень-
шению энтропии.
Итак, энтропия бинарного сообщения изменяется от 0 до 1 и до-
стигает максимума при равных вероятностях появления в сообщении
признаков, т. е. при pt = р2 = 0,5.
Свойство 6. Энтропия сложного сообщения, состоящего из неко-
торых взаимонезависимых частных сообщений, равна сумме энтропий,
составляющих его сообщений.
Доказательство. Предположим, имеются ансамбли со-
общений A {at} и В {bf} с энтропиями, соответственно Н (Д) и Н (В).
Для независимых событий вероятность совместного события АВ равна
произведению вероятностей событий А и В, то, обозначив через
ph pj и pitj вероятности событий соответственно Л, Ви АВ и исполь-
зуя формулу для энтропии случайного события (15), выражение для
энтропии сообщения АВ запишем следующим образом:
' я (ЛВ) = — 5 PiPj log Pipi = — 2 PiPi (log Pi + log Py) =
i,j i.i
= — ^pt log Pi 5 Pi — 2 Pi log pj S Pi,
i if i
так как 2 Pt = 1 и ^Р/ 1- Окончательно можно записать
i i
Н(АВ) = — T.Pi^gPi — ^pi\ogPi = H(A) i- if (В),
i i
что и требовалось доказать (энтропия сложного события, состоящего
из взаимозависимых сообщений, рассматривается в гл. 6; см. вывод
выражения (46)). ’ '
Это свойство энтропии, или правило сложения энтропий, хорошо
согласуется со смыслом энтропии как меры неопределенности. Дей-
ствительно, неопределенность сообщения АВ должна быть больше
неопределенности отдельных сообщений А и /Г Правило сложения
энтропий распространяется и на п событий при п > 2. Доказатель-
ство этого положения аналогично приведенному выше и приводится
з гл. 8 (см. вывод выражения (80)).
Выводы: /. Ес%и известно, что данное событие наверняка произой-
дет или не произойдет, то его энтропия минимальна и равна нулю.
2. Если событие с равной вероятностью может произойти либо нв
произойти, то его энтропия максимальна.
40
3. Энтропия — величина вещесвенная и положительная. Для лю-
бого количества символов энтропия достигает максимума при равной
вероятности появления их в сообщении.
4. Энтропия источника сообщений всегда вычисляется относитель-
но первичного алфавита и представляет собой среднее количество ин-
формации на один качественный признак первичного алфавита.
5. Энтропия приемника сообщений представляет неопределенность
появления на входе приемника декодированных сообщений, вырабаты-
ваемых источником. Энтропия приемника вычисляется относительно
того же количества качественных признаков, что и энтропия источника.
6. Не следует путать энтропию источника и приемника с энтро-
пией двух взаимонезависимых сообщений. При отсутствии помех эн-
тропия источника равна энтропии приемника, а энтропия сообщения,
состоящего из двух взаимонезависимых сообщений, равна сумме их эн-
тропий. Так же, как и энтропия п взаимонезависимых систем равна
сумме энтропий каждой из п систем.
5
Глава
УСЛОВНАЯ ЭНТРОПИЯ
Если состояния элементов системы не зависят друг
от друга, если состояние одной системы не зависит от состояния дру-
гой системы, то неопределенность того, что некоторый элемент систе-
мы (или некоторая система) будет находиться в одном из k возможных
состояний, полностью определялась бы вероятностными характеристи-
ками отдельных элементов системы, либо вероятностными характерис-
тиками состояний самих систем. В этом случае удельное количество
информации на состояние элемента системы или на один символ со-
общений называлось средней энтропией, а при ее вычислении исполь-
зовалось выражение (14).
При этом подразумевалось, что символы сообщения взаимонеза-
висимы, т. е. с приходом одного символа распределение вероятностей
последующих символов не изменяется. Так может быть, например, при
передаче букв бесконечного алфавита, вынимаемых из кассы, либо
при передаче букв конечного алфавита, но с обязательным условием,
•ио после передачи каждой буквы она опять будет возвращена в
кассу.
11а практике чаще всего встречаются взаимозависимые символы
и сообщения. Если передавать не просто отдельные буквы алфавита,
> а смысловые сообщения, то можно убедиться, что существует взаимо-
зависимое! ь передаваемых символов/, Одни буквы встречаются чаще,
другие' реже, одни буквы и слова часто следуют за другими, другие
редко и т. д. 11анример, в английском языке наиболее часто встречает-
ся буква с; во французском языке после буквы q почти всегда следует
буква и, если г/, естественно, не стоит в конце слова; в советских га-
зетных сообщениях после слова «передовик» чаще всего следует слово»
«труда» или «производства»; появление в сообщении слов «передовик
труда», дает, в свою очередь, информацию о характере сообщения.
например, что это сообщение ближе к заводской, чем к театральной
жизни и т. д.
Что касается взаимодействующих систем, то обычно состояние
одной из них влияет на состояние другой, как состояние моря и ско-
рость ветра влияют на положение корабля. В таких случаях энтропия
не может быть определена только на основании безусловных вероят-
ностей.
При подсчете среднего количества информации на символ сообще-
ния взаимозависимость учитывают через условные вероятности свер-
с , ъ шения одних событий относительно
nO^PVj) п других, а полученную при этом энтро-
• пию называют условной энтропией.
• * Рассмотрим текстовое сообщение.
тк Вероятность появления той или иной
z 7 буквы определяется тем, насколько
I —>о‘ часто встречается данная буква по
• * сравнению с другими буквами на дан-
а ное ЧИСЛ0 знаков. Тот факт, что мы
2 заранее знаем, что та или иная буква
bf встречается чаще (или реже), чем дру-
п 1Л .. гие буквы, уменьшает неопределен-
ности получения сигнала 6, при пе- ность появления этих букв и общую
редаче а,. энтропию, характеризующую неопре-
деленность появления букв алфавита
(по сравнению с равновероятным алфавитом из того же числа качест-
венных признаков).Так для русского алфавита А {—, а, б, в, ..., я].
н (Л)тах = Н (Л)о = log2 32 = 5 бит; Н (Л)х = — Sp, log2 pt =
= —[р(—)log2p(—)+p(a)log2p(a)+ ••• 4-р(я) log2p(a)] =
= 4,358 бит/букву,
где (—) означает пробел.
Если известны вероятности проявления одной буквы после дру-
гой (двубуквенные сочетания), то энтропия, характеризующая не-
определенность появления букв алфавита, еще меньше и определяется
как условная энтропия первого порядка. Вычислен не условной эн-
тропии будет рассмотрено ниже, а пока заметим, что неопределенность
появления какой-либо буквы алфавита после данной описывается при
помощи частной, условной энтропии, которая в случае энтропии перво-
го порядка при тА = 32 имеет вид:
Н (А/ах) = — \р (ai/aj log р (а^) + р (at/aj log р (at/aa) + • • •
--------------------1 р(а,/а9г)\о^р(а!/ам),
где H {Ala^ — энтропия появления буквы русского алфавита при
условии, что нам известно,, что ей предшествовала одна из букв a, 4-
-i- Я22.
Например,
Я (е/ах) = — [р (— е) log р (— е) + р (ае) logp (ае) + • • •
••• 4- р(яе) logp (яе)],
46
где р (—е); р (а е); р (яе) вероятности сочетания «е»с буквами рус-
ского алфавита, включая пробел. z
Если для каждой буквы алфавита известны трехбуквенные соче-
тания, то энтропия определяется как условная энтропия второго по-
рядка. Частная условная энтропия второго порядка имеет вид:
Н (А/а„ ау) = — [р (at/a19 aj log р (а^ аг) + р (a ja^ а2) х
X log р (а^, а2) + ••• + Piai/a^a^iogpiat/a^ а32) -|- •••, :
••• + р(^/^32, a32)logp(flf/a32, я32)],
где Н (А1ах, ау) — энтропия появления буквы русского алфавита
при условии, что ей предшествовало одно из возможных двубуквенных
сочетаний, например, аае, абе, аве, ..., аяе, аяя. Таким образом
определяется вероятность трехбуквенных сочетаний.
Если для каждой буквы алфавита известны N + 1 буквенные со-
четания, то энтропия определяется как условная энтропия N-го по-
рядка.
Естественно, чем выше порядок энтропии, тем она меньше (для
одного и того же алфавита). Так для русского алфавита Но = 5; Н1 =
= 4,358; Н2 = 3,52; Н3 = 3,0х.
В случае взаимодействия N систем порядок условной энтропии
определяется числом систем, взаимодействующих с данной.
Понятие условной энтропии широко используется для определе-
ния информационных потерь при передаче информации.
Рассмотрим процесс передачи сигналов по каналу связи с помеха-
ми и используем его для уяснения механизма вычисления условной
энтропии.
Если элементы источника сообщений принимают состояния аъ
а2, ..., ait ..., ап с вероятностями соответственно р (aj, р (а2) ...
...,р(яг), ..., р (ал), а элементы адресата — состояния Ьъ Ь2У..., &/, ..., Ьп
с вероятностями соотетственно р (&J, р (&2), ...» р (bj)t ..., р (Ьп), то
понятие условной энтропии И (В/а^ выражает неопределенность того,
что, отправив ati мы получим bh а понятие Н (Albj) — неуверенность,
которая остается после получения &/ в том, что было отправлено имен-
но at. Графически это может быть представлено следующим образом
(рис. 12). Посылаем сигналы а^ Если в канале связи присутствуют
помехи, то с различной степенью вероятности может быть принят лю-
бой из сигналов аь и, наоборот, принятый сигнал bj может появиться
в результате отправления любого из сигналов at. Если в канале свя-
зи помехи отсутствуют, то всегда посланному символу аг соответству-
ет принятый символ Ь19 а2 — Ь2, ат — Ьт. При этом энтропия источ-
ника // (Л) равна энтропии приемника Н (В). Если в канале связи
прису'К’т уют помехи, то они уничтожают или искажают часть пере-
даваем < й пп(|)ормации.
Информационные потери полностью описываются через частную и об-
щую условную энтропию. Вычисление частных и общей условной энтро-
1 Числовые «инчгиия условной энтропии первого и второго порядка для русско-
го алфавита приведены по работе Д. С. Лебедев, В. А. Гармаш. О возможности уве-
личения скорости передачи телеграфных сообщений //Электросвязь.— 1958.— № 1.—
С. 68—69,
43
пий удобно производить при помощи канальных матриц. Термин «ка-
нальная матрица», означающий: матрица, статистически описывающая
данный канал связи, применяется для краткости. Если канал связи
описывается со стороны источника сообщений (т. е. известен послан-
ный сигнал), то вероятность того, что при передаче сигнала аг по ка-
налу связи с помехами мы получим сигнал bh обозначается как услов-
ная вероятность р (bj/aг), а канальная матрица имеет вид
А в bt 1> bj ... ьт
«2 СЦ агп Pflh/aj. pibj/a^, ..., p(b,„/u,) Pibipi..), p(b„Ja2) p(bj/a2), p(bm/a2) P(b2/ai), ptbpai), ..., p(binlai) P(b,mb.,/<i,n), .... p(bj/am), p(b,n!am)
Вероятности, которые расположены по диагонали (выделенные
полужирным шрифтом), определяют вероятности правильного прие-
ма, остальные — ложного. Значения цифр, заполняющих колонки
канальной матрицы, обычно уменьшаются по мере удаления от глав-
ной диагонали и при полном отсутствии помех все, кроме цифр, рас-
положенных на главной диагонали, равны нулю.
Прохождение данного вида сигнала со стороны источника сообще-
ний в данном канале связи описывается распределением условных
вероятностей вида р сумма вероятностей которого всегда
должна быть равна единице. Например, для сигнала at
P(b1/a1) +р(Ь2/а1)+ ••• +p(bi/a1)+ ••• + р(bjaj = 1. (21)
Потери информации, приходящиеся на долю сигнала ah описываются
при помощи частной условной энтропии. Например, для сигнала а±
' т ‘
Н (В/ar) = — 2 Р (bi/ai) l°g Р (bf/a-i). (22)
/=|
Суммирование производится по /, так как r-е состою.е (в данном слу-
чае первое) остается постоянным.
Потери при передаче всех сигналов по данному каналу связи опи-
сываются при помощи общей условной энтропии. Для ее вычисления
следует просуммировать все частные условные эн тропии, т. е. произ-
вести двойное суммирование по i и по /. 11рн этом в случае равнове-
роятных появлений сигналов на выходе источника сообщений
Н (В/А) = — — У (bi/Uf) I<>,» р (bi/at), (23)
т / i
делим на m, так как энтропия есть неопределенность на один символ.
В случае неравновероятного появления символов источника со-
общений следует учесть вероятность появления каждого символа, ум-
44
ножив на нее соответствующую частную условную энтропию. При
этом общая условная энтропия
Н {В/А) = — 2 2 Р («;) Р (bi/cii) log р (bj/ai). (24)
i i
Если исследовать канал связи со стороны приемника сообщений (то
есть известен принятый сигнал), то с получением сигнала bj предпола-
гаем, что был послан какой-то из сигналов аъ а2> ..., ai9 При
этом канальная матрица будет иметь вид
А В
Ь1 ^2 bi brn
«1 Pfa^by), Р (ал/Ь2), ..., Pia^/bj), .. ; P (a-i/b,n)
я2 р(аМ, Р(а2/Ь2), .... р (a2/bj), ... ., p (a2/bm)
at Р (ai/bj), P(<U/b2), ..., р (at/bj), .. •, P(at/bm)
ат Р (ат/Ь}), Р (Um/b-A, ..., p(am/bj), ... •> P (Gm/bm)
(2Э)
В этом случае единице должны равняться суммы условных вероят-
ностей не по строкам, а по столбцам канальной матрицы
Р (Oi/bj) + р (а2/Ь,) + • • • + р (at/bj) 4- • • • 4- р (a^b,) = 1.
Частная условная энтропия
Н (A/bj) = — ^Р (at/bj) log р (at/bj). (26)
А общая условная энтропия
Н (А/В) = — s s Р (bf) р (ai/bj) log р (at/bj) (27)
/ i
Пример 5. Сообщения на выходе источника создаются путем комбинирования
частот /2, ft- Статистические испытания канала связи при прохождении этих
частот дали результаты, представленные следующей канальной матрицей:
Р (Ь/а) =
0,98 0,01 0,01
0,1 0,75 0,15
0,2 0,3 0,5
Определить неопределенность прохождения частоты /2 по данному каналу свя-
зи Определить общую условную энтропию данного канала связи, если вероятности
появлении частот на выходе источника сообщений р (f±) = 0,7; р (/2) — 0,2; р (/8) ==
0,1
1* е in г и и е: 1) Частная условная энтропия
//(/J//J • —(0,1 log2 0,1 4~ 0,75 log2 0,75 4~ 0,15 log2 0,15) = 0,3322 4-
4- 0,3113 + 0,4105 = 1,054 бит/символ.
2) Общая условная энтропия
И (В/А) - - N] р (at) р (bj/Of) log, р (bj/a{) = - (0,7 (0,98 log, 0,98 4-
45
+ 2 • 0,01 log2 0,01) + 0,2 (0,1 log2 0,1 + 0,75 log2 0,75 + 0,15 log2 0,15) +
+ 0,1 (0,2 log2 0,2 + 0,3 log2 0,3 + 0,5 log2 0,5)] = 0,7 (0,0285 + 2 • 0,0664) +
+ 0,2 • 1,054 + 0,1 (0,4644 + 0,5211 + 0,5) = 0,4652с бит/символ.
Примечание. Общая условная энтропия получилась меньше частной пото-
му, что при вычислении Н не учитывалась вероятность появления сигнала f2
на выходе источника сообщений.
Если в канале связи помехи отсутствуют, то все элементы каналь-
ной матрицы, кроме расположенных на главной диагонали, равны
нулю. Это говорит о том, что при передаче сигнала ах мы наверняка
получим blt при передаче а2 — Ь2, ..., — Ьт. Вероятность получения
правильного сигнала станет безусловной, а условная энтропия будет
равна нулю.
/ Своего максимума условная энтропия достигает в случае, когда
/при передаче символа at может быть с равной вероятностью получен
! любой из сигналов bt, b2, ..., Ьт. Строго говоря, энтропия шумящего
'' канала может быть больше энтропии источника сообщений (напри-
мер, если известны вероятностные характеристики появления букв
на выходе источника сообщений, то его энтропия будет меньше энтро-
пии канала связи для передачи количества качественных признаков,
равного числу букв на выходе источника сообщений, если уровень
помех в канале связи настолько высок, что с равной вероятностью
каждый качественный признак может перейти в любой другой).
При вычислении условной энтропии механических, экономических
и других взаимосвязанных систем могут быть использованы матрицы,
аналогичные вышеописанным. Однако следует иметь в виду, что мат-
рицы, описывающие каналы связи, всегда квадратные (так как сколь-
ко качественных признаков передаем, столько предполагаем принять,
хотя в некоторых случаях вероятность прохождения отдельных сиг-
налов может быть равна нулю). Но при матричном описании механи-
ческих или других взаимосвязанных систем соотношение столбцов
и строк матрицы может быть произвольным, так как один или группа
элементов исследуемой системы может взаимодействовать с произволь-
ным количеством других элементов. По этим же причинам пределы
суммирования по i и по / могут быть разные.
Предположим, имеются две системы: А с возможными состояниями
i = 1, 2, 3, ... m-L и В с состояниями / 1, 2, 3, /иа. Энтропия
системы В при условии, что система Л находиiси в состоянии ар.
Н — 2 Р (bj/ai) log р (bj/a,) М | - log р (28)
/=
где р (bj/a^ есть вероятность нахождения сипемы В в состоянии Ь/,
если система А находи гея в состоянии ah М 1 —log р —мате-
матическое ожидание величины I —lop, р
Общая условная энтропия сисюмы В относительно системы А
тх гп, т,
Н (В/А) = 2 Р (а() Н (В/а,) - - 2 Р («О Р (W log Р (Ш)-
1мя1 /ам]
Равенство тг и т2 не обязательно.
46
Пример 6. Определить общую условную энтропию двух взаимодействующих
систем X и У, если известны вероятности состояний элементов системы У : р (у±) =
= 0,2; р (у2) — 0,3; р (ys) — 0,4; р (z/4) = 0,1, а матрица, описывающая взаимоза-
висимость системы X и У имеет вид:
110,1 0,5 0,3 0,11|
р(х/у) -||0 9 0>5 0>7 0>9|
Решение:
Общая условная энтропия
4 2
Н (Х/Г) = — У, У р (yj) р (x./yj) log, р (х./У/) = — [0,2 (0,1 log, 0,1 +
1 i=l
4- 0,9 log2 0,9) 4- 0,3 (0,5 log2 0,5 4- 0,5 log2 0,5) 4- 0,4 (0,3 log2 0,3 4-
+ 0,7 log2 0,7) 4- 0,1 (0,1 log2 0,1 4- 0,9 log2 0,9) ] = 0,09378 + 0,3 +
4- 0,35262 4- 0,04689 — 0,79329 бит/состояние.
Общая условная энтропия системы В относительно системы А ха-
рактеризует количество информации, содержащейся в любом символе
абстрактного алфавита, через который мы представляем состояния
элементов исследуемых систем.
Общую условную энтропию определяют путем усреднения по всем
символам, т. е. по всем состояниям аг с учетом вероятности появления
каждого из них. Она равна сумме вероятностей появления символов
алфавита на неопределенность, которая остается после того, как адре-
сат принял сигнал:
// (В/Л) = — 2 Р (Ъ) Н (bj/ai) = — 2 2 Р («О Р {bjlat) log р (Ьрщ).
i I i
(29)
Выражение (29) является общим для определения количества инфор-
мации на один символ сообщения в случае взаимозависимых и нерав-
новероятных символов.
Поскольку р (at) р (bj/a^ представляет собой вероятность совмест-
ного появления двух событий р (аь bj), то (29) можно записать следу-
ющим образом:
Н (В/А) = - 25 P(at,bf) log р (b'/at). (30)
i /
Итак, в случае взаимозависимых и равновероятных символов в со-
общении, т. е. при р (at) = р (Ь/) == ,
Н (А/В) =------5 2 Р ((h/bt) log р (at/bj). (31)
i
В случае неравновероятных, но независимых символов, т. е. при
р (ii'/b,) ; р (а^
Н{А) = —Y,p(at)\ogp(ai). (32)
И наконец, в случае равновероятных и независимых символов
р (аг) = Р (Ь/) = ;
, (33)
Н — — log— = log/n,
47
т. е. приходим к формуле Хартли. Это предельное количество инфор-
мации, составленное из равновероятных и независимых символов и
позволяющее максимально использовать символы алфавита, Шеннон
назвал максимальной энтропией, тем самым установив предел ин-
формационной нагрузки сообщения из ограниченного числа символов.
Выражения (29) — (33) могут быть использованы для подсчета
количества информации как для отдельных элементов, так и для со-
общения в целом.
При небольшом количестве символов в алфавите вероятности pt
легко задать. Для сообщений, составленных из k неравновероятных
взаимозависимых символов, при достаточно большом числе k (т. е.
при длинных сообщениях) можно использовать формулу (32), так
как при этом отдельные символы становятся практически независимы-
ми. В противном случае определить количество информации невоз-
можно без таблицы условных вероятностей.
Если заранее известны статистические свойства источника сообще-
ний, в котором учтены распределения вероятностей отдельных сим-
волов (например, статистические свойства различных буквенных ал-
фавитов хороню изучены и вероятности появления отдельных букв
могут быть заданы априори) и взаимосвязи между ними (например,
появление буквы h после / в английском языке), а также характер рас-
пределения помех в канале связи (например, свойства белого шума
хорошо изучены, известно, что у него нормальный закон распреде-
ления и даже найдено выражение для энтропии суммы сигнала и шу-
ма), то для вычисления количества информации выписывают значения
вероятностей отдельных символов и исходных условных вероятнос-
тей и подставляют их в (29). В противном случае соответствующие
вероятности определяют опытным путем.
Напомним, как это делается. Пусть при передаче п сообщений символ А появился
т раз, т. е. р (Л) = т/п\ символ В — I раз, т. е. р (А + В) = min + 1/п. Далее,
пусть при передаче п сообщений символ В появился /, а символ А вместе с символом
В — k раз. Вероятность появления символа В р (В) ~ — вероятность совместного
появления символов А и В р (АВ) = условная вероятность появления символа А
относительно символа В
р(А/В)~
P (АВ)
р(В)
(Ы)
k
Если известна условная вероятность, то можно легко определить вероятность
совместного появления символов А и В, используя (34):
p (АВ) ^p(B)p (А/В) = р (Л) р (В/Л).
Если известно, что среди п сообщений был получен символ А и что в сообщениях
Е2, ...» Еп присутствует символ Л, и мы хотим определить вероятность получения
сообщения Е19 Е2, ...» Еп, зная о получении символа Л, то пользуемся формулой
Бейеса:
2 р <£,) р
ы
48
где р (Ek!А) — условная вероятность появления сообщений относительно появления
п
символа А: р (Eft р (Al Eft — р (Л) — полная вероятность события.
i
В заключение несколько слов об основных свойствах условной
энтропии.
Свойство 7. Если ансамбли сообщений А и В взаимонезависимы, то
условная энтропия А относительно В равна безусловной этропии А:
Н(А/В)~Н(А); Н(В/А) = Н(В).
Доказательство. Если сообщения А и В взаимонезави-
симы, то условные вероятности отдельных символов равны безуслов-
ным:
р (bj/at) = р (Ь/). (35)
Так как р (at) р (bjlat) — р (аь bj), то выражение (29) представим в-
виде:
Н (В/А) = — 5 3 р (ait bj) log р (bjlat),
i i
подставив в полученное выражение (35), получим
Н (В!А) = —^^р(at, bj) logр (fy) = — S р(bj) logр(bj)= Н(В),
t i i
так как S р (аь bj} = р (bj).
Свойство 8. Если ансамбли сообщений А и В настолько жестко ста-
тистически связаны, что появление одного из них непременно подразу-
мевает появление другого, то их условные энтропии равны нулю:
H(AIB)= H(BiA) = G
Доказательство. Воспользуемся свойствами вероятно-
стей, согласно которым при полной статистической зависимости
Р (bjlaj) = 1, слагаемые р (bj/aj) log р (bj/aj) выражения (29) также
равны нулю. Если нулю равны отдельные слагаемые, то и сумма
равна нулю, откуда
Я(В/Л)=Я(Д/В) = 0.
Выводы: 1. Энтропия сообщения, составленного с учетом неравно-
вероятности символов меньше, чем энтропия сообщения, составленного
из равновероятных символов.
?. Энтропия сообщения, составленного с учетом взаимозависимости
символов, меньше, чем энтропия того же сообщения, составленного из
взаимоне. зависимых символов.
3. Максимальную энтропию имеют сообщения, составленные из
равновероятных и независимых символов, т. е. те, у которых условная
энтропия равна нулю, а вероятность появления символов алфавита
1
Р^т-
4. Информационные характеристики канала связи можно исполь-
зовать для улучшения точностных характеристик, передаваемых
49
сообщений путем проведения двойного упорядочивания: сначала опреде-
лить потери на кодовое слов& упорядочить кодовые слова по убыванию
потерь, упорядочить первичный алфавит по убыванию вероятностей,
присвоить упорядоченную последовательность кодовых слов упорядочен-
ной последовательности букв первичного алфавита.
6
Глава
ЭНТРОПИЯ ОБЪЕДИНЕНИЯ
Энтропия объединения используется для вычисле-
ния энтропии совместного появления статистически зависимых со-
общений либо энтропии взаимосвязанных систем.
Например, при передаче по каналу связи с шумами цифры 5, из
100 раз цифра 5 была принята 90 раз, цифра 6 — восемь раз, цифра
4—два раза. Неопределенность возникновения комбинаций вида
5—4; 5—5; 5—6 при передаче цифры 5 может быть описана при помо-
щи энтропии объединения Н (Л, В').
Другой пример. Движение автомобиля на одной из передач воз-
можно лишь при отжатом сцеплен5 и, направление движения зависит
от положения руля, скорость — от положения акселератора и т. д.
Таким образом, направление, скорость и сам факт движения несет в
себе информацию о состоянии и характере взаимодействия некоторых
элементов системы «автомобиль». Взаимозависимость элементов систе-
мы «автомобиль» может быть описана при помощи энтропии объеди-
нения.
Восприятие понятия «энтропия объединения» (иногда употребляют
термин «взаимная энтропия») облегчается, если расе ждения сводят-
ся к некоторому условному каналу связи. На примере передачи ин-
формации по каналу связи также удобнее проследить взаимосвязь
понятий условной энтропии Н (В/А) и взаимной энтропии // (Л, В).
Итак, пусть (alt а2, ..., ah ап) есть выборочное прос грапство Л,
характеризующее источник сообщений, а (&р Ь2, ..., bh bm) есть
выборочное пространство В, характеризующее приемник сообщений.
При этом а есть сигнал на входе шумящего канала, а b — сигнал
на сто выходе. Взаимосвязь переданных и принятых сигналов описы-
вается вероятностями совместных событий вида р {а, Ь), а взаимосвязь*
выборочных пространств А и В описывается матрицей вида:
£>1) ‘/>(<*1. b2) . . pill,, bm)
p(ait bj) р(а"*' Ь'} р(<а2’ Ь'^ ’ ‘ ‘ Ь"^ (36)
Ь,) р(ап, Ь2) .. р{Ьп, ат)
Если матрица описывает канал связи, то число строк матрицы
равно числу столбцов т ~ п и пределы суммирования по / и по / одина-
ковы. При описании взаимодействия систем равенство тип необяза-
тельно (пример 6).
50
Независимо от равенства или неравенства числа строк числу столб-
цов матрица объединения (36) обладает свойством:
2 Р («г. fy) = Р
i
(37>
Р (Ъ, bj) = р (ад. (38)
В свою очередь,
2р(а0 = 2р(Ь/) = 1.
i /
т. е.
22р(аг, Ь,) = 1.
i /
Это свойство позволяет вычислять энтропию источника и прием-
ника сообщений непосредственно по матрице объединения (36):
/7(Д) = -22р(аъЬ/)1оё2р(аг, tz); (39)
i i /
Н (В) = — 3 s P (аь bj) log 2 P (di, bi). (40)
i i '
До знака логарифма суммирование производится по i и /, так как
для нахождения безусловных вероятностей необходимо производить
суммирование по одной координате (имеется в виду матричное пред-
ставление вероятностей), а для нахождения соответствующей энтро-
пии суммирование производится по другой координате.
Условные вероятности при помощи матрицы объединения находят-
ся следующим образом:
Р (at/bj) =
Р (а,-. bj)
%Р(а., bj)
i
Pbh’ bj> ,
P (bj)
(41)
p (a., b{) p (ab.)
P (bi/dt) = • (42)
V p(c,it 6,.)
i
Энтропия объединения ансамблей А и В при помощи матрицы
(36) вычисляется путем последовательного суммирования по строкам
или по столбцам всех вероятностей вида р (а, Ь), умноженных на ло-
гарифм этих же вероятностей
// (Л, В) = — 2 2 Р («о log2 р (ah бит/два символа. (43)
i i
Размерность «бит/два символа» объясняется тем, что взаимная
эшроння представляет собой неопределенность возникновения пары
символов, । с. неопределенность на два символа. В случае отсутствия
взаимозависимости между символами выражение (43) принимает вид
выражения (8), соответственно и размерность будет «бит/символ».
Исследуем выражение (43).
51
Из теории вероятностей известно, что
Р {аь bi) = р (aj) р (bj/aj) = Р (bj) р (at/bj). (44)
Используя (44), выражение (43) можно записать как
Н (А, В) = — s 2 Р (aj) Р (bj/aj) log р (at) р (Ьра^ =
( i
= — [ 2 X Р (aj) Р (bi/at) log р (aj) + 2 2 Р (at) Р (bjlat) log p (&//ог)] •
L i j if J
(45)
Ho p (aj)p (bj/aj) — p (at, bj), а согласно (38), 2 P (ait bj) = p (aj),
I
тогда первое слагаемое выражение (45) принимает вид
2 Р (aj) log р (aj) = — Н (Л).
i
Второе слагаемое, согласно (24), есть не что иное, как~Я (В/А),
что позволяет выражение (45) записать в виде
Н (А, В) = Н (А) + Н (В/А). (46)
Энтропия объединения передаваемого ансамбля А и принимаемого
ансамбля В равна сумме безусловной энтропии Н (А) и условной
энтропии Н (В/А).
Последняя в данном случае пред-
ставляет ту добавочную информацию,
которую дает сообщение В после то-
го, как стала известна информация,
содержащаяся в сообщении А.
Таким образом, условная энтро-
пия представляет собой неопределен-
ность того, что при приеме b было пос-
лано а, а взаимная энтропия отражает
неопределенность возникновения пары
вида ab.
Так как энтропия объединения есть
неопределенность относительно пары
символов, сигналов, состояний, в об-
щем случае, относительно пары элемен-
тов взаимосвязанных выборочных пространств /1 и В, то вид пары
ab или Ьа не имеет значения, так как неопределенность возникновения
такого сочетания — одинакова. Энтропия объединения обладает свой-
ством симметрии
Н(А, В) ^-1ЦВ, Л).
Свойство симметрии энтропии объединения хорошо иллюстрирует-
ся матрицей (36). Действительно, если просуммировать все элементы
матрицы объединения по строкам и по ('голбцам по схеме рис. 13, а
затем сложить полученные результаты, то обе суммы будут равны еди-
нице. Свойство симметрии позволяет записать соотношения между
Рис. 13. Сумма элементов по стро-
кам и столбцам матрицы объедине-
ния равна единице.
условной энтропией и энтропией объединения следующим образом:
Н (А, В) = Н (Л) + Н (В/А) = Н (В) + Н (А/В)\ (47)
Н (В/А) = Н (А, В) — Н (А); Н (А/В) = Н (А, В) — Н (В). (48)
Если построена матрица вероятностей р {а, Ь), описывающая вза-
имосвязь двух произвольных выборочных пространств, в частности
взаимосвязь входа и выхода шумящего канала связи, то остальные
информационные характеристики могут не задаваться, так как матрица
(36) обладает информационной полнотой.
Определение 3. Набор информационных характеристик яв-
ляется информационно полным, если с помощью этого набора можно
путем алгебраических преобразований получить любую другую ин-
формационную характеристику того же канала связи.
Определение 4. Полностью описанным в информационном
плане считается канал связи, для которого может быть определена
любая из его информационных характеристик.
Побочными характеристиками, которые могут быть при этом по-
лучены, являются вероятность ошибки в данном канале связи и не-
обходимая избыточность сообщений для восстановления искажаемой
помехами информации.
Утверждение 4. Информационной полнотой обладает набор ин-
формационных характеристик, если он содержит: р (af) и р (bjla^
или р (bj) и р (а/Ь,), или р (aif bf).
pty/ty =
Рис. 14. Матрица вероятностей вида р (bj/ai).
’ Доказательство: 1. При, известных р (ад и р (Ь,/ад
Я (Л) = — ^ Р (Of) log Р (at)'. Н (В/а) = — У р (Ь,/аг) log р (Ь^);
i=\ Г=1
Н (В/А} = — 52^Р ,0§ Р (bi/al)-
1=1 /=1
Матрица вероятностей р (Ь^/ад представлена на рис. 14. Произведение
р {ад с элементами матрицы р (bj/ad по схеме, представленной на
рис. 15, дает матрицу вероятностей вида р (аь b/)9 представленную
на рис. 16:
в (В) = — V р(Ь,) log р (ЬД.
I
Деление «лементов матрицы р (at, b/) на р (Ь/) по схеме на рис. 17
дает матрицу вида р (рис. 18):
Н (А/b) = — V р (at/bt) log р (at/bf);
fsaal
33
H(AlB)--=-V^p (bi) р (ajbi) log p (щ/ь,)’,
z-l /=1
I (A, В) - H (Л) - H (A/В) = H(B)—H (B/A) = H (Л) +
-I- H(B) — H(A, B).
▲ р(а,,ьр ▲
Рис. 15. Схема умножения
элементов матрицы рис. 4if
на р (ар.
Рис. 16. Матрица вероятно-
стей вида р (af, bj).
p(ai.bj) =
P(a2,bp &
P(amM a
pparfm)
ptyAm)
PpPnAm)
^•P(aP)
1=^р(аг)
J •
К=тРМ
J
2 --1ptb,) Z—. • • Z ~
T 2. При известных p (bj) и p (а^Ь,)
// (B) = — 2 P (bj) log p (bt);
i=i
H (A/b) .= — £ p (at/bj) log p (a jbj);
1 = 1
P V m tn
H (B/A) = — V 2 P (bj) p (ai/bj) log p (a-Jbt)
/=1 1=1
Рис. 18. Матрица
вероятностей вида
Р (а,/ьр.
p(a;/bj) =
QP(a</bi)
о p(a2/bp
Р>Р(РпМ
Рис. 17 Схема деле-
ния элементов мат-
рицы рис. 1§ на р
(bj).
opi'-f/b/r,)
op(an/bm)
<bp(af/bi) ...
ор(аг/Ь2) ...
•••
^/b,^ 1 l-pfai/bj /... ^ >p(ai/b^1
< < i
Произведение p (b,) с элементами матрицы p (at/bi), представленной
на рис. 18, дает матрицу вида р (bj, aj) (рис. 19). Деление элементов
54
матрицы р (bj, at) на р (at) по схеме рис. 20 дает матрицу вида р (bi/at),
тогда
Н (В/а) = — у Р (bi/cii) log р (b'/at);
Н (В/А) = — 2 V р (ai) р (bi/at) log р (Ьра;)-,
7 —’ /==1
7 (В, А) = Н(А)—Н (А/В) = Н(В) — Н(В/А) = Н (А) у
-Ь 11(B) — Н (В^А)
A P(bhQi) А
P(brf) =
Д P(bi,az) A p(b2,Q2)
к P(W
..А р(Ьт,а1)
..А \р(Ь.-л,д2)
♦ «A p(om,Qfrp)
Z=-PVf)
j
j :
L=-p(am)
j
Z — ^p(bf) ^.—^pfy)* • • £ —^Р&т)
Рис. 19. Магрищ, вероят-
ное гей вида р (bj, at).
Рис. 20. Схема деления
элементов матрицы рис 18
на р (а,).
3. При известных р (aiv /к)
X р(а,. b,) = p(at);
^р(а,.Ь,) p(bj).
I
При делении матрицы вида р (ah Ь,) на р (Ь,) по схеме рис. 17
получаем матрицу вероятностей р (а^Ь^, а при делении на р (at) по
схеме рис. 18 получим матрицу вида р (bj/a^, что позволяет найти
Н (Mb), Н (В/a), Н (В/А), Н (А>В) и Н (А, В) = Н (В А)
Пример 7. Задана матрица вероятностей системы, объединенной в одну из дву'
систем А и В:
Р (Л, В) =
0,3 0 0 /
0,2 0,3 0,1
0 0,1 0
Определить безусловную энтропию системы А, безусловную энтропию системы В
полные условные энтропии И (В/A) и И (A/В), а также взаимную энтропии
Н (А, В).
5&
Решение: 1) Вычисляем безусловные вероятности как суммы совместных
вероятностей по строкам и столбцам исходной матрицы
0,3 0 0 0,3
Р (», в)= 0,2 0,3 0,1 0,6
0 0,1 0 0,1
р(Ь,) 0,5 0,4 0,1
Н (Л) = - 2 р (а) |ой2 Р (а1> = - (°>3 log2 0.3 + 0,6 log2 0,6 +
+ 0,1 log2 0,1) = 1,295 бит/состояние;
Н (В) = - 2 Р «У tog, Р (Ьу) = - (0,5 log2 0,5 + 0,4 log2 0,4 +
i=l
+ 0,1 log2 0,1) = 1,36 бит/состояние.
2) Определяем условные вероятности и составляем матрицу условных вероят*
ностей:
. /к \ V (aty bj) . ,, ч 0,3 n c , 0,3 п 7(-
Р (а(/6;) = р Д >' ; Р (a^bj) = = 0,6; р (а2/Ь2) == = 0,75;
Р (“зА) =
= 0,25; р (а2/Ь3) = 9?.. в 1; р (аа/&,) =i р (а^Ь^ »=
= Р («1/*з) = Р (а3/Ьз) - 0. .' :
Р (cii/bj) =
0,6 0 0Ц
0,4 0,75 1
0 0,25 01
Н (A/В) = -^1'^1Р (*/) Р (a^bf) log, р (a./b,) = - [0,5 (0,6 log2 0.6 +
i i
+ 0,4 log2 0,4) + 0,4 (0,75 log2 0,75 + 0,25 log2 0,25) + (1 loga 1) • 0,11
« 0,324 + 0,485 = 0,809 бит/состояние,
или
И (A/В) x= - 2 2 P <ai’ bi> toga p (bj/aj = - (0,3 log, 0,6 |- 0,2 log, 0,4 +
i /
+ 0,3 log2 0,75 + 0,1 log2 0,25) = 0,3 • 0,736 + 0,2 • 1,321 p 0,3 • 0,415 +
+ 0,1 • 2 « 0,81 бит/состояние.
3) Аналогично для H (Bl А)'.
Р (а„ ЬЛ о I
P(bt/at) !— ; р (/?,/«,) . 1;
' ‘ Р(а{) , 0,3
0,2 0,3
Р (bi/ва) “ “од-" “ 0,333; р (Ь2/а2) • - “jjr- = 0,5;
Р (b2/a3) = q । в 1; р (Ьц/а^) = q у. 0,167; р (a^/bj) = р (а^/й,) ™
» р (ajbj = р (а3/Ь^) = 0.
66
Р (Ь^) =
10 о
0,333 0,5 0,167
О 1 О
Н (В/А) = — 5 3 <ai> Р 1о^2 Р (bj/ai> = — 0»6 (0,333 1og2 0,333 +
i /
+ 0,5 log2 0,5 + 0,167 loga 0,167) « 0,875 бит/состояние,
или
Н (B/A) = - 2 2 Р &i’ bP Io& P ^bi'ai> = — (°-2 lo& O’333 + °>3 lo& °-5 +
i i
+ 0,1 log2 0,167) 0,2 • 1,586 J- 0,1 • 2,582 = 0,875 бит/состояние.
4) Определяем взаимную энтропию
Н (А, В) = - 2 2 Р <af bi> 10Й2 Р (“г 9 = - (2 • 0,3 log, 0,3 + 2 X
i i
X 0,1 log2 0,1 + 0,2 log2 0,2) = 2,17 бит/два состояния.
Проверка:
Н (Л, В) = Н (Л) + Н (В!А) = 1,295 + 0,8754 = 2,17;
Н (В, Л) == Н (В) + И (А/В) = 1,36-4- 0,809 = 2,17.
Рассмотренный выше пример наглядно иллюстрирует соотношения
между различными информационными характеристиками ансамблей,
у которых наблюдается статистическая зависимость.
При отсутствии статистической зависимости между элементами
ансамблей А и В или между элементами некоторой системы, объеди-
ненной в одну из двух систем А и В, условные вероятности превра-
щаются в безусловные
р (bj/at) = р (bj) и р (at/bj) = р (at).
В этом случае
И (А, В) — Н(А) + Н(В).
Действительно
Н (А, В) = М [-— log р (а, Ь)] — —^р (at, bj) log, р (at, bf),
t.l
если p (Ь^) = p (b/) и p (ailbj) — p (az), to
P (at. bj) = p (at) p (bj); log p (at, bj) = logp (at) + log p (bf)i
тогда
M [— logp (at, bj)] = M [— logp(a,)] + M[— logp (&/)];
H (А, В) = H (A) + H (B).
При полной статистической зависимости между элементами ан-
самблей А и В (например, когда результат одного события однозначно
определяет информацию о другом событии) Н (В/А) = Н (А/В) =
= 0, а взаимная энтропия
Н(А, В) = И (А) И (В), (49)
57
В случае передачи информации по каналам связи полная статисти-
ческая зависимость между передаваемыми и принимаемыми сигналами
говорит об отсутствии помех, канальная матрица приобретает вид
1 0 0 ... 0
0 1 0 ... 0
p(b,/ai) -- 0 0 1 ... 0
0 0 0 ... 1
условные вероятности правильного приема равны единице, а’Ъсталь-
ные — нулю, что превращает в нуль все частные условные энтропии.
Н {В/а-,) = — Р (Ьрар) log р = — У 0 log 0 = О,
/ /
аналогично // (Л//?,) = —(а^Ь/) log р (а^Ь,) =» 0, а, следовательно,
i
и общая условная энтропия превращается в нуль и выражение для
Н (Л, В) приобретает вид (49).
Выводы: /. Энтропия объединенной системы А, В равна безуслов-
ной энтропии одной из них плюс условная энтропия другой относитель-
но первой.
2. Матрица «объединения», описывающая взаимодействие систем
или ансамблей сообщений при помощи вероятностей совместных со-
бытий, обладает свойством информационной полноты
3. Взаимная энтропия ансамблей произвольных выборочных про-
странств обладает свойством взаимной симметрои.
4. В случае статистической независимости элементов ансамблей
взаимная энтропия любого количества ансамблей равна сумме их без-
условных энтропий.
5. При полной статистической зависимости ансамбля источника
сообщений и ансамбля приемника соединений их взаимная энтропия
равна безусловной энтропии источника сообщений.
7
Глава
ВЫЧИСЛЕНИЕ КОЛИЧЕСТВА
ИНФОРМАЦИИ ПРИ 1 ГЕ РЕДАЧЕ
СООБЩЕНИЙ ПО ДИСКРЕТНОМУ
КАНАЛУ СВЯЗИ С ШУМ А МИ
Мы уже говорили, что для пекоюрых идеализиро-
ванных условий (отсутствие потерь, огсукч ви<' взаимозависимости)
количество информации при передаче сообщений определяется как
произведение числа сообщений k на энтропию, приходящуюся на одно
сообщение:
/ А// (50)
Для равновероятных независимых сообщений
Hi == log2 m-L == п log2 т2 бит/символ, (51)
58
где т1 и т2 соответственно колич^тво качественных признаков пер-
вичного и вторичного алфавитов.
Для неравновероятных независимых сообщений
И2 И) = — 2 Р (аР Р (аР бит/символ. (52)
i
Для неравновероятных взаимозависимых сообщений энтропия
может быть подсчитана при помощи следующих выражений: при опи-
сании канала связи со стороны источника
Н3 (В/А) = — 2 2 Р (я<) Р (bpap log2 р (bi/di) бит/символ, (53)
i i
при описании канала связи со стороны приемника сообщений
я4(Л/в) = -22 р (bf) р (арЬА log2 р (а^Ьр (54)
i i
Неопределенность возникновения пары символов (на выходе источ-
ника и на входе приемника)
Я5(Л,В) ./7(В, Л) =
= — 2 2 Р ^/) 1 Р (atlbp Ът/дра символа. (55)
i J
Нельзя утверждать, что количество информации всегда может быть
определено путем непосредственного умножения числа переданных
сообщений k на Нг — Нъ. Для вычисления энтропии источника или
приемника используются преимущественно выражения (51) и (52).
Выражения (53—55) используются для вычисления энтропии систем,
между элементами которых наблюдается взаимозависимость, а также
для определения потерь в каналах связи. В последнем случае коли-
чество информации вычисляется как произведение числа переданных
сообщений k на сумму или разность соответствующих энтропий.
Задача определения информационных потерь при передаче инфор-
мации по каналам связи с шумами является одной из центральных
задач теории информации, так как практически не существует системы
передачи без аппаратурных помех или помех в каналах связи. Уровень
помех может быть более или менее опасным по сравнению с уровнем
передаваемого сигнала, но действие помех всегда следует учитывать.
Для удобства исследования помехи всегда считают сосредоточен-
ными в линии связи, математическое описание которой задается в виде
вероятностных характеристик сигнала на передающем и приемном
концах. Графически влияние помех может быть проиллюстрировано
рис. 21.
Предположим, передаются два равновероятных сигнала и а2,
т. е. р (ар р (а^ = 0,5. Если в канале связи нет помех (рис. 21, а),
то на приемном конце мы получим сигналы Ьг и Ь2, причем р (ЬР =
= р (bp. Наличие помех в канале связи вводит неоднозначность и в
ряде случаев может привести к тому, что при передаче dx мы примем
не bv а Ь2 (вместо сигнала 0 — сигнал 1, вместо сигнала отрицательной
полярности —сигнал положительной полярности и т. д.), т. е. р (bp
59
не всегда равна р (&2). Например, если Ь2 —сигнал положительной
полярности и помеха имеет положительнукРполярность (рис. 21, б), то
р (&i) Р (Ь2). Чем выше уровень помех, тем меньше будет связь
между статистическими характеристиками, описывающими функцио-
нальное взаимодействие между а19 Ьг и а2, Ь2, которые характеризуют-
ся условными вероятностями р и р (Ь2/а2), и больше будут ве-
роятности ложных переходов р (b2lax) и р (Ьг/^2). Предельный слу-
чай— отсутствие полной статистической зависимости (рис. 21, в).
В общем случае, если передаются т сигналов А и ожидается полу-
чить т сигналов В, влияние помех в канале связи полностью описы-
вается матрицами (20), (25).
Условная энтропия Н (А!В) определяет количество недостающей
информации на приемном конце в результате действия помех и выража-
Рис. 21. Графическое представление различных уровней помех в кана-
лах связи.
ет не только соответствие принятой буквы bj переданной ai9 но и ка-
кой-то другой переданной букве ансамбля сообщений, составленного из
первичного алфавита. Например, принят сигнал Ьг. В канале связи
без помех с уверенностью можно было бы сказать, что был послан
соответствующий ему символ av Но наличие помех лишает нас полной
уверенности в этом. Мы все еще предполагаем, что был послан сигнал
а19 но уже допускаем возможность, что мог быть послан и другой сиг-
нал. Полученная информация меньше той, которук) мы получили бы
при отсутствии помех, на величину этой неуверенности, неон ределен?
ности, неоднозначности, неэквивалентности. Вот эта потеря информа-
ции и характеризуется распределением условных вероятностей вида
Р (at/bj).
Если будет принят символ &z, то количество потерянной информа-
ции, неопределенность состояния на входе теперь будет выражаться
энтропией распределения условных вероятностей /-го столбца ка-
нальной матрицы
// (A/bj) = — 2 р (at/bj) log /> (th/bj).
t-.-i
При этом каждый столбец матрицы должен удовлетворять условию
P(ai/bj) + p(a2/bj) | ••• |v/>(at/bj) | ••• + p(am/bj) = 1. (56)
Для определения среднего количества потерянной информации
необходимо взять среднее значение условной энтропии Н (at/bj):
Н (A/В) ^ — ^^tp(bj)р(at/bj) logр (at/Ь,). (57)
60
Используя свойство симметрии энтропии объединения, можно запи-
сать
Н (Л) + Н (В/Л) - Н (В) + Н (А!В). (58>
Очевидно, что знак равенства не нарушается, если (58) запишем
в виде
Н (Л) — Н (А/В) = Н (В) — Н (В!А). (59>
Обе половины равенства (59) могут быть использованы для под-
счета количества информации, передаваемой по каналу связи с поме-
хами. При этом, если вход канала Л, а выход В, то матрица, описыва-
ющая канал связи, имеет вид (20) и используется левая часть равенства
(59), если вход В и выход Л, то матрица имеет вид (25) и используется
правая часть равенства (59), естественно, подразумевается, что в пер-
вом случае заданы безусловные вероятности источника, а во втором —
'приемника сообщений.
В общем случае, когда был передан ансамбль сообщений с энтро-
пией Н (Л) и получен ансамбль сообщений с энтропией Н (В), при
наличии помех количество принятой информации
I (В, Л) - И (Л) — Н (А/В). (60>
Иными словами, количество информации, содержащееся в ан-
самбле принятых сообщений В относительно ансамбля переданных
сообщений Л, равно энтропии передаваемых сообщений Н (Л) минус
потеря информации Н (Л/В), вызванная действием помех. Величину
Н (Л /В) определяют по формуле (57), а распределение частных
условных вероятностей задается канальной матрицей.
Пример 8. Канал связи описан следующей матрицей:
Р (Ъ/а) =
0,98 0,01 0,01
0,1 0,75 0,15
0,2 0,3 0,5
Вычислить среднее количество информации, которое переносится одним символом
сообщения, если вероятности появления символов источника сообщений равны
р (аА) = 0,7; р (а2) = 0,2; р (а3) =0,1. Чему равны информационные потери при пе-
редаче сообщения из 400 символов алфавита ал, а<>, а*. Чему равно количество приня-
той информации?
Решение: 1) Энтропия источника сообщений
Н (А) = - 2 Р (a,) log, Р (а.) = - (0,7 log, 0,7 + 0,2 log, 0,2 + 0,1 log, 0,1) =
i=l
= 0,3602 + 0,4644 + 0,3322 = 1,1568 бит/символ.
2) Общая условная энтропия
И (В/А) = — 2 У. Р (fit) Р (bj/aj log, р (b,fat) = — [0,7 (0,98 log, 0,98 + 2 X
1^=1 i=i
X 0,01 log, 0,01) + 0,2 (0,75 log, 0,75 + 0,1 log, 0,1+0,15 log, 0,15) +
+ 0,1 (0,2 log2 0,2 + 0,3 log2 0,3 + 0,5 log2 0,5)J = 0,465 бит/символ,
61
3) Потери в канале связи
А/ = kH (В/А) = 400 • 0.465 = 186 бит.
4) Энтропия приемника
# (в) = — 2 р 1о§2 р (Ь1У'
Z=1
*> (&i) = S Р <ai> Р{п'^ Р + Р (аг) Р (Ьг/а2) + р (as) р (bja,,) =
= 0,7 • 0,98 0,2 • 0,1 + 0,1 • 0,2 = 0,726;
Р (b2) = р (a,) р (b2/at) Н р (аа) р (Ьъ/аг) + р (ая) р (Ь3/а^ = 0,7 • 0,01 +
+ 0,2 • 0,75 + 0,1 • 0,3 = 0,187;
Р (b3) = Р («1) Р + Р {аг) р (Ь3!аг) + р (а3) р (Ь^а^ = 0,7 • 0,01 +
-1-0,2 - 0,15 + 0,1 - 0,5 = 0,087;
Р (Ъг) + р (Ьг) |- р (ft.,) 0,726 + 0,187 + 0,087 = 1, т. е. У р (&,) = 1,
/
Н (В) -= — (0,726 !<>+ 0,726 + 0,187 log2 0,187 + 0,087 log, 0,087) =
— 1,095 бит/символ.
5) Среднее количество взаимной информации на 400 сообщений
J (Л, В) = - k [Н (В) — И (В/А)] = kH (В) — А/ — 252 бит.
Если в рассмотренном примере символами а19 а2, а3 на выходе
источника сообщений будут соответствовать частоты передаваемых
сигналов /у, /2, то по виду матрицы, описывающей канал связи,
можно установить, что наилучшее прохождение в данном канале
связи имеет сигнал частотой Д, соответствующей символу а19 и наи-
худшее прохождение имеет сигнал частотой /3, соответствующей
символу а3. Поэтому частота присвоена символу с наибольшей ве-
роятностью появлений в сообщении. Если бы /г присвоили символу
rz3, а /3 символу а19 то информационные потери в канале связи зна-
чительно бы увеличились, так как в этом случае Н (В/А) была бы
равна
Н(В/А) - — [0,1 (0,98 log2 0,98 + 2 . 0,01 log2 0,01) р
+ 0,2 (0,75 log2 0,75 ф 0,1 1о£2 0,1 ф 0,15 log, 0,15) р
ф 0,7 (0,2 log20,2 ф 0,3 1 og2 0,3 ф 0,5 log2 0»5)] = 1,25 Оит/символ,
т. е. потери увеличились более чем в 2,5 раза.
Если помехи отсутствуют или их уровень паеI<)Лько низок, что
они не в состоянии уничтожить сигнал или имишровать полезный
сигнал в отсутствие передачи, то при передаче г/( мы будем твердо
уверены, что получим Статистические характеристики, описываю-
щие функциональную связь событий А и /1, жестко связаны, услов-
ная вероятность р (btlut) I, а условная энтропия
//(/1/Л) 0
В этом случае количество информации, содержащееся в принятом
ансамбле сообщений В, равно этронии передаваемых сообщений ан-
самбля Д.
Я2
При очень высоком уровне помех любой из принятых сигналов
может соответствовать любому переданному сигналу ait статистиче-
ская связь между переданными и принятыми сигналами отсутствует.
В этом случае вероятности р (at) и р есть вероятности независимых
событий. Известно, что вероятность совместного появления независи-
мых событий равна произведению вероятностей этих событий. Следо-
вательно,
Р (ait Ь/) = р (at) р (bf) = р (bj) р (а,) = р(Ь,, а;). (61)
С другой стороны, согласно принципу умножения вероятностей, ве-
роятность совместного появления двух событий может быть представ-
лена через условную вероятность появления одного из них, умножен-
ную на условную вероятность другого относительно первого, т. е.
Р (вь bj) = р (а/) р (bi/at) = р (bi) р (apb,-) (62}
Сопоставляя выражения (61) и (62), находим, что при отсутствии
статистической связи между а, и Ьр
Р (&!“,) = p(bj)-,
Р (di/bi) = р (at). '
Это вполне объяснимо, так как корреляция отсутствует и принятое bj
не означает, что было передано аь а переданное ср не означает, что
будет принято bj.
Подставляя значения р (ср/Ь]) для случая отсутствия корреляции
(63) в формулу (59), находим
Н (А/В) = — 2 Р (bj) р (at) log р (ai) = — 2 2 Р (bj, at) log p (at) =
1Л i i
= 2 P (Of) log P (a,) = H(A),
i
так как
2 p (bj, at) = p (аг).
Следовательно, для случая, когда уровень помех настолько высок.,,
•по полностью отсутствует статистическая связь между переданными
и принятыми сигналами, условная энтропия равна безусловной, а ко-
личество информации, содержащееся в В относительно Л, равно нулю:
I (Л, В) Н (Л) — Н (Л/В) = 0.
Информационные характеристики реальных каналов связи лежат
между чвумя предельными случаями — когда помехи полностью от-
сутсгву..... когда уровень помех настолько высок, что любую из
принятых сигналов может соответствовать любой переданный. Дру-
гими словами, несмотря на то что часть информации поражается поме-
хами, между принятыми и переданными сообщениями существует
статистическая в пшмосвязь. Это позволяет описывать информацион-
ные характерце!пки реальных каналов связи при помощи энтропии
объединения пашетически зависимых событий.
63
Использовать энтропию объединения для вычисления среднего
количества принятой информации удобно, если канал связи е^рмеха-
ми описан при помощи матрицы совместных вероятностей (63).
Свойство симметрии энтропии объединения позволяет Записать
Н (Л, В) - Н (В) + Н(А/В) = Н (Л) + Н (В/А). (64)
отсюда
Н (A/В) = Н(А,В) — Н (В)} (65)
// (В/А) = Н(А,В) — Н (Л). (66)
Подставляя (65) или (66) в соответствующую часть равенства (60),
получим выражение для подсчета среднего количества информации
при передаче сообщений по каналу связи с помехами непосредственно
яз матриц объединения
/ (В, Л) - Н (Л) + Н (В) — Н (В, Л). (67)
Пример 9. Канал связи с помехами описан матрицей
Р М, В) =
0,1 0,1 0 II
о 0,2 0,1
0 0,2 0,31
Определить / (В, Л).
Решение: 1) Находим безусловные вероятности вида р (сц) и р (bj)i
Р (ар = У, Р (at, bf); р (ар = 0,2; р (а,) = 0,3; р (а3) = 0,5;
/
Р (bj) = У Р (at, bj); р (&р = 0,1; р (bt) = 0,5; р (Ь3) — 0,4.
I
2) Энтропия источника и приемника сообщений
Н (4) = — 2 р {ар log, р (ар = — (0,2 log, 0,2 4- 0,3 log, 0,3 +
i
+ 0,5 log2 0,5) = 0,4644 -f- 0,5211 + 0,5 = 1,4855 бит/символ.
Н (В) = — 2 Р (bj) log, р (bj) — — (0,1 log, 0,1 + 0,5 log, 0,5 4-
i
4- 0,4 log, 0,4) = 0,3321 4- 0,5 4- 0,5287 = 1,3608 бит/симвоя.
3) Энтропия объединения
И (А, В) = - 2 2 Р (ai' bl> 1о& Р (ai’ bi} = - (3 • 0,1 log, 0,1 4- 2 X
* /
X 0,2 log2 0,2 -|- 0,3 log2 0,3) ~ 0,9963 + 0,9288 |- 0,5211 « 2,4462 бит/два символа.
4) Среднее количество информации на сообщение
I (Л, В) = Н (Л) Н (В) — Н (В, Л) = 1,1855 -Н 1,3608 — 2,4462 = 0,4 бит.
Исследуем подробнее выражение (67). Для этого значения безуслов-
ных энтропий и энтропии объединения запишем в виде
, /1 (А) — — ^p(ai)(ogp(aiy,
<64
ЩВ) = -2p(&/)logp(&/);
H(А, В) = — 25 P(at, bj) logp(at, bl) = — '2l^lp(at)p(bt/aj) X
it l i
X ^ogp(ai)p(bl/ai)
И подставим в выражение (67), тогда
1 (В, Л) = — 2 р (at) log р (аг) — 2 Р (fy) log р (bj) +
+ 2 5 Р (at) Р (bj/at) log р (аг) р (bj/ai).
i i
Поскольку р (at) — 2 P (at> b/); р (bj) = 2р («/. bj), а р (ah bj) =
/ i
= р (at) р (bf/aj) = р (bj) р (at/bi), то выражение для 1 (Л, В) может
быть записано в виде:
I (В, Л) = — 2 2 Р (Ьг/аг) р (а() log р (аг) —
i i
— S 2 Р (at/bj) Р (bj) log р (bt) + 2 5 Р (aj) Р (bj/ai) log р (at) р (bj/at).
Но
S 3 Р (<*<) Р (bj/at) ='2i'Sip(bj)p (аг/bj),
что позволяет записать
I (В, Л) — / (Л, В) = — 2 3 Р (ai) Р (bj/аг) log р (аг) —
i I
— S 2 P («0 P (b/A) log p (bj) + 2 3 P (at) P (bj/аг) log p (at) p (bj/ai).
if i i
, (68)
'Когда, используя свойство логарифмов, согласно которому
— k logax — k \ogay + k logaz = k loge ,
имрижение (68) запишем в виде
/ (в, А) = 2 2 р (fl<) р (^ los =
= 22^{ai} р ,og • (б9>
Так как / (II, Л) = 1 (А, В), то справедливо и следующее выражение:
/(В. А) = 22рР• <70>
Выражения ((И)) и (70) позволяют определить среднее количество
информации, содержащееся в принятом ансамбле сообщений В отно-
3 2-1032
65
сительно переданного ансамбля сообщений А в условиях действия
помех. Используя формулу (62), находим
/ (Л, В) = / (В, Л) 2 2 Р bi) 1о§ “йгг =
i / I
p(a /b;) ' р Ь-)
= (71>
i i i i f
Для практических вычислений выражения (69—71) можно приме-
нять в виде
1 (В, Л) = 2 2 Р (»,) I/’ (at/bj) log р (at/bj) — р (ailb/) log р (аг)];
i I
I (Л, В) = 2 2 Р (bt) {р (bjlat) log р (bj/at) — р (bj/at) log р (bj)];
i i
/(Л, В) = / (В, Л) = 2£ p(ah bj)\ogp(at, bj) —
— 2 2 P (ait bj) log p (at) p (bj).
i /
Выражения (69) и (70) тем удобны, что для определения количества
информации в принятом ансамбле В относительно переданного ан-
самбля А можно не прибегать к вычислению вероятности совместных
событий А и В Выражение (71) иллюстрирует возможность выраже-
ния среднего количества информации как через энтропию источника
сообщений, так и через энтропию адресата. Так как I (Л, В) = I (В,
Л), то можно сказать, что количество информации, содержащееся в В
относительно Л, равно количеству информации, которое содержится
в Л относительно В. Как видим, количество информации, является
характеристикой как источника сообщений Л, так и адресата В. Ко-
личество информации характеризует взаимосвязь между источником
сообщений и адресатом и является мерой соответствия принятых сиг-
налов переданным.
Выводы: 1. При помощи матриц (20, 25) может быть подсчитана
средняя условная энтропия для произвольного количество качественных;
признаков, а следовательно, и количество информации, передаваемой
по симметричному каналу с шумами при любом основании кода. При
помощи матрицы (36) могут быть подсчитаны все информационные
характеристики канала связи.
2. Для уменьшения информационных потерь в канале связи сим-
волом источника сообщений, имеющим наибольшую вероятность, сле-
дует присваивать качественные признаки, которые, согласно матрице,
описывающей данный канал связи, имеют наименьшую частную услов-
ную энтропию.
3. При отсутствии помех энтропия приемника сообщений всегда
равна энтропии источника, условная энтропия равна нулю, а взаимная
энтропия (энтропия объединения) равна удвоенной энтропии источ-
ника сообщений и имеет размерность бит!два символа.
66
4. Количество информации может быть определено как со стороны
источника сообщений, так и со стороны адресата. Являясь отражением
одного объекта другим и мерой соответствия состояний объектов
на передающем и приемном концах, информация обладает свойством
симметрии.
Глава
8 ВЗАИМНАЯ ИНФОРМАЦИЯ МЕЖДУ
ПРОИЗВОЛЬНЫМ ЧИСЛОМ
ДИСКРЕТНЫХ И НЕПРЕРЫВНЫХ
АНСАМБЛЕЙ
Теперь, когда усвоены основные понятия теории
информации, можно перенести полученные результаты на более об-
щие случаи и отвлечься от привычных ансамблей источника и прием-
ника сообщений.
Рис. 22. Произведение пространств:
а — двух — А и В; 6 — трех — А, В и С.
Рассмотрим два дискретных выборочных пространства А и В
(определение выборочного пространства дано в гл. 4). Элементы про-
(чранства А обозначим через ah а пространства В —через &/. Про-
( I р.шство, в котором только о. на точка соответствует произвольным
ii.ip.iM точек at, bh является' произведением пространств А и В.
11рои ।ведение двух пространств есть фигура двумерного пространства,
в ко юрой по столбцам располагаются точки пространства Л, а по
строкам -точки пространства В (рис. 22, а).
Вероятностное выборочное пространство задается значениями ве-
роятностен состояний каждого элемента ансамбля. При этом ансамбль
и его вероятностная мера могут представлять выборочное пространство,
описывающее как выход некоторого абстрактного источника сообще-
ний (или вход приемника), так и состояние элементов произвольной
системы, например механической. Вероятность частного события дис-
кретного ансамбля равна сумме вероятностей элементов выборочного
3*
67
пространства, связанных с этим событием. Другими словами, для ан-
самблей А и В
/?(а) = 2р(а, Ь);
i
p(b) = ^p(a, b),
i
а условные вероятности
<72>
В случае взаимодействия трех ансамблей Л, В и С произведение
пространства АВС будет трехмерным и каждая из его точек будет
образована в результате пересечения трех плоскостей и иметь коорди-
наты ai9 bh ck. В трехмерном вероятностном выборочном пространстве:
безусловные вероятности
/?(«) -^р(а, Ь)^^р(а,с)^^р(а,Ь,Су
/ k k /
P(b) -^p(b,c) = Sp(b,a)=SSp(a,b,c)j (73)
k i i k
P (a -• X! p(c, a) = S p (c, b) = 2 2 P (a, b, c);
- I i i
условные вероятности
p (a/bc) = ; p (b/ac) = ~a' b'y-; p (c/ba) = - ft- ,
r v 7 7 P(b, c) 7 7 p (a, c) ’ 7 v ' 7 p(bt a)
используем (72) и (73), запишем
p (a, b, c) = p (a/bc) p (b, c) ; p (a/bc) p (b) p (c/b) = p (b/ac) p (a, c)
= p (b/ac) p (a) p (da) - p (с/ba) p (a, с) = p (с/ba) p (c) p (a/cy
частные условные энтропии второго порядка
Н (А/Ьс) = — 2 р (a/bc) log2 Р (а/be) бит/символ;
i
Н (В/ас) = — 2 Р (b/ac) log2 р (b/ac) бит/символ;
/
Н (С/ab) = — 2 Р (c/ba) log2 р (е/ba) бпт/символ;
k
общие условные энтропии второго порядка
Н (Л/ВС) — 2 2 2 Р (bj) р (ck) р (а/be) loga р (a/bc) бит/символ;
i Ь i
Н (В/АС) = — 222^ Р Р (b/ac) log2 Р (b/ac) бит/символ;
i k i
Н (С/АВ) == — 2 2 2 Р (ai) Р (bj) р (c/ba) log2 р (с/ba) бит/символ;
i j k
68
взаимная энтропия
И (А, В, С) = — У У У р (а, Ь, с) log2 р (а, Ь, с) бит/три символа.
i j k
Н (Л, В, С) = — У Р (<В Ь, с) log р (а, Ь, с) .-
i./.A
= — 3 Р (а. Ь, с) log р (Ь) р (с/Ь) р (а/Ьс) = — [ 2 (a, b, с) log р (Ь) 4-
i,j,k Li./Л
+ (а, b, с) log р (с/Ь) 4- 3jp <а> fc> с) log Р («/м] • (74)
Рассмотрим отдельно каждое слагаемое выражения (74):
1) 2 Р(а< b,c) = p (b); 2 Р (b) log р(Ь) = Н (В);
ik j
2 р (а, Ь, с) log p(b) = Н (В);
2) (а, Ь, с) — р (Ь, с) = р (Ь) р (с/Ь);
^р(Ь)р (с/b) log р (с/Ь) = Н (С/В); 2 Р (a, b, с) log р (с/Ь) = Н (С/В);
i,k i,f,k
3) р (а, Ь, с) = р (Ь) р (с/Ь) р (а/bc); р (Ь) р (с/Ь) = р (Ьс);
2 Р (ь> с) = р (Ь); 2 Р (а/bc) log р (а/bc) = Н (а/bc); У^р(Ь, с) = р (с);
k i /
2 Р (Ь) р (с) р (а/bc) log р (а/bc) — Н (А/ВС);
i,j,k
2 Р (й, Ь, с) log р (а/bc) = Н (А/ВС);
i,i,k
Н (А, В,С) = Н(В) + Н (С/В) + Н (А/ВС). (75)
Подставляя в (74) значения р (а, Ь, с) = р (а) р (da) р (Ыас) и
р (а, Ь, с) = р (с) р (а/с) р (с/ba), а также учитывая, что Н (Л) +
I- И (В/А) = Н (В, А); Н (В) + Н (С/В) = Н (В, С) и так далее,
получим
И (Л, В, С) = Н (Л) + Н (В/А) + Н (С/АВ) = Н (А,В) + Я (С/ЛВ);
II (Л, В, С) = Н (Л) + Н (С/А) + Н (В/АС) = Н(А,С) + Н (В/АС);
II (.1, В, С) = Н (В) 4- Н (А/В) 4- Н (С/В А) = Н (В, А) + Н (С/В А);
II (. 1. В, С) = Н (В) 4- Н (С/В) + Н (А/ВС) = Н(В,С)4~Н (А/ВС);
II (А. В, С) = Н (С) 4- Н (А/С) 4- И (В/СА) = Н (С, А) + Н (В/СА);
Н (/1. В. С) = Н (С) + П (В/С) 4- Н (А/СВ) = Н (С, В) 4- И (А/СВ).
(76)
Исноль tyti (76), запишем
Н(А) | И (В/Л) А- Н (С/АВ) = Н(В) + Н(С/В) \ Н(А/ВС) =
= Н(С) -Ь И (Л/С) + Н(В/АС)
69
Используя возможность переноса слагаемых с обратным знаком в
разные части равенства, получим
Н (А) - Н (А/С) — Н (В/АС) - Н (В) — Н (В/А) — Н (В/АВ) =
- Н (С) — Н (С/В) — Н (А/ВС). (77)
Любая из частей равенства (77) может быть использована для вы-
числения среднего количества условной информации для случая трех
взаимосвязанных вероятностных выборочных пространств.
Пример 10. Взаимодействие вероятностных пространств Л, В, С представлено
фигурой трехмерного пространства, которую будем называть куб вероятностей
(рис. 22).
Найти информационные характеристики каждого из ансамблей Л, В, С.
Решение: 1) Суммируя (сжимая) элементы куба вероятностей по Л, находим
для произведения пространства ВС
У. Р (*. с) = р (с)
0 0,22 0 0,22
Р (Ь, с) ----- 0,05 0,15 0,3 0,5
0,05 0,03 0,2 0,28
^р(Ь, с) — р(Ь) 0,1 0,4 0,5
/.• I
2) Суммируя (сжимая) элементы куба вероятностей по В, находим для произведе-
ния пространств АС
2 Р (а. с) = Р (4
0,02 0,2 0 0,22
Р (а, с) =-- 0,1 0,2 0,2 0,5
0,08 0 0,2 0,28
2 Р (®. с) = Р (о) 0,2 0,4 0,4
I
3) Суммируя (сжимая) элементы куба вероятностей по С, находим для произведе-
ния пространств ВА
2 Р (b, а) ~ р (Ь)
i
0,1 0 0 0,1
Р(Ь, а) = 0,1 0,3 0 0,4
0 0,1 0,4 0,5
^р(Ь,а) = р(а) 10,2 0,4 0,4
Условные вероятности для двух взаимодействующих ансамблей можно найти
по данным матрицам, используя схемы рис. 17, 20
Условные вероятности для ipex взаимодействующих ансамблей Л, В и С нахо-
дятся следующим образом:
Р (ao/boco) = р (а0, b0, с9)/р с0); р (bJa0c9) - р (60, а0, cQ)/p (а0, с0);
Р WboCj) = р (oq, Ьо, cj/p (60, cj; р (bo/aocj « р (d0, aQ, с^/р (а0,
70
Р ЫЬ0с2) = Р (а0, bo, с2)/р (Ьо, с2); р (bja^ = р (b0, а0, с2)/р (а0, с2);
Р («1/Ь^о) == Р («1, blt с0)/р (Ьъ с0); р (bja^o) = р (Ьъ dlt сь)/р (аъ с0);
Р MbiCj = p (alt blt сг)/р (Ь1} q); р (bja^) = р (blt сА)/р (а19 cj;
Р (<h'bic^ == р 0*1» &1, с2Ур (blt с2); р (Ь^а^) = р (Ьъ alt с2)/р (аъ с2);
Р (a2/b2c0) = р (а2у b2, с0)/р (b2, с0); р (b2/a2cQ) = р (b2t а2, с^/р (а2, с0);
Р (Wi) = Р (а2> b2, cj/p (b2t q); р (b2/a2Cj) = р (b2, а2, cj/p (а2, q);
р (аЛ2с2) = р (a2i b2t c2)lp (b2, c2)\ p (b2/a2c2) = p (b2, a2, c2)/p (a2i q);
P (cJboao) = p (c0, b0, a0)lp (bQt a0\, p (сЛ^) = p (cu b19 a0)/p (blt n0);
P WboaJ = p (q, bQy aj/p (bQ, aj; p (cJb&J = p (clt blt aj/p (/;1Э q);
P WbQa2) = p (q, bQ, a2)/p (bQ, a2)\ p (cjb^) = p (q, a2)/p (Ьъ д2);
P (cJb2a0) = p (c2, b2, a9)/p (b2y a0);
P (cJb2ai) = p (c2> b2> (ц)/р (b2, a2);
p (c2/b2a2) = p (c2f b2, a2)/p (b2, a2).
Вероятности совместных событий вида р (а, Ь9 с) находятся непосредственно из куба вероятностей, в данном случае они заданы
р ч. ь$, со) Р («о. ь1, Со) = 0,02; P (a„, b2, Co) = 0;
р («1. ^о, С») = 0; Р («1, с0) = 0,2; P («1, b2, c0) = 0;
Р (а2. ь0, Со) = 0; Р (с2, Со) = 0; P (^2, b2, c0) = 0;
Р (о». ^0» cj = 0; р (а„, Ь|, С]) = 0,05; P (Co, b2, cj = 0,05;
Р (Я1, ^о» с,) = 0,1; Р («п Ьъ С|) = 0,1; P (ax, b2. Ci) = 0;
Р (аг, &о» ct) = 0,2; Р (<h, bu ct) = 0; P (a2, Ь2, c,) = 0;
Р (а0, Ьо, Сз) — 0; р (a„, bu c2) = 0,03; P («0, b2, c2) = 0,05;
Р («1. Ьо, с2) = 0; P (ai, &i, c2) = 0; P («I, b2, c2) = 0;
Р («2. Ь()у с2) — 0,2; P (a2, bi, c2) = 0; P (&2, Ь2, c2) = 0;
2 p(a’ i,j,b b, c) = 1.
Зная вероятности вида p (ал)\ p p p (a, bf c),
нетрудно найти остальные информационные характеристики (при-
мер 11).
Для четырехмерного вероятностного выборочного пространств;
безусловные вероятности
Р(а) = ^р{а,с) = ^р(а,Ь) = ^p(a,d) = ^1'^р(а,Ь,с) =
k i I i k
= S S P (a. c, d) = 3 S P (fl. E S 2 P («. b, c, d);
bl ll k I
p(b) = 2iP(b,a) — ~^iPib,c) = ^iP{b, d) = ••• =
i k I
= 5 S S P (a. b, c, d);
i k I
P (C) = 2 P (c, d) = 2 p (<?, a) = S P (c. d) = • • • =
t i i
= 2 2 2 P (a, b, c, d);
i i 1
Pi'h ^P(d,a) = ^p(d,b) ='£lp(d, c) = • • • «-
i 1 k
---2^2Spb, cy d\y
/ i k
71
взаимная энтропия
Н (Л, В, С, £>) 5 S Р (а, Ь, с, d) log2 р (а, b. с, d)
i j k t
(бит/четыре символа).
В общем случае для М-мерного вероятностного выборочного про-
странства, описанного совместным распределением
р (а^ а2, ... , aN) р(а) -= £ р (аъ а2, ... , aN)
р (ах, . . . , aN)
р (ak, ...» aN/alt ... , a*_i) - -- (fli> — --—у (& < я).
Теорема 3. Взаимная энтропия дискретного ансамбля N-мерного
вероятностного выборочного пространства равна сумме его безусловной
энтропии и энтропий 1-го, 2-го, N — 1-го порядка взаимодействую-
щих с ним ансамблей этого же пространства.
Доказательство. Вероятности совместных событий вида
р (аъ а2, ..., Un) обладают свойством иерархической мультипликатив-
ности
р (аъ а2, ... ,aN)=p (aj р {ajar) р (a3/alt а2) ... х
X p{aNlai, а2, ... , aw_i). (78)
Взаимная энтропия /V-мерного вероятностного выборочного про-
странства
Н (Лк А2.....A/v) 5 S • • • S Р («к а2- • • •. М X
G iz In
X logр(ах, а2, . . . , aN). (79)
Подставляя значение (78) в логарифмическую часть выражения (79)
и учитывая (75), получим
Н(АъА21 ... , ДлО-//(А) + Я(42М^+Я(Дз/4|. И2) ]-
4- • • • + Н (Л/v/Ap Л2, • • • > Ан-i) (80)
Произведения таких ансамблей могут быть представлены фигура-
ми Af-мерного пространства. Каждая точка такого вероятностного про-
странства образуется в результате пересечения N плоскостей.
Пример 11. Определить среднюю взаимную энтропию для ансамблей произведе-
ния вероятностных пространств А, В, С, представленного кубом вероятностей
(рис. 22, б).
Решение. I) Используя результаты, полученные в примере 10, находим без-
условные энтропии // (Л), Н (В) и Н (С):
Н (Л) = - 2 р (at) р (ар - (0,2 1о«а 0,2 + 2 • 0,4 loga 0,4) =
i
= 0,4643 2 • 0,5287 ~ 1,5217 бит/символ;
н (В) = - 2 ₽ (О/) log2 р (bp =-(0,1 loga 0,1 + 0,4 log2 0,4 +
/
72
+ 0,5 log2 0,5) = 0,3321 + 0,5287 + 0,5 = 1,3608 бит/символ;
Н (С) = - 2 Р Iеj log, Р (ch) = - (О-22 log, 0,22 + 0,5 log, 0,5 +
k
+ 0,28 log2 0,28) = 0,4805 + 0,5 + 0,5142 = 1,4947 бит/символ,
2) Взаимная энтропия для трех ансамблей
Н (А, В, С) = - 2 2 2 Р (а1> bi> ck> 1оё2 Р <ai> bl’ ck> - (3 *
i j k
X 0,05 log2 0,05 + 0,02 log2 0,02 + 0,03 log2 0,03 + 2 - 0,1 log2 0,1 + 3 X
X 0,2 loga 0,2) = 3* 0,2160 H 0,1128 4- 0,1517 + 2 - 0,3321 +3 - 0,4643 ==
= 2,9696 бит/три символа.
3) Взаимная энтропия для двух ансамблей
Н (В, С) = Н (С, В) = — (0,22 log2 0,22 + 2 - 0,05 loga 0,05 + 0,15 log2 0,15 +
+ 0,3 log2 0,3 + 0,03 log2 0,03 + 0,2 log2 0,2) = 0,4806 + 0,2161 + 0,2161 +
+ 0,4105 + 0,5211 + 0,1517 + 0,4644 = 2,4605 бит/два символа;
H (Л, С) = Н (С, Л) = — (0,02 log2 0,02 + 4-0,2 log2 0,2 + 0,1 log2 0,1 +
+ 0,08 log2 0,08) = 0,1129+1,8576 + 0,3322 + 0,2915 = 2,5942 бит/два символа;
Н (В, Л) = Н (Л, В) = — (3 • 0,1 log2 0,1 + 0,3 log2 0,3 + 0,4 log2 0,4) =
= 0,9966 + 0,5211 + 0,5288 = 2,0463 бит/два символа.
4) Условная энтропия первого порядка
Н (А/С) = Н (Л, С)— Н (С) = 2,5942 — 1,4947 = 1,0995 бит/символ;
Н (A/В) ~ Н (А, В) — Н (В) = 2,0465 — 1,3608 = 0,6857 бит/символ;
Н (В/А) — И (А, В)—Н (Л) = 2,0465 — 1,5217 = 0,5217 бит/символ;
Н (С/А) = Н (Л, С) — Н (Л) = 2,5942 — 1,5217 = 1,0725 бит/символ;
Н (С/В) ~Н (В, С) — Н (В) = 2,4606 — 1,3608 = 1,0997 бит/символ.
5) Условная энтропия второго порядка
И (С/АВ) = Н (С/ВА) = II (A, В, С) — Н (Л, В) = 0,9231 бит/символ;
И (В/АС) = // (В/СА) = Н (Л, В, С) — Н (Л, С) = 0,3754 бит/символ;
Н (А/ВС) = Н (А/ВС) = Н (Л, В, С) — Н (В, С) = 0,5091 бит/символ.
Проверка. Используя (76) и подставляя значения энтропий первого и вто-
рого порядка, имеем
Н (Л, В, С) = II (Л) + Н (В/А) + Н (С/АВ) = 1,5217 + 0,5248 + 0,9231 =
= 2,9696 бит/три символа;
// (Л, В, С) = Н (В) + Н (С/В) + Н (А/ВС) = 1,3608 + 1,0997 + 0,5091 =
= 2,9696 бит/три символа;
// (,1, В, С) = Н (С) + Н (А/С) + И (В/АС) = 1,4947 + 1,0995 + 0,3754 =
= 2,9696 6|п/три символа, что подтверждает правильность произведенных расчетов.
Информационные характеристики элементов взаимосвязанных ве-
роятности ы\ пространств оцениваются по характеру измерения апри-
орной и аносюриорной вероятностей их элементов. При этом под апри-
орной верой । иостью подразумевается вероятность нахождения эле-
ментов дискрениих пространств в том или ином исходном состоянии пе-
ред началом каждого опыта. Например, вероятность сообщения быть
73
переданным до того, как на приемном конце о нем получены какие-
либо сведения, будет априорной вероятностью, а вероятность того, что
действительно было передано данное сообщение, после того как оно
было получено, будет апостериорной вероятностью.
Предположим, нас интересует степень достоверности того, что при
приеме Ь/ было передано а{. Информация, устанавливающая степень
достоверности интересующего нас факта, сводится к изменению апри-
орной вероятности р (at) до апостериорной вероятности р (atlbf).
Количественной мерой этого изменения является логарифм отношения
апостериорной вероятности к априорной.
Количество информации, содержащееся в событии Ь/ относительно
события at,
/(a^) = log-^^.
Умножим числитель и знаменатель на Ь1г тогда
, P(bf} Pkayb.) p{al)p(bj/ai)
= 108= 1°8 »<1.,> д4) = 108’ =
р(Ь>/а.)
= log =l(bj, at),
что лишний раз подчеркивает свойство симметрии информа ии. Бла-
годаря именно этому свойству информации / (af, bj) называется вза-
имной информацией между событиями аг и bj. Взаимная информация
есть мера статистической связи между at и bj.
При полной статистической связи между аг и bj'вероятность
р (а(/Ь/) = 1, а
I (ah bj) = log yij = — log p (at). (81)
Выражение (81) представляет количество собственной информации,
содержащейся в величине
При этом сама величина может состоять из элементов, положе-
ние каждого из которых относительно других элементов имеет опре-
деленную информацию. При этом сумма собственных информаций эле-
ментов, представляющих величину ai9 равна собственной информации
самой величины
Пример 12. Определить количество собственной информации в каждом символе
принятого сообщения Лв и в сообщении в целом, если априорные вероятности появле-
ния сообщений на выходе источника заданы табл. 2:
где р° — априорная вероятность появления сообщений па выходе источника;
р1— вероятность после приема первой кодовой посылки од
ра » второй »
р3 » третьей » а3.
(Кодовые слова состоят из кодовых посылок. Кодовое слово соответствует одной
букве первичного алфавита, а кодовая посылка — одной букве вторичного алфавита.
В нашем примере букве первичного алфавита соответствует кодовое слово ООО, со-
стоящее из трех кодовых посылок).
74
Решение. 1) Сумма вероятностей сообщений, получение которых возможно
после приема первой кодовой посылки, / <
2 /$= 1/16 + 1/16 + 1/32 + 1/32 = 3/16.
/=5
2) Вероятность получения каждого из сообщений аъ — после приема первой ко-
довой посылки, как произведение априорной вероятности каждого символа на вели-
чину,. рбратную сумме априорных вероятностей данной группы сообщений
Р5 = /’6=Р5-Н-------1/16 • 16/3 = 1/3,
2^
>=5
аналогично
р’ = р’ = 1/32 • 16/3 = 1/6.
Таблица 2. К примеру 12
Сообщения Кодовые слова Вероятности сообщений
Р° рг Р8 р3
Aj ООО 1/2 0 0 0
а, 0 0 1 1/4 0 0 0
As 0 1 0 1/8 0 0 0
а4 0 1 1 1/16 0 0 0
,А5 1 0 0 1/16 1/3 1/2 1
Ag 1 0 1 1/16 1/3 1/2 0
А, 1 1 0 1/32 1/6 0 0
Ав 1 1 1 1/32 1/6 0 0
3) После приема второй кодовой посылки число возможных сообщений еще боль-
ше сократится: на 10 начинаются только два сообщения, очевидно, что вероятность
каждого из них будет х/2, действительно:
= ------=1/16-8= 1/2.
2₽?
<-5
4) После получения третьего символа вероятности получения всех сообщений,
кроме Лft, становятся равными нулю
= = “ ‘ L
5) Поскольку по определению количество собственной информации равно
отношен ПК) апостериорной вероятности к априорной, то количество собственной ин-
формации и первой принятой кодовой посылке аг относительно сообщения Л5:
1/3
I (at) = I (Лб, аг) = log-Щб- « log 16/3.
Количество собственной информации во второй принятой кодовой посылке
сообщения Лб ровно количеству добавочной информации, вносимой а8 при извест-
ном а19
1/2
/ ("я) == / (Л; fla/^i) « log ~1/3“ = log 3/2.
75
Количество собственной информации в третьей принятой кодовой посылке равно
количеству добавочной информации, вносимой а3 при известных и а2,
I (а3) = 7 (Лб; а31а±а2) = log = log 2.
Количество собственной информации во всем сообщении Лб равно сумме собствен-
ных информаций отдельных символов, составляющих кодовое слово, соответствующее
А5, и равно количеству взаимной информации каждой дискретной кодовой посылки
2f, а2\ а3 относительно сообщения Лб:
I И6) = I (Л. = loga + 1о8а 3/2 + log, 2 = 4 бит,
т. е.
/ (ЛБ) = log, 1 /р°5 = loga VIS = 4 бит,
что возможно в том случае, когда условные вероятности р (blа) = 1, т. е. при от-
сутствии помех кодовые слова всегда однозначно определяют сообщение.
Нетрудно убедиться в том, что количество информации при передаче Ai равня-
лось бы 1 битр (Лх) = log2 -щ j при передаче Л8 равнялось бы 5 бит р (Л8) ==
= log2 32 j*
Среднее же количество информации на сообщение, создаваемое данным источ-
ником,
н И) = У Р, loga —Av- = V2 10& 2 + 1/8 loga 8 + • • • + 1/32 log, 32 =
i p (ai)
= 0,5+ 0,5+ ... + 0,15625 = 2,3125 бит.
Как видим, среднее значение собственной информации элементов
ансамбля есть энтропия ансамбля
н (Я) = 2 Р (at) log —= — 2 Р (ai) log р (at).
i Р \aV i
Аналогично условная собственная информация, содержащаяся
в событии аг при условии появления fc/,
1 (a/b) = log = - log р (alfbj).
Математическое ожидание этой величины па ансамбле АВ есть
общая условная энтропия
Н (А/В) = — ^^р(аь bj) log р (di/bi) — V 2 р (bj) X
i i f i
X ptai/bfilogpiai/bi). x
Взаимная информация, как и всякая случайная величина, имеет
среднее значение, дисперсию, моменты любого порядка и производя-
щую функцию моментов.
Среднее значение взаимной информации получается в результате
усреднения частных значений по всему произведению ансамблей. Так,
76
для ансамблей Л и В "
'(4> - S 2 Р <“< М log= £ I Р ft, <0 l°S’
-ZS/Xo-.^log^^. (82)
Выражение (82) можно записать в виде
/ (Л, В) = £ р (ah bj) log р (щ/Ы) — У V р (а(, bj) log p (at).
‘ ' i i
Первое слагаемое
S S P (at, bj) log p (at/bj) = S 2 P (bj) p (at/bj) log P (at/bj) =
= —H (A/B).
Второе слагаемое
S 2 P (at, bj) log p (at) — — J] p (at) log p (ai) =* — H C4),
так как
S P (at, bj) = p (at).
Теперь (82) можно записать в виде
/(А,В) = Н(А)_ Н(А/В). (83)
®ыРажение (83) лишний раз подтверждает, что количество информации служит
мерол уменьшения неопределенности.
ИИ бь1л пРименен подход к изменению количества информации — ста-
шстическии, алгоритмический или любой другой — количество информации исчисля-
ется как разность, как уменьшение разнообразия как уменьшение некоторой исход-
ной неопределенности — энтропии.
мопг,. Т0ЧКИ Зре,,ия вещественно-энергетических процессов информация служит
мерой уменьшения шумов, хаоса, энтропии. П. Бриллюэн рассматривает информацию
как меру упорядоченности и называет ее нэгэнтпопией подчеркивая этим связь ин-
формации с уменьшением исходной неопределенности.
,,,, ™ЧК" зрения теоРии познания информацию можно трактовать как уменьшение
, '‘ “J ’ как Увеличение знаний. В этом смысле между информацией и знанием —
нримия связь.
Определяя информационные характеристики вероятностных про-
странен), мы имели в виду дискретные пространства. Однако сущест-
вует ооншрный класс задач, которые не могут быть решены при помо-
щи безоговорочного использования выражений, полученных для дис-
кретных пространств. К таким задачам относятся определение инфор-
мационных характеристик физических каналов связи, передающих
радиосигналы, задачи, в которых событие на входе и выходе исследу-
емого обьекгл (Ч-ть временная функция в некотором непрерывном ин-
тервале и г. д. г
„Если кв,hi ion,типе непрерывных сигналов происходит с часто-
той оолее высокой либо равной минимуму, определенному теоремой
77
Котельникова, то при передаче таких сигналов информационных потерь
не будет (влияние помех в данном случае не рассматриваем). Если
взаимную информацию между точками непрерывного пространства
рассматривать как предел, к которому стремится взаимная информа-
ция между конечными областями, стягивающимися к этим точкам,
то для вычисления взаимной информации можно использовать выра-
жения для дискретных пространств, заменив в них вероятности на
соответствующие плотности распределения вероятностей.
Плотности вероятное!ей для совместного ансамбля АВ непрерыв-
ных пространств А и В задаются равенствами
оо
Рл(0/)= j PAB(at, bj)dblt
—оо
оо
pn(bi) = j рАв(аь bj)dai.
—оо
Среднеее значение взаимной информации
1 (Л В} = f I р {а’ b) log -р^ШЬ) dadb =
—-оо —оо
оо оо оо оо
= J р(а, b) log dadb = J J р (a, b) log-glM dadb. (84)
—оо —оо —оо —оо
Если а, b и с — случайные величины действительных конечных
выборочных пространств Л, В и С, а р (а, &, с) их совместная плот-
ность вероятности, тогда взаимная информация между aub при задан-
ном с
1 (a, b/c) = log р. (.а’ у.. . (85)
v ' ь р (ale) p(b/c) ' '
Средняя условная взаимная информация может рассматриваться
как предел дробления на все меньшие части величины / (а, Ыс) по
осям а, &, с и описываться равенством
'(Л,ао - Jjf рь. о 1о« -“'>* <8б>
Энтропия непрерывных ансамблей, также как и для дискретных
ансамблей, может рассматриваться как среднее значение собственной
информации соответствующего ансамбля.
Так, для ансамбля А с плотностью вероятностей р (а) энтропия
Н {А) = — J р (a) log р (a) da.
Условная энтропия
Н (А/В) = — р (a, b) log р (b/a) dadb.
•—ОС
78
По аналогии с (60) и (67) / (В, Л) для непрерывных ансамблей
А и В вычисляется как
/ (В, Л) - Н (Л) — Н (А/В) - Н (В) - И (В/Л) -- Н (Л) +
+ Н (В) — Н (В, Л).
Эта величина может принимать как положительные, так и отрица-
тельные значения и не может быть строго интерпретирована как сред-
няя собственная информация.
Выводы: 1. Ансамбль и его вероятностная мера могут представ-
лять выборочное пространство, описывающее состояние элементов
произвольной системы.
2. Произведение N выборочных пространств есть фигура N-мер-
ного пространства.
3. Для произведения вероятностных выборочных пространств зна-
чение взаимной энтропии растет по мере увеличения числа взаимодей-
ствующих ансамблей, т. е. взаимная энтропия обладает свойством
иерархической аддитивности.
4. При вычислении взаимной информации между точками непре-
рывных пространств могут быть использованы соответствующие вы-
ражения для дискретных пространств, если в них вместо вероятностей
подставить соответствующие плотности распределения вероятностей.
Глава
9 КОДЫ. ПРЕДСТАВЛЕНИЕ КОДОВ.
ПОНЯТИЕ О КОДИРОВАНИИ
Известно, что передача информации от объекта к
адресату производится посредством сигналов. Для того чтобы сигна-
лы были однозначно поняты, их необходимо составлять по правилу,
которое строго фиксировано в течение всего времени передачи данной
группы сообщений. Правило (алгоритм), сопоставляющее каждому
конкретному сообщению строго определенную комбинацию различных
символов (или соответствующих им сигналов), называется кодом,
а процесс преобразования сообщения в комбинацию различных сим-
волов или соответствующих им сигналов — кодированием. Последова-
тельность символов, которая в процессе кодирования присваивается
каждому из множеств передаваемых сообщений, называется кодовым
(ловом. Символы, при помощи которых записано передаваемое сообще-
ние, составляют первичный алфавит, а символы, при помощи которых
сообщение трансформируется в код,— вторичный алфавит. Процесс
восстановления содержания сообщения по данному коду называется
декодированием. Необходимым условием декодирования является
взаимно однозначное соответствие кодовых слов во вторичном алфа-
фите кодируемым символам первичного алфавита.
Коды, и которых сообщения представлены комбинациями с нерав-
ным количеством символов, называются неравномерными, или неком-
плектными. Коды, в которых сообщения представлены комбинациями
с равным количеством символов, называются равномерными, или
комплектными.
79
Примером неравномерного кода может служить простой двоичный
код, который, как известно, представляет собой степенной ряд
двойки
2° + ‘21+22+ ••• +2”.
Однако если комбинации двоичного кода дополнить таким коли-
чеством нулей, чтобы число символов в каждом кодовом слове равня-
лось числу символов самого длинного кодового слова, то такой* дво-
ичный код будет равномерным.
Неравномерный двоичный код Равномерный двоичный код
1 0001
10 0010
11 ООН
100 0100
101 0101
по оно
111 0111
1000 1000
Примером равномерного кода может служить широко применяе-
мый в телемеханике и связи пятизначный двоичный код Бодо.
Код Бодо является типичным буквенно-цифровым кодом. Пятизначные буквен-
но-цифровые коды стали использоваться для ввода информации в ЭВМ. По мере раз-
вития и совершенствования ЭВМ развивались и совершенствовались буквенно-циф-
ровые коды, так как возможности стандартного телеграфного кода уже не удовлетво-
ряли ни разработчиков, ни эксплуатационников новых моделей ЭВМ. Совершенство-
вание и усложнение буквенно-цифровых кодов шло, в основном, по пути добавления
ряда служебных символов, которые требовались как для расширения числа комбина-
ций, так и для контроля правильности передаваемых сообщений.
Наибольшее распространение получили шестизначные коды. В США в различ-
ных типах ЭВМ применяют около 25 разновидностей шестизначных кодов. В нашей
стране наиболее широко используется шестизначный код, в котором шестой элемент
кодовой комбинации означает номер регистра (0 — первый, 1 — второй). Такой
код обладает большей надежностью по сравнению со стандартным телеграфным ко-
дом № 2 хотя бы уже потому, что на переключение регистра нет отдельной комби-
нации.
Несмотря на то что передача десятичного числа в двоичной ciicicmc счисления
требует в 3,3 раза больше знаков, чем в десятичной, двоичные коды нашли наиболь-
шее применение как для дистанционной передачи, так и дли ооменл информацией
внутри ЭВМ благодаря удобству построения логических усгройгш, имеющих два
устойчивых состояния.
Все кодовые слова этого кода содержат по пять символов. Общее число
комбинаций кода Бодо
2V = 25 = 32.
Комбинации международного телеграфного кода Бодо представ-
лены в табл. 3. Как видно из табл. 3, при помощи двух качественных
признаков, скомбинированных опрецелаiиым образом, могут быть
переданы практически любые текстовые и цифровые сообщения, а
число качественных признаков может быть теоретически неограничен-
ным.
80
Соответственно неограниченным может быть и количество комбина-
ций, полученных путем комбинирования этих качественных призна-
ков. Однако для однозначного декодирования кодовых комбинаций
на приемном конце импульсы в канале связи должны быть разделены
так, чтобы каждый символ сообщения мог быть принят самостоя-
тельно.
Название коду обычно присваивают с учетом его основания —
числа различных значений алфавита /и2, которые может принимать
каждый кодовый символ: т2 2 — двоичный, т2 = 3 — троичный ...
Таблица 3. Международный код Бодо
Значение
Кодовая (значение кодовой комбинации в регистрах Кодовая кодовой комбинации R ГИЧ Н(* 1 ПЛ V
комбинация комбинация
1-м | 2-м | 3-м 1-м 1 2-м 1 3-м
10 000 1 1 А 00 111 р Р
00 110 в 8 Б 00 101 S С
01 101 . W С В 10 101 т ч 1'
01 010 G 7 Г 10 100 и 4 У
11 но О 0 Д 01 100 F Э Ф
01 000 Е 2 Е 11 010 Н + X
00 010 V Z Ж 10 по С 9 Ц
11 001 Z i 3 10 111 Q I Щ
01 100 1 Ш И 01 001 X 3 ь
10 010 J 6 Й 00 100 Y ы
10 он к 9 к 00 011 6 0 я
11 он L БЭ л 11 111 Буквы русские
01 он м 5 м 00 010 - Цифры
01 111 N Ю н 00 001 Буквы латинские
11 100 О 5 о 10 001 Пробел
11 000 р Т п 00 000 Звонок
Если код составлен таким образом, что любая перестановка качест-
венных признаков в кодовых словах приведет к возникновению комби-
нации, принадлежащей тому же коду, то его называют полным.
Число комбинаций полного кода
N = т12,
где I — число символов в кодовом слове (для равномерных кодов
определяет длину кодовых слов), т. е. эпичность кода. Для неравномер-
ных кодов понятие значности отсутствует.
Пример 13. Чему равно общее количество комбинаций полного кода с т2 = 3 и
I Как называется такой код?
I’ <• in е и и е: AZ = З5 — 243.
К<> । и.। пинается пятизначный троичный.
Г Для очнозлачного декодирования кодовых комбинаций па прием-
ном кошм* импульсы в канале связи должны быть разделены так,
чтобы каж 1ый символ сообщения мог быть принят самостоятельно.
Разделение импульсов может быть пространственное, временное
и качественное. Пространственное разделение подразумевает много-
канальную связь и не требует для разделения специальных методов
81
кодирования. При качественном разделении комбинирование проис-
ходит при помощи минимум двух качественных признаков. При этом
качественные признаки, присвоенные определенным символам, могут
быть легко различимы на приемном конце. Качественное разделение
допускает возможность одновременной передачи информации от раз-
личных объектов по одному каналу связи.
Наиболее распространенным видом качественного разделения сим-
волов сообщения при построении кодов с числом качественных приз-
наков т > 2 является частотное разделение. Поэтому в дальнейшем
при изучении кодов, которые содержат три и более качественных при-
знаков, частотным кодам будет уделено основное внимание.
При временном разделении сообщения могут быть переданы при
помощи одного качественного признака. Так как длительности им-
пульса и паузы также являются качественными признаками, то под
временным разделением подразумевают обычно разделение во времени
передаваемых по одной линии связи сообщений от различных объектов.
Параллельная передача сообщений при отсутствии качественного раз-
деления полностью исключается. Временное разделение обычно осу-
ществляется при помощи синхронизированных коммутирующих
устройств, которые находятся на передающем и приемном концах
и поочередно соединяют объекты с соответствующим адресатом.
Качественные и временные коды образуются идентичными метода-
ми. В табл. 4 в виде примера качественного разделения представле-
но разделение элементов кодовых слов по частотному признаку. Соот-
ветственно признаку разделения кодовых слов называются и сами
коды: частотный и временной.
В телемеханике при построении кодов часто используют сочетание
временных с частотными качественными признаками. Частотно-
временной код образуется путем совместного применения частотного
и временного качественных признаков. В табл. 5 приведены комбина-
ции частотно-временного кода на одно сочетание с посылкой полной
серии импульсов при числе качеств т = 2, числе импульсов в коде
(временных позиций) пв = 4.
Способы представления кодов основываются как на применении
теории соединений, так и на алгебраических преобразованиях и гео-
метрических построениях. Коды могут быть представлены формулой,
геометрической фигурой, таблицей, графом, многочленом, матрицей
и т. д.
Использование теории соединений при формировании кодов вкрат-
це можно свести к следующему.
Количество комбинаций определяется выбранным методом кодо-
образования, числом качественных признаков и общим числом эле-
ментов кода. Так, если число качественных признаков (алфавит) кода
равно /и, а кодовые слова содержат по п элементов и представляют со-
бой комбинации, различающиеся как самими элементами, так и их
порядком, то код задается в виде формулы размещения
Ат = т (т — 1) (т — 2) ... (т — п + О-
Максимальное количество размещений будет при п = т— 1. Так,
82
Таблица 4. Количество комбинаций частотного и временного кодов
Код Количе- ство использу- емых качеств Количество комбинаций кода
частотного временного
Комплектный на все* сочетания k
Двоичный:
комплектный 2
некомплектный 1
На одно сочетание с посылкой
серии импульсов:
неполной 1
k
полной 2
k
А
2"’
2n’ — 1
а"»
2">'
2П« — 1
Ст"
ч
2т<-
Л
"в
(k— 1)т*с%
Таблица 5. Комбинации частотного и временного, кодов
Символи- ческая запись кода Частотно-временной код Символиче- ская запись кода Частотно-временной код
для трехбуквенного алфавита а, Ь, с п = 3 — 1=2. При этом кодо-
вые слова будут иметь вид: ab, ас, be, ba, са, cd.
Если код представляет собой соединения, отличающиеся только
порядком входящих в них элементов, то он задается в видеформулы
перестановок
Рт = 1 • 2.3 ... т = ml = Ап,
где т — число качественных признаков (алфавит) кода.
Так, для алфавита а, Ь, с кодовые слова будут иметь вид
abc, bca, cab, cba, acb, bac, а Р = 1 • 2 • 3 = 6.
Если код представляет собой соединения, отличающиеся только
самими элементами, то он задается в виде формулы сочетаний
гм т(т~ I) (zn — 2) ... (т — n-4-1) ml___
я “ а! “ рп ~ nt (т — я) I '
в»
Максимальное число сочетаний получается при п = т/2 (при четном
т) и п = —g— (при нечетном /и). Для алфавита а, Ь9 с* п =“
= ~ = 2 и Сз = — = 3. Кодовые слова имеют вид ab, ас, Ьс.
На основе теории соединений имеет смысл строить коды с числом
качественных признаков т > 2. К этим кодам относятся сменнопосы-
лочные и сменнокачественные коды.
Сменнопосылочным называется код, образованный в результате ком-
бинирования кодовых посылок, составленных из двух или больше
Таблица 6. Комбинация сменнопосылочных кодов
Номер частоты на временной позиции
Номер временно позиции Полный смеши (посылочный код при т 2, «« 3, пк = 4 Неполный сменнопосылочный код при т =» 2, % = 3, = 5
I код П код III код 1 код II код III код
На размещения
1 1,2 1,3 1,4 1,5 2,3 4,5
2 1,3 1,2 1,2 2,3 1,5 2,3
3 1,4 1,4 1,3 На сочетания 4,5 4,5 1,5
1 1,2 1,3 1,4 1,2 1,2 1,2
2 2,3 1,4 •3,2 3,4 4,5 3,5
3 2,4 2,4 3,4 1,5 1,3 1,4
качественных признаков. Комбинации этого кода допускают смежные
посылки, состоящие из одинаковых качественных признаков, но разде-
ленные временными паузами. Недостатком данного кода является то,
что для приема и передачи комбинаций кода необходимо применять
синхронные и синфазные распределители.
Если из сменнопосылочного кода исключить паузы между посылка-
ми и соблюсти условие, при котором смежные посылки отличаются
хотя бы одним качественным признаком, то получатся коды, облада-
ющие свойством самораспределения. Свойство самораснределения по-
зволяет значительно упростить декодирующие yciройства.
Смениоцоеадочные коды могут быть полными и неполными. Пол-
ные сменнопосылочпые коды отличаются в смежных посылках хотя
бы одним качественным признаком, а неполные всеми образующи-
ми их качественными признаками (табл. 6).
Количество кодовых комбинаций полного сменнопосылочного ко-
да на размещения
м = С (С7к—1) ... |с"‘н —(пв—1)],
где т — количество качеств в одной посылке; пк — общее количество
качеств; пв — число посылок в коде.
84
Например, при п„ = 5, т = 2и п* = 3
М =С'1(С1 — 1) = 10 х 9 = 90.
Количество кодовых комбинаций неполного сменнопосылочного
кода на размещения
М = C^AncB~l = т т (С™ - 1) ... [С„ _m - (п„ - 2)].
к пк~ т к К к
Например, при пк = 5, пг = 2 и пв = 3
М = СМг2 = с№ = 10 • 3 • 2 = 60.
5—2
Количество кодовых комбинаций полного сменнопосылочного кода
на сочетания
м=с’г. ...
%
Например, при пк = 5, т = 2 и пв — 3
М = С32 = С? = -Д- = 35.
Количество кодовых комбинаций неполного сменнопосылочного
кода на сочетания при пв = 2 равно произведению на число со-
четаний из С% —т по пв — 1, деленному на пв, так как перестансвки
между двумя этими членами не допустимы. При пв = 3 количество
кодовых комбинаций увеличивается в / раз за счет перестановок эле-
ментов второй и последующих посылок:
М - 1) • • • - («в - 2)].
f&pjl к к к к
Например, при мк= 5, пг = 2 и пв = 3
м = 4- cic2z = del = ю • з = зо.
5 с5—2
Сменнокачественным называется код, образованный в результате
непосредственного комбинирования качественных признаков. Анало-
гично сменнопосылочному этот код также обладает свойством само-
раенределения. Смежные импульсы кодовых комбинаций имеют раз-
ные* качественные признаки. Число качественных признаков в эле-
ментарной посылке т = 1.
Количество комбинаций полного сменнокачественного кода
М = т (т — 1 ) и
В табл. 7 приведены три комбинации полного сменнокачественного
кода при т 3, пв = 3. Общее число комбинаций кода в этом случае
М =3(3 —I)3-1 = 3 <22= 12.
Количество комбинаций сменнокачественного кода на размещения
М = Л"в.
т
85
Приведены также три комбинации кода при т =«4,пв = 3. Общее
число комбинаций при этом
м = Л'"-1 = А34 = 4 • 3 • 2 = 24.
Количество комбинаций сменнокачественного кода на перестановки
М -=А” = Рт=т1
В табл. 7 приведены три комбинации кода при т = 4, пв — 4.
Общее количество комбинаций кода определяется количеством ка-
чественных признаков М = Рт = т! = 4! = 4 • 3 • 2 = 24.
Таблица 7. Комбинации смеппокачсственного кода
Номер вре- мен- ной пози- ции Номер частоты на временной позиции
Полный (т = 3; пв = 3) На размещения (т 4; % = 3) На перестановки (т =*=4; пв 4) На сочетания
(т 5; «3)
I код 11 код 1II код 1 код II код III код I код II код III код I код II КОД III КОД
1 1 о 3 1 2 4 i 1 2 1 1 1
2 2 1 1 2 1 2 2 3 3 2 2 2
3 3 3 2 3 4 1 3 2 1 3 4 5
4 — — — — — — 4 4 4 — — —
Количество комбинаций сменнокачественного кода на сочетания
Л4 = С"в.
т
В табл. 7 приведены три комбинации сменнокачественного кода
на сочетания при пя - 3 и т = 5. Общее количество комбинаций
М = С} = -5-:4;3 = ю.
Представление кода в виде многочлена для любой системы счисле-
ния с основанием х при наличии п различных цифровых знаков at от
нуля до п — 1 выглядит следующим образом:
F (х) = а0 4- агх + ••• + ап-2Хп~2 + an_ixrt~‘ = V п,х',
(I
где i — п — 1, п — 2 и так далее — показатель при степени основа-
ния системы счисления и порядковый номер очередного разряда.
Например, в десятичной системе счисления число 435 можно запи-
сать в виде 435 = F (10) = 5 • 10° + 3 • 101 | 1 • 10а. В данном
случае х 10, aQ — 5, = 3, а2 = 4. В двоичной системе число
73 записывается в виде многочлена с основанием 2:
73 = F (2) = 1 • 2° + 0 • 21 + 0 • 22 -|- I • 2:l | 0 ♦ 24 + 0 • 25 +
+ 1 - 26 = 1(- 8 | 64.
В двоичном коде это число записывается как 1001001.
На использовании свойств последовательностей двоичных чисел ба-
зируется методика построения многих практических кодов, например
систематических (гл. 15). Особый интерес представляют свойства дво-
ичных кодов, которые проявляются при сложении, умножении и де-
лении по модулю 2.
86
Правила сложения по модулю 2 определяются следующими равен-
ствами:
О ф 0 =* 0; 1 ф 1 = 0; 0 ф 1 = 1; 1 ф 0 = 1.
В качестве примера сложим по модулю 2 двоичные числа 10111011
и 100010:
10 1110 11
@ 10 0 0 1 0
10 0 11 0 0 1 •
Отличие операций сложения по модулю 2 от обычного арифмети-
ческого сложения двоичных чисел состоит в том, что при сложении
по модулю 2 каждый раз рассматривают конкретную пару двоичных
знаков вне связи со всем числом. Поэтому результат предыдущих
операций при сложении очередной пары двоичных знаков не учиты-
вают, тогда как при арифметическом сложении двоичных чисел этот
результат обязательно учитывают, например при сложении двух еди-
ниц записывается 0, а 1 переносится в старший разряд. Так, для наше-
го примера
/10 1110 11
1 0 0 0 1 0
110 1110 1 ’
Умножение и деление двоичных чисел по модулю 2 сводится к сло-
жению по модулю 2, но сдвиг чисел происходит как бы в противопо-
ложные стороны. При умножении по модулю 2 множимое сдвигают
в сторону старшего разряда столько раз, сколько разрядов в множи-
теле. Множимое выписывают только в том случае, если в множителе
есть 1. Если же в множителе 0, то очередной сдвиг происходит без вы-
писывания множимого:
10111011 1011
Х 10 0 0 10 Х 110 1
10111011 1011
10 1110 11___ 10 11
Ф10101100011 1011
1111111
Иногда удобно умножение начинать со старшего разряда, тогда
строки множимого записывают друг под другом со сдвигом, соответ-
ствующим наличию единиц в строке множителя, слева направо;
10 11
Х 110 1
10 11
1111111
При делении по модулю 2 делитель подписывают под делимым так,
чтобы совпадали старшие разряды. Если число разрядов делимого
больше или равно числу разрядов деления,то в частное переносят
единицу. Затем, производят сложение по модулю 2. После чего к ос-
татку приписывают справа очередную цифру делимого. Если число
разрядов остатка вместе с приписанной цифрой равно числу разрядов
делителя, то в частное записывают еще одну единицу. В противном
случае в частное записывают нули до тех пор, пока не уравняются
разряды остатка и делителя. Затем снова производят сложение по
модулю 2 и операцию повторяют до тех пор, пока все разряды делимого
не переносятся в остаток:
1 0 0 0 1 | 1 0 1
10 1 10 1
1 0 1
1 0 1
10 1110 11 |1 0 0 0 1()
10 0 0 10 1 0 1
~~~1 10 0 11
10 0 0 1
1 0 0 0 1 0
10 0 0 1 0
10 0 0 1
110 10 0 11 | 1 0 0 1 1 1 1 1
1 * 1 * * * У 1 1 0 0 + 1 0 0 1 1
10 0 10
1 0 О 1 1
1 1 1
Представление кода в виде геометрической модели возможно бла-
годаря тому, что кодовые комбинации я-значного кода могут рассмат-
риваться как определенные точки я-мерного пространства.
У тверждение 5. Любой равномерный дискретный код может быть
представлен фигурой я-мерного пространства, состоящего пз N
=/тп точек, отстоящих друг от друга на расстоянии, не меньшем
dwJn 1 условной единице линейного измерения и не большем, чем
dmax и (т— 1) условных единиц линейного измерения, где т—
основание кода; п—длина кодового слова (значность кода).
Определение 5. я-мерное пространство, удовлетворяющее условию
утверждения 5, называется кодовым пространством.
Правило 1. Для построения кодового пространства необходимо
всегда в строго фиксированной последова 'юльпости осуществлять
проекцию каждой из W точек на оси я-мерного пространства, при
этом значения кодовых комбинаций должны быть их координатами
в кодовом пространстве.
Теорема 4. Дт кода с любым основанием т число пространствен-
ных измерений кодового пространства равно значности кода п.
Д о к а з а т е л ь с т в о. Так как число точек кодового простран-
ства равняется числу возможных комбинаций качественных призна-
ков кода, т. е. W = тп, то в основу выбора количества осей соответ-
ствующего пространства, в котором должны быть расположены точки
88
с координатами, равными кодовым комбинациям, могут быть положе
ны принципы: число осей равно значности кода т, либо число осей равно
основанию кода п. В последнем случае число точек кодового простран-
ства равнялось бы N = пт> но пт пгп, за исключением случая т =
= п, т. е. при m-мерном пространстве во всех случаях, кроме пг = /г,
число точек кодового пространства не соответствовало бы количеству
комбинаций кода, что противоречит утверждению 5.
Теорема 5. Число градаций по каждой из осей п-мерного кодового
пространства определяется основанием кода и равно пг — 1.
Доказательство. В /г-мерном пространстве тп координат-
ных точек при п осях обеспечивается пг — 1 градацией по осям, так
как в число координат входит и пулевая координата.
Теорема 5 обосновывает очно из главных усчовий построения мно-
гозначных корректирующих кодов: контрольны? разряды в коррек-
тирующем коде располагаются таким образом, чтобы обеспечивался
контроль пг — 1 качественного признака кода. Для контроля нуле-
вого качественного признака не предусматривается специальная про-
верка.
Определение 6. Расстояние между точками кодового пространства
называвается кодовым расстоянием.
Кодовое расстояние d — параметр, показывающий (независимо от
основания кода) количество состояний, через которые должны пройти
качественные признаки кодовой комбинации, чтобы оказаться в со-
стоянии, идентичном тому, в котором находятся качественные приз-
наки кодовой комбинации, сравниваемой с данной.
Определение 7. Основным из параметров, определяющих помехо-
устойчивость дискретного кода с произвольным основанием, является
минимальное кодовое расстояние dQ. Оно характеризует код в целом
и показывает минимальное количество качественных признаков, в ко-
торых отличаются друг от друга любая пара комбинаций данного
кода.
Минимальное кодовое расстояние является основным, но не един-
ственным параметром, характеризующим возможность данного кода
в данном канале связи. Характер помех в канале связи, спектр рас-
сттний— совокупность чисел, указывающих число кодовых слов,
о. нищих от заданного на данное кодовое расстояние; спектр ве-
са' совокупность чисел, указывающих, сколько слов данного веса
им‘с|ся у заданного кода, также характеризуют возможности данного
ко (<i п чанных условиях.
IIрани го 2. Для определения кодового расстояния между комбина-
циями чискретного кода с основанием т необходимо произвести их
поразрядное вычитание по модулю т. Кодовое расстояние равно весу
набора, < ос। явленного из разности значений сравниваемых комбина-
ций.
Пример 11. I) 11роишести: а) сложение и б) вычитание по модулю 4 следующих
пар чисел. I3I ПОЗ -330; 331—002; 323—203; 111—213; 011—231; 022—322.
2) Пользуясь 1 они ।рической моделью трехзначного четверичного кода (рис. 23, /с),
определить кодоног р.»с< юннпс d между приведенными парами и сравнить с ними веса
W наборов, полученных и рг1ультате сложения и вычитания.
89
Решение:
131 ( d = 3;
1. а) Ф 022 [ пп „
—Г № = 5.
113 I
003
0 330
333
d = 9;
W =9.
323 A d » 3;
ф 1
203
122
W = 5,
ОН
231
242
323
203
120
d = 3;
W = 1.
ОН
0 231
220
d = 4;
W = 4.
331 1 <i = 7j
* 002
333 I IV' — 9»
222 1 d = 1;
322
100 1 W = L
331 j d = 7;
002
331 J W =7.
222 d = 1;
322
100 W = 1.
Прежде, чем выполнить вторую часть задания, поставленного в
примере 14, рассмотрим геометрические модели некоторых конкрет-
ных кодов. Представленные на рис. 23 n-значные наборы качествен-
ных признаков могут быть кодовыми словами соответствующих п-
значных кодов.
Моделью любого единичного качественного признака является точка
выборочного пространства (рис. 23, а).
Моделью любого однозначного набора качественных признаков яв-
ляется прямая (рис. 23, б, б, з).
Моделью любого двузначного набора качественных признаков явля-
ется фигура двумерного пространства, представляющая собой квадрат
либо состоящая из квадратов (рис. 23, з, з, и).
Моделью любого прехзначного набора качественных признаков яв-
ляется куб/либо фигура трехмерного пространства, состоящая из
кубов (рис^ 23, г, ж, к).
Модель четырехзначного набора качественных признаков представ-
ляет собой фигуру четырехмерного пространства и может быть по-
строена путем смещения трехмерного куба, либо каждой из его вер-
шин в новом направлении. В общем случае л-мерпый куб должен иметь
2Й вершин, п2"“1 ребер, п (п — 1) 2rt“3 граней, а наиболее удаленная
от данной вершины его точка должна находиться на расстоянии п
ребер.
Представление кодов в виде геометрической модели производят
для наглядности изображения и облегчения анализа их свойств и да-
же используют при построении корректирующих кодов. Напримёр,\
кодовое расстояние на геометрической модели определяется простым\
подсчетом числа ребер геометрической фигуры, отделяющих по крат-
чайшему пути одну кодовую комбинацию от другой. Так, используя
рис. 23, к, легко проверить правильность метода определения кодового
расстояния в примере 14. Однако с ростом /г (числа элементов кода)
геометрические модели становятся громоздкими, теряют наглядность,
а их построение вызывает большие трудности. Предельное значение л,
90
О
О О 1
a о
Рис ?.1 Геометрические модели я-значных наборов из т качсст-
вснных при шаков:
и in I, п 1:6 — гп = 2, п ~ 1; в — т = 2, п — 2; е — т --- 2,
п 3, д hi 3, п — 1; е — т — Ъ, п — 2; ж — т = 3, п — 3; з —
т - I, и * I. и ~ in — 4, п — 2; к — т — 4, п — 3.
при котором еще имеет смысл строить геометрическую модель кода,
можно несколько увеличить, применив для ее построения сегментные
матрицы.
Сегментная матрица представляет собой расходящиеся цилиндри-
ческие сегменты, основаниями которых являются квадратные матрицы,
а условные образующие дуги соединяют вершины матриц, являющих-
ся каркасом цилиндрического сегмента. Количество ячеек в матрице
определяют по формуле суммы геометрической прогрессии. При этом
для сохранения наглядности построения квадраты единичных матриц
следует выносить на такое расстоя-
ние друг от друга, чтобы не наруша-
лась наглядность восприятия модели.
В качестве примера рассмотрим принцип
выбора шестизначного числа из устройства
памяти на 106 ячеек (рис. 24, 25). Набор циф-
рового кода может осуществляться при помо-
щи телефонного диска.
Серия сформированных определенным об-
разом импульсов, коричество которых зави-
сит от набираемой цифры, от телефонного
диска поступает на шипу группы релаксато-
ров. Выходы релаксаторов соединены с реги-
страми единиц, десятков, сотен и т. д. и их
подготовка происходит от распределителя,
собранного на логических элементах. В ис-
ходном состоянии первая ячейка Ио подготов-
лена сигналом с делителя напряжения. С ее
выхода разрешающий потенциал поступает
на релаксатор Ро. После набора первого де-
Рис. 24. Функциональная схема рас-
пределительного блока.
сятичного знака кода на распределитель с
формирователя сигналов конечного положения наборного диска поступает импульс.
Происходит совпадение в ячейке И1 (сигнала с ячейки Ио и сигнала на общей
шине), и она дает разрешающий потенциал на прохождение импульсов через ре-
лаксатор Рг. При повторном наборе цифры сработает И2 и даст разрешение на Р2.
Таким образом, релаксаторы поочередно выдают соответствующие серии импульсов
в регистры единиц, десятков, сотен и т. д.
Выбор ячейки происходит следующим образом. Предположим набирается код
927 418. После первого поворота диска сигнал поступит на шину номеров с 90 по 99
(рис. 25), а после второго на шину номеров 0, 2, 12, ... 92. Совпадение происходит
в ячейке 92. Элемент ячейки 92 готовит шину номеров с 920-й по 929-ю. 11осле третьего
поворота диска сигнал поступит на шину номеров 907, 917, 927...997. Совпадение про-
изойдет в ячейке 927. Элемент 927 ячейки готовит шину номеров с 9270-й по 9279-ю
и т. д. Подробнее с этим вопросом можно ознакомиться в рабою (36].
На рис. 26 представлена геометрическая модель единичной ветви
сегментной матрицы 10-элементного кода. Так.in матрица, которая
может быть построена при помощи однотипных узлов, собранных на
элементах, выполняющих логическую операцию //, дает возможность
осуществлять кодирование и декодирование десятичных кодов, наби-
раемых при помощи телефонных дисков, а также строить устройства
выбора на десятки тысяч объектов.
Представление кода в виде матрицы, содержащей 2п строк и п
столбцов, возможно для равномерных n-значных двоичных кодов.
Если матрицей требуется представить совокупность ненулевых ком-
бинаций кода, то число строк равно 2“ — 1. Особенностью такого рода
92
матричной записи является то, что комбинация, полученная в резуль-
тате сложения по модулю 2 произвольного количества строк данной
матрицы, должна быть одной из комбинаций данного кода, так как
в матрице записаны все 2п— 1 кодовые комбинации данного п-знач-
ного кода (69). В такой матрице, складывая между собой строки по
модулю 2, можно в конце концов получить нулевую строку. Если за-
тем отбросить нулевую строку, то получится некоторая новая матри-
О
То
20
30
То
То
Тб
70
То
Тб
^регистру!
19
29
39
49
59
69
79
89
92
К регистру И
900 '
93
920
921
'922
ца уже с меньшим числом строк. Ес-
ли во вновь образованной матрице
производить аналогичные операции
сложения по модулю 2, то можно
вновь выделить нулевую строку.
Эта операция повторяется до тех
пор, пока не получится матрица,,
927409' 927499 -
\9274181 I I I I Н
99
98
96
99
97
95
990
9200-
925
9209
927400
928
92700
92709
КрегиструШ.
1$9
909
927490" _
К регистру у
№
921
'924
'925
^9&
^92799
К регистру 3}
9299
К регистру £
Рис. 25. Схема матрицы выбора.
1
2
3
4
5
6
7|7
9
строки которой линейно независимы, т. е. сложение по модулю 2
уже не приводит к выделению нулевой строки.
В качестве примера рассмотрим трехразрядный двоичный код
001 001 001 001 100
010 010 010 010 010
011 000 100 100 001
100 100 ПО
101 000
110 по
111 000
Если к третьей строке первой колонки прибавить сумму первой
и второй строк, к пятой — первой и четвертой, к седьмой — первой
и шестой, то третья, пятая и седьмая строки первой колонки станут
9Э
нулевыми (см. вторую колонку). Отбросив нулевые строки, получим
третью колонку. Если сумму второй и третьей строк третьей колонки
сложить по модулю 2 с четвертой строкой, то последняя станет нуле-
вой. Полученная в результате матрица содержит в каждой строке
только одну единицу. Квадратная матрица, диагональ которой состо-
ит из единиц, а остальные элементы—нули, называется единичной.
Умножение произвольной матрицы на единичную не меняет ее
значения. Если строки единичной матрицы начать складывать по
Рис. 26. Сегментная матрица.
модулю 2, то подбором соответствующего сочетания строк можно восста-
новить все комбинации n-разрядного кода. Поэтому матрицы четвер-
той и пятой колонок называют определяющими.
Если в матрице направление главной диагонали идет справа нале-
во, то такая матрица называется транспонированной.
Предположим, необходимо получить коды с единицами в первом,
втором, третьем и т. д. разрядах. Для этого достаточно сложить по
модулю 2 строки с теми же номерами, считая сверху вниз. Для полу-
чения п — 1 комбинаций, начинающихся с двух единиц, необходимо
сложить две первые строки транспонированной матрицы, а затем к
сумме поочередно прибавлять строки с единицами соответствующих
S4
разрядов. В общем виде определяющая матрица «-разрядного кода
записывается следующим образом:
ООО . . . 001
ООО .. 010
ООО . .. 100
оо1 ... ооо ” строк
010 ... 000
100 ... 000
п столбцов I
Матричный способ построения кодов является одним из основных
способов образования кодов, способных исправлять ошибки (гл. 15).
При этом матрица, порождающая код, обычно состоит из единичной
матрицы, ранг которой определяется числом информационных раз-
рядов пи и добавочной матрицы, ранг которой определяется числом
корректирующих разрядов пк. Так, для кода с пи — 4 и пк = 3 один
из вариантов порождающей матрицы имеет вид
1 0 0 0 1 1 11
0 1 0 0 0 1 1
0 0 10 110
0 0 0 1 1 0 1|
Строки такой матрицы являются первыми четырьмя комбинация-
ми корректирующего кода. Остальные комбинации получаются в ре-
зультате суммирования по модулю 2 всевозможных сочетаний строк
матрицы. Суммирование первой и второй строк даст пятую комбина-
цию
1 0 0 0 1 1 1
® 0 1 0 0 0 1 1
110 0 10 0
Суммирование первой и третьей строк даст шестую комбинацию
1 0 0 0 1 1 1
® 0 0 1 0 1 1 0
1 0 1 0 0 0 1
и так цалое. Если перебрать все возможные сочетания, получим код.
исправляющий одиночную ошибку
10 0 0111 1010001 1001010
0 10 0 0 1 1 0 1 1 0 1 0 1 0 1 0 1 1 1 0
110 0 100 1110010 1101001
0010 110 0001101 0011011
10 1 110 0
0 1110 0 0
1111111
0 0 0 0 0 0 0
95
Определяющие матрицы используют при построении многих кодов,
особенно широко они применяются в систематических и циклических
кодах (гл. 15).
Наглядным способом описания кодов являются кодовые деревья.
Представление кода в виде кодового дерева — давно известный и ши-
роко распространенный способ в теории релейно-контактных схем.
В общем виде кодовое дерево может быть представлено как граф, со-
стоящий из узлов и ветвей, соединяющих узлы, расположенные на
разных уровнях. Истоком графа является корень. Каждый уровень
содержит тп узлов, где п— номер уровня, а т— значность кода.
Для равномерного двоичного кода число узлов на каждом уровне рав-
но 2“ (рис. 27).
При помощи кодовых деревьев наглядно представляются коды,
обладающие свойством префикса, иле префиксные коды, т. е. коды,
которые могут быть получены путем последовательного вычеркивания
последнего знака кодовой комбинации (ни одна из комбинаций такого
кода не может быть префиксом комбинации того же кода). Например,
префиксами кодовой комбинации 11101101 будут: 1, 11, 111, 1110,
111011, 1110110, 11101101, т. е. для однозначного декодирования ко-
довой комбинации 11101101 ни один из передаваемых кодов не может
быть представлен комбинациями 1, 11, 111, 1110, 111011, 1110110,
11101101.
Префиксом данной кодовой комбинации At является любая последо-
вательность, составленная из ее начальной части, включая саму ком-
бинацию At.
Та часть кодовой комбинации, которая дополняет префикс до са-
мой кодовой комбинации, называется суффиксом, т. е. каждую кодо-
вую комбинацию можно разбить на префикс и соответствующие суф-
«фиксы.
Имея кодовоебдерево, легко определить, обладает ли данный код
свойством префикса. Если ни один узел кодового дерева не является
вершиной данного кода, то он обладает свойством префикса. Для за-
данного кода кодовое дерево всегда одно и то же. Узлы, которые не
соединяются с последующими уровнями, называются оконечными.
Комбинации кода, соответствующие оконечным узлам, являются ком-
бинациями кода, обладающего свойством префикса. Если добавление
к комбинациям заданного кода некоторой новой комбинации ведет
к нарушению свойства префикса, то такой код является полным.
Правило 3. Для того чтобы кодовое дерево позволяло построить
код, обладающий свойством префикса, необходимо и достаточно, чтобы
качественные признаки алфавита A {a, а2, ..., ат2] присваивались
кодовым ветвям (расходящимся из каждого узла кодового дерева)
всегда в одной и той же последовательности (условие не обязательное,
по облегчающее процесс построения дешифраторов), число кодовых
ветвей, принадлежащих одному узлу, всегда было меньше или равно
ш2, качественные признаки в пределах одного узла не повторялись
и ни один узел кодового дерева пе являлся его вершиной.
Определение 8. Кодовое дерево, построенное по правилу 3, называ-
ется префиксным деревом.
96
Разрешенные комбинации префиксных кодов стоят в вершинах
префиксных деревьев.
Определение 9. Префиксное дерево называется полным, если из
каждого его узла выходит т2 ветвей.
Число узлов на каждом уровне полного п кодового дерева равно
гиг, где п — целое число, при этом все комбинации, стоящие в верши-
нах кодового дерева, представляют собой полный равномерный код.
Определение 10. Высота кодового дерева h равна максимальному
числу узлов, встречающихся при движении вдоль кодового ствола от
корневой точки до вершины кодового дерева.
Аксиома 1. Высота кодового дерева h равна максимальной
длине комбинации кода, построенного по данному кодовому дереву.
Определение 11. Объем кодового дерева характеризует число кодо-
вых комбинаций (которые могут быть построены при помощи данного
дерева) D = здесь k указывает порядок наивысшего уровня кодо-
вого дерева.
Аксиома 2. Всякое сокращение абсолютного количества ка-
чественных признаков алфавита А {аь а2, amt}, необходимых для
образования кода из полного префиксного дерева заданной высоты Л,
неизбежно ведет к сокращению общего числа кодовых слов в произ-
вольном коде.
Максимальное число комбинаций для неравномерных префиксных
КО/(ОН
Nmax — ^2 + ^2 4“ * * * 4“ ^2
В префиксных кодах каждый последующий символ кодового слова
несет 11Н(|к)рмацию о том, по какой ветви должно продолжаться деко-
дирование. Расшифровка в соответствующих древовидных дешифрато-
рах ведется до первой комбинации, числящейся в списке разрешенных.
Каждая ра (решенная комбинация находится в вершине соответствую-
щего фрагмента кодового дерева. После обнаружения разрешенной
комбинации процесс декодирования вновь начинается с корня кодо-
вого дерева.
4 2—1032
97,
Теорема 5. Набор кодовых слов тогда и только тогда является ко-
дом, когда каждое из разрешенных кодовых слов является вершиной
префиксного дерева.
Доказательство. Предположим обратное: кодовому слову
по пути от корня к вершине кодового дерева предшествует разрешен-
ная комбинация, находящаяся в одном из узлов кодового дерева.
Тогда кодовые слова, расположенные в вершинах, на пути к которым
находится этот узел, никогда не будут декодированы, так как та часть
кодового слова, которая стоит после узла, всякий раз будет восприни-
маться как начало новой комбинации.
Рис. 28. Функциональные схемы шифратора (а) и дешифратора (б)
кода Бодо.
$
Особенностью префиксных кодов по сравнению с другими, одно-
значно декодируемыми кодами, является тот факт, что конец кодового
слова легко фиксируется и декодирование происходит без накопления
принимаемых кодов. Максимальная задержка префиксного кода
определяется числом качественных признаков, составляющих наибо-
лее длинную комбинацию кода. Поэтому префиксные коды часто на-
зывают мгновенными,
В заключение настоящей темы на примере ряда прогрессивных
схем ознакомимся с процессами кодирования и декодирования.
Устройство, осуществляющее кодирование, называется шифрато-
ром (кодером). В качестве примера рассмотрим шифра гор широко рас-
пространенного кода Бодо (в гл. 15 описаны некоторые кодеры по-
мехоустойчивых кодов).
Схема шифратора собрана на триггерах и логических ячейках И на два входа
(рис. 28, а). В исходном состоянии триггер управления 7> находится в таком положе-
нии, что на его выходе — запрещающий сигнал 0. На ячейке Ио отсутствует один
из разрешающих потенциалов, поэтому импульсы, постоянно поступающие от гене-
ратора тактовых импульсов ГТИ на общую шину запуска, не могут привести к сраба-
тыванию ячеек И, так как не выполняется условие совпадения двух разрешающих
сигналов. С приходом сигнала «Пуск» триггер опрокидывается и дает разрешение на
ячейку Яо. G приходом очередного тактового импульса ячейка Яо срабатывает и дает
разрешение на ячейку Иг. Затем, с приходом следующего тактового импульса, сра-
батывает ячейка и возвращает триггер Тг в исходное состояние. Этот же сигнал
готовит к срабатыванию ячейку Я2, которая срабатывает с приходом следующего
тактового импульса и т. д. На выходную шину сигналы заводятся через диоды, в за-
98
висимости от того, какой код формирует шифратор. Соединения, показанные на
рис. 28, а, соответствуют коду 10 НО. В исходное состояние ячейки возвращаются
способами, зависящими от выбранного типа элементов. Например, для тиратронов
с холодным катодом анодную нагрузку Ua подбирают таким образом, чтобы в цепи
с общей анодной нагрузкой мог гореть только один тиратрон. Тогда при срабатыва-
нии очередного тиратрона предыдущий автоматически гаснет. В случае необходимости
формирования нескольких букв кода Бодо сигналы с ячеек И заводятся на соответ-
ствующие шины, которые при повторных циклах поочередно подключаются к выходу
специальным коммутатором, построенным по схеме кольцевого регистра.
Устройство, осуществляющее декодирование, называется дешиф-
ратором (декодером).
В качестве примера декодирующего устройства рассмотрим дешифратор кодов
Бодо, функциональная схема которого построена на логических ячейках И (рис. 28,
6). Ячейка СТ служит для расшифровки стартового импульса и сброса информации,
записанной в ячейках Иг—И5. Если дешифратор собран на тиратронах, то с зажи-
ганием тиратрона ячейки Ст любой из тиратронов ячеек —И$ автоматически гас-
нет, так как они имеют общую анодную нагрузку. Разрешающий сигнал ячейки Ст
готовит к срабатыванию ячейку Иг. Затем каждая ячейка после срабатывания гото-
вит следующую. В качестве вторых разрешающих сигналов используются импульсы
принятых кодов, которые разделены таким образом, что по одной шине идут только
нулевые признаки, а по другой — единичные. Так как на схему за рабочий цикл
поступает шесть импульсов (стартовый импульс и пять кодовых посылок), то ячейка
И5 может сработать только в том случае, если порядок следования импульсов будет
соответствовать последовательности, в которой сигналы 0 и 1 заведены на входы яче-
ек данной линейки. Соединения, показанные на рис. 28, б, соответствуют коду 00011.
В качестве примера шифратора и дешифратора кодов с числом качественных при-
знаков m > 2 рассмотрим кодирующее и декодирующее устройства четырех частотных
посылок. Их схемы являются образцами как с точки зрения экономии радиотехниче-
ских деталей, так и с точки зрения минимума функциональных типов элементов.
Известно, что мономодульные конструкции упрощают взаимозаменяемость узлов,
ускоряют настройку приборов, повышают надежность, а также улучшают их экс-
плуатационные качества. Шифратор и дешифратор, изображенные на рис. 29, построе-
ны на основе модуля (на схеме обозначен знаком Д), выполняющего логическую опе-
рацию И.
В шифраторе частотных кодов (рис. 29, а) путем деления частоты задающего ге-
нератора импульсов Г И 5000 Гц получаются частоты 2500 и 3333 Гц. Операция ИЛИ
осуществляется без затраты радиотехнических деталей. Генераторы, формирующие
паузы между посылками, выполняются на основе модуля Д. В качестве активного
элемента может быть использован тиратрон типа ТХ8Г.
В типовом режиме шифратор вырабатывает посылки длительностью 20 мс с
частотами заполнения 1666, 1250, 833 и 416 Гц. Для их получения путем деления ча-
стоты на целые числа требуется задающий генератор с частотой 10 кГц, так как выход-
ные частоты снимаются в виде миандра, который получается на выходном триггере.
Полому на последний должны подаваться частоты 3333, 2500, 1666 и 833 Гц, что не-
жечагельно, так как частота работы одного модуля достигает 3333 Гц, а чем она бли-
же* к критической частоте работы тиратрона, тем более жесткие требования предъяв-
ляю 1ся к стабильности питающих напряжений. В шифраторе задающий генератор
имн\л1.(*оп ГИ (рис. 29, а) работает на частоте 5000 Гц. Сдвинутые по фазе на 180°
выходные импульсы с ГИ поступают на формирователи остроконечных импульсов
Фг и Ф.», л с них — на два делителя частоты на 3 (ячейки Лв—Лп), которые имеют об-
щую нагружу и соединены так, что тиратрон одного делителя готовит к срабатыва-
нию тира 1 рои другого. В результате оба тиратрона работают в кольце через один,
причем часто in каждого из них равна 1666 Гц.
Частота 3333 Гц получается на формирователе, собранном на ячейках Л4 и Л4.
На импульсные входы этих ячеек (клеммы 4) сдвинутые по фазе сигналы частотой
1666 Гц поступаю! г делителей на 3, и с общего катодного сопротивления снимается
сумма этих часюг частота 3333 Гц. Частота 2500 Гц получается путем деления ча-
стоты задающего генератора на 2 (ячейки Лг и Л2). Эта частота, как и все частоты,
сформированные за счет деления частоты ГЙ, поступает на импульсные входы (клем-
4*
99
мы 4) схем совпадения (ячейки Л3, Л12, Л21 и Л28), построенных по схеме ждущего
релаксатора. Все катоды этих схем совпадения имеют общее сопротивление 20 кОм.
Такое подсоединение позволило осуществить операцию ИЛИ на четыре входа
без затраты радиотехнических деталей. Эта операция получается автоматически за
счет совмещения на общем катодном сопротивлении сигналов с четырех схем с
а
f
Рис. 29. Функциональные схемы шифратора (а) и дешифратора (6) частотных
кодов.
автономной логикой работы (схем совпадения). Схемы совпадения управляются
сигналами с распределителя (ячейки Л23—Л27), который собран по кольцевой схеме
с общей анодной нагрузкой. Поэтому разрешающий сигнал с распределителя может
присутствовать лишь на одной ячейке.
Период работы кольца задается генератором (ячейка Л1Я), который поджигает
тиратрон ячейки Л15 и тем самым готовит к срабатыванию первый тиратрон распреде-
лителя (ячейка Л23). Продвигающие импульсы на распредели тел г. поступают с гене-
ратора тактовых импульсов (ячейка Л22), период работы которого определяется
/?С-цепочкой (сопротивление между клеммами 2 и 8, конденсатор между клеммами
8 и 6).
Порядок частот в коде зависит от положения кодонабирателя. Во избежание лож-
ных срабатываний шифраторов от вторых и третьих гармоник передаваемых частот
делители частоты следует подбирать с коэффициентами деления, соответствующими
ряду простых чисел.
Схема дешифратора изображена на рис. 29, б. Входом дешифратора являются
фильтры, подсоединенные к выходу приемника радиосигналов. Фильтры с тиратро-
нами стыкуются при помощи специальных буферных каскадов БКг—которые
представляют собой соединенные последовательно детектор, интегратор, усилитель
и пороговый элемент. Остальные узлы дешифратора построены на основе ячейки И.
Сигналы с буферных каскадов поступают па формирователи остроконечных импуль-
сов Фг—Ф4, собранные по схеме ждущих релаксаторов, а затем на формирователи по-
тенциальных сигналов Пг—П4 — обычные ячейки Я, у которых клеммы 4 и 8 соедине-
ны между собой. Аноды ячеек имеют общую анодную нагрузку, и в данный
момент времени гореть может только тиратрон одной из ячеек. Это сделано для того,
чтобы с приходом одной частоты снимался сигнал подготовки с ячеек, в которых
предыдущая частота стояла в комбинации первой. Короткие импульсы с ячеек Ф
поступают на импульсные входы тиратронных ячеек и являются вторым, дополняю-
щим сигналом для срабатывания тиратронов декодирующей матрицы.
Декодирующая матрица состоит из двух ступеней. Первая предназначена для
декодирования комбинаций первых двух частот, вторая —для декодирования пол
ной комбинации. На рис. 2, б показана матрица для трехэлементных кодов (число
ступеней для элементных кодов п—1).
Декодирование происходит следующим образом. С приходом частоты срабаты-
вают ячейки Ф] и П1. Положительный потенциал с катода тиратрона ячейки /7j по-
ступает на потенциальные входы (клемма 8) тех тиратронов первой ступени деко-
дирующей матрицы, которые расшифровывают кодовые комбинации, начинающиеся
с частоты Короткий импульс с катода ячейки Ф± поступает на все импульсные вхо-
ды тиратронов, расшифровывающих комбинации, в которых частота стоит в середи-
не или в конце. При этом ни один тиратрон в матрице не зажжется, так как в одном
случае сигнал придет только на потенциальные входы ячеек, а в другом — только на
импульсные. С поступлением частоты /2 зажигаются тиратроны ячеек Ф2 и П2- При
•том на декодирующей матрице зажигается тиратрон, отмеченный на рис. 28, б циф-
рой 12, так как на его потенциальном входе присутствовал сигнал с ячейки П1} на
импульсном — сигнал с ячейки Ф2. Положительный потенциал с катода тиратрона
ячейки 12 готовит к срабатыванию тиратроны ячеек 123 и 124. С приходом частоты /3
члжнгяется тиратрон ячейки 123 и т. д.
1’сли существует необходимость, чтобы на табло был зажжен только тиратрон,
со<и неггтвующий той комбинации частот, которая присутствует в данный момент на
входе дешифратора, то аноды тиратронов последней ступени подсоединяют к анодной
нагру • кг ячеек В такой схеме, пока будут идти кодовые комбинации, ти-
ратрон бу/цм мигать, а когда прекратятся, он останется в зажженном состоянии.
Если необходимо длительное хранение информации о поступлении кодовых комбина-
ций, го iiipnipoii не следует соединять по схеме с общей анодной нагрузкой, а произ-
водить сорог информации вручную — отрицательным импульсом на его анод.
Число декодируемых комбинаций для данной схемы дешифратора
N «- А™ = п (п — 1) (п — 2) ... {п — т 4- 1),
где т — количество частот в посылке; п — количество используемых частот.
Максимальное число декодируемых комбинаций будет при т = п — 1.
101
mijjt актировании кодирующих и декодирующих устройств осо-
е следует обращать на выбор активного элемента для реа-
" ной функциональной схемы. Так, в рассмотренном выше
построения схемы дешифратора на транзисторах потребо-
иы как минимум в два раза больше активных элементов. Дей-
» пштельно, если бы в рассмотренном выше примере даже удалось
построить схему, у которой один триод, открываясь, подавал бы пита-
ние на шину (аналогично разрешению, снимаемому с ячейки /7^,
другой триод после поступления сигнала о приходе второй частоты
подавал бы питание па группу триодов, декодирующих сигналы 123,
124, 125 и другие, го для запоминания сигналов потребовался бы еще
один триод, а все элементарные ячейки пришлось бы строить на триг-
герах. Кроме того, оставалась бы' проблема индикации расшифрован-
ного сигнала и установки схемы в исходное состояние перед приемом
очередной кодовой посылки.
Выводы: 1. Последовательности символов множества сообщений
могут быть представлены в виде многочлена, формулы, матрицы, гео-
метрической фигуры, графа.
2. При выборе метода представления кода следует исходить из
конкретной задачи, поставленной перед разработчиком или перед ис-
следователем. Так, геометрические модели кодов могут быть исполь-
зованы при построении корректирующих кодов; систематические коды
удобнее строить, представляя код в виде матрицы; многочастотные
коды (а коды с основанием т> 2) обычно строят, используя формулы
соединений, и т. д.
3. При построении кодирующих и декодирующих устройств сле-
дует стремиться к тому, чтобы выбранные активные элементы обес-
печивали минимальный расход радиотехнических деталей, а функцио-
нальная схема — минимум функциональных элементов.
4. Наиболее распространенной логической операцией, которая
встречается в устройствах телемеханики и связи, является операция И.
Поэтому доминирующим функциональным элементом при синтезе
кодирующих и декодирующих устройств должен быть модуль, выпол-
няющий операцию И.
Глава
10
ИЗБЫТОЧНОСТЬ ИНФОРМАЦИИ
Для нахождения максимальной пропускной способ-
ности системы связи необходимо уметь определять максимальное коли-
чество информации, которое может быть передано при помощи сим-
волов данного алфавита за единицу времени. 11звестно, что максималь-
ное количество информации на символ сообщения Н = log т можно
получить только в случае равновероятных н независимых символов.
Реальные коды редко полностью удовлетворяют этому условию, по-
этому информационная нагрузка на каждый их элемент обычно мень-
ше той, которую они могли бы переносить. Раз элементы кодов, пред-
ставляющих сообщения, недогружены, то само сообщение обладает
102
информационной избыточностью. Понятие избыточности в теории
информации и кодирования введено для КсглтПТёственного описания
информационного резерва кода, из которого составлено сообщение.
СамаГпостановка такой задачи стала возможной именно потому, что
информация является измеримой величиной, каков бы ни был частный
вид рассматриваемого сообщения.
Различают избыточность естественную и искусственную. Есте-
ственная избыточность характерна для первичных алфавитов, а искус-
ственная — для вторичных.
Естественная избыточность может быть подразделена на семанти-
ческую и статистическую.
Семантическая избыточность заключается в том, что мысль, вы-
сказанная в сообщении, может быть выражена короче. Если сообще-
ние можно сократить без изменения
смысла, а затем восстановить со-
держание, то оно обладает семан-
тической избыточностью.
Для уяснения понятия семан-
тической избыточности рассмотрим
следующее сообщение: «Затребован-
ные от нас сводки в положенный
срок обработать не можем ввиду
того, что на районном вычислитель-
Рис. 30. Соотношение вероятностей по
явления различных букв в английском
тексте.
ном центре вышла из строя под-
станция». Очевидно, что без особой потери ценности информации это
сообщение можно было бы передать так: «Обработка сводок задержи-
вается связи отсутствием электричества». Второе сообщение короче,
в нем слова несут гораздо большую информационную нагрузку, чем в
первом, т. е. первое сообщение обладает семантической избыточностью
по отношению ко второму.
Семантическую избыточность можно устранять различными спосо-
бами, например, стандартные, часто повторяющиеся сообщения за-
менять условными обозначениями; сообщения, содержащие различ-
ные характеристики одних и тех же элементов, представлять в виде
ыблиц; применять свертывание информации, аббревиатуры и т. д.
< >0щим при всем этом остается то, что все преобразования по устранению
< < тттической избыточности производятся в первичном алфавите.
(Статистическая избыточность обусловливается неравновероят-
1нн 1иым распределением качественных признаков первичного алфа-
miiii и их взаимозависимостью.
I Ьшример, ддя английского алфавита, состоящего из 26 букв,
M.nuiiMiiJihiioc значение энтропии
1<щат = log226 = 4,7бит (значение энтропии русского и
/пн лит юно алфавитов вычисляется по табл. 8, 9).
Если условно представить частоту появления различных букв в
английских кчи’тах, как показано на рис. 30, то можно наглядно убе-
ди! вся и том. чю вероятности появления букв английского алфавита
далеко иг равны, л следовательно, энтропия английского языка мень-
ше 4,7 биг. Действительно, исследования показали, что при учете
103
частоты распределения восьмибуквенных сочетаний, т. е. взаимоза-
висимости между символами, энтропия английского языка уменьшит-
ся до 2,35 бит. Если же учитывать статистику следования слов в анг-
лийских текстах, то энтропия английского языка не превысит 2 бит.
Как видим, избыточность заложена уже в самой природе англий-
ского алфавита.
Таблица 8. Вероятности появления букв в английских текста
Буква Вероятность Буква Вероятность Буква Вероятность
Пробел 0,2 н 0,047 W 0,012
Е 0,105 D 0,035 (J 0,011
Т 0,072 L 0,029 в 0,011
О 0,065 С 0,023 V 0,008
А 0,063 F 0,023 к 0,003
N 0,059 и 0,023 X 0,001
I 0,055 М 0,021 J 0,001
R 0,054 Р 0,018 Q 0,001
S 0,052 Y 0,012 Z 0,001
Таблица 9. Вероятности появления букв в русских текстах
Буква Be роя гность Буква Вероятность Буква Вероятность
^Пробел 0,175 К 0,028 ч 0,012
О 0,090 м 0,026 Й 0,010
Е 0,072 д 0,025 X 0,009
А 0,062 п 0,023 ж 0,007
И 0,062 У 0,021 ю 0,006
Н 0,053 я 0,018 ш 0,006
Т 0,053 ы 0,016 и 0,004
С 0,045 3 0,016 Щ 0,003
Р 0,040 ь 0,014 э 0,003
В 0,038 в 0,014 ф 0,002
Л 0,035 / 0,013
При учете частоты появления букв в текстах, следования букв в
различных сочетаниях и слов в различных сообщениях передаваемую
информацию можно значительно сжать, сократить. Отношение
~ р называют коэффициентом сжатии, или относительной
энтропией, а величину
D = l_ " (87)
“max
избыточностью. Из (87) очевидно, что избыточность меньше у тех со-
общений, у которых больше энтропия первичного алфавита.
Энтропия может быть определена как информационная нагрузка
на символ сообщения. Избыточность определяет недогруженпость
символов. Если Н = Нтах, то согласно (87) недогружен пости не суще-
ствует. Поэтому для характеристики степени недогруженное™ и при-
няли разность между единицей и р.
104
Для английского языка без учета взаимозависимости между словами
0 = 1 —Н= 1 — 1—0,5 = 0,5.
г 4,7
Действительно, проведенные эксперименты подтвердили, что удает-
ся восстановить содержание английских текстов, составленных из 50 %
алфавита.
Кроме общего понятия статистической избыточности, существуют
различные частные понятия, основными из которых являются следую-
щие: избыточность Ds, вызванная статистической связью между сим-
волами сообщения, и избыточностью обусловленная неравповероят-
ными распределениями символов в сообщениях.
Избыточность Ds определяется выражениями (24) и (18) и характе-
ризует информационный резерв сообщений со взаимонезависимыми сим-
волами по отношению к сообщениям, в которых наблюдается статисти-
ческая связь между символами
где
Я = — 5 2 /’ («/) Р {bj/at) log Р (bj/at);
i i
H' = р{ log pt.
i
Однако выражение для И' само обладает избыточностью за счет
неэкстремальности распределения вероятностей отдельных символов
(напомним, что максимальная энтропия достигается при равномерном
распределении вероятностей Нт{Х -- log т для конечного алфавита т).
Избыточность Dp определяется выражениями (51) и (18) и ха-
рактеризует информационный резерв сообщений с равновероятными
символами относительно сообщений, символы которых неравновероятны
Полная избыточность
D = Ds + Dp-DpD. (88)
11ри малых Ds и Dp полную избыточность вычисляют как сумму част-
ных и |быточностей, так как последний член выражения (88) представ-
ля<ч < обой произведение дробей, меньших единицы, и с уменьшением
D,, и / \ стремится к нулю гораздо быстрее, чем два первых члена.
У< |р.шяется статистическая избыточность путем построения опти-
мальных неравномерных кодов (гл. 12). При этом статистическая из-
быточна ни» первичного алфавита устраняется за счет рационального
построен из сообщений во вторичном алфавите.
Таким сюрлом, естественная избыточность всегда сосредоточена
в первичном алфавите, либо в структуре сообщения за исключением
того случая, когда избыточность заложена в природе кода и ее нельзя
падать одной цифрой на основании статистических испытаний.
105
Так, при передаче десятичных цифр двоичным кодом максимально
загруженными бывают только те символы вторичного алфавита, кото-
рые передают значения, являющиеся целочисленными степенями двой-
ки. В остальных случаях тем же количеством символов может быть
передано большее количество цифр (сообщений). Например, тремя дво-
ичными разрядами мы можем передать и цифру 5, и цифру 8,т. е. для
передачи пяти сообщений надо строить код такой же длины, как и для
передачи 8 сообщений.
Фактически для передачи цифры в двоичном коде достаточно иметь
длину кодовой комбинации
log2m
ИЛИ
£ > log2 "h
Iog2m2 ’
где N — общее количество передаваемых сообщений; т1 и zn2 — соот-
ветственно качественные признаки первичного и вторичного алфа-
витов.
Для ~ 5.
L 4°?2 п == 2,32 дв. символа.
loga2
Однако эту цифру необходимо округлить др ближайшего целого
числа, так как длина кода не может быть выражена дробным числом.
Округление производится в большую сторону.
В общем случае избыточность от округления
о =
k ’
где ji =
Для
log2^i .
log2m2 ’
k — округленное до ближайшего целого значение ц.
нашего примера
Яо
___ 3 — 2,32
~ з’
^0,227.
Цифра 0^,226 характеризует степень недогруженности кода. Выра-
жение
L Н _____________ log N
log т log т
справедливо для кодов с равновероятными и взаимонезависимыми
символами, в противном случае энтропия выражалась бы одной ив
формул в соответствии с характером взаимозависимости между сим-
волами сообщения. Для т = 2 это выражение справедливо тогда,
когда вероятности появления 0 и 1 одинаковы. Но в действительности
это будет только в случае, если N — целая степень числа 2. Напри-
мер, для N = 4 число нулей равно числу единиц и равно 4 (код дву-
значный). Для N = 8 число нулей равно числу единиц и равно 12
106
(код трехзначный) и т. д. Однако для W — 5 соотношение нулей и еди-
ниц — 10 к 5 (табл. 8), т. е. в таком алфавите нули встречаются в два
раза чаще, чем единицы. Для N = 10 (код четырехзначный) соотноше-
ние нулей и единиц 25 к 15, т. е. нулей в 1,66 раза больше. При W =
= 16 наступает равенство (так как 16 = 24). При N = - 17 (код пяти-
значный) соотношение нулей и единиц 52 и 33, т. е. нулей будет в 1,57
раза больше и т. д. Другими слова
в вероятности появления 0 и 1 умень-
шается. Выражение log/V/logm
тем точнее выражает L, чем боль-
ше Л/. Как видим из табл. 8 в рав-
номерных кодах нули имеют тен-
денцию встречаться чаще, чем еди-
ницы. Разность вероятностей появ-
ления нулей и единиц с ростом N
будет уменьшаться, а величина L
будет приближаться к отношению
///log т, но никогда не будет ему
равна.
Следует заметить, что если ко-
довые слова в табл. 8 расположить
так, что за первым кодовым словом
следовало бы n-е, за вторым (п —
— 1)-е и так далее, то при любом М
частота появления 0 и 1 была бы
практически одинакова. В действи-
тельности же никто не строит коде-
ров по принципу первый потом
последний, поэтому в тех кодах,
где соблюдается соответствие деся-
тичного числа его двоичному экви-
валенту, указанное выше неравен-
ство соотношения пулей и единиц
есть.
Избыточность, заложенную в
природе кода, полностью устра-
нить нельзя. Однако как избыточ-
{, с увеличением числа N разница.
Таблица 10. Соотношение нулей
и единиц в восьми- и шестнадцати-
буквенных кодах
Буква Код Число 0 Число 1
8-буквенный алфавит
>11 000 3 0
001 5 1
А 010 7 2
А он 8 4
А 100 10 5
А 101 11 7
А но 12 9
А 111 12 12
16-буквенный алфавит
А 0000 4 0
А 0001 7 1
А 0010 10 2
Л4 ООН 12 4
А 0100 15 5
Ав 0101 17 7
А оно 19 9
Ag 0111 20 12
А 1000 23 13
Ао 1001 25 15
Ai 1010 27 17
Л12 1011 28 20
Л18 1100 30 22
Ай 1101 31 25
Аб 1110 32 28
Ав 1111 32 32
ность от неравновероятного появления символов, так и избыточность
от округления автоматически убывает по мере увеличения длины ко-
дового о>юка.
Пример 15. Определить избыточность сообщений при побуквенном и блочном
кодирован и и, если цифровые сообщения кодируются и передаются в двоичном коде.
В каком с л уч лг код ближе к оптимальному при побуквенном кодировании или коди-
ровании 4-х, Ь in, 6-ти буквенными блоками?
Р е ш с и и г- I. Первичный алфавит тг == 10.
? Вторичный алфавит щ2 = 2.
10(42 ///|
= toga mt
lor, 10 3,32 4 — 3,32
! о,:> = -т-=3-3* = 4;D ------Г— = °>17-
107
2.
Первичный алфавит mA = 10 000®.
1°§2 mi loga 10 000
~ log, z»2 = log, 2
14 — 13,28
P =----i^- =
13,28
-y—= 13,28; K = 143
0,712
-yy— = 0,0508.
3.
i 4.
m1 = 100 000;
log2 100 000 13,28 + 3,32
^ = “^2---------------------T------= ,f’-1 * * * * 6:
17 — 16,6 0,4
К = 17; l> =------17 - = -jy- = 0,0235.
m1= 1 000 000;
log» 1 000 000
—' i~7~o-------= 16.6 + 3,32 = 19,928;
20—19,928 0,072 ___
20; I) ~-------20----= ~20~ = °’0036-
Последний код ближе всего к оптимальному.
! Когда мы говорим о том, что естественная избыточность характерна
для первичных алфавитов, а искусственная для вторичных, то подчер-
киваем тот факт, что естественная избыточность существует в сообще-
нии до того, как оно трансформируется в код, чего никогда нельзя ска-
зать об искусственной избыточности.
Искусственная избыточность необходима для повышения помехо-
уетойчивости кодов (см. гл. 13, 15) и ее вводят в виде пк добавочных
символов. Если в коде всего п разрядов, из них пи несут информацион-
ную нагрузку, то
пк--=п — пи
и характеризует абсолютную корректирующую избыточность, а вели-
чина
D . ±-..пи-
к п
пи
характеризует относительную корректирующую избы точность.
1 При поблочном кодировании происходи! как бы увеличение первичного алфави-
та. Так, в нашем примере при побуквенпом кодировании алфави! первичных сообще-
ний был 0, 1, 2, ..., 9. При кодировании по две буквы в блоке алфавит будет иметь
вид
00 10 . .. 90
01 11 ... 91
09 19 ... 99,
т. е. первичный алфавит уже содержит 100 качественных признаков; при кодирова-
нии по 3 буквы в блоке первичный алфавит будет содержать 1000 качественных при-
знаков и т. д. При таком укрупнении алфавита теряется «индивидуальность» исход-
ных качественных признаков. Происходит процесс «выравнивания» вероятностей,
т. е. растет энтропия алфавита, а вместе с ней и нагрузка на символ. Избыточность
при этом, естественно, падает.
108
Выводы: /. Избыточность сообщений, составленных из равнове-
роятных символов, меньше избыточности сообщений, составленных
из неравновероятных символов.
2. Избыточность сообщений, составленных из взаимонезависимых
символов, меньше избыточности сообщений, составленных из взаимо-
зависимых символов.
3. Информационная избыточность — семантическая или статис-
тическая — явление естественное, и заложена такая избыточность
в первичном алфавите. Корректирующая избыточность — явление искус-
ственное и заложена она во вторичном алфавите.
4. Уменьшая избыточность сообщения, можно увеличить скорость
его передачи.
5. Увеличивая избыточность сообщения, можно уменьшить вероят-
ность его искажения под действием помех.
Глава
11
ОСНОВНЫЕ ТЕОРЕМЫ
КОДИРОВАНИЯ ДЛЯ КАНАЛА
СВЯЗИ БЕЗ ШУМОВ
Теорема кодирования для каналов связи без шумов,
как и другие теоремы теории информации, является теоремой существо-
вания. Теоремы теории информации не указывают”конкрётных путей
построения аппаратуры, но они имеют наглядную физическую интер-
претацию и используются во многих других научных дисциплинах.
Сущность теорем кодирования состоит в том, что влияние помех может
быть сведено к нулю не за счет уменьшения скорости передачи информа-
ции, а за счет усложнения кодеров и декодеров. В этой главе говорится
о том, как используется аппарат теории информации, т. е. такие поня-
тия, как количество информации, энтропия источника сообщений для
нахождения условий, при которых выполняется основная теорема ко-
дирования для канала связи без шумов.
Система передачи информации, в которой аппаратура не вносит
никаких искажений, а канал связи — затуханий и помех, называется
информационной системой без шумов. В такой системе потерь информа-
ции не будет. Но это еще не значит, что в такой системе авюматически
решаются все технические проблемы передачи информации Для одно-
rhi.i’inoro декодирования принятых сообщений, а также для передачи
оо./... объемов информации при меньших временных и мате-
риальных затратах коды должны, в частности, удовлетворять сле-
дующим требованиям:
разные символы первичного алфавита, из которого составлены
сообщении, должны иметь различные кодовые комбинации; код дол-
жен бьп 1. построен так, чтобы можно было четко отделить начало и
конец букв первичного алфавита; код должен быть максимально крат-
ким: чем меньшее число элементарных символов требуется для переда-
чи данного сообщения, тем ближе скорость передачи информации к ско-
рости, которую теоретически можно достигнуть в данном канале связи.
109
Первое требование очевидно, так как при одинаковых кодовых
обозначениях различных букв алфавитов нельзя будет их однозначно
декодировать.
Второе требование может быть удовлетворено следующим образом:
введением в код дополнительного разделительного символа — пау-
зы, что значительно удлиняет коды, а следовательно, и время передачи
сообщения; созданием кода, в котором конец одной буквы не может
быть началом другой, либо кода, в котором все буквы передаются ком-
бинациями равной длины, т. е. равномерного кода. При этом следует
отметить, что равномерные коды обладают известными преимущества-
ми: длину каждой буквы можно определить простым подсчетом элемен-
тарных символов, что позволяет автоматизировать процесс декоди-
рования и строить простые декодирующие устройства (например,
рис. 28, б). Однако равномерные коды имеют один существенный недо-
статок: все кодовые слова алфавитов, представленных ими, имеют
равную длину независимо от вероятности появления отдельных сим-
волов кодируемого алфавита. Такой код может быть оптимальным
только для случая равновероятных и взаимонезависимых символов
сообщений, что довольно часто встречается в телемеханике и никог-
да — при передаче текстовых сообщений.
Для того чтобы найти условия, удовлетворяющие третьему, ос-
новному, требованию к кодам, необходимо узнать, в каких пределах
находится минимальная средняя длина кодового слова данного ал-
фавита, а также найти условия, при которых эта длина может быть
уменьшена.
Чтобы передать N пеновторяющихся сообщений при помощи tn
качественных признаков, их надо комбинировать по и в сообщении.
В случае равновероятного и взаимонезависимого алфавита его
энтропия
Н -- log Л/" = п logm.
Очевидно, что при этом длина сообщения во вторичном алфавите
log /V
П j—
log т
и представляет собой отношение энтропий первичного и вторичного
алфавитов
‘ п log т' 11<mi)
log т2 Н (т2)
и говорит о существовании возможности выражения длины кодового
слова во вторичном алфавите через энтропии первичного и вторичного
алфавитов.
Резерв сокращения п в выражении (90) можно искать как за счет
уменьшения числителя, так и за счет увеличения знаменателя.
Так как при известных методах кодирования ни одному из каче-
ственных признаков вторичного алфавита не отдается преимущества (по
крайней мере до проведения статистических испытаний канала связи),
тем более, если это алфавит двоичный и об изменении его энтропии
не может быть речи, то знаменатель выражения (90) может быть умень-
110
шен только за счет увеличения количества качественных признаков
~т2. Например, если каждой букве русского алфавита в виде качествен-
ного признака выделить отдельную частоту, то длина любого кодового
слова будет равна единице. Однако при этом потребовался бы сравни-
тельно сложный шифратор на 32 команды, необходимо было бы занять
в эфире широкую полосу частот, поставить в приемном устройстве
82 фильтра и т. д. В общем случае увеличение количества качествен-
ных признаков часто ведет к усложнению приемно-передающей аппа-
ратуры и не всегда себя оправдывает.
Числитель выражения (90) может быть уменьшен за счет уменьше-
ния энтропии первичного алфавита.
Энтропия Н (т^ характеризует первичный алфавит и является
независимой информационной характеристикой. Для данного алфави-
та и данных состояний элементов системы энтропия — величина не-
изменная. Можно наблюдать увеличение либо уменьшение энтропии
в системе, но определяется она каждый раз для какого-то конкретно-
го состояния системы либо ее элементов. Относительно этого состоя-
ния энтропию никакими искусственными методами нельзя ни умень-
шить, ни увеличить. Поэтому все преобразования по улучшению
информационных характеристик системы передачи информации произ-
водятся во вторичном алфавите.
Одним из основных параметров, характеризующих код, является
средняя длина кодовых слов во вторичном алфавите Если дискрет-
ный источник без памяти имеет алфавит аъ а2, ...» аь ...» amt с вероят-
ностями р (аг), р (а2), ..., р (at), p (amt), а вторичный алфавит
имеет т2 однозначно различимых качественных признаков, то
mt
/ср = log т2 2 Р (ад I (а&
м
где р (а^ — вероятность появления х-й буквы алфавита источника
сообщений; / (а^ — ее длина.
Для однозначного сопоставления энтропии первичного алфавита
с длиной кодового слова во вторичном алфавите основание логариф-
мов при вычислении Н (mJ и /ср (т2) должны быть одинаковыми и
равняться т2 (см. гл. 3), поэтому здесь и далее при вычислениях /Ср
будем пользоваться выражением
4Р = 2(91)
так как
Iogm,/H2 = 1.
Чем длиннее кодируемая последовательность символов, тем точ-
нее (91).
Отношение Н (mJ и /ср (mJ характеризует как возможное быстро-
действие, гак и возможную помехоустойчивость данной системы пере-
дачи информации. Факт наличия связи между Н и /ср представляет
большой интерес с точки зрения теории информации вообще и с точки
зрения статистического кодирования в частности.
111
Рассмотрим основные соотношения между Н (mJ и /ср (тз)-
Теорема 6. Для равновероятного алфавита A {аь а2, ..., amJ сред-
няя длина однозначно декодируемых кодов слов во вторичном алфавите
из т2 символов равна энтропии Н (А) либо отличается от нее не более,
чем на единицу.
Доказательство. Однозначное декодирование кодовых
слов во вторичном алфавите из т2 символов, представляющих равнове-
роятный алфавит из т± символов, соблюдается при условии
т, тД (92)
в том смысле, что в любой кодовой последовательности из /ср каче-
ственных признаков вторичного алфавита т2 число различных кодо-
вых слов не меньше
Для равновероятных первичных алфавитов р = \/тг. В этом слу-
чае в выражении (91) математическое ожидание величины / (aj равно
£ Мт 1), тогда Zcp = / (aj, что может быть при условии
/=1 /
равенства между собой всех I (aj, т. е. в равномерном коде.
Прологарифмируем обе части выражения (92)
Zcp l°g/n2^2* (93)
Знак равенства в (93) достигается только в случае округления
Д° ближайшего целого числа. Так как округлять логарифм
при любом основании нельзя больше чем на единицу, то и величина
/ср (яг2) не отличатся от logmjr более чем на единицу. Но левая часть
выражения (93) и редставляе!\ собой максимально возможное значение
энтропии для алфавита ш,, которое достигается именно в случае рав-
новероятных алфавитов, что позволяет записать
// (/1) /Ср (^2) ~Ь 1 •
Рассмотрим соотношение между Н (mJ и /ср (mJ для нсравнове-
роятных алфавитов. Для этого используем свойства безызбыточных
префиксных кодов, так как говорить о минимальной средней длине
кодовых слов, в которые введена искусственная избыточность (напри-
мер, для исправления пакетов ошибок при передаче информации по
шумящему каналу связи) можно лишь при обсуждении конкретного
кода для конкретных условий передачи. Тогда как исследование
безызбыточных кодов позволяет делать обобщения иа другие коды.
Из любого кодового дерева, обладающею свойством префикса,
можно так выбрать кодовые комбинации, что с<нч явленный из них код
будет обладать минимальной средней длиной кодовых слов при пред-
ставлении данного первичного алфавита из т{ символов через данный
вторичный алфавит из гп2 символов. Для этогочцюбходимо, чтобы каж-
дый символ вторичного алфавита нес максимальную информационную
нагрузку. Это возможно в том случае, если с поступлением иа вход
дешифратора кодового слова, составленного из символов вторичного
алфавита, построенного по данному префиксному дереву, будет каж-
дый раз сниматься 1/ги2 часть общей неопределенности, оставшейся к
моменту поступления очередного символа относительно момента по-
112
ступления первого символа кодового слова (это фактически основной
принцип оптимального кодирования, а нижеследующее правило —
правило построения оптимальных кодов, которые подробно рассматри-
ваются в следующей главе). Последнее возможно лишь в том случае,
если кодовое дерево будет строиться по следующему правилу.
Правило 4. Для того чтобы средняя длина кодовых слов кода,
представляющего неравновероятиый первичный алфавит, была мини-
мальной, код необходимо строить но префиксному дереву, ветки кото-
рого отражают все разбиения упорядоченных по вероятности символов
первичного алфавита на возможно равновероятные группы.
В случае построения кода по правилу 4 качественные признаки”1
вторичного алфавита присваиваются не обладающим индивидуаль-
ными вероятностными характеристиками символам первичного алфа-
вита, а некоторым равновероятным группам символов либо симво-
лам.
Разбиение на равновероятные подгруппы будет происходить до
тех пор, пока на разных уровнях кодового дерева (как частный слу-
чай это может быть и один уровень) не образует тг узлов. После чего
дальнейшее разбиение на какие-либо подгруппы просто невозможно.
Если при построении кода вместо тг вероятностей имеем равнове-
роятные выборы на разных уровнях префиксного дерева, т. е. построе-
ние ведется для некоторого условного алфавита А {аъ а2, amt}, в
котором соблюдается равенство р (ад = Мгщ, то вероятность появле-
ния букв первичного алфавита на выходе источника сообщений р (ад
и длины кодовых слов во вторичном алфавите I (ад связываются со-
отношением
р (at) < . (94)
Так как, согласно (92) т1 т^, то при соблюдении условия р (ад
— \!т1 математическое ожидание величины / (ад равно единице и
/ср Z (#/)•
Равенство в выражении (94) наступает при тех же условиях, ког-
да количество информации равно объему информации (см. гл. 3).
Теорема 7. Для любого неравновероятного алфавита А {аь я2, •••
..., а,щ} существует код, у которого средняя длина кодового слова /ср
во вторичном алфавите из т2 символов удовлетворяет неравенству
//(Л)</ср<//(Л) Н 1.
Доказательство. Докажем вначале, что и для неравновероят-
ных алфавитов
//(Л)</ср, (95}
или
/ср —/7(Л)>0.
Так как для неравновероятных алфавитов /ср — У р (aj; то (95)
можно записан. в виде
т ( тх 1
2 Р (at) I (a^-gpla,) logyl_ >0. (96)
11»
При построении кода по правилу 4 связь между вероятностями
букв алфавита А из т1 символов и длинами кодовых слов во вторич-
ном алфавите из т2 символов представляется выражением (94). Лога-
рифмируя обе части выражения (94), получим
log р (at) < — I (at) log т2. (97)
Так как мы не можем сравнивать Н (Л) и /ср в соизмеримых едини-
цах иначе, как выразив основание логарифма равным т2 (при этом
1°&пг/я2 = 1)> то (97) приобретает следующий вид1
/(aJSHog-^y, (98)
что и доказывает справедливость (95).
Докажем теперь, что
(99)
" "i р W
Если бы средняя длина кодового слова во вторичном алфавите
могла быть дробным числом, то в (94) знак равенства мог бы быть и в
тех случаях, когда т1 не равно целой степени т2, но длины кодовых
слов во вторичном алфавите могут быть только целыми числами, по-
этому
т. е. округленному значению log
Подставим значение I (at) в (99). Учитывая, что р =» L,
Г Jog —1— log —тЦ- < 1.
[ 6 Р J s р (а.)
Так как округление происходит до ближайшего целого числа, то
величина [log 1/р (af)] не может отличаться от величин log \/р (at)
больше чем на единицу.
Рассмотрим теперь случай поблочного кодирования, где каждый
из блоков состоит из М независимых букв аъ а2, ...» ам- Выражение
для энтропии сообщения из всех букв блока, согласно правилу сложе-
ния энтропий,
Н а2........ам) =* Н (аг) + Н (а2) + • • • | И (ам) = МН (а).
Для /n-значного равновероятного алфавита средняя минимальная
длина кодового слова L ансамбля W сообщений, составленного из ал-
фавита /и,
log т
С другой стороны,
L—Л—<1,
log/и
114
или
L<-r^~+ 1.
log m
Эти выражения представляют собой соответственно верхнюю и
нижнюю границы минимально необходимой средней длины кодового
слова. Используя их, получаем
logm log т
По аналогии запишем выражение для средней длины такого кодового
блока
+1, (100)
logzn logzn 1 7
где Lm — среднее количество букв в блоке.
Каждая буква, в свою очередь, состоит из L элементарных симво-
лов /и. Поэтому число элементарных символов на букву сообщения
при блочном кодировании равно средней длине блока, деленной на
число букв в блоке:
Т
м
Нетрудно заметить, что L можно получить, разделив все части нера-
венства (99) на М. Тогда общее выражение среднего числа элементар-
ных символов на букву сообщения
+ <101>
Из этого видно, что при М -> оо среднее число элементарных симво-
лов, затрачиваемых на передачу одной буквы, неограниченно прибли-
жается к величине ///log т.
Выражение (101) является основным выражением фундаменталь-
ной теоремы кодирования при отсутствии шумов. Сама теорема может
быть сформулирована следующим образом:
при кодировании множества сигналов с энтропией Н в алфавите,
насчитывающем т символов, при условии отсутствия шумов средняя
длина кодового слова не может быть меньше, чем /У/log т. Если вероят-
ности сигналов не являются отрицательными степенями числа т, то
точное достижение указанной границы невозможно; но при кодирова-
нии до( титочно длинными блоками к этой границе можно сколь угод-
но приблизиться [12].
Для двоичных кодов основную теорему кодирования можно сфор-
мулирован» гак: при кодировании сообщений в двоичном алфавите с
ростом количества кодовых слов среднее число двоичных знаков на бук-
ву сообщении приближается к энтропии источника сообщений.
Если кодируемый алфавит равновероятный и т = 21 (где i — це-
лое число), пли если вероятности появления сигналов являются цело-
численными отрицательными степенями двух:
Pi = 2~1,
115
то среднее число двоичных знаков на букву в точности равно энтро-
пии источника сообщений.
Выводы: 1. Энтропия первичного алфавита Н (тг) и средняя длина
кодовых слов во вторичном алфавите Zcp (/п2) — величины в определен-
ном смысле взаимосвязанные и соизмеримые. Энтропия первичного ал-
фавита может характерам вать возможный предел сокращения кодо-
вого слова во вторичном алфавите.
2. Средняя длина кодовых слов во вторичном алфавите /ср (т2) ни
при каких условиях не может быть меньше энтропии кодируемого ал-
фавита Н (/nJ.
5. Качество кода с точки зрения его объема может быть определе-
но путем сравнения Н (тх) и /ср (/п2). При правильном кодировании эти
величины будут отличаться друг от друга не больше чем на 1 единицу.
4. Чем больше кодовых слов в блокеу тем меньше разность между
верхней и нижней границами, определяющими среднее число элементар-
ных символов на букву сообщения.
' 5. Из какого бы числа букв ни состоял алфавит, целесообразно коди-
ровать сообщения не побуквенно, а поблочно.
6. Энтропия первичного алфавита может характеризовать воз-
можный предел сокращения кодового слова во вторичном алфавите.
Ч Q ОПТИМАЛЬНОЕ КОДИРОВАНИЕ
Глава I Zi
Код м >жет быть оптимальным только для определен-
ных условий, например, оптимальный код с точки зрения скорости пе-
редачи информации, оптимальный код с точки зрения надежности пе-
редачи информации. Сочетание в одном коде двух вышеуказанных
условий невозможно, так как они взаимопротиворечивы: для увеличе-
ния скорости передачи необходимо устранять избыточность, а для
увеличения надежности — вводить искусственно.
Определение 12. Оптимальными безызбыточными называются ко-
ды, представляющие кодируемые понятия кодовыми словами мини-
мальной средней длины.
Строго говоря, оптимальные (по определению 12) коды являются
безызбыточными только в информационном плат*: большей информа-
ционной нагрузки на символ вторичного (кодового) алфавита не мо-
жет быть. Абсолютно безызбыточными являются только коды, кото-
рые удовлетворяют условию равенства объема и количества информа-
ции (см. гл. 3). Все же оптимальные неравномерные коды (ОНК)
имеют запрещенные комб1 нации, т. е. обладают потенциальной избы-
точностью.
Запрещенными в ОНК являются все те кодовые слова, которые
дополняют вершины соответствующего данному ОНК неполного
префиксного дерева до полного.
Пример 16. Выделить запрещенные комбинации для ОНК 10, 01, 11, 111, 110»
Решение: Кодовое дерево имеет вид, представленный на рис. 31*
Запрещенные комбинации: 00; 101; 100; ОН; 010; 001; 000,
116
Рис. 31. Кодовое дерево ОНК для
примера 16 (сплошные линии соот-
ветствуют разрешенным комбина-
циям, а пунктирные — запрещен-
ным).
однозначно вытекает методика
Запрещенные слова в сообщениях отсутствуют. Но любая ошибка
приводит к запрещенному кодовому слову, по которому имеется по-
тенциальная возможность обнаружения ошибок.
Определение 13. Оптимальным кодированием называется про-
цедура преобразования символов первичного алфавита в кодовые
слова во вторичном алфавите /и2, при которой средняя длина сооб-
щений во вторичном алфавите минимальна.
Основной задачей оптимального (по определению 12) кодирования
является достижение равенства между количеством ин(|юрмации /,
создаваемой источником сообщений, и объемом информации Q, посту-
пающим на вход приемника сообщений. При / = Q /Ср == //, что яв-
ляется пределом информационной нагрузки на символ вторичного
алфавита, после чего невозможно уве-
личение скорости передачи информа-
ции за счет совершенствования про-
цедуры кодирования.
В сообщениях, составленных из ко-
довых слов оптимального кода, стати-
стическая избыточность сведена к ми-
нимуму, в идеальном случае — к
нулю.
Основная теорема кодирования для
каналов связи без шумов доказывает
принципиальную возможность по-
строения оптимальных кодов. Из нее
построения и свойства оптимальных кодов.
Одним из основных положений этой теоремы является то, что при
кодировании сообщения, разбитого на Af-буквенные блоки, можно,
выбрав W достаточно большим, добиться того, чтобы среднее число
двоичных элементарных сигналов, приходящихся на одну букву ис-
ходного сообщения, было сколь угодно близким к ///log т. Разность
L — ///log т будет тем меньше, чем больше //, а Н достигает макси-
мума при равновероятных и взаимонезависимых символах, отсюда вы-
текают основные свойства оптимальных кодов:
минимальная средняя длина кодового слова оптимального кода
обеспечивается в том случае, когда избыточность каждого кодового
слова сведена к минимуму (в идеальном случае — к нулю);
кодовые слова оптимального кода должны строиться из равно-
веро>нпых и взаимонезависимых символов.
Из свойств оптимальных кодов вытекают принципы их построе-
ния Первый принцип оптимального кодирования: выбор каждого
кодового слова необходимо производить так, чтобы содержащееся
в нем количество информации было максимальным х Второй принцип
оптимального кодирования заключается в том, что буквам первич-
ного алфавита, имеющим большую вероятность, присваиваются более
короткие кодовые слова во вторичном алфавите.
Построение оптимальных кодов (независимо от автора и характера
методики) сводится к построению префиксных деревьев (см. гл. 9).
Однако построение это ведется не от корня, а от вершины дерева.
117
Кодовые комбинации в вершинах префиксных деревьев, построенные
во вторичном алфавите т2, обычно соответствуют упорядоченным по
вероятностям символам первичного алфавита mv
Все существующие методики построения кодов с минимальной сред-
ней длиной кодовых слов могут быть сведены к двум универсальным
методикам, в основе которых лежит правило 4.
Первая методика базируется на работах К.-Э. Шеннона и Р. Фано
[8, 12].
Построение оптимального кода по методу Шеннона — Фано для
ансамбля из М сообщений сводится к следующей процедуре:
1) множество из М сообщений располагают в порядке убывания
вероятностей; ' .• • jz- 'Л
2) первоначальный ансамбль кодируемых сигналов разбивают на
две группы таким образом, чтобы суммарные вероятности сообщений
обеих групп были по возможности равны;
3) первой группе присваивают символ 0, второй—символ 1;
4) каждую из подгрупп делят на две группы так, чтобы их сум-
марные вероятности были по возможности равны;
5) первым ногрунпам каждой из групп вновь присваивают 0, а
вторым — 1, в результате чего получают вторые цифры кода. Затем
каждую из четырех подгрупп вновь делят на равные (с точки зрения
суммарной вероятности) части и так до тех пор, пока в каждой из
подгрупп останется по одной букве. ,
Построение ОИК для кодов с произвольным основанием т2 имеет
ряд особенностей, которые учитываются универсальной методикой.
Двоичные коды, естественно, являются частным случаем, так как
универсальность этой методики в том и заключается, что она охваты-
вает все случаи вторичных алфавитов т2 2.
Первая универсальная методика для построе-
ния ОНК во вторичном (кодовом) алфавите с числом качественных
признаков т2 сводится к следующему.
1. Символы первичного алфавита т± упорядочиваются по вероят-
ностям (необходимое условие).
II. Упорядоченные по вероятностям символы алфавита т{ разби-
ваются на т2 возможно равновероятных групп.
Определение 14. Величина !////., называется квантом раз-
биения.
Определение 15. Разница между квантом ра <бнсния и реальным
значением суммарной вероятности в группе* (полгруппе) называется
остатком разбиения
Определение 16. Абсолютное значение* суммы остатков разбиений
на промежуточных этапах построения кода называется средним от-
клонением.
III Каждой из подгрупп всегда в одной и той же последователь-
ности присваиваются символы алфавита т2: всем символам первой
подгруппы — первый качественный признак алфавита т2, всем сим-
волам второй подгруппы — второй качественный признак алфавита
т2 и так, пока всем группам не будут присвоены все качественные приз-
наки алфавита т2.
118
IV. Образованные группы вновь разбивают на возможно равно-
вероятные подгруппы, число которых равно или меньше т2 (если
после разбиения в группе оказывается один символ, то дальнейшее
разбиен не невозможно).
V. Каждой из подгрупп присваивается качественный признак из
алфавита т2, как указано в пункте III.
VI. Действия, указанные в пунктах IV и III повторятся до тех
пор, пока после очередного разбиения ни в одну из образованных под-
групп не будет входить более одного символа алфавита mt.
Результаты отклонений от равновероятных значений, образую-
щиеся при разбиении на подгруппы, учитываются согласно следую-
щим правилам учета остатков разбиения и среднего отклонения.
Правило 5. Для того чтобы символы первичного алфавита mt раз-
бивались на возможно равновероятные подгруппы при построении
оптимальных кодов с числом качественных признаков т2, остаток
предыдущего разбиения складывается по абсолютному значению с
суммарной вероятностью очередного разбиения.
Правило 6. Среднее отклонение должно быть меньшим или равно
значению вероятности первого символа очередного разбиения. Если
среднее отклонение не равно нулю, то среднее значение суммарной
вероятности в группе (подгруппе) при очередном разбиении вычис-
ляется с прибавлением значения среднего отклонения.
Пример 17. Построить оптимальный код для передачи сообщений, составленных
в алфавите т1 = 27 при помощи кодового алфавита т2 = 4, если символы первичного
алфавита встречаются в сообщениях с вероятностями, указанными в таблице.
Символы первично- го алфа- вита Вероят- ности Кодовые слова 1 (в;) Р (а,-) X X 1 (af) ТВ О 1 5 № «3 hf= S « о Е О с с. а Вероят- ности Кодовые слова «7 Р (аг) X X 1 iat)
#1 0,125 00 2 0,250 #15 0,03 300 3 0,09
#2 0,075 01 2 0,150 #16 0,03 301 3 0,09
0,075 02 2 0,150 #17 0,027 310 3 0,081
#4 0,075 10 2 0,150 #18 0,02 311 3 0,06
#5 0,05 11 2 0,1 #19 0,02 312 3 0,06
0,05 12 2 0,1 #20 0,02 320 3 0,06
«7 0,05 13 2 0,1 #21 0,018 321 3 0,054
0,045 20 2 0,09 #22 0,018 322 3 0,054
0,045 210 3 0,135 #28 0,018 323 3 0,054
0,045 211 3 0,135 #24 0,012 330 3 0,036
«и 0,03 220 3 0,09 #26 0,012 331 3 0,036
°12 0,03 221 3 0,09 #2в 0,012 332 3 0,036
0,03 230 3 0,09 #27 0,008 333 3 0,024
' 014 0,03 231 3 0,09
Р е hi (» н и е:
I шаг. Квант разбиения —0,25.Остаток разбиения 4-0,025, так как (0,25—0,2)>»
> (0,275—0,25).
Н 7
II шаг. У р (а,) - 0,2в; 2 Р (а() “ 0,225; (0,26 — 0,25) > (0,25 — 0,225), ио
i=4
выбираем 0,225, так как в этом случае по двум разбиениям среднее отклонение будет
119
равно пулю. В отличие от методики Шеннона — Фано, мы должны стремиться не к
минимальному отклонению от кванта разбиения, а к минимальной величине средне-
го отклонения.
14
III шаг. 2 Р ~ 0,255. Остаток разбиения —1-0,005. Среднее отклонение
г=7
+0,005.
27
IV шаг. У Р (fli) = 0,245. Остаток разбиения — 0,005. Среднее отклонение — 0.
1=15
V шаг. По результатам первого разбиения группам в качестве первого символа
кодовых слов присваиваются последовательно качественные признаки алфавита т2,
согласно пункту III первой универсальной методики.
VI шаг. В первой группе три символа: 3< т2. В качепве второго символа ко-
довых слов присваиваем ipn первых качественных признака алфавита т2.
VII шаг. Во второй группе четыре символа: 4 = т2. В качестве второго символа
кодовых слов присваиваем поочередно все качественные признаки алфавита т2.
VIII шаг. В третьей группе семь символов: 7 > т2. Проишодим дальнейшее раз-
биение на возможно равновероятные подгруппы. Квант разбиения (0,25 + 0,015) X
X 4 » 0,066; 0,015 добавляется как остаток предыдущего разбиения. Разбиения про-
изводятся до чех пор, пока во всех образовавшихся подгруппах число символов не
будет меньше пли равно т2, после чего присвоение очередного символа кодового сло-
ва производится согласно пункту III первой универсальной методики.
Вторая универсальная методика построе-
ния О II К базируется на известной методике Хаффмена. Для пер-
вичных (кодируемых) алфавитов с числом качественных признаков
иц построение оптимального кода во вторичном (кодовом) алфавите
с числом качественных признаков т2 сводится к процедуре построе-
ния префиксного кодового дерева, для чего выполняются следующие
операции.
I. Символы алфавит а упорядочиваются по вероятностям (ус-
ловие на этом этапе не обязательное, но значительно облегчающее
процедуру построения кодового дерева). /
II. В случае упорядочивания по убыванию вероятностей (этого
варианта мы будем придерживаться в дальнейшем изложении) послед-
ние п0 символов объединяются в новый символ с вероятност ью, равной
сумме вероятностей объединяемых символов. При этом //0 должно
удовлетворять условиям
2 <///.; (102)
(юз)
где а — целое число уровней будущего котового дерева.
III. Последующие объединения символов в дополнительные сим-
волы производятся с соблюдением следующих условий:
а) на всех этапах построения кодового дерева (кроме первого и
последнего), дополнительные символы объединяют п = т2 символов.
На первом этапе число обединяемых символов равно л0 (см. пункт II),
а на последнем значение п может находиться в пределах
1
120
б) в дополнительный символ объединяются только символы, имею-
щие на данном этапе построения кодового дерева наименьшую вероят-
ность с учетом вероятности вновь образованных символов;
в) в процессе построения кодового дерева вновь образованные узлы
должны располагаться таким образом, чтобы значения вероятностей,
стоящих в вершинах и узлах строящегося кодового дерева, не нару-
шали общего принципа упорядоченности по вероятностям.
IV. Процедура объединения в новые символы продолжается до
тех пор, пока вероятность очередного вновь образованного символа
не будет равна 1.
V. Ветвям, выходящим из корня и узлов, качественные признаки
алфавита т2 присваиваются всегда в одном и том же порядке.
VI. Кодовые комбинации оптимального кода представляют собой
последовательности качественных признаков, которые встречаются
по пути от корня к вершинам кодового дерева.
Пример 18. Используя вторую универсальную методику, построить оптимальный
код для условий, заданных в примере 17.
Решение:
Символы первично- го алфави- та Вероятность Кодовое дерево Р (ар 1 {ар 1 Код
Вариант 1
а1 0,125
«2 0,075
а‘3 0,075
«4 0,075
«5 0,05
0,05
«7 0,05
а8 0,045
«9 0,045
«10 0,045
«II 0,03
«12 0,03
«II 0,03
«м 0,03
«п. 0,03
«1(1 0,03
«!7 0,027
«ь 0,02
«Г» 0,02
«2d 0,02
tZoi 0,018
а’2 0,018
«23 0,018
«24 0,012
«25 0,012
«26 0,012
«27 0,008
0,25 2 00
0,15 2 10
0,15 2 И
0,15 2 12
0,1 2 20
0,1 2 21
0,1 2 22
0,09 2 23
0,135 3 010
0,135 3 ОН
0,09 3 012
0,09 3 020
0,09 3 021
0,09 3 022
0,09 3 023
0,09 3 030
0,081 3 031
0,06 3 032
0,06 3 033
0,06 3 130
0,054 3 131
0,054 3 132
0,054 3 133
0,048 4 0130
0,048 4 0131
0,048 4 0132
0,032 4 0133
121
Символы первично- го алфави- та Вероятность Кодовое дерево Р (a# 1 (aj) 1 (aj) Код
Вариант 2
а± 0,125
а2 0,075
а3 0,075
а4 0,075
а5 0,05
а6 0,05
а? 0,05
а8 0,045
а8 0,045
а10 0,045
ап 0,03
а12 0,03
а13 0,03
а14 0,03
а15 0,03
«16 0,03
о17 0,027
«и 0,02
а19 0,02
аа, 0,02
а21 0,018
а22 0,018
ай 0,018
а24 -ХЦИ2
#25 0,012
#2в 0,012
Oj7 0,008
0,25 2 00
0,15 2 01
0,15 2 10
0,15 2 11
0,1 2 12
0,1 2 20
0,1 2 21
0,09 2 22
0,09 2 23
0,09 2 30
0,06 2 31
0,06 2 32
0,09 3 020
0,09 3 021
0,09 3 022
0,09 3 023
0,081 3 030
0,06 3 031
0,06 3 032
0,06 3 033
0,054 3 130
0,054 3 131
0,054 3 132
0,036 3 из
0,036 3 330
0,036 3 331
0,024 3 332
Неоднозначность методики Шеннона — Фано тем заметнее, чем
выше основание кода т2 и чем меньше тх. Первая универсальная
методика позволяет более точно строить многозначные ОНК по
сравнению с ее прототипом — методикой Шеннона — Фапо, по и ей
свойственна неоднозначность на различных стадиях построения ОНК.
Существует мнение, что мегодика Хаффмена лишена всякой не-
однозначности. С этим нельзя согласиться, так как при упоря-
дочивании по вероятностям на промежуточных этанах построения кодо-
вого дерева дополнительный (вновь образованный) символ, имеющий
равную вероятность с предыдущими символами, может быть поставлен
среди них на любом месте. Следует отметить, что такого рода неод-
нозначность легко устранима.
К недостатку методик построения ОПК на основе метода Хаффме-
на следует отнести громоздкость построений с ростом тх. При построе-
нии ОНК с т2 = 2 при больших т1 следует использовать метод Шен-
нона — Фано, так как при т2 = 2 и больших значения /ср (т2)
фактически одинаковы при использовании обеих методик.
Преимущество методик, основанных па способе Хаффмена, сказы-
вается с ростом основания кода т2. Более короткая длина кодовых
слов во вторичном алфавите получается за счет оптимального выбора
122
количества вершин на самом низком уровне кодового дерева, архи-
тектуру которого во многом определяют условия (102) и (103). Не-
соблюдение этих условий приводит к кодам с большей средней дли-
ной кодовых слов, что достаточно очевидно при сравнении примеров
17 и 18.
Рассмотрим несколько конкретных примеров, наиболее наглядно
характеризующих общие свойства оптимальных кодов.
Пример 19. Построить оптимальный код сообщения, состоящего и< восьми рав-
новероятных букв.
Р е ш е и и е: Так как вероятности данного ансамбля сообщений р{ = р2 =
= ... ря 2~3 и порядок их расположения не играет роли, то расположим их
так, как показано в табл. 11. Затем разбиваем дан-
ное множество сообщений на две равновероятные Таблица 11. Построение
группы. Первой группе в качестве первого симво-
ла кодовых слов присваиваем 0, а второй — 1. Во
второй колонке табл. 11 записываем четыре нуля
и четыре единицы. После чего разбиваем каждую из
групп еще на две равновероятные подгруппы. Затем
каждой первой подгруппе присваиваем 0, а вто-
рой— 1 и записываем в третью колонку табл. И.
Далее каждую из четырех подгрупп разбиваем на
две равновероятные части и первой из них гросваи-
ваем 0, а второй — 1. Таким образом, в четвертой
колонке табл. 11 появятся значения третьего сим-
вола кодовых слов.
Прочерка оптимальности кода осуществляется
путем сравнения энтропии кодируемого (первичного)
аланина со средней длиной кодового слова во вто-
ричном алфавите.
Для рассматриваемого примера энтропия источ-
ника сообщений
Н = logj /V = log2 8 = 3 бит/символ,
оптимального кода для
сообщения, состоящего из
восьми равновероятных букв
Буква Кодовое слово после разбиения
перво- го второ- го тре- тьего
0 0 0
^2 0 0 1
^3 0 1 0
А, 0 1 1
тЦ 1 0 0
Ав 1 0 1
А~ 1 1 0
Аз 1 1 1
а среднее число двоичных знаков на букву кода
N
L = ^jliPi =°>125- 3-8 = 3,
где !( — длина Z-й кодовой комбинации; pi — вероятность появления г-го символа
комбинации длиной в
Таким образом, И = L, т. е. является оптимальным для данного ансамбля сооб-
щений.
Вывод: Для ансамблей равновероятных сообщений оптимальным
является равномерный код. Если число исходных элементов ансамбля
равно целой степени двух, то всегда Н •-= L.
Пример 20. Построить оптимальный код для передачи сообщения, в котором ве-
роятности поянлепия букв подчиняются закону р( = , т. е. буквы данного сооб-
щения могут бы и, расположены таким образом, что вероятность появления каждой
из них будет и дня раза меньше вероятности появления предыдущей.
Реше и и <’ ()нтимальный код для данных условий представлен в табл. 12.
Среднее число чпопчпыч знаков на букву кода
А'
L = VZ/''/ । 0,5+ 0,375-1-0,25 4- 0,15625 -НО,09175 -1,8730,
123
Таблица 12. Построение оптимального кода для сообщения, состоящего
из неравновероятных букв
Буква Вероят- ность появления буквы Кодовое слово после разбиения Число знаков в кодовом слове 'л-
перво- го второ- го тре- тьего чет- верто- го пято- го шес- того
Код, в котором вероятности появления букв подчиняются закону
л. 1/2 0 — — — — — 1 0,5
Лз 1/4 1 0 — — — — 2 0,5
Л3 1/8 1 1 0 — — — 3 0,375
Л4 1/16 1 1 1 0 — — 4 0,25
Л5 1/32 1 1 1 1 0 — 5 0,15625
-Лв 1/64 1 1 1 1 1 0 6 0,09175
Код, в котором вероятности появления букв подчиняются закону
Р1=2~п-, SPl = 1
1/4 0 0 — — - — 2 0,5
Л2 1/4 0 1 — — — — 2 0,5
Л3 1/8 1 0 0 — — — 3 0,375
л4 1/8 1 0 1 — — 3 0,375
Л5 1/16 1 1 0 0 — — 4 0,15
Ав 1/16 1 1 0 1 — — 4 0,25
Л7 1/16 1 1 1 0 — — 4 0,25
ля 1/16 1 1 1 1 — — 4 0,25
—\
Код с произвольным распределением вероятностей появления букв
Л1 0,5 0 — — — — — 1 0,5
4^2 0,25 1 0 — — — — 2 0,5
л3 0,098 1 1 0 0 —. — 4 0,392
л4 0,052 1 1 0 1 — — 4 0,208
Л5 0,04 1 1 1 0 — — 4 0,16
л 0,03 1 1 1 1 0—5 0,15
Л7 0,19 1 1 1 1 1 0 6 0.114
4 0,011 1 1 1 1 1 1 6 0,66
а энтропия источника сообщений
н = — (Pl log2 Pl + р2 log2 р2 + ... Р„ log../>л) 0,5 | 0.5 | 0,375 +
+ 0,2487 + 0,1554 + 0,0909 1,8700 бпт/симпол.
Некоторое расхождение в тысячных объясняется тем, что и данном коде 2j Pz =# 1#
i
т. е. данный ансамбль сообщений не является полной группой событий (Zpi « 0,984).
Однако чем длиннее будет выбранный ряд значений Л/, к*м ближе Spz будет к еди-
нице, тем ближе будет значение L к энтропии источник.i сообщений.
Таким образом, Н фактически равно L, т. е. код является оптимальным для дан-
ного ансамбля сообщений.
Вывод. Число элементарных символов на букву сообщения с распре-
делением вероятностей появления букв по закону pt = j возрастает
в порядке убывания вероятностей как натуральный ряд чисел (1, 2,
3 7И), если i = 1, 2, 3, М.
124
Код, рассмотренный в данном примере, удобен при декодировании,
так как каждое кодовое слово заканчивается нулем, который отде-
ляет кодовые слова друг от друга.
Пример 21. Построить оптимальный код для передачи сообщения, в котором ве-
роятности появления букв подчиняются закону р( = 2~^, но Sp/ 1.
Решение: Код, удовлетворяющий данным условиям, строим по общей мето-
дике. Оптимальный код представлен в табл. 12. Среднее число двоичных знаков на*
букву кода и энтропия источника сообщений соответственно равны:
N
1 = 2 lipi = 2 • 0,5 + 2 • 0,375 + 4 • 0,25 = 2,75 бит/символ;
i
N
Н = — 2 Pj Iog2 pi = 2 * 0,25 Iog2 0,25 + 2 • 0,25 log2 0,125 + 4 X
।
X 0,0625 log2 0,0625 = 1 + 2 • 0,375 + 4 • 0,25 = 2,75 бит/символ.
Таким образом, H — L, так как удовлетворяется условие р/ = 2“п, где л —
целое число, а У, pi — 1.
i
Вывод. Кодовые слова одинаковой вероятности появления имеют
равную длину.
На основании рассмотренных выше примеров можно сказать, что
оптимальными будут те коды, у которых средняя длина кодовой ком-
бинации при заданном основании кода является минимальной и мало
отличается от энтропии источника сообщений. Коды, представляющие
первичные алфавиты с неравномерным распределением символов, име-
ющие минимальную среднюю длину кодового слова во вторичном ал-
фавите, называются оптимальными неравномерными кодами. Макси-
мально эффективными будут те ОНК, у которых
w
log2 т 2 liPi = 4р = н,
t=l
где m и Л/ — символы соответственно вторичного и первичного алфа-
витов.
Для двоичных кодов
N N
/ср = 2 llPi = Iog2 Pl
f=l
при условии It = — log2/?j = log2-^~.
Величина равна /7, если pt = mn, где n — целое число. Если
n не является целым числом для всех значений букв первичного алфа-
вита, го /Ср > // и, согласно основной теореме кодирования, прибли-
жается к энтропии источника сообщений по мере укрупнения кодиру-
емых блоков.
Эффективность ОНК оценивают при помощи коэффициента ста-
тистического сжатия
. (104)
log2 т Zj Ptli
/=1
125
который характеризует уменьшение количества двоичных знаков на
символ сообщения при применении ОНК по сравнению с применением
методов нестатистического кодирования, и коэффициента относи-
тельной эффективности
(105)
ср
показывающего, насколько используется статистическая избыточ-
ность передаваемого сообщения.
Для наиболее общего случая
az
— 5 iog2 pt
Ко.-> = --i=1...R. (106)
log2 m 2 ltPi
i=l
П p и ме p 22. 1встроить ОН К для передачи сообщений, в которых вероятности
появления букв первичного алфавита: — 0,5; А2 — 0,25; А3 — 0,098; Л4 — 0,052;
Аб — 0,04; — 0,03, А1 — 0,019; Л8 — 0,011 и определить коэффициенты стати-
стического сжатия и относительной эффективности.
Р е ш е н и е: Оптимальный код для алфавитов с произвольным распределением
вероятностей появления букв в текстах строится согласно общей методике. Перед
построением кода следует убедиться, что сумма вероятностей появления отдельных
букв данного алфавита равна единице или близка к ней (в случае, если вероятности
появления букв алфавита были получены в результате статистических исследований).
Затем символы алфавита располагают в порядке убывания вероятностей и произво-
дят последовательные разбиения на группы с возможно близкими суммарными зна-
чениями вероятностей, присваивая каждый раз верхней группе символов значение 0,
а нижней — 1.
Построение кода для условий, заданных в данном примере, приведено в табл. 12.
Определим Н, Ксс и э:
8
Н = — 2 Pi 1о&2 Pi = — (0,5 Iog2 0,5 + 0,25 log2 0,25 + 0,098 log2 0,098 +
z=i
+ 0,052 log2 0,052 + 0,04 lop,2 0,04 + 0,03 log2 0,03 + 0,019 log2 0,019 +
+ 0,011 log2 0,011) = 0,5 + 0,5 + 0,3284 + 0,2217 + 0,1875 + 0,1517 +
+ 0,1086 + 0,0715 =--x 2,0676 бит/символ;
гл ___ ^inax log2 8
^C.C 7 - (
cp /
'ii’t
i - I
3
*“0,5- 1+0,25 • 2+0,098• 4 + 0,052 • 4 + 0,04 • I | 0,03 + |-0.019• 6+ 0,011 • 6
= "2>~
H 2,()(>'/(>
^.3= I = 2,09 °’98-
cp
Если первичный алфавит состоит из равновероятностных символов,
вероятности которых равны целой отрицательной степени двух, то
Ло.э = I-
126
Пример 23. Построить ОНК по методу Хаффмена для вторичного алфавита с
числом количественных признаков т — 3, если символы кодируемых алфавитов
имеют следующие распределения вероятностей:
I. ах= 0,38, аа = 0,32, Од = 0,15, а4 = 0,1, а3 = 0,03, ав = 0,02;
II. ах = 0,37, = 0,25, а3 == 0,18, а4 = 0,1, == 0,06, ав = 0,02, а7 = 0,02;
III. ах = 0,32, а2 = 0,26, а3 = 0,2, а4 =» 0,12, а5 = 0,06, = 0,02, а7 = 0,015,
а3 = 0,005.
Решение: 1) Определим число качественных признаков, объединяемых на
первом этапе.
Для алфавита I п0 = 6 — а (3 — 1) выбираем а = 2; так как при а - 1 л0 = 4;
п0 > что нарушает условие (102), при а = 3 п0 = 0; п0 < 2, что также нарушает
условие (102).
Для алфавита II п0 = 7 — а (3 — 1) = 3, так как при четном п0 нарушится ус-
ловие (103), но при п0 = 1 и п0 = 5 нарушается условие [102].
Для алфавита III п0 = 8 — а (3 — 1) = 2, так как согласно (103) при четном
Nn3 должно быть четно, но при л0 = 4 и л0 = 0 нарушается условие (102). Таким
образом, на первом этапе для алфавитов I и III при образовании вспомогательного
узла кодового дерева объединяются по два символа с наименьшими
вероятностями,
Вероятность
0,38
0,32
0,15
0,1
0,03
0,02
Вероятность
0,37
0,25
0,18
0,1
0,06
0,02
0,02
т
Дерево
0
ОНК
0
1
20
21
220
221
онк
0
1
20
21
220
221
222
Верой пюсть
0,32
0,26
0,2
0,12
0,06
0,02
0,015
0,005
ОНК
0,42
0,02
о
1
20
21
220
221
2220
2221
а на остальных этапах в каждом узле кодового дерева число ветвей равно т. Для
алфавита II на всех этапах в узлы объединяются по три символа.
2) Соответствующие кодовые деревья представлены на рисунке.
л/
Н1 -y^Pi^Pi
^о.э ~ = в
cPi 1 ХП /
_ — (0,38 log, 0,38 (-0,32 log2 0,32 + ••• + 0,02 log, 0,02) 2,063
“ 1,58(0,38-1-0,32 4-2 • 0,15+ •••+3 • 0,02) ~ 2,133 —
= 0,967;
Ср,
— (0,37 log2 0,37 -I 0,25 log2 0,25 + ... + 2 . 0,02 Iog2 0,02) 2,28
e 1,58 (0,37 -|-0,25 + 2 • 0,18 + ... +3-0,02) ~ 2,34 ~ 0,975;
_ 7/3
^о.э /
СРз
— (0,32 loga 0,32+ 0,26 log2 0,26 + ... + 0,005 log2 0,005) 2,35
“ 1,58(0,32 + 0,26+ ... + 4-0,005) 2,43 °’97’
э — Л'" э — коэффициенты относительной эффективности для всех трех ва-
риантов кодов.
Как уже упоминалось, преимущество метода Хаффмена сказыва-
ется при построении ОНК с т2> 2. Большая точность достигается
за счет более строгого выбора числа наименее вероятных символов пер-
вичного алфавита, объединяемых на первом этапе построения кодо-
вого дерева. Число этих символов должно удовлетворять условиям
(102), (103) и равняться
nQ=N — а(т— 1). (107)
На следующих этапах число ветвей, исходящих из каждого проме-
жуточного узла, равно tn, т. е. с учетом вновь образованных вспомо-
гательных символов на каждом этане построения кодового дерева
объединяются т символов, имеющих наименьшую вероятность, пока
сумма вероятностей, сходящихся в очередном узле, не будет равна
единице. И только промежуточный узел, образованный на первохм
этапе, может иметь число ветвей меньше, чем т.
При кодировании последовательностей символов с различными
вероятностями появления метод Хаффмена иошоляет получать коды,
в которых требуемое количество качественных признаков вторичного
алфавита (на символ или на блок) никогда ие превысит величины Н
больше, чем па единицу.
В предыдущей теме был математически обоснован тот факт, что
средняя длина кодового слова передаваемого сообщения по мере
укрупнения кодируемых блоков будет уменьшаться, а код — при-
ближаться к оптимальному. Попробуем теперь уяснить это.
Предположим, что кодируемое сообщение разделено на очень длин-
ные группы символов. Тогда от символов предыдущего блока будут
128
зависеть только несколько начальных символов последующего блока,
и эта зависимость будет уменьшаться по мере удаления символа от на-
чала блока. Чем больше символов в блоке, тем больше будет символов,
которые не зависят от предыдущих блоков. Происходит декорреляция
символов. Устраняется взаимозависимость. При этом растет энтропия
сообщения, а с ростом энтропии* увеличивается коэффициент сжатия
ц = jp-— (гл. 10), уменьшается избыточностьD — 1 — р, код прибли-
^тах
' Таблица 13. Построение оптимального кода при блочном кодировании
Случай коди- рова- ния Блок Вероят- ность появления блока Кодовые слова после разбиения Число знаков в кодовом f слове 'л
перво- го второ- го тре- тьего чет- верто- го пято- го
I А В 0,89 0,11 0 1 — — 1 1 0,89 0,11
II АА 0,792 0 — — — — 1 0,792
АВ 0,098 1 0 — — — 2 0,196
ВА 0,098 1 1 0 — — 3 0,294
ВВ 0,012 1 1 1 — — 3 0,036
III ААА 0,705 0 — — — — 1 0,705
ААВ 0,087 1 0 0 — — 3 0,261
АВА 0,087 1 0 1 — — 3 0,261
ВАА 0,087 1 1 0 — —— 3 0,261
АВВ 0,011 1 1 1 0 0 5 0,055
ВАВ 0,011 1 1 1 0 1 5 0,055
ВВА 0,011 1 1 1 1 0 5 0,055
ВВВ 0,001 1 1 1 1 1 5 0,005
жается к оптимальному. В случае декоррели рованных сообщений
значительно упрощается вычисление энтропии
N
Н = — 2 Р (Bi) loga р (Bi) бит/блок. (108)
Энтропия на символ
1 N
H = -ir 2 Р (bi) loga р (bi) бит/символ, (109)
где р (bi) — вероятность появления одного из блоков, ДО — число
символов в блоке.
При укрупнении кодируемых блоков происходит не только декор-
реляция символов и снижение условной энтропии, вызванной взаимо-
зависимостью между символами, но и уменьшение избыточности от
округления.
Рассмотрим пример, иллюстрирующий преимущества укрупнения,
или, как его часто называют, перекодирования символов. С увеличе-
Пример 24. Построить ОН К для передачи сообщений, алфавит которых состоит
из букв А и В с вероятностями рА = 0,89 и рв = 0,11, при кодировании по одному
(I случай), два (П случай) и три (III случай) символа в блоке (табл. 13).
5 2—1032
129
Решение: Определим средние числа двоичных знаков на букву кода и энтро-
пии источников сообщений при кодировании по одному Li, два Ни и три
Lni, символа в блоке:
L1 = 2 ltPi = °>89 + °’11 = 1;
I
Н = — 2 Pl loS2 Р{ = — (О.89 log, 0,89 + 0,11 log2 0,11)= 0,3503 +
i
+ 0,1496 = 0,499 бит/символ;
Lu = 5 l'Pi = °-792 + °>196 + °-294 + °-030 = 1 -318;
i
яп = — 2 Pi log, Pl = — (0.792 log2 0,792 + 2 • 0,098 log2 0,098 + 0,012) =
i
= 0,2664 + 0,3284 + 0,3284 + 0,076 = 0,9948 бит/символ;
LU1 =(2 l,Pi = °-705 + 3 (°’261 + °’055) + °-005 = *>658;
ЯП1 = — 2 Pi lo«2 Pl = — (°.703 log2 0,705 + 3 • 0,087 log2 0,087 + 3 X
X 0,011 log2 0,011 + 0,001 log, 0,001) = 0,3555 + 3 - 0,9065 + 3 • 0,0716 +
+ 0,0100 = 1,4998 бит/символ.
Сравнивая полученные данные, убеждаемся, что с укрупнением кодируемых бло-
ков разница значений L и И быстро уменьшается, а полученный код приближается
к оптимальному. Сравним эффективность ОНК в первом и третьем случаях. Для
этого определим:
/г ____
Л«.О1 ~ .
*epl
Кв С,“ “ 'срШ
"l
к 7/|11
Ао.эШ ~ I , ~
*o.,I
max 10g2 2
- !
__ 10^ 8 ~ 1 O'
“ 1,658 ~ 1>e’
0,5 Л г
—j— = 0,5;
1,4998
Т.658- ~°’932-
нием числа символов в блоке эффективность кодирования быстро рас-
тет (растут Лв.с и Ко.э) ДО определенного предела. Затем рост эффек-
тивности постепенно уменьшается. Практика показывает, что с уве-
личением числа символов в блоке (п > 4) сложность кодирующих ус-
тройств растет быстрее, чем эффективность.
Рассмотрим теперь построение оптимальных кодов при передаче
текстовых сообщений как при посимвольном, так и при поблочном
кодировании. Для передачи М-буквеппого текста требуется затра-
тить элементарных символов, составленных из букв вторичного алфа-
вита, не меньше чем
n = (ПО)
log2/n log2 т ' 7
130
где W — число букв первичного алфавита; т — число букв вторичного
алфавита.
Для передачи М-буквенного текста в двоичном коде (число букв
вторичного алфавита т == 2) с равновероятным распределением букв
русского алфавита (число букв первичного алфавита N = 32) надо
энтратить MHQ = Mlog2 32 = М • 5 бит. Оптимальным в этом слу-
чае будет равномерный код, примером которого является телеграф-
ный код Бодо, в котором каждая буква состоит из пяти двоичных сим-
волов (см. табл. 3).
14, Телеграфные коды
Ьукни Вероят- ность появле- - НИЯ буквы Комбинация оптимального кода Комбинация кода Морзе, ПРИНЯТОГО i‘ настоящее время Буква Вероят- ность |появле- ния буквы ст Комбинация оптимального кода Комбинация кода Морзе, принятого в настоящее время
О Е 0,090 0,072 — — ы 3 0,016 0,016 •—•• •— — —-•
А 0,062 .. ъ, ь 0,014
И 0,062 Б 0,014
т 0,053 _. — Г 0,013
11 0,053 Ч 0,012
( 0,045 ... ... Й 0,010
р 0,040 X 0,009
в 0,038 ж 0,007
д 0,035 . . .. ю 0,006
к 0,028 ш 0,006 —— — — _
м 0,026 — ц 0,004
д 0,025 _ щ 0,003
II 0,023 •— • э 0,002 — ~~ —— —
У 0,021 .... ф 0,002
я 0,018 . •
Однако в действительности вероятности появления букв в русских
Текстах не одинаковы. Вероятности появления отдельных букв зна-
чительно отличаются друг от друга (см. табл. 8). Чаще всего в русских
Кстях, как и в текстах на любом языке мира, встречается пробел
ду словами: вероятность его равна 0,175 (в английском языке
)| реже всего — буквы Э и Ф.
естественно, что при неравновероятном распределении символов
Много алфавита равномерные коды не могут быть оптимальными.
ТИнными в этом случае являются неравномерные коды, в кото-
И1Иболсе часто встречающимся символам первичного алфавита
тнуют наиболее короткие комбинации символов вторичного
построен современный телеграфный
от оптимального кода для троичного
предоставленного в третьей колонке
ВИТИ. По такому принципу
Mopif» хотя он и отличается
ИНТИ (ючкя, тире и пауза),
14
Дли определения значения п
й нероннюети распределения символов в выражении (110) шпчения
елсдуел находить по формуле
II
при передаче русских теки он г уче-
It
Таблица 15. Оптимальный код для русского алфавита
Буква Вероят- ность по- явления буквы Кодовое словб после разбиения Число знаков в кодовом слове 1Р1
первого второго третьего четвертого пятого шестого седьмого восьмого девятого |
Пробел О Е 0,175 0,090 0,072 0 0 0 0 0 1 0 1 0 0 — — — __ — 3 3 4 0,525 0,270 0,288
А 0,062 0 1 0 1 — —— — — — 4 0,248
И 0,062 0 1 1 0 —. — — — — 4 0,248
Т 0,053 0 1 1 1 — — — — — 4 0,212
Н 0,053 1 0 0 0 — — — — — 4 0,212
С 0,045 1 0 0 1 0 — — — — 5 0,225
Р 0,040 1 0+ 0 1 1 — — — — 5 0,200
В 0,038 1 0 1 0 — — — — — 4 0,152
Л 0,035 1 0 1 1 0 — — — 5 0,175
к 0,028 1 0 1 1 1 — — — — 5 0,140
м 0,026 1 1 0 0 0 — — — — 5 0,130
д 0,025 1 1 0 0 1 0 — — —. 6 0,150
п 0f ,023 1 1 0 0 1 1 — — — 6 0,138
У 0,021 1 1 0 1 0 — — — — 5 0,105
я 0,018 1 1 0 1 1 0 — — —' 6 0,108
ы 0,016 1 1 0 1 1 1 — — — 6 0,096
3 0,016 1 1 1 0 0 0 — — — 6 0,096
ъ, ь 0,014 1 1 1 0 0 1 — — — 6 0,084
Б 0,014 I 1 1 0 1 0 — — — 6 0,084
г 0,013 1 1 1 0 1 1 — — — 6 0,078
ч 0,012 1 1 1 1 0 0 — — — 6 0,072
й 0,010 1 1 1 1 0 1 0 — —. 7 0,070
X 0,009 1 1 1 1 0 1 1 — — 7 0,063
ж 0,007 1 1 1 1 1 0 0 — — 7 0,049
ю 0,006 1 1 1 1 1 0 1 — — 7 0,042
ш 0,006 1 1 1 1 1 1 0 0 — 8 0,042
Ц 0,004 1 1 1 1 1 1 Q 1 — 8 0,032
щ 0,003 1 1 1 1 1 1 1 0 — 8 0,024
э 0,002 1 1 1 1 1 1 1 1 0 9 0,018
ф 0,002 1 1 1 1 1 1 1 1 1 9 0,018
Так как для т = 2 log2/n = 1, то П \ > мн = м (- -0,175 log.0,175—
— 0,09 log30,09 ... — 0,02 log20,02) а: t 4,3644.
Как видим, по сравнению с кодом Бодо достигнуто сокращение
0,64 бит на кодовое слово. Такого значения средней длины кодового
слова для русского алфавита можно добиться при помощи оптималь-
ного кода, построенного методом Шеннона - Фано (табл. 15). Сред-
няя длина кодового слова такого кода
1 = 2/^ = 0,175 - 3 4-0,090 -3 | 0,072 - 4 4- ••• +
I
+ 0,002 -9^4,4.
Значение L отличается от значения Н, потому что вероятности распре-
деления символов первичного алфавита (в данном случае — алфави-
та русских букв) не являются целочисленными степенями двойки.
132
Однако с ростом М среднее число знаков вторичного алфавита на ко-
довое слово будет сколь угодно приближаться к значению Н (см.
пример 24).
При поблочном кодировании данный код будет еще ближе к опти-
мальному, так как в нем устранится избыточность, вызванная взаи-
мозависимостью между соседними буквами.
К I((‘достаткам кодирования большими блоками следует отнести
то, что расшифровка сообщения не может быть осуществлена, пока в
дешифраторе не накопится весь блок. А это фактически равно отста-
ванию принятого сообщения относительно источника на время накоп-
ления блока в дешифраторе.
С точки зрения помехоустойчивости ОНК ничуть не хуже других
неравномерных кодов в том смысле, что к ним могут быть применены
те же методы защиты от ошибок. При этом сначала устраняют статис-
тическую избыточность и строят ОНК, затем вводят дополнительные
символы для обнаружения и коррекции ошибок. Особенно удачное
сочетание представляет использование ОНК в системах с решающей
обратной связью. В таких системах при обнаружении искажения
кодовой комбинации посылается сигнал на передающее устройство,
и искаженная комбинация повторяется. При построении оптимальных
кодов буквы кодируемого алфавита не всегда удается однозначно
разбить на части с равной суммарной вероятностью. Однако если
построение оптимального кода ведется правильно, что средняя длина
кодового слова при любых вариантах разбиения будет оставаться оди-
наковой.
Пример 25. Построить код для передачи сообщений, составленных из алфавита
с распределением вероятностей: Л! — 0,18, Ла — 0,18, А3 — 0,18, Л4 — 0,18; Л5 —
0,1, Лв —0,09, А7—0,09.
Решение:
Проведем построение по методу Шеннона — Фано. Результаты построения
приведены в табл. 16 и 17.
Средняя длина кодового слова: для варианта I
N
topl = 5 liPi = 4 • 0,38 + 2 - 0,54 + 0,3 = 2,82}
i=I
для варианта II
£срп = 1,62 + 0,36 + 0,3 + 2 ♦ 0,27 « 2,82.
Как видим, несмотря на то что коды получились разные, средняя длина кодовых
слов для обоих вариантов одинаковая.
Па практике при передаче текстовых сообщений свойства ОНК
широко используют в алфавитных системах, в которых алфавитный
порядок букв соответствует числовому двоичному порядку кодовых
слон. »i(> облегчает одну из самых трудоемких процедур обработки
данных - сортировку.
Выводы: I. Если символы кодируемого алфавита встречаются в
сообщениях с равной вероятностью, то их следует кодировать кодами
равной длины.
2. Если вероятности появления в сообщении символов кодируемого
алфавита можно расположить так, что вероятность появления
133
каждого последующего символа будем в два раза меньше вероятности
предыдущего, то число элементарных знаков кода на кодируемый символ
должно возрастать, как натуральный ряд чисел (/, 2, 5, Л/).
3. Если символы эргодического1 источника сообщений закодированы
наиболее эффективным образом, то среднее количество знаков во вто-
ричном алфавите на букву первичного алфавита будет близко к энтро-
пии источника сообщений.
4. Если символы первичного алфавита равновероятны или их вероят-
ности являются целочисленными отрицательными степенями двойки,
причем сумма вероятностей отдельных символов равна единице, то
Таблица 16. Построение
поливариантного оптимального кода
(вариант 1)
Таблица 17. Построение
поливариантного оптимального кода
(вариант 2)
Вари- ант^ / Буква Вероят- ность Кодо- вое слово Номер разби- ения Ва- риант Буква Вероят- ность Кодовое слово Номер разби- ения
А 0,18 * 00 0,18 000 3
Ла 0,18 010 2 Л2 0,18 001 2
Л3 0,18 011 3 Л3 0,18 01 1
I Л< 0,18 10 1 II Л4 0,18 100 3
Лб 0,10 110 2 ' Лб 0,10 101 2
лв 0,09 1110 3 Лв 0,09 по 3
Л7 0,09 1111 4 Г ^7 0,09 111
средняя длина кодового слова будет точно равна энтропии источника
сообщений.
5. Если кодировать сообщения крупными блоками, то взаимоза-
висимость между отдельными символами уменьшается по мере укруп-
нения блока.
6. При поблочном кодировании для вычисления энтропии на блок
можно пользоваться формулой Н == X ptlog ph учитывая при этом,
i
что значение энтропий всегда будет несколько больше действительно-
го за счет пренебрежения оставшейся взаимозависимостью между
символами.
7. Преимущество оптимальных кодов: при прочих равных условиях
оптимальные коды позволяют вести передачу информации с макси-
мальной скоростью.
8. Недостаток оптимальных кодов: при прочих равных условиях
оптимальные коды наиболее беззащитны от влияния помех, т. е. об-
ладают наименьшей помехоустойчивостью.
1 Эргодический — статистически однородный источник сообщений, в котором
вероятности появления отдельных символов предполагаются неизменными( не путать
с равновероятными).
134
Глава
ПОМЕХОУСТОЙЧИВОСТЬ,
ЭФФЕКТИВНОСТЬ И НАДЕЖНОСТЬ
СИСТЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ.
МЕТОДЫ ПОВЫШЕНИЯ
НАДЕЖНОСТИ
Любая система передачи информации характеризу-
ется такими показателями, как помехоустойчивость, эффективность
и надежность.
Помехоустойчивостью называется способность системы осуществ-
лять прием информации в условиях наличия помех в линии связи.
Помехой называется стороннее возмущение, действующее в сис-
теме и препятствующее правильному приему сигналов.
Помехи бывают промышленные и атмосферные, закономерные и
случайные, внутренние и внешние. Промышленные помехи возникают
при работе двигателей станков, лифтов и кранов, сварочных аппара-
тов, рентгеновских установок. К промышленным относятся также по-
мехи, создаваемые городским электротранспортом. Атмосферные по-
мехи — молнии, пыльные и снежные бури, северное сияние, иней на
антенне и даже солнечное излучение (в УКВ диапазоне).
Регулярные помехи сохраняют относительно постоянный уровень
во времени и пространстве. Воздействию таких помех нетрудно найти
противодействие. Например, фон можно устранить компенсацией,
помеху от соседней радиостанции — применением соответствующего
фильтра и т. д. Общими методами борьбы с регулярными помехами
являются: методы накопления сигналов, построение кодов с обнару-
жением и исправлением ошибок, превышение уровня сигнала над
уровнем шумов и т. д.
Случайные помехи произвольно меняют свой уровень во времени
и пространстве. Бороться с ними труднее. Случайные помехи под-
разделяются на аддитивные и мультипликативные.
Аддитивной называется помеха, которая суммируется с сигналом.
Она существует независимо от сигнала и может наблюдаться как при
наличии сигнала,таки при его отсутствии. Действие аддитивной по-
мехи характеризуется величиной
t/a(0 = W<B
где (0 и (0 — напряжения сигнала и помехи.
Наиболее универсальная причина аддитивной помехи — флукту-
ации, т. е. колебания случайных величин около их среднего значения.
Примером флуктуации может быть броуновское движение молекул,
дробовой эффект в электронных лампах и др. Флуктуационная помеха
при11цип1п1льно неустранима. Уменьшить ее можно, применив спе-
циальные схемы и режимы, но полностью устранить нельзя.
Мультипликативная помеха проявляется только при передаче
riii пилон,и действие ее заключается в многократном их усилении или
(юлаблеиии. Природа мультипликативной помехи состоит в случай-
ном изменении параметров канала связи. Например, суточное и
135
сезонное распространение коротких волн, фединг и пр. Действие
мультипликативной помехи характеризуется величиной
^(0 = ^(0.
где V — некоторый коэффициент, учитывающий изменение парамет-
ров канала связи.
Насколько флуктуации типичны для аддитивной помехи, настолько фединг —
для мультипликативной. При фединге сигнал, посланный передатчиком, достигает
антенны приемника, следуя одновременно по нескольким путям. В результате раз-
ности длин волн пришедших сигналов возникают разности фаз, и волны интерфери-
руют. А так как сами нуги представляют собой случайные образования, все время
изменяющиеся в зависимости от состояния атмосферы, то и интенсивность сигнала
меняется вплоть до исчезновения последнего. Бороться с федингом можно, увеличи-
вая число каналов. Тогда сигналы Можно складывать либо автоматически подключать
тот канал, в котором амплитуда сигнала в данный момент больше. Еще одним сред-
ством ^борьбы с федингом является разнос антенн. Процессы в двух фиксированных
точках) протекают тем более сходно, чем ближе эти точки друг к другу. Раздвигая
их, можно найти такси* наименьшее расстояние, на котором изменения напряженнос-
ти поля практически не коррелированы. Можно также разносить по частоте несущие.
Так как замирание, обусловленное интерференцией, зависит от фазовых соотношений,
то на другой частоте при тех же разностях ходов фазовые соотношения будут другими.
Перечисленные помехи называются внешними. Внутренние поме-
хи создаются приемно-передающей аппаратурой и устраняются как
конструктивными, так и схемными решениями. Например, экраниру-
ют реле, фильтры, ставят развязки цепей и т. д.
Система передачи информации А обычно считается более помехо-
устойчивой, чем система передачи информации В, если при одинако-
вом уровне помех и одинаковой мощности передаваемых сигналов
сигналы, принятые системой 4, будут больше соответствовать пере-
данным, чем сигналы, принятые системой В.
При анализе информационных систем различают помехоустойчи-
вость системы к ложным срабатываниям от помех в линии связи в тот
момент, когда информация не передается (статическая помехоустой-
чивость) и способность системы выделять полезные сигналы m шумов
(динамическая помехоустойчивость). Статическую помехоустойчи-
вость оценивают средним числом ложных сигналов, образуемых из
помех за единицу времени, а динамическую — средним числом ложных
команд, образуемых из переданных за единицу времени (включая
непринятые сигналы).
Статическую помехоустойчивость повышают увеличением коли-
чества импульсов на сообщение, усложнением кодов и увеличением
числа качественных признаков. Кроме того, иногда вводят специаль-
ную стартовую кодовую комбинацию, которая открывает вход при-
емного устройства на время, необходимое для принятия сообщения.
Стартовая комбинация обычно намного сложнее информационных ко-
дов. Динамическая помехоустойчивость увеличивается по мере уд-
линения элементарной посылки кода, упрощения кода и уменьшения
количества импульсов на сообщение.
Так как повышение статической помехоустойчивости обычно свя-
зано с увеличением количества символов в сообщении и усложнением
136
Кодов, то в общем случае можно сказать, что статическая помехоустой-
чивость повышается за счет увеличения избыточности. Чем больше
избыточность кода, тем, с одной стороны, легче отличить его от поме-
хи, но, с другой — чем дальше код стоит от безызбыточного, тем
меньше скорость передачи информации.
Проблемами повышения статической помехоустойчивости зани-
мается теория кодирования, основной задачей которой является раз-
мдЛ;работка методов кодирования и декодирования, позволяющих про-
1 -Л стейшим (из возможных) способом реализовать приемно-нередающую
аппаратуру.)Дело в том, что можно увеличивать надежность приема за
счет увеличения длины кодового блока. Но при декодировании по
ж ' оптимальному алгоритму (максимуму правдоподобия) сложность ап-
' ' паратуры увеличивается экспоненциально с ростом длины кодового
, блока. Отсюда и важность задачи разработки алгоритмов декодиро- <
вания, позволяющих декодировать мощные коды (содержащие такое
Ь большое число комбинаций, что к ним неприменимы алгоритмы по-
следовательного перебора).
К важнейшим успехам теории кодирования, достигнутым в этом *
направлений, можно отнести разработку:
а) алгоритмических методов декодирования линейных кодов [1,
6J;
б) пороговых (мажоритарных) методов декодирования непрерыв-
ных и блочных кодов [6, 24, 291;
в) вероятностных методов декодирования сверточных кодов [2,
16];
. г) обобщенных каскадных кодов [34].
Подробнее на этих вопросах мы остановимся ниже в этой главе, а
L также в гл. 15.
*** Эффективность информационной системы введена для оценки сте-
1 пени, целесообразности усложнения _кодов при получении заданной
помехоустойчивости: При одинаковой полосе частот и мощности на
? ЙВГббЩ'ёнйё более эффективной считается та система, которая передает
данное сообщение за более короткий промежуток времени. Из двух
[ запомнающих устройств с одинаковым числом ячеек более эффектив-
ным, является то, которое может хранить большее количество инфор-
мации и т. д.
Эффективность увеличивают преимущественно За счет уменьшения
I тбыточности сообщения. Целесообразным пределом уменьшения из-
пыючпости является тот момент, когда скорость передачи становится С
* ршнюй пропускной способности С. Дальнейшее уменьшение избыточ- 1 г
| нос in ((тли оно вообще возможно) приведет исключительно к потере >
j помехоустойчивости и не даст никакого выигрыша в скорости переда- £
1 чп сообщений. В некоторых случаях удается повысить эффективность,
нЛ уменьшая избыточности сообщений, например, когда символы в
* сообщении перавновероятны и имеют разные мощности. Эффектив-
ное и. при этом повышают за счет уменьшения средней жадности пере-
дами сообщений, распределяя вероятности отдельных символов таким
обри юм, чтобы наименьшую мощность имели символы с большей, а
наибольшую --с минимальной вероятностью появления в сообщении.
137
Совершенно очевидно, что повышение эффективности таким образом
не может увеличить помехоустойчивость системы, так как последняя
увеличилась бы именно в обратном случае, т. е. при передаче символов
с большей вероятностью сигналами большей мощности.
Для количественной оценки эффективности используют различные
параметры. Наиболее распространенными из них являются коэффи-
циент использования канала связи
(который показывает, насколько близка скорость передачи информа-
ции R к пропускной способности канала связи С) и коэффициент
передачи информации
где Н — скоросгь создания информации источником (<р имеет смысл
лишь при Н < С).
Надежносгь связана с помехоустойчивостью и эффективностью.
Действительно, увеличение эффективности ведет к уменьшению поме-
хоустойчивости. Нетрудно убедиться в том, что повышение помехо-
устойчивости и эффективности, которые зачастую приходится увели-
чивать за счет усложнения приемно-передающей аппаратуры, обычно
ведет к уменьшению надежности. Современные информационные сис-
темы, такие как системы космической связи, радиолокационные стан-
ции и даже простые районные АТС, состоят из сотен тысяч деталей
и узлов. Известно, что с увеличением количества деталей надеж-
ность устройства стремится к нулю независимо от надежности деталей.
В общем случае под надежностью информационной системы под-
разумевают ее способность к безотказной работе в течение определен-
ного отрезка времени.
При анализе надежности следует особо оговаривать надежность
передачи сообщений и надежность связи в целом. Надежность переда-
чи—вероятность правильной передачи при условиях правильной
работы аппаратуры, т. е. предполагается, что ошибки при передаче
сообщений обусловливаются исключительно шумами. Надежность
связи — вероятность правильного приема сообщений с учетом влия-
ний помех, вызванных случайными связями и общей ненадежностью
аппаратуры во время передачи сообщений Надежность связи ха-
рактеризует систему связи, тогда как иалежность передачи — лишь
способ кодирования. Надежность передачи вычисляется в среднем
на одно сообщение, а надежность связи--относительно заданного
отрезка времени.
Проблемы, возникающие при передаче информации по каналам
связи с помехами, ставят дополнительные требования к методам коди-
рования и способам организации систем передачи информации. На-
дежность передачи и надежность связи — взаимозависимые парамет-
ры. Увеличение числа символов и времени их передачи, повторение
138
целых сообщений, повышение мощности сигнала — все это ведет как
к защите полезной информации от помех, так и к усложнению и удо-
рожанию аппаратуры.
Усложнение аппаратуры ведет к увеличению количества отказов
из-за ненадежности ее работы. Поэтому надежность системы связи Q
определяется не только вероятностью рпр правильного приема, но и
вероятностью рап безотказной работы аппаратуры:
Q ™ (РпрРап)
Теоретически можно принимать сигналы при любом уровне помех
со сколь угодной точностью, но требуемую точность нужно определять
обязательно с учетом надежности аппаратуры и экономической целе-
сообразности затраченных средств.
Надежность системы связи можно увеличить, повысив надежность
приема отдельных символов. Этого можно добиться, например, за счет
увеличения мощности или длительности сигнала либо надежности
приема групп символов и целых сообщений, используя специальные
методы кодирования.
* 4 Увеличение надежности приема групп символов в результате
удлинения времени их передачи представляет большой интерес, так
как не требует повышения мощности передатчика. Для выделения
удлиненного сигнала в приемнике накопитель, интегратор и схема
сравнения должны быть построены таким образом, что если в канале
связи за время Т был передан один из равновероятных сигналов (t)
или U2 (I) и принят сигнал f (/), то при
т т
J [t/1 (0 - f (О)2 dt < J {U, (/) - f (О]2 dt (111)
о о
следует принятым считать сигнал U2 (/). Приемник, отличающий такие
сигналы, называется идеальным приемником Котельникова.
Выражение (111) является одним из основных выражений теории потенциальной
помехоустойчивости, разработанной академиком В. А. Котельниковым, который впер-
вые определил оптимальный приемник, как способ обработки непрерывных сигналов,
обеспечивающий наибольшую полную вероятность правильного приема. Работа Ко-
тельникова отличалась от подобных исследований в этой области тем, что элементы
решающих схем возникали не в результате инженерных проработок, а непосредствен-
но из уравнений, описывающих апостериорные плотности вероятности.
Из выражения (111) видно, что принятым считается сигнал, имею-
щий большую длительность.
Функциональная схема идеального приемника Котельникова пред-
ставлеиа на рис. 32. Генераторы Г} и Г2 в точности повторяют переда-
ваемые сигналы U1 и U2. Таким образом, в приемнике происходит
сравнение принятого сигнала с переданным. Решающая схема (схема
сравнения) Р отдает предпочтение тому сигналу, который к моменту^
сравнения имеет большую величину.
11дея выделения полезного сигнала из шумов при помощи прием
ника Котельникова заключается в том, что интегратор суммирует и
сигнал, и шум. С увеличением длительности сигнала выигрыш полу-
пи ,
чается за счет того, что значение помехи колеблется относительно ну-
левого уровня, а значение сигнала имеет постоянный знак относитель-
но нуля. Поэтому величина сигнала на интеграторе будет расти, а
составляющая помехи — падать, т, е. чем длиннее сигнал, тем лучше
его выделить, тем надежнее прием. В данном случае увеличение на-
дежности происходит ва счет удлинения времени передачи отдельных
посылок.
1 Еще одним методом увеличения надежности за счет увеличения вре-
мени передачи сообщения является метод Бодо — Бердана. Идея за-
Рис. 32. Функциональная схема идеа- Рис. 33. Триггер со счетным вхо-
льного приемника Котельникова: дом.
И •— интегратор; Кп — квадратор; В
вычитающее устройство.
О или 1. Преимущество имеют те посылки, которых больше. Эта идея
лежит в основе мажоритарного декодирования.
Предположим, качественный признак 1 — положительный им-
пульс. Система накапливает положительные импульсы. Передана
комбинация 10110. Утерянные в результате действия помех импульсы
восстанавливаются путем накопления:
10 100—1-я принятая комбинация;
10 010—2-я принятая комбинация;
00110 — 3-я принятая комбинация;
10 ПО — накопленная комбинация.
Как видим, накопленная комбинация аютветствугг переданной,
хотя ни одна из принятых не равна исходной.
Недостатком системы Бодо — Бердана является отсутствие защи-
ты от двусторонних переходов. Другими словами, такие системы мо-
гут применяться тогда, когда 0 может превращаться только в 1 или
1 только в 0.
хМетод не указывает в какой части кодового слова произошло иска-
кение. В случае полного исправления ошибки это не имеет значения,
но если ошибка не исправляется, то она и не обнаруживается.
Преимуществом метода Бодо — Бердана является простота его
технической реализации и возможность исправления всех единичных
ошибок. Метод также позволяет исправлять количество ошибок, бук-
вально равное длине кода, лишь бы ошибки не повторялись в одних
и тех же разрядах.
140
Для того чтобы исправить n-кратную ошибку в одном и том же
К азряде, необходимо повторить передаваемое сообщение (2n + 1) раз.
[ри 2п повторениях число «О» и «1» в каждом разряде накопленных
। комбинаций в самом худшем случае может только сравняться. Еще
одно повторение будет уже достаточным для исправления ошибки.
Следовательно, необходимое число повторений передаваемого со-
общения для исправления n-кратной ошибки в одном и том же разряде
N - 2п+ 1.
Например, передаваемая комбинация 0100101; п — 2; N ~ 2 х
X 2 + 1 - 5.
1 0 0 0 1 1 0
110 10 11
. Принятые комбинации <0 0 0 1 0 0 0
I 0 1 0 0 1 0 1
; 0 10 0 10 1
Накопленная комбинация 0 1 0 0 1 0 1.
Передаваемая комбинация 0 1 0 0 1 0 1;п = 3; # = 2- 34-1= 7.
1 0 0 0 1 1 0
1 1 1 1 О' 1 1
0 0 1 1 1 0 0
Принятые комбинации 0 1 0 0 1 0 1
0 1 0 0 0 1 1
1 0 1 0 0 0 1
0_ 1 0 1 1 0 0
Накопленная комбинация 0 1 0 0 1 0 1.
В рассмотренных методах увеличения надежности сообщений ис-
кусственная избыточность носила характер увеличения длительности
отдельных сигналов либо целых сообщений.
Другим примером искусственного введения избыточности может
служить система Сименс — Хелла, которая использует фототелеграф-
ный способ передачи букв. Для уяснения этого способа представим
себе светящееся табло с числом лампочек 100 X 100. На нем по всей
величине высвечивается буква в результате поджига определенной
группы ламп. Букву на таком табло можно прочитать, даже если не-
сколько лампочек не зажгутся. В настоящее время ведутся крупные
научно исследовательские работы по передаче газетных текстов фото-
телеграфным способом, при применении которого достоверность пе-
редачи обеспечивается за счет избыточности, природа которой ана-
логична избыточности рассмотренного выше светового табло.
В телемеханике для увеличения надежности передаваемых сообще-
ний широко применяют числовые защиты^ которые являются примером
141
наиболее часто используемого способа введения искусственной избы*
точности — увеличения числа символов передаваемого сообщения^
Например, если в том же пятизначном коде Бодо взять любую ко-
довую комбинацию, то всегда в ней будет либо четное число единиц,
либо четное число нулей. Если к кодовой комбинации 10000, ^соответ-
ствующей букве А, добавить 1, а к комбинации 00110,соответствующей
букве Б,— 0, то в обеих число нулей и единиц будет четным. При ис-
кажении любого одного символа в кодовой комбинации условие чет-
ности будет нарушено, и произойдет защитный отказ. Если ко всем
буквам кода Бодо добавить нули и единицы таким образом, чтобы в
полученных комбинациях число тех и других было четным, то полу-
чим код, обнаруживающий одну ошибку.
Проверка на четность физически очень легко реализуется. В про-
стейшем случа^для этого достаточно иметь один триггер со счетным
входом (рис. 33}. Если на общий вход подавать принимаемый код, то
с правого плеча длительный сигнал разрешения будет сниматься толь-
ко в случае нечетного количества входных импульсов.
Если тот же код Бодо разделить на коды, содержащие четное и не-
четное количество единиц, то получим два кода, обнаруживающие оди-
ночную ошибку.
Четное число единиц
Нечетное число единиц
00110 10010 10000 11001
00101 00011 01101 00100
01010 11011 10101 10011
10100 01111 OHIO 11111
НПО 10001 01000 01011
10111 11000 ною 00010
01100 11101 00010 00001
01001 00000 юно 11100
/' Следовательно, число комбинаций в коде, обнаруживающем ошиб-
ку, по сравнению с исходным уменьшилось вдвое. В полученных ко-
дах каждая комбинация отличается от любой другой нс меньше чем
двумя символами. Для обнаружения одиночной ошибки необходимо,
чтобы кодовые комбинации, представляющие элементы сообщения,
отличались как минимум в двух символах; коды без избыточности об-
наруживать, а тем более исправлять ошибки не могут.
Число добавочных символов для составления кодов с выявлением
ошибки^ /.
’ d = r+l,
где г — число обнаруживаемых ошибок.
Рассмотрим теперь код, исправляющий ошибку. Идея построения
такого кода наглядно иллюстрируется геометрической моделью трех-
значного двоичного кода на все сочетания, которая представляет со-
бой куб (см. рис. 23, г).
\ Каждой вершине куба присваивается кодовая комбинация по сле-
дующему принципу: если проекция вершины куба на ось равна нулю,
то ставится единица. При этом порядод проекции всегда должен быть
142
; адним и тем же. Так, если обозначить оси, как показано на рис. 23, а,
j’ to всегда первая проекция должна быть на первую ось, вторая — на
I Вторую, а третья — на третью, иначе в вершинах куба не получатся
I Правильные комбинации. Например, для точки S проекции на пер-
вую ось равна 1, на вторую — 0, на третью — 1. Точке S присваива-
ется кодовая комбинация 101.
Для каждой вершины куба имеются три вершины, которые отстоят
А от нее на один шаг (на расстоянии одного ребра куба), еще три верши-
ны, которые отстоят на два шага, и одна вершина — на три шага.ПРас4-^
стояние между ближайшими кодовыми комбинациями есть кодовое
t расстояние. Кодовое расстояние — параметр, характеризующий по-
мехоустойчивость кода и заложенную в нем избыточность. Кодовым
расстоянием определяются также корректирующие свойства кодов.
Если кодовое расстояние d = 1 (избыточность в коде отсутствует), то
не могут быть обнаружены даже единичные искажения, так как ис-
, каженная комбинация будет совпадать с одной из разрешенных. Если
’ d = 2, то такой код позволяет обнаруживать одиночные ошибки, так
как уже есть возможность сделать так, чтобы искаженная комбинация
не входила в число разрешенных.
По рис. 23, г легко определить кодовые комбинации, обнаружи-
вающие ошибку в комбинации 101 Они должны отличаться друг от
друга в двух символах, т. е. отстоять от точки S на два шага. Как
видно из рис. 23, г ими являются ООО, 011, 010 и 110. Для исправления
одиночной ошибки расстояние от точки S следует увеличить еще на
один шаг. Такая комбинация будет только одна — 010. Для трехмер-
ного куба корректирующие комбинации расположены на противопо-
ложных вершинах куба Это пары 000—111, 010—101, 001—ПО,
011—100. В литературе они встречаются под названием коды-спут-
ники.
Идея исправления ошибки в кодах-спутниках весьма проста.
Главное, чтобы при искажении любой комбинации не могла быть об-
разована соседняя рабочая комбинация. Процесс исправления ошиб-
ки заключается в том, что искаженная комбинация отождествляется с
ближайшей разрешенной. Например, если передавать буквы алфави-
। та, которым соответствуют следующие комбинации двоичного кода:
А — 00000, Б — 00111 и В — 11100, то при искажении любого одного
! знака легко определить, какая комбинация была передана, так как
каждая из них отличается друг от друга не меньше чем в трех симво-
лах (кодовое расстояние d 3).
Кодовое расстояние может быть увеличено не только за счет умень-
шения количества разрешенных комбинаций, но и за счет увеличения
количества качественных признаков при передаче данного набора
? комбинаций, так как искажение комбинации, при котором был по-
давлен один качественный признак, а на его месте появился другой,
рассматривается как двойное искажение.
Общее выражение для определения кодового расстояния в случае
одновременного обнаружения и исправления ошибок
d = г + s + 1,
143
где г — число обнаруживаемых ошибок; s — число исправляемых оши-
бок; d — количество элементов, в которых одна кодовая комбинация
отличается от другой.
Если требуется определить кодовое расстояние исходя только из
количества исправляемых ошибок, то применяют формулу
d == 2s + 1.
При построении реальных кодов перед разработчиками стоит зада-
ча определения числа добавочных, корректирующих символов пк,
исходя из числа информационных разрядов п„, либо из общей длины
кода п.
Для обнаружения и исправления одиночной ошибки соотношение
между числом информационных разрядов пи и числом корректирую-
щих разрядов пк должно удовлетворять следующим условиям:
\ 2"к>га+1;
При этом подразумевается, что общая длина кодовой комбинации
п = па + пк.
Для практических расчетов при определении числа контрольных раз-
рядов кодов с минимальным кодовым расстоянием d0 = 3 удобно поль-
зоваться выражениями, где цифра в индексе — число исправляемых
ошибок, в скобках — обнаруживаемых:
«Ki® = [log2(n + 1)], (112)
если известна длина полной кодовой комбинации п, и
Пк1(2) = Uoga ((«„ I" 1) + Hog2 (Пи + 1)]}], (113)
если при расчетах удобнее исходить из заданного числа информаци-
онных символов пи (квадратные скобки означают округление).
Для кодов, обнаруживающих все трехкратные ошибки (</0 = 4),
1 I' loga (/1-1- 1), (114)
ИЛИ
ЛК1(3>>1 + log2[(пи-ь 1) | loga(/i„ | 1)|. (115)
Для кодов длиной в п символов, исправляющих одну или две ошиб-
ки (d0*= 5),
nK? > log2 (Сп 4-4 1). (116)
Для практических расчетов можно пользоваться выражением
«к,= [loga. (117)
Для кодов, исправляющих три ошибки (d0 = 7),
ГI л® -j- 4- л 4~ 11 /it
= [loga ---——] • (! I8)
144
Для кодов, исправляющих S ошибок (d0 = 2S + 1),
+ 4" ••• + 1)<n*s <Z loga(Сп~.i -f-
+ с2Д7+ ••• +1). (П9)
Выражение слева известно как нижняя граница Хэмминга, а выра-
жение справа — как верхняя граница Варшамова — Гильберта.
ч Для приближенных расчетов можно пользоваться выражением
Г1 rf* 1 4- * * * 4~ 1 1 /1 ол\
log2 £1 J . (120}
Можно предположить, что значение пк будет приближаться к верх-
ней или нижней границе в зависимости от того, наскольк выражение
под знаком логарифма (120) приближается к целой степени двух. .
В заключение обзора общих средств и методов повышения надеж-
ности передачи информации рассмотрим системы с решающей об- б
ратной связью, которые нашли широкое применение в практике пере- z
дачи дискретной информации.
Системами передачи дискретной информации с решающей обратной,
связью (РОС) называют такие, в которых передатчик соединен с при-
емником прямым и обратным каналами связи и при передаче информа-
ции, кодированной избыточным кодом, используются сведения (по-
лученные из канала обратной связи) о качестве приема ранее передан-
ной информации.
При построении систем с РОС используются коды с исправлением
или обнаружением ошибок.
Для таких кодов были найдены верхние и нижние границы вероят-
ностей необнаруженных ошибок, разработаны различные алгоритмы
функционирования систем с решающей и информационной обратной
связью, предложены универсальные методы кодирования, обеспечи-
вающие требуемые характеристики для произвольных дискретных ка-
налов связи. Наибольшее применение находят коды с обнаружением
ошибок, характеризуемые относительно простой реализацией опера-
ции кодирования и декодирования, высокой кодовой скоростью R
(которая характеризуется отношением части кода k, несущей полез-
k \
ную информацию, к общей его длине R ~ — I и малой Зависимостью
вероятности необнаруженной ошибки от качества исходного дискрет-
ного канала/ Поэтому системы РОС с обнаруживающими ошибки ко-
дами получили в настоящее время наибольшее практическое приме-
нение для передачи данных по дуплексным (двусторонним) каналам
связи (ДКС).
Дуплексный дискретный канал ДКС между пунктами А и Б обес-
печивает возможность передачи информации в обоих направлениях.
Причем по каналу передачи А Б передается информация из А в Б
и сигналы обратной связи о результатах приема информации по каналу
встречного направления Б А и наоборот.
145
Единицей информационного обмена в таких системах является ко-
довый блок, имеющий длину п двоичных символов (рис. 34, а), из кото-
рых пк символов образуют проверочную область, I — служебную об-
ласть и п — I — п* = пи информационную область. Информацион-
ная последовательность, подлежащая передаче, заполняет пи разрядов
информационной области. В служебную область записывают сигналы
обратной связи о качестве приема соответств ющего блока противопо-
ложного направления передачи, а также другая служебная информа-
ция, вид которой зависит от конкретного используемого алгоритма
Рис. 34. Система передачи информации с решающей обратной связью (РОС):
а — структура кодового блока; б — типовая структура системы.
обмена. Совокупность из k ~ п — пк символов (служебная и инфор-
мационная области) подвергаются кодированию с помощью (и, 6)-кода.
В результате формируется проверочная область, являющаяся функ-
цией k символов информационной и служебной области. Подученный
кодовый блок передается по дискретному каналу связи, одновременно
он запоминается в накопителе передающей стороны и хранится до
получения по обратному каналу сигнала о правильном приеме этого
блока (рис. 34, б). Принятый кодовый блок подвергайся декодирова-
нию. Если используется (и, &)-код с обнаружением ошибок, то воз-
можно три исхода декодирования: фиксация правильного приема
неискаженного в канале кодового блока, обнаружение ошибки и не-
обнаружение ошибки в искаженном блоке. 11осле обнаружения ошиб-
ки в служебную область блока, передаваемого в обратном направле-
нии, вносится сигнал «запрос» для повторения блока, принятого а
обнаруженной ошибкой. *
« При фиксации правильного приема информация из информацион-
ной области поступает на выход системы через выходной накопитель
и поступает потребителю, а сигналы из служебной области исполь-
зуются для управления алгоритмов обмена информацией.
Известны различные алгоритмы обмена информацией в системах
с РОС. При построении таких алгоритмов существенным является то,
446
что после передачи очередного кодового блока с номером I в направле-
нии А Б проходит некоторое время, часто достаточное для передачи
Нескольких h других блоков, пока по обратному каналу Б А по-
ступит сигнал обратной связи о подтверждении правильности блока
\ i или о необходимости его повторения из-за обнаружения ошибки
на стороне Б. Простейшие алгоритмы ждут приема обратной связи
, , на каждый блок, не заполняя полученные временные интервалы, что
снижает эффективную скорость передачи, или предполагают повторе-
ние не только блока с обнаруженной ошибкой, но и й, следующих за
ним. Более совершенные алгоритмы предполагают накапливание тех
из h блоков, которые приняты правильно после блока с обнаруженной
ошибкой, и запрос определенных кодовых блоков. В последнем слу-
чае все кодовые блоки нумеруются по модулю числа Л4, которое всег-
да превышает величину й, а в служебной области кодового блока пере-
дается циклический номер передаваемого блока, а также циклический
номер запрашиваемого блока встречного направления передачи (об-
ратный циклический номер).
Для оценки влияния выбранной длины кодового блока п на ско-
рость передачи в системе РОС при заданном качестве ДКС восполь-
зуемся соотношением
где й/п — кодовая скорость (п, й)-кода; — вероятность стирания
Принятого блока с обнаруженной ошибкой.
Из соотношения видно наличие следующего противоречия. При
выбранной, исходя из заданной вероятности необнаруженной ошибки,
величине избыточности nk = п — k для увеличения кодовой скорости
следует увеличивать длину блока п, однако при этом растет вероят-
ность искажения в канале кодовой последовательности длины п.
Поэтому для конкретного ДКС существует оптимальная длина блока
п, максимизирующая скорость передачи при выбранной избыточности
кода и данном алгоритме обмена. В зависимости от вероятности иска-
жения двоичного элемента pQ в ДКС оптимальные величины имеют
следующие значения:
Р„ 1(Г2 10~3 кг4
л<ч1т 40...70 200. ..300 600. .1000
Наиболее распространенными избыточными кодами, применяемы-
ми в системах с РОС, являются циклические (см. гл. 15).
Системы с РОС нашли широкое применение в информационных
системах, использующих для передачи дискретной информации теле-
фонные и тело рафные каналы связи, причем среди практиков-эксплу-
атационщиков, работающих в области передачи дискретной информа-
ции, широко распространено мнение, что системы РОС гораздо ра-
циональнее применять для передачи информации в канале связи е
; Помехами, чем заниматься исправлением ошибок.
147
Более того, существовало мнение, что использование систем с об-
ратной связью полностью решает проблему надежной связи по любым
каналам и исключает необходимость в помехоустойчивом кодирова-
нии. Но, с одной стороны, далеко не все каналы имеют обратную
связьс другой — при наличии обратной связи могут возникнуть не-
допустимо большие задержки в передаче сообщений от источника к
адресату. Кроме того, отказ от исправления ошибок часто приводит
к неэффективному использованию потенциальных возможностей пря-
мого и обратного каналов. Известно, что в биномиальном канале систе-
мы с обратной связью перестают работать при большой вероятности
ошибки элемента (при р Ю~2), а именно при таких значениях ве-
роятности практически можно обеспечить значительную скорость пе-
редачи сообщений.
Универсальным решением проблемы, очевидно, было бы сочетание
прогрессивных методов коррекции ошибок с РОС. Однако следует
яомнить, что универсальность — вещь хорошая, но за нее часто при-
ходится дорого платить.
> Корректирующие возможности кодов, исправляющих ошибки, как
правило, находятся в прямо пропорциональной зависимости от числа
корректирующих разрядов. Увеличение числа корректирующих раз-
рядов на данное число информационных ведет к увеличению избыточ-
ности, а последнее — к усложнению приемно-передаюшей аппара-
туры. Усложпепи ’ аппаратуры ведет к уменьшению ее надежности,
увеличению стоимости, i . е. к уменьшению эффективности. Как ви-
дим, задачи помехоустойчивости, эффективности и надежности — вза-
имосвязанные и решать их надо в комплексе. Для успешного их реше-
ния при создании ип(|юрмационных систем исследователь должен
знать надежность отдельных узлов, чтобы можно было определить
надежность аппаратуры в целом. Инженер, составляющий техниче-
ские условия, должен сформулировать требования к надежности, ис-
ходя из техники производства и условий использования аппаратуры.
Конструктор должен выбрать решения, обеспечивающие надежность
работы аппаратуры. Найденные решения должны быть взаимоувязаны
и оптимизированы по выбранному основному критерию, так как осу-
ществить одновременно требование максимальной помехоустойчиво-
сти, эффективности и надежности — невозможно.
Закапчивая обсуждение общетеоретических вопросов, связанных
с надежностью информационных систем, выделим дополнительные
факт^ы, приводящие к уменьшению надежности:
1) необоснованность технических требований, выходящих за пре-
делы реальных возможностей;
2) неправильный выбор метода кодирования и канала связи;
3) плохое проектирование, неверное применение элементов;
4) сложность аппаратуры, приводящая к перегрузке схем и об-
служивающего персонала;
5) стремление к сверхуниверсалыюсти;
6) отсутствие комплексного проектирования;
7) приобретение некачественных материалов по пониженным ценам;
8) чрезмерное увлечение рационализацией (особенно в условиях
148
Кассового производства) в части замены более дорогих, предусмот-
ренных технрлогией элементов и материалов, на более дешевые, но
менее надежные;
9) слабая обученность обслуживающего персонала.
Выв оды: 1. Достоверность передаваемой информации во многом
зависит от того, насколько приемно-передающая аппаратура обес-
печивает устойчивость к аппаратурным, промышленным и атмосфер-
ным помехам.
2. Надежность передачи информации может быть увеличена за
счет увеличения мощности сигнала, длительности передачи сообщения,
полосы частот, применения корректирующих кодов, систем с решаю-
щей обратной связью.
3. Чем сложнее код, тем выше его статическая и ниже динамиче-
ская помехоустойчивость. И наоборот, чем проще код, тем легче его
принять и тем легче он может быть набран из помех. Более слож-
ные коды, как правило, требуют более сложной приемно-передающей
аппаратуры, но, чем больше элементов содержится в аппаратуре,
тем ниже надежность ее работы
4. Помехоустойчивость, эффективность и надежность системы
передачи информации — понятия взаимосвязанные. Увеличение поме-
хоустойчивости и эффективности может привести к уменьшению
надежности. Если надежность и помехоустойчивость увеличивать
за счет усложнения схемы и повышения мощности либо расширения
полосы частот, а не за счет применения прогрессивных научных откры-
тий, то в результате этого эффективность снижается.
\ Глава 14
ПРОПУСКНАЯ СПОСОБНОСТЬ
ДИСКРЕТНОГО КАНАЛА СВЯЗИ.
ТЕОРЕМЫ ШЕННОНА
О КОДИРОВАНИИ В ПРИСУТСТВИИ
ШУМОВ
Кроме понятий энтропии, количества информации
и избыточности, для характеристики системы передачи информации
необходимо иметь представление о том, какое количество информации
может быть передано за данный промежуток времени по данному
каналу связи, т. е. о его пропускной способности. Например, если бы
троллейбусы были всегда одинаково загружены, всегда попадали на
зеленый свет, при езде им не мешал ни гололед, ни аварии, то коли-
чество пассажиров, перевезенное за единицу времени, скажем за
квартал пли за год, и было бы пропускной способностью данного
маршрута.
Пропускная способность канала связи С характеризует его потен-
циальные возможности и определяется максимальной скоростью пе-
редачи информации. Скорость передачи информации R определяется
средним количеством информации, переданной за единицу времени
(бит/с).
149
Так как энтропия представляет собой количество информации на
символ сообщения, то безотносительно конкретного источника сооб-
щений скорость передачи информации в случае отсутствия потерь в
канале связи и однозначного кодирования
/?=4> v <121>
где т — время передачи одного символа; Н — энтропия источника
сообщений.
Для простейшего случая (отсутствуют помехи, символы сообщения
равной длительности, равной вероятности и взаимонезависимы, т. е.
Н = log2 т) скорость передачи информации
R = 4 log2 т (122)
прямо пропорциональна энтропии источника сообщений и обратно
пропорциональна длительности элементарного символа. Увеличение
R в этом случае следует искать за счет уменьшения длительности эле-
ментарного символа.
В случае неравновероятных символов равной длительности
*
1 / т \
^' = 4- . (123)
т \ м /
В случае ^равновероятных символов неравной длительности
1 / m \
- -ST----- - 2 Pi log. Pi . (124)
1 xPi ' ’
При этом, увеличение R может быть получено за счет того, что им-
пульсы меньшей длительности будут появляться чаще. Однако боль-
шого разноса вероятностей появления символов следует избегать.
Вспомним свойство произведения — log р, (см. рис*. 10). Как видно
из рис. 10 максимальное значение - - />, log /?, будет при 0,36 <Z pi <
< 0,37. При большом разносе вероятностей значения слагаемых в вы-
ражениях (123) и (124) будут малы, и увеличение скорости может не
полупиться.
Таким образом, в случае неравиовероягных символов неравной
длительности увеличить скорость передачи нн(|к)рмацииможно за счет
более равномерной информационной нагрузки на символ, что экви-
валентно увеличению энтропии, потому »но с ростом энтропии растет
информационная нагрузка на символ, за то же время снимается боль-
шая неопределенность, т. е. получится большее количество информа-
ции, а это равносильно увеличению скорости передачи информации.
Но энтропия данного источника есть величина неизменная, незави-
симая от способа передачи информации. Поэтому правильнее говорить,
что потенциально большее количество информации может быть полу-
150
учено от источников с большей энтропией. Убедимся в этом на следую-
'щем примере.
Пример 26. Пусть сообщение передается в двоичном коде (т ~ 2). Время пере-
дачи нуля — т0 = 1 с, а единицы г, — 5 с.
Р е ш е н и е: а) Символы равновероятны и независимы:
/7 1оц., 2 1
«=^=^Х+^)---°’33бит/с:
б) р0 = 0,37, р, = 0,63,
₽ =
тср
— У P,.log2pf
£1 „ - (0,37 1о?2 0,37+ 0,63 log2 0,63) ~п<,76афЛ>,
0,63 • 5 + 0,37 -1 ’ '
в) р0 = 0,2,
2 у,
Pi = 0,8,
Н, - (0,8 loga0,8-|-0,2 log20,2)
R = — = 0.4 бит/с;
0,8 • 1 0,2 • 5
г) р0 = 0,02, Pi = 0,98,
Н3 -(0.98 1<и-2 0,98 + 0,02 log2 0,02)
т — 0,98 • I + 0,02 • 5 ~0,14бит/с.
ср
Таким образом, максимальная скорость передачи информации до-
стигается при некотором среднем распределении вероятностей отдель-
ных символов, т. о. при 0,2 < pt < 0,6. Это объясняется тем, что
именно в этой области энтропия максимальна.
Рассмотрим пропускную способность для передачи сообщений по
дискретному каналу связи без шумов. Напомним, что дискретный
канал связи приспособлен для передачи конечного ряда элементарных
символов Alt Д2, ..., Ап с конечными длительностями /2, •••, tn-
Символы Дь /12, Ап между собой независимы, корреляция между
ними отсутствует, их физическая природа может быть произвольной.
Предположим, что требуется передать W сообщений с элементами
длительностью т, например передать при помощи телетайпа N букв
в коде Бодо. Известно, что каждая буква кода Бодо состоит из пяти
"символов двоичного кода (из пяти нулей и единиц, скомбинированных
определенным образом). Если каждую букву передавать за 1 с, то в
идеальном случае канал связи будет пропускать информацию со ско-
ростью 5 бит/с. Это будет пропускная способность данного канала
связи, что следует из ее определения как максимальной скорости
передачи информации (канал связи не может передавать информацию
со скоростью, большей, чем ее вырабатывает объект). Так как макси-
мальная скорость передачи информации возможна при максимальной
величине энтропии, то
Ятах = (125)
где Т — длительность сообщения; /?тах достигается при равновероят-
ных и взаимонезависимых символах алфавита в передаваемых сообще-
ниях.
151
При неравновероятных символах алфавита скорость передачи ин-
формации приближается к пропускной способности по мере удлине-
ния сообщения,*' так как в этом случае уменьшается взаимозависи-
мость символов и уравниваются шансы появления в сообщении сим-
волов с разными вероятностями. В бесконечно длинных сообщениях
будет реализоваться оптимальное распределение символов алфавита.
Тогда для сообщения из п символов
т
— Pil°SPi
п 1: f=i nlogm 1 1 _
= lim------------------- —; := — log т.
Л~>ОО ^1 V
«2 pj
л-=1
В случае двоичного кода пропускная способность
Q __ 1
Т Т
Если обозначить источник сообщений — Л, кодированный и моду-
лированный сигнал на входе канала связи — X, сигнал на входе при-
емника — У, то в общем виде
С — max {I(Y, X)},
где /(У, X) - lim !№). .
Т~юо Т
Согласование источника информации с каналом связи возможно лишь
при условии
7(Л)<С.
Л. Бриллюэн показал, что оптимальное распределение символов
алфавита сообщений конечной длительности должны удовлетворять
равенству
гп
где Р определяется соотношением 1; ту - длительность
i ।
z-ro символа.
Эти соотношения позволяют по данным длительностям символов
определить оптимальное распределение вероятностей. Так, для приме-
ра 26 такими значениями вероятностей будут щ j 0,775 и р0 — 0,225.
При этом
R = - - ~(°'7г5Х’7?+1)^'?,°'г251- " °'42 б"«-
1=1
I
Следует отметить, что на практике гораздо больший интерес представ-
ляет обратная задача: определение необходимой длительности симво-
лов по данным вероятностям. Потому что говорить об увеличении энт-
152
ропии можно только в том случае, когда вероятности появления сим-
волов на выходе источника сообщений зависят от разработчиков си-
' стемы передачи информации. Например, разработчик знает, что в дан-
ном канале связи одни качественные признаки проходят лучше, дру-
гие — хуже и, соответственно, меняет частоту, а следовательно, и
вероятность их появления на выходе источника сообщений. Но, как
уже отмечалось выше, энтропия первичного алфавита — величина не-
зависимая от разработчика и рассуждения об увеличении скорости
передачи за счет энтропии в этом случае представляют только теорети-
ческий интерес, тогда как оптимизация длительности сообщений по
заданным вероятностям задача вполне конкретная и, практически,
всегда выполнимая.
Необходимо также обратить внимание на то, что термин скорость
передачи информации не следует путать с термином скорость переда-
чи сигналов. Скорость передачи сигналов определяется количеством
элементарных посылок во вторичном алфавите на выходе источника
сообщений в единицу времени и зависит от быстродействия приемно-
’ передающей аппаратуры. Скорость передачи информации определяет-
мя статистическими характеристиками символов первичного алфавита
•’ еще до того, как они поступают на передатчик и зависит от энтропии
д источника сообщений. Например, если сообщения передавать, комби-
нируя пять равновероятных и взаимонезависимых качественных при-
# знаков (mt = 5) при длительности элементарной посылки 20 мс, то
* скорость передачи сигналов
V = — = -тАа" = 50 символов/с,
Т U, UZ
( а скорость передачи информации
Я = — = .logi! m = -I’l2- = 116 бит/C
, A т т 0,02 0,02 и ' 1
> Эффективность системы кодирования может быть оценена отноше-
! нием действительной скорости передачи к пропускной способности
канала связи. Так как при равных длительностях элементарных сим-
, волов скорость передачи информации будет зависеть от энтропии ис-
точника сообщений Н (Л), то эффективность системы кодирования
может быть оценена отношеньем действительной энтропии Н (Л) к мак-
симально ВОЗМОЖНОЙ энтропии Н (Л)тах
„ Н(А)
026)
' Следует уточнить, что подразумевается под системой кодирования,
так как кодирование применяется и в том случае, когда сообщение
имеет «нетранспортабельную» форму (требуется преобразование ка-
'/ чественных признаков первичного алфавита, модуляция...) и для по-
i вышения помехоустойчивости кода, и для согласования источника
f сообщений с каналом связи, т. е. для того, чтобы приблизить энтропию
сообщения к емкости канала связи.
L
£ 153
I
Именно для последнего случая и подходит оценка (126). При этом
емкостью канала связи считают максимальную скорость передачи
информации от данного источника по данному каналу.
Емкость канала связи определяется числом качественных призна-
ков данного вида, которые могут быть переданы за единицу времени
по данному каналу связи
C' = nlog2/w2 бит/с,
где т2 — число качественных признаков вторичного алфавита; п — чис-
ло качественных признаков, которое может быть передано за секунду.
Например, в случае амплитудной модуляции т2 есть число различ-
ных амплитуд, а n-общее число дискретных посылок на выходе источ-
Рис. 35. Амплитудно-модулирован-
ные дискретные посылки.
ника за единицу времени (рис. 35).
Емкость канала связи определя-
ется путем нахождения средней час-
тоты появления качественных призна-
ков т2.
Относительно вторичного алфавита
емкость канала связи может быть оце-
нена через среднюю длину кодового
слова во вторичном алфавите
О т/ср,
где т — время передачи одного сим-
вола, с
Выражение (126) может характеризовать эффективность кодирова-
ния только с точки зрения «подтягивания» энтропии кодируемых сим-
волов до Ятах. Согласование же источника сообщений с каналом свя-
зи подразумевает такое преобразование символов первичного алфа-
вита А {аь а2, ...» ап1{] в символы вторичного алфавита, в результате
которого емкость канала связи приближается к энтропии данного ис-
точника сообщений. При этом эффективность кодирования Q' оцени-
вается фактически отношением энтропии первичного алфавитами сред-
ней длине кодового слова во вторичном алфавите
О'= "±1L,
• P(mt)
т. е. коэффициентом относительной эффективности (105).
Пример 27. Символы первичного алфавита mt встречаются в сообщениях со
следующими вероятностями: А—0,09; Б—0,17; В — 0,41; Г — 0,08; Д — 0,05;
Е — 0,06; Ж —0,4; 3 — 0,04.
Определить э<]х|)ективность кодирования при согласовании источника сообщений
С каналом связи для случаев:
1) каждому качественному признаку первичного алфавита соответствует ка-
чественный признак вторичного алфавита, который появляется на входе канала свя-
зи каждую секунду;
2) вторичный алфавит — двоичный. Нули и единицы появляются со скоростью
1 бит/с; кодирование по методу Шеннона — Фано;
3) те же условия, что и п. 2, но кодирование по методу Хаффмена.
154
Решение:
1. Эффективность кодирования
Н
Ql — N
loga Wi У р{1(
— (0,09 log2 0.09 + 0,17 log2 0,17+ +0,04 log, 0,04)
"= log2 8 (0,09 + 0,17 + 0,41 + 0,08 + 0,05 + 0,06 + 0,1 + 0,04) ”
2,543
2. Эффективность кодирования
онк Pill
в— 0,41 0 0 0,82
Б — 0,17 0 1 0,34
Ж— 0,1 1 0 0 0,3
А —0,09 1 0 1 °’27 Q; = 2i543_= 0,959.
Г — 0,08 110 0 0,32 2 2,65
Е — 0,06 110 1 0,24
Д—0,05 1110 0,2
3 — 0,04 1111 0,16
2д.+ = 2,65 i
8. Эффективность кодирования
z ОНК р^1
В — 0,41 1 0,41
Б—0,17 . Iе 0 1 1 0,51
ж-0.1 /\Л 0 0 1 0,3
А — 0,09 /X X 0 10 1 0,36
Г — 0,08 0 0 0 1 0,32
Е — 0,06 \о% 0 0 0 0 0,24
Д-0.05 0 1 0 0 I 0,25
3 — 0,04 х 0 1 0 0 0 0,2
2рЛ=2,59
i
2,543 a qqi
При отсутствии помех пропускная способность ограничивается
частотными характеристиками отдельных элементов канала связи,
। разрешающей способностью цифропечатающих аппаратов, инерцион-
ностью реле. В общем случае пропускная способность системы передачи
информации при отсутствии помех определяется быстродействием
аппаратуры приемно-передающего тракта.
155
Скорость передачи информации при отсутствии помех может быть выражена
через условную энтропию вида Н (AJA2 ... Ат), если известны не только вероятности
появления символов первичного алфавита, но и взаимозависимость между буквами
=3 Н (A-jAb . . . Ат)
т
При наличии помех скорость передачи информации пропорционально умень-
шается на величину, описываемую также условной энтропией вида И (BlA), но ве-
роятности при этом будут другие, так как в первом случае имеются в виду статисти-
ческие характеристики первичного алфавита, а во втором случае — статистические
характеристики канала связи. При этом в (127) вместо И (Л) должна стоять условная
энтропия, учитывающая неравповероятность и взаимозависимость символов первич-
ного алфавита. Условие симметрии при этом, естественно, сохраняется.
Наличие помех приводит к неоднозначности между входными и
выходными сигналами. Соответствие определенных значений принятых
сигналов определенным значениям передаваемых предполагается с раз-
личными степенями вероятности. Наличие помех увеличивает неодно-
значность, уменьшает количество принимаемой информации, а умень-
шение количества информации за единицу времени есть уменьшение
пропускной способности. Таким образом помехи уменьшают пропуск-
ную способность канала связи.
Количество недостающей информации в сигнале, т. е. неопределен-
ность того, какой из сигналов at источника сообщений А был передан,
когда на выходе капала связи принят сигнал &/, является характери-
стикой влияния помех и равна условной энтропии Н (А/В).
Пропускная способность канала связи при наличии помех опреде-
ляется как максимум по всем возможным ансамблям передаваемых
сигналов
Сп . max 4- И) — н
Г>(Л) 1
а скорость передачи информации по зашумленному каналу связи —
как произведение количества принятых знаков на разность энтропии
источника сообщения и условной энтропии источника сообщений от-
носительно принятого сигнала:
Яп = k\U (А) — Н (А/В)]. (127)
Используя формулы, характеризующие свойства условной энтро-
пии и энтропии объединения, выражение (127) можно представить в
^различных формах:
7?п = k [Н (А) — Н {А/В)] = /г | // (В) - II (В/А)] =
= k {Н (А) + Ц (В) — //(А, В)]. (128)
Первое выражение представляет 7?п как разность передаваемой в се-
кунду информации и неопределенности передаваемой информации от-
носительно принятой, второе — как меру принятой информации за
вычетом информации, пораженной шумами, а третье — как сумму
переданной и принятой информации минус количество информации,
обусловленное энтропией совместных событий (имеется в виду энтро-
пия объединения Н (Л, В)).
156
Как видим, и в этом случае проявляется свойство симметричное иг
информации, позволяющее характеризовать систему передачи ин(|><>р
мации как со стороны источника, так и со стороны адресата, определяй
во всех случаях степень соответствия переданных и принятых сш ил
лов.
Пример 28. Определить скорость передачи по каналу связи с шумами для < и
стем А и В, если известны безусловные вероятности появления сигналов па выхо/м
системы А : р (aj = 0,1, р (а2) ~ 0,4, р (а3) = 0,5 и следующая матрица условным
вероятностей
1 0 0
Р (b/а) = 0,25 0,75 0
0 0,2 0,8
известно также, что каждый символ сообщений, циркулирующих между сигчрмлмй,
вырабатывается за 0,1 с.
Решение: 1) Находим значение вероятностей совместных событий и cijioiiw
матрицу вероятностей для объединенной системы АВ:
P(alt Ьг) = Р («1) P(6i/ai) = = 0,1 • 1 =0,1;
р{а3, Ьг) = Р («г) Р (b-iM = = 0,4.0,25 = 0,1
Р{а3, bi) = Р (а3) р (Ьг/аз) = = 0,5 • 0 = 0;
Р (О1, Ь2) = Р («О Р (Ь3/аг) = = 0,1 -0 = 0;
Р («2, М = Р 02) р (Ь2/а3) = = 0,4 • 0,74 = 0,3;
Р (а3, Ь3) = Р (а3) Р (bz/aj = = 0,5 • 0,2 = 0,1;
Р («ь Ь3) —— Р Oh) Р (Ь3/аг) = = 0,1 • 0 = 0;
Р (а2> &з) = Р («2) Р (Ь3/а2) = = 0,4 • 0 = 0;
Р(а3. йз) = Р (аз) Р (Ь3/а3) = = 0,5 • 0,8 = 0,4;
0,1 0 0 p(a-t) = 0,1
Р(а, Ь) -- 0,1 0,3 0 р (а2) = 0,4
0 0,1 0,4 р(а3) = 0,5
2 Р = 1 i
2) Безусловные вероятности появления сигналов на выходе системы В находки
путем суммирования «столбцов» полученной матрицы р (Ьг) = 0,2, р (Ь2) 0,4,
Р (Ь3) = 0,4.
3) Находим условные вероятности вида р (cub) и строим соответствующую
матрицу условных вероятностей
р = Р (bi, Д1) • Р (bi) = 0,1 : 0,2 = 0,5;
Р (<h/bz) = Р (Ь2, аг) : р (Ь2) = 0 : 0,4 = 0;
Р ((h/Ьз) = Р (ьз, Я1) : Р (Ьз) = 0 : 0,4 = 0;
Р (az/bi) == Р (Ьъ а2) : р (Ьъ) =0,1 : 0,2 — 0,5;
Р (a2/b2) = р (Ь2, а2) : р (Ь2) = 0,3 : 0,4 = 0,75;
Р (а2/Ь3) = Р (Ьз, Яг) : Р (Ьз) = 0 : 0,4 = 0;
Р (a3/bi) = р (Ьъ а3) : р (Ьг) = 0,5 : 0,2 = 0;
Р (а3/Ь2) = Р (Ь2, а3) ' Р (Ь2) = 0,1 : 0,4 = 0,25;
Р (a3/b3) = р (Ь3, а3) : р (Ь3) = 0,4 : 0,4 = 1;
Р (alb) =
0,5
0,5
0
о,
0,75
0,25
0
о
1
4) Безусловные энтропии
Н (Л) = — (0,1 loga 0,1 + ОД Iog2 0.4 4- 0,5 log2 0,5) =
= 0,332 + 0,528 + 0,5 = 1,36 бит/символ;
н (В) = — (0,2 loga 0,2 + 2 • ОД log» ОД) « 0,464 + 2 • 0,528 = 1,520 бит/символ.
5) Условные энтропии
Н (А/В) = — 2 2 р 1о§2 Р = — 1°.2 (°-5 1о& °>5) +
i /
+ ОД (0,75 loga 0,75 + 0,25 loga 0,25)] = 0,3244 -f- 0,2 = 0,5244 бит/символ$
«ши Н (BlА) =э Р («/) Р (bj/a{) log, р (bj/ai) =
\ ' 1
= — [0,1 (1 log, 1) + 0,4 (0,75 log, 0,75 + 0,25 log, 0,25) +
+ 0,5 (0,8 log2 0,8 4- 0,2 log2 0,2)] == 0,3244 + 0,3610 = 0,6854 бит/символ.
6) Пропускная способность
Яп = Ю [Н (Л) — Н (А/В)} = 10 • (1,36 — 0,524) ~ 8,3 тит/с,
Rn = 10 [ /7 (В) — Н (В/А)] = 10 • (1,520 — 0,682) ~ 8,3 бит/с.
Если проанализировать выражение (128), то нетрудно заметить,
что чем больше значения энтропий Н (Л) и Н (В), тем больше про-
пускная способность. Сами же энтропии Н (Д) и Н (В), в свою очередь,
зависят от значений априорных вероятностей появления символов на
входе канала связи и достигают максимальной величины при равно-
вероятном распределении символов. Таким образом, максимальная
пропускная способность достигается при равномерном распределении
вероятностей появления символов на входе канала связи. Это утверж-
дение не справедливо лишь для случая, когда в результате эксплуата-
ции канала связи установлено, что помехи поражают одни символы
сильнее, чем другие.
Такие случаи редки, но возможны. Например, наличие постоянной
помехи на одной из частот при передаче сигналов с частотными качест-
венными признаками. Тогда, естественно, сигналы, которые чаще по-
ражаются помехами, следует использовать реже.
Выигрыш в значениях пропускной способности в выражении (128)
может быть достигнут за счет уменьшения членов И (Л/В) и Н (В/А),
которые как раз и характеризуют степень влияния помех на скорость
передачи информации. Если р (A/В) = 0, то Н (Л/В) * 0 и /7 (Д, В) =
= 0. Пропускная скорость передачи при этом равна произведению эн-
тропии истовника сообщений на количество переданных знаков, т. е.
равна скорости передачи канала связи при отсутствии шумов.
^'Рассмотрим подробнее соотношения в канале связи с шумами.
При этом обозначим: А — ансамбль передаваемых сообщений; В —
ансамбль принимаемых сообщений; Н (Л) — энтропия источника со-
общений (неопределенность того, какой символ будет передан); Н (В) —
неопределенность того, какой символ будет принят от данного источ-
ника сообщений по данному каналу связи; Н (В/А) — условная эн-
тропия, характеризующая степень неопределенности того, что было
принято В, если передано Д; Н (А/В) — неопределенность того, что
158
Рис. 36. Веер высоковероятност-
ных последовательностей пере-
даваемых и принимаемых сигна-
лов.
было передано Л, если принято В; Я (Л, В) — неопределенность на
пару символов; Т — длительность сообщения (время использования
канала связи); п — количество символов в сообщении за единицу
времени; и TH (Л) — общее число переданных двоичных символов за
время Т\ 2пТН(А) — приблизительное число высоковероятностных
последовательностей передаваемых сигналов; 2пТН{В) — приблизитель-
ное число высоковероятностных последовательностей принимаемых
сигналов; 2пТН(А/В) — приблизительное число высоковероятностных по-
следовательностей передаваемых сигна-
лов а, которые могут привести к приему
сигнала 6; 2пТН{В/А) — приблизительное
число высоковероятностных последовате-
льностей принимаемых сигналов Ь, кото-
рые могут быть получены в результате
передачи сигнала а.
, Предположим, при передаче сигнала
мы должны были получить сигнал &/.
В результате действия помех может быть
получен какой-то другой сигнал. Если
проделать много опытов, то получим
группу сигналов, условно изображен-
ных на рис. 36 в виде веера. Естествен-
но предполагать, что сигналы мало от-
личаются от bj, чаще встречаются, чем
сигналы, резко отличающиеся от bj. На-
пример, была передана кодовая комби-
нация 01011. В результате действия помёх может исказиться один иэ
символов, тогда получим
поп ]
00011 I
ОПП- } S.
01001
01010 I
Вероятность того, что одновременно два символа исказятся таким
образом, что две единицы будут приняты как два нуля, уже меньше.
И совсем маловероятно, хотя теоретически допустимо, что все знаки
будут приняты как противоположные. Поэтому группа кодовых ком-
бинаций N может быть отнесена к высоковероятностным последова-
тельностям принимаемых сигналов при передаче сигнала 01011, а
кодовая комбинация 10100 — к маловероятностным последователь-
ностям.
При вычислениях обычно учитывают только высоковероятностные
, последовательности сигналов, а они могут лишь приблизительно ха-
рактеризовать возможное число принимаемых сигналов.
15»
Если при отсутствии помех каждой принятой последовательности
двоичных символов соответствовало N = 2пТН(А) сообщений, пере-
данных за время Т, то при наличии помех каждой принятой последо-
вательности сообщений будет соответствовать уже
2ПГЩЛ/В) = (129)
Вероятность принять правильный сигнал равна отношению бла-
гоприятного числа событий ко всему числу событий:
Р = ~ = 2пТ[^-Н(А/ВП (430)
Так как принятому сигналу Ь/ соответствует 2“ГН(Л/В) высоковеро-
ятностных последовательностей отправленных сигналов, то средняя
вероятность того, что, кроме одной точки веера (рис. 35), соответст-
вующей отправленному сообщению, все остальные 2пТН{А/В) сигна-
лов являются ложными, или, другими словами, вероятность безоши-
бочного приема
р = (1 — 2nTWA}~H{A/B}}) 2пГН(Л/В}
где 1—2пТ[ЩА}~Н(А/В} — вероятность ложного приема.
Выражение (131) позволяет перейти непосредственно к доказатель-
ству основной теоремы Шеннона о кодировании в присутствии шумов.
Теорема 8. Если источник с энтропией Н (Л) создает информацию
на входе шумящего канала без памяти со скоростью R, меньшей про-
пускной способности С данного канала связи, то существует такой
код, при котором вероятность ошибки на приемном конце сколь угод-
но мала.
Так как R < С, то можно записать, что С — Z? = т), или
/? = С —т],
где т) — какое-то положительное число.
> С другой стороны, С = k [Н (Л) — Н (Л/В)] = k\(R + т]), что
позволяет записать
R — Н (Л) = — Н (А/В) — т]. (132)
Если источником сообщения создается 2nRT сообщений, а может
быть создано 2пГН(Л), то для этого случая вероятность правильного
приема
(131)
(133)
(134)
_ ^пНТ _ „пгт- ЩЛ) |
• " ~ 2nTH^ ~ ’
а выражение (131) примет вид
p — __2',г[Л-'/<Л)|| 2П///(Л/В)
Подставив (132) в (134), получим
р (j 2«n—H(4/B)—*q]j (рпТЩА/Р) __ 0 <2г-пТН{А/В)—пТх\у ^пТЩА/В) (135)
Из (135) видно, что при пТ -> оо lim р = 1, т. е. при кодировании
лГ->оо
достаточно длинными блоками вероятность безошибочного приема мож-
160
но сколь угодно приблизить к единице, а вероятность ошибки — к
нулю.
Вторая часть основной теоремы доказывается особо и в литературе
фигурирует как вторая теорема Шеннона о кодировании в присутст-
вии шумов. Доказательство этой теоремы приводим по Ф. П. Тара-
сенко.
Теорема 9. Если Н (Л) С, то при кодировании достаточно длин-
ными блоками среди кодов, обеспечивающих сколь угодно малую веро-
ятность ошибки, существует код, при котором скорость передачи
информации R сколь угодно близка к скорости создания информации Н.
В условиях шумов скорость передачи информации
R = Н (А) — И (А/В), (136)
где Н (А/В) — апостериорная энтропия переданного сигнала, харак-
теризующая минимальную избыточность на символ, необходимую на
восстановление информационных потерь в канале связи, т. е. ту ве-
личину информации, которой не достает, чтобы передача велась со
скоростью С.
Доказав, что существует код, при котором Н (А/В) сколь угодно
мала, мы докажем теорему.
Пусть вероятность ошибки при приеме сигнала равна р (е). Тогда
количество информации на символ, необходимое для обнаружения
ошибки, может быть найдено из неравенства
Н (А/В) ^Н[р (е), 1 - р (е)] + Н (£), (137)
где Н (5) — количество информации, необходимое для обнаружения
искаженного символа.
Если алфавит состоит из т символов, то количество информации,
требующееся на обнаружение одного искаженного символа
//(g)<p(8)log(m-l), (138)
отсюда
Я(Л/В)< —p(8)logp(8) —(1 — р (е) logfl — р(е)]} +
+ p(e)log(m— 1). (139)
Для сигнала любой длины выражение (130) ваписывается следующим
образом:
//♦ (Д/В) < — a log а — (1 — а) log (1 —а) + а log (N — 1), (140)
где //* (А/В) — апостериорная энтропия переданных сигналов; а —
вероятность ошибочного отождествления сигнала; N — тп — числе
сигналок; п — число символов в сигнале.
Очевидно, что формулу (140) можно записать в виде
Н*(Д/В)<1 4-alog(W—1)<1+апС, (141)
отсюда количество недостающей информации на символ
Н (А/В) = —Ц4/?). < + аС. (142)
Так как (согласно основной теореме) а может быть сделано сколь
угодно малым, то при кодировании достаточно длинными блоками
6 2-1032 161
(n оо) рассеяние информации в канале связи также можно сделать
сколь угодно малым. При этом скорость передачи будет сколь угод-
но близка к скорости создания информации Н,
Доказанные выше теоремы Шеннона не указывают на конкретный
метод кодирования, при котором с бесконечно малой вероятностью
ошибки скорость передачи информации могла бы быть сколь угодно
близкой к пропускной способности. Этого метода не найдено по сей
день. Такой достоверности существующие методы кодирования не
обеспечивают и при скоростях, значительно меньших С. Сам Шен-
нон считал, что попытка осуществить хорошее приближение к иде-
альному кодированию по методу, примененному в доказательстве ос-
новной теоремы для канала с шумами представляется непрактичной.
Нет ничего удивительного, что при передаче информации путем
введения огромной избыточности или бесконечным повторением сиг-
налов может быть достигнута сколь угодно малая ошибка даже при
наличии помех. Но скорость передачи информации при этом будет
стремиться к нулю или будет расти вероятность аппаратурного отказа.
Пропускная способность реальных каналов связи вычисляется при
помощи вероятностей ложного приема рл, которые учитывают дейст-
вие помех. При этом вероятность рп правильного приема рп = 1 — рл.
Канал, в котором вероятности ложных переходов равны друг другу
и вероятность правильного приема одного сигнала равна вероятности
правильного приема другого сигнала, будем называть симметричным,
В природе не существует абсолютно симметричных каналов связи
на интервале слова. Каналы могут быть симметричными на бесконеч-
ном участке. Практически же симметричными считают каналы с близ-
кими вероятностями приема качественных признаков. Ряд каналов
связи принципиально несимметричные, например, кабельные каналы
с цифровой связью, каналы с пассивной паузой. Однако многие кана-
лы связи с достаточной точностью описываются моделью симметрично-
го канала, поэтому изучение его свойств представляет определенный
интерес.
Свойства симметричного канала связи:
1. В симметричном канале связи
Н (Л) //(«).
2. Условная энтропия
Н(А/В) II (В/ Л)
3. СреднЛ количество информации в нрнпятом ансамбле сообще-
ний относительно переданного
/(Л, В)/ (В, Л) - Н(А) — Н(В/Л) //(Л) — Z7 (Л/В) =
= Я(В)-//(В/Л) -- Н(В)~ Н(А/В) //(Л) +#(В)-Я(В, Л).
4. Канальная матрица для симметричного канала связи со сторо-
ны источника и со стороны приемника выглядит одинаково.
5. В симметричном канале связи сумма вероятностей в каждой
строке и в каждом столбце канальной матрицы равна единице.
162
6. Пропускная способность симметричного канала связи от А к В
равна пропускной способности того же канала связи от В к А. Если
по каналу связи передаются дискретные сообщения при помощи рав-
новероятных качественных признаков, соответствующих пулю и еди-
нице, то интенсивность помех характеризуется вероятностями пере-
хода нуля в единицу и наоборот, т. е. соответствующими условными
вероятностями.
Рассмотрим теперь выражение для скорости передачи симметрич-
ного бинарного канала. Бинарным будем называть канал связи, в
котором сообщения передаются при помощи двух качественных при-
знаков. Модель симметричного бинарного канала представлена на
рис. 37. Бинарный симметричный канал в литературе часто называют
двоичным симметричным каналом (ДСК). р
Так как в симметричном бинарном канале ----------------------—>
р (1/0) = р (0/1) = рп и рВ (1) = пВ (0) = 1 -
— рл, то для него Н (В/А)--------1рл log2 р„ + 4 л 3
4- (1 — р„) log2 (1 — рл)], а согласно (128),
ЯП = n [1 + Рл log2 Рл + (1 - /'„) 10ЙЗ (1 — Рл)]- *
(143) Рис. 37. Модель сим-
метричного бинарного
Из симметрии бинарного канала следует, что канала.
максимальная скорость передачи информации
будет достигнута для источников, у которых вероятности передачи
единицы и нуля равны. Тогда р (1) == р (0) = 1/2, а
Н (А) = Н(В) - — (7а log2-ь 7а log272) = 1 бит/символ.
Именно эту единицу и видно в выражении (143), а остальная его часть —
условная энтропия, которую мы отнимаем от энтропии источника
(либо адресата). Если в (143) значения рл достигают 0,5, то наруша-
ется всякая корреляция между переданными и принятыми сигналами,
а пропускная способность такого канала связи равна нулю. Как заме-
тил Шеннон, в таком случае можно получать столь же «хорошую»
информацию, подбрасывая монету в точке приема, обходясь вообще
без канала связи.
Перейдем теперь к выводу общего выражения для бинарного ка-
нала с шумами без памяти, под которым будем подразумевать канал
связи со статистической независимостью искажений передаваемых
символов.
Предположим, передаются сигналы А (0) и А (1), априорные ве-
роятности которых р А (1) и р А (0) — 1 — р А (1), вероятности лож-
ных переходов р (0/1) и р (1/0) вероятности правильного приема
р (1/1) 1 — р (0/1) и р (0/0) = 1 — р (1/0). На приемном конце
переданному сигналу А (1) соответствует принятый сигнал В (1),
а сигналу А (0) — сигнал В (0). В этом случае, согласно правилам
теории вероятностей, вероятности правильного приема сигнала
П р[Ц\) - рД (1) [1 — p(O/l)J -Ь [1 — рЛ (1)] р(1/0); (144}
рВ (0) - [1 - рА (1)] 11 — р (1/0)] + рА (1) р (0/1). U4R
6* 16Г
Таблица 18. К вычислению скорости передачи для бинарного канала связи
Априорная Условная вероятность Вероятность совместный событий Значение энтропий
вероятность относительно приня- того сигнала относительно послан- ного сигнала
Р (Оо) = о,5 Р (V«o) = 1 — Рл Р ШЬо) = 1 — Рл Р (До. Ьо) = Р (До) Р ФА) = = Р (*о) Р (a<>/bj н (Л) = — (Pl logs Pi + Ро log» Ро) — = 0,5+ 0,5= 1;
Р (а») • 0,Б Р (bi/aa) = рк Р (ajbj = ра Р («о. *1) = Р (До) Р (6?До) = = Р(61)Р(«</61)' Н (А/В) = Н (В/Л) = = —2 2 р log» р (д</б/) = i j
Р {ЬЦ - 0,5 р (&1) = 0,5 Р (bjad = ра Р {bja^ = 1 — ра р (fljb^ = ра р (ajbj — = 1 —Рл Р (Д1, &о) = Р («1) Р (6в/Д1) = = Р Фо) Р (Д1/6о) Р («к &i) = Р (Д1) Р (Ь^ад = р (bj) р (а^ = ~2 Р (a<,bi> 10& Р — i —2 р (bi/ai) i°& р (б//а<); /
Н (А, В) = Н (Л) + Я (В/Л) =
= 2 2 Р (a, b) log р (fl, b)-,
i /
2 р М ” । ।
2 р W “ 1 / 2 Р (bi/ад = 1 2 р (а^ьй = 1 2 р (°i> = 1 / м.
I (В, Л) = Н (Л) — Н (А/В) «
= Н (Л) + Н (В) - Ц (В, Л)
Энтропия принятых сигналов
Н (В) = — S Pi log2 Pi =
= - \РВ (1) loga рВ (1) 4- рВ (0) log2 рВ (0)]. (146)
Условная энтропия, согласно (24),
Н {В/А) = — 2 S Р (at) Р (bt/ai) loga р (bi/aA =
= — 5 Р («0 5 Р (bi/at) log2 р {bpat) = — рА (1) Ip (1/1) loga р (1/1) +
i i
+ Р (0/1) log2 р (0/1)] - рА (0) |р (0/0) log2 (0/0) + р (1/0) log, р (1/0)].
(147)
Скорость передачи таких каналов связи удобно вычислять при
помощи вспомогательных таблиц. Примером может служить табл. 18,
составленная для случая, когда вероятности появления нуля и еди-
ницы равны. Для вычисления Rn достаточно соответствующие зна-
чения из табл. 18 подставить в выражение (128).
Рассмотрим конкретный пример расчета пропускной способности
канала связи 7?п, когда задан процент искажения полезных сигналов
под действием помех.
Пример 29. Определить пропускную способность дискретного канала, в котором
в результате действия помех 3 % сообщений не соответствуют переданным, т. е.
из каждых 100 сообщений в трех вместо нуля принять единицы или наоборот.
Решение: Пользуясь табл. 18, составим значения вероятностей. Затем вы-
числим соответствующие энтропии и пропускную способность канала связи;
Р (а0) « 0,5, р (Ь0/а0) — 0,97, р (а0, Ьо) = 0,485;
р (аг) « 0,5, р (bx/aQ) 0,03, р (а0> ^i) я 0,015;
Р (Ьо) « 0,5, р (Ь^а^ — 0,03, р (ai9 Ьо) =□ 0,015;
р (bt) = 0,5, р (Ь^а^ » 0,97, р (at, bt) = 0,485;
Я (Л) = Н (В) =. — (0,5 loga 0,5 + 0,5 loga 0,5) = 1;
Н (a/b) == Н (b/а) = — (0,97 loga 0,97 + 0,03 loga 0,03) = 0,0426:+ 0,7518 == 0,1944;
Н (А, В) =з Н (В, Л) = 1 + 0,1944 » 1,1944 бит/два символа;
Яп = Ь [Я (а) — Я (alb)] =» k (1 — 0,1944) « k - 0,8056 бит/G.
Из сказанного выше следует:
1) в рассмотренном канале связи действие помех полностью опи-
сывается условными вероятностями переходов одного знака в другой;
2) искажение 3 % знаков сообщения не означает уменьшения про-
пускной способности на 3 %;
3) предложенная методика может быть использована для любого
количества качественных признаков. Естественно, что при т > 2
должны быть заданы вероятности переходов каждого качественного
признака в любой из т — 1 качественных признаков.
Выводы: I. Наличие шумов уменьшает надежность, а следователь-
но, и скорость передачи информации.
2. За счет уменьшения скорости передачи информации можно уве-
личить надежность, например удлиняя каждый символ или много-
кратно повторяя каждое сообщение. Надежность и пропускная способ-
165
кость тесно взаимосвязаны. Изменение одного из этих параметров
ведет к изменению других.
3. Действие помех в канале связи описывается вероятностями лож-
ных переходов. Если эти вероятности равны нулю, то помехи в канале
связи отсутствуют и пропускная способность равна произведению
энтропии источника сообщений на количество переданных символов.
4. Процент искажения символов сообщения помехами в канале свя-
зи не означает уменьшения пропускной способности на тот же про-
цент.
5. Пропускная способность канала связи полностью определяется
количеством качественных признаков (основанием кода), скоростью пе-
редачи символов ПТ (либо количеством символов за единицу времени)
и вероятностью ложного приема этих символов — рл.
Глава
15
КОРРЕКТИРУЮЩИЕ КОДЫ
Корректирующими называются коды, обладающие
свойством обнаруживать и исправлять ошибки, возникающие в процес-
се передачи или обработки информации.
В настоящее время разработаны десятки кодов, которые теорети-
чески могут обнаруживать и исправлять произвольное количество
ошибок. При таком многообразии кодов попытка дать абсолютно точ-
ное их разделение па самостоятельные группы и подгруппы таким
образом, чтобы ни одна из них не содержала признаков других групп,
заранее обречена на провал. Поэтому на рис. 38 приведено чизто
условное разделение кодов. Все коды в той или иной степени обладают
корректирующей способностью, за исключением кодов ОН К, Бодо
и Морзе: первый имеет пулевую избыточность, а вторые —близкую
к нулевой.
По числу качественных признаков дискретные коды могут быть
разделены на две основные группы: двоичные (т = 2) и педвоичные
(т>2). На практике двоичные коды применяют значн i л-плю чаще,
чем коды с произвольным количеством качественных признаков. Это
связано с тем, что двоичные коды оказались очень удобными как при
передаче сигналов на расстояние, так и при построении цифровых
машин и автоматов. Устройства дискретной техники легко решают
задачу выЛЬра одного из двух устойчивых состояний, а элементы —
реле, тиратроны, полупроводники, электронные ламгч — легко реа-
тизуют операции двоичной логики благодаря наличию двух состояний:
замкнутого и разомкнутого, проводящего н непроводящего.
15.1 Непрерывные коды
По способу декодирования двоичные коды могут
быть разделены на блочные и непрерывные. Основное различие между
блочными и непрерывными кодами заключается в том, что первые мож-
166
но декодировать лишь после того, как на дешифратор поступит все
кодовое слово, а вторые — в процессе поступления кодовой комби-
нации.
В корректирующих непрерывных кодах избыточность вводится
без разбивки последовательности символов на отдельные блоки. Про-
верочные символы размещены в определенном порядке* между инфор-
м hi и< ИП1ЫМИ и формируются по п>2 информационным разрядам.
11.ц|Ги)лее ценным качеством непрерывных кодов является простота
их р<*л шпации при исправлении группирующихся ошибок (пакетов
ошигмж) 11оэтому наиболее часто их применяют при передаче сообще-
ний но линиям связи, помехи в которых приводят к пакетам ошибок.
Свс/ттчные коды являются важным (для практических примене-
ний) полклигсом непрерывных кодов. Формирование проверочных сим-
волов при с1и*р|очном кодировании осуществляется не в пределах од-
ной кодовой комбинации, как при блочном кодировании, а путем сум-
мирования двух или нескольких информационных элементов, сдви-
нутых относи 1СЛ1.но друг друга на расстояние /, равное шагу сложе-
ния. Шаг сложения определяет количество элементов, пораженных
167
помехой, которое данный код еще в состоянии исправить. Сверточные
коды способны исправлять групповые ошибки длительностью Тп с
числом пораженных элементов Na 2t, причем интервал между
очередными пакетами ошибок
7’и>3т + /в,
где т — время прохождения пакета ошибок; t9 — время передачи од-
ного элемента.
Так как за время т может быть искажено 2t символов, то интервал
между очередными пакетами ошибок
ТИ>(6/+ 1к.
Рис. 39. Функциональные схемы кодирующего (а) и декодирующего (б)
устройств стохастического сверточного кода.
Частота повторения пакетов ошибок, при которой обеспечивается
их исправление,
Ги + Тп •
Наиболее просты в реализации систематические сверточные коды
с равным числом информационных и проверочных символов. Они
получили широкое распространение в устройствах передачи дискрет-
ной информации. Понятие «сверточный код» поглотило родственные
ему понятия «непрерывный код», «рекуррентный код» и «цепной код».
В качестве примера построения сверточных кодов рассмотрим
функциональные схемы кодирующего и декодирующего устройств ко-
да, исправляющего шестиразрядные пакеты ошибок [18]. Информа-
ционные символы поступают на вход регистра (рис. 39, а). Синхрон-
ный переключатель подключает поочередно информационные и прове-
рочные разряды. Каждый информационный элемент at участвует в
формировании двух проверочных элементов 6/ (сначала на сумматор
по модулю два поступает импульс после ячейки /, потом, пройдя по-
следующие ячейки, он вновь поступит на сумматор, формируя уже
другой проверочный элемент). Вместе с тем, каждый проверочный
168
элемент 6/ формируется двумя информационными элементами (эле-
ментом, который находится в данный момент в ячейке /, и элементом,
который находится в ячейке 4), Таким образом, количество информа-
ционных и проверочных элементов всегда одинаково, и передаются
они так, что за проверочным разрядом ?/ = «/+ «/-з идет информа-
ционный разряд ai-e, за проверочным разрядом Ь^з = + а, —
информационный разряд а^з и т. д. Число ячеек в регистре определя-
ется длиной защитного промежутка и в данном случае равно I ==
= 2/+1=2*3+! = 7.
Декодирование сверточного кода происходит следующим образом.
Переключатель, работающий синхронно с переключателем шифратора,
поочередно подключает на вход декодирующего устройства информа-
ционный и проверочный регистры (рис. 39, 6). Если искажений в ли-
нии не было, то, когда в информационном регистре записаны: я/_|_3 в
ячейке /, ai в ячейке 4, ai—з в ячейке 7, в проверочном регистре в этот
момент в ячейке 7 записан Ь^з = а^з + ai9 в ячейке 10 Ь^з =
«= at + а^з. Из информационных импульсов, поступивших в инфор-
мационный регистр, вновь образуются проверочные импульсы, как
и в шифраторе. Если эти вновь образованные проверочные импульсы
совпадут с аналогичными импульсами, пришедшими из линии, то на
выходах сумматоров а2 и Ь2 сигналы будут отсутствовать. В противном
случае с выхода сумматоров а2 и Ь2 сигналы подаются на схему совпа-
дения И, которая выдает разрешение на прохождение корректирую-
щего импульса, только тогда, когда совпадут сигналы а2 и Ь2. При этом
поступит импульс исправления, который обычно заключается в замене
ошибочного сигнала на обратный.
В последнее время большим успехом разработчиков систем пере-
дачи дискретной информации пользуются несистематические свер-
точные коды, в которых последовательность символов на выходе коде-
ра является линейной комбинацией информационных символов на
его входе.
Структура сверточных кодов с трудом поддается анализу алгебраи-
ческими методами, поэтому в отличие от блоковых кодов в настоящее
время конструктивная теория сверточных кодов не разработана. Одна-
ко можно выделить три важнейших направления в теории и практике
(перточпого кодирования: пороговое, последовательное и декодирова-
ние по максимуму правдоподобия.
Метод порогового декодирования заключается в том, что при при-
еме кодированного сообщения формируется проверочный вектор,
<интронt пли последовательность, полученная в результате его линей-
ною преобразования; проверочный вектор подается затем на вход
норою1чно элемента при коррекции ошибок (принцип срабатывания
нороюпых элементов тот же, что и при мажоритарном декодировании).
Многопороеовое декодирование представляет собой такую форму об-
рдГннкн кодированной информации, при которой декодируемая по-
еледоил|ел1»ноети символов проходит п ^2 каскадов, содержащих
Поротные элементы. При этом, как правило, в решении n-го порого-
вою элемент учитывается результат решения п—1-го элемента.
Мгчод пирогового декодирования описан в 11, 34].
169
Метод последовательного декодирования представляет собой та
кую форму обработки кодированной информации, при которой в
буфере декодера последовательно накапливаются принимаемые сим-
волы и никакая другая последовательность символов не может быть
принята и декодирована, пока не выработано решение о правильнос-
ти приема символов, находящихся в буфере. Чем больше уровень
шумов в канале связи, тем большее число операций необходимо для
декодирования одного информационного символа. При высоком уров-
не шумов принятые, по не декодированные последовательности сим-
волов могут переполнить буферную память и нарушить работу де-
кодера. Основной недостаток этого метода заключается в том, что час-
то вероятность переполнения буфера оказывается больше вероятности
ошибочного декодирования.
Алгоритмы последовательного декодирования являются вероят-
ностными алгоритмами. Число корректирующих символов в последо-
вательных декодерах является случайной величиной, зависящей от
уровня шумов. Чем больше шум, тем больше число операций необ-
ходимо на декодирование одного информационного символа. Методы
последовательного декодирования описаны в [1, 4, 6].
Метод декодирования по максимуму правдоподобия теоретически
более э(]х|х?ктивен, чем метод порогового декодирования. При декоди-
ровании по максимуму правдоподобия (в отличие от последовательно-
го декодера) удельное число операций, необходимых для декодирова-
ния одного информационного символа, не зависит от уровня шумов
и является величиной постоянной.
Алгоритм декодирования по максимуму правдоподобия известен
как алгоритм Витерби 1161 (ученый, который получил верхние и ниж-
ние границы вероятности ошибки декодирования сверточных кодов).
15.2. Кодирование и декодирование сообщений
/ на принципе алгоритма Витерби
Построение эффективных декодеров, обеспечивающих при ма-
лых габаритах и высоком быстродействии вероятность ошибки декодирования р0 =
— 10“9 при ошибке на входе р0 = 0,1,— важнейшая проблема теории кодирования.
Другими словами, стоит задача за счет корректирующих свойств декодера увеличить
вероятность правильного приема 108 раз.
> Простейшая идея декодера, корректирующего ошибки, заключается в сравнении
ринятой комбинации со всеми возможными (в данной системе передачи информации)
адовыми словами и выборе в качестве правильного того ич них, который отстоит
г принятого на минимальном кодовом расстоянии. Для двоичного кода это выли-
ается в перебор 2п R кодовых слов, где п — длина кодового слова; R = пи/п — ко-
довая скорость (здесь пи число информационных разрядов).
Практический интерес представляют собой кодовые скорости, лежащие в диапа-
зоне 0,2...0,95. Поэтому переборные алгоритмы из соображений сложности и быстро-
действия аппаратуры приемлемы лишь для коротких (п = 10...30) кодов.
Алгоритм декодирования Берлекэмпа [1] для кодов Боуза — Чоудхури — Хогк-
зинхэма (БЧХ) обеспечивает исправление всех ошибок веса W №0, где И70 =»
— ^1——L Сложность алгоритма Бэрлекэмпа сосавляет n2 log2 п операций, требуемый
объем памяти п (5...20) бит. Теория кодов БЧХ доведена до высокой степени со-
вершенства и дальнейшее увеличение эффективности декодеров данных кодов трудно
предположить (коды БЧХ см. п. 15.6).
170
Коды Рида — Соломона (РС) — недвоичные коды, обладающие максимальной
Величиной кодового расстояния dQ для заданных п и R, требуют 17 операций на каж-
дый бит декодируемого сообщения кода [4, 5, 6, 20]. Эти коды также* хорошо изучены
И существенное уменьшение сложности их декодирования не предвидится.
Каскадные схемы кодирования позволили получить высокую достоверность при
высоком уровне шумов и средней степени сложности декодирования. При каскадном
кодировании используют две (а то и более) ступени кодирования. С помощью первой
ступени (внутренний код) доводят вероятность ошибки в исходном канале до опре-
деленной величины с известной статистикой. Затем кодом второй ступени (внешний
код) кодируют полученный «рафинированный» дискретный канал н снижают вероят-
ность ошибки до заданной величины. Оказывается, каскадный код более эффективен
и проще в реализации, чем простой блоковый код такой же длины (более подробно
каскадные коды описаны в п. 15.7). Теория каскадных кодов близка к завершению,
а относительно умеренная сложность каскадных кодов не остановила поисков в об-
ласти эффективных декодеров.
Рис. 40. Выбор пути от А к Д через наименее загружен-
ные узлы сети.
Алгоритм Витерби для декодирования сверточных кодов [16] обеспечивает луч-
шую достоверность и большее быстродействие, чем все существующие алгоритмы де-
кодирования для каналов со средним и высоким уровнем шумов. И хотя при малых
шумах канала связи декодеры, построенные на принципе последовательного перебора,
могут обеспечить достоверность большую, чем алгоритм Витерби, оказывается, что
при реализации каскадных схем на основе алгоритма Витерби декодеры будут лучше
при любых значениях уровня шумов канала при значительно меныпей сложности
декодера по сравнению с последовательным.
Таким образом, алгоритм Витерби, в настоящее время признан лучшим из су-
ществующих принципов построения декодера. Многопороговые декодеры могут с ним
конкурировать только при условии снятия ограничений па задержку Декодирования.
Рассмотрим задачу нахождения наименее загруженного пути от
/1 к Д в некоторой сети (рис. 40), в которой загруженность накопите-
лей в узлах обозначена цифрами. Понятно, что последовательный
перебор всех вариантов — наиболее длительный путь решения зада-
чи. Ллюритм Витерби позволяет найти наименее загруженный путь,
не прибегая к операции перебора.
На каждом шаге пути отпадает ряд вариантов. Глубина просчета
вариантов зависит от памяти, заложенной в кодере и декодере, а имен-
но от количества предыдущих шагов, которые помнит система. Если
есть возможность запомнить предыдущее состояние, то при выборе
каждого следующего шага выбирается наименее загруженный путь
с учетом предыдущих шагов. Так, для сети, представленной на рис. 40,
на первом шаге отпадают пути через точки Б и /С, так как (Л -> Б ->
В) = 5 + 3 - 8;
171
(Л Б -> Ж) = 5 + 3 = 8; (Л Е да = 4 + 3 = 7;
(Л -> Б -> Л) ~ 5 + 5 = 10; (Л -> К Л) е= 5 + 5 = 10; _
(Л -> Е -+ Л) = (4 + 5) = 9; (Л -> К Ж) 5 + 3 = 8. На сле-
дующем шаге отпадают пути через точки Г и М, так как (Е->Ж->-
Г) = 4 + 3 + Ю = 17; (Е -> Ж -+ И) = 4 + 3 + 3 = 10; (Е ->
-* Ж —► М) s 4 + 3 4- 5 = 12. Путь АЕЖИД. назовем выжившим.
Современные декодеры, реализующие алгоритм Витерби, в ка-
честве оценки «кратчайшего» пути часто используют весовой крите-
рий: правильным считается путь через узлы, имеющие наименьший
Рис. 41. Кодирование информационной последовательности 10011101 при по-
мощи автомата Мили.
суммарный вес. Таким образом, правильной считается комбинация,
отстоящая от принятой на минимальном кодовом расстоянии.
Для описания алгоритма Витерби удобно использовать представ-
ление сверточного кода в виде решетчатых диаграмм (решеток), ко-
торые отражают последовательность внутренних состояний и выходов
кодера при различных входных сигналах.
Несистематически#сверточный кодер упрощенно можно предста-
вить в виде фрагмента регистра сдвига (ячейки и /?2) и двух сумма-
торов по модулю 2 (S, и S2), соединенных по схеме рис. 41, а, извест-
ной как автомат Мили, где X — вход информационной последователь-
ности, Yx и У2 — выходы закодированной последовательности с
избыточностью 0,5. Тактовый генератор, продвигающий информацион-
ную последовательность через ячейки кодера, и схемы совпадения на
выходе кодера на рис. 41 не представлены с целью упрощения восприя-
тия принципа работы кодера. Работу кодера рассмотрим на конкрет-
ном примере.
172
Предположим, требуется закодировать двоичную последователь-
ность 1001110 с избыточностью 0,5. В качестве кодера используем
несистематический сверточный кодер. В исходном состоянии на входе
и выходах сумматоров — нули (см. рис. 41, а). При поступлении ин-
формационной последовательности 1001110 на первом такте: вход
X = 1, выход = 0; выход /?, = 0; = 1 + 0 = 1, <S2 = 1 + 0 =
= 1, т. е. Vi = 1, Y2 = 1.
На втором такте на вход поступает нуль; единица со входа Xt
«продвинется» на выход /?t; нуль, который был на выходе про-
двинется на выход Si = 0 + 1 = 1, S8 = 0 + 0 = 0, т. е. У, =
= 1, Га = 0.
Рис. 42. Схематическое изобра-
жение автомата Мура:
X — вход информационной после-
довательности; У1 и У2 —- выходы
закодированной последовательнос-
ти; Rt и R2 — элементы регистра
сдвига; Si и S2 — сумматоры по
модулю 2.
Таблица 19. Диаграмма выходных состояний
кодера в зависимости от входных сигналов
^п.п X Y1 У.
1 0 0 0 0 0
2 0 0 1 1 1
3 0 1 0 1 0
4 0 1 1 0 1
5 1 0 0 1 1
6 1 0 1 0 0
7 1 1 0 0 1
8 1 1 1 1 0
а На третьем такт^ Хг =* 0; = 0, J?2 = 1; == 0 + 0 = 0; S2 «
= 0 + 1 = 1; Kj = 1, Y2~= 0 и т. д. (рис. 41, а, и).
Если мы несколько перегруппируем последовательность располо-
жения схем на рис. 41, то легко можно будет составить диаграмму
выходных состояний кодера и К2 в зависимости от того, какой
сигнал на входе X и какие сигналы были за два такта до него —
J?2 (младший разряд соответствует самому позднему такту, а самый
старший разряд — самому первому такту) (табл. 19).
Память кодера (рис. 41) рассчитана на запоминание только двух
предыдущих состояний входного сигнала, поэтому таблица охваты-
вает все возможные ситуации.
Для нашего примера: информационная последовательность —
10011101; закодированная последовательность— 1110111101100100.
Кодер несистематического сверточного кода можно построить и
на принципе другого кибернетического автомата — автомата Мура
(рис. 42). Выходные состояния автомата Мили являются функцией
как входного сигнала, так и промежуточных состояний, тогда как
выходные' состояния автомата Мура не являются функцией входа, а
лишь функцией состояний триггеров памяти (подробнее об автоматах
Мура и Мили см. 1391).
Для понимания принципа построения декодера, реализующего ал-
горитм Витерби, построим диаграмму состояний выходов кодера в
зависимости от входных сигналов. При этом будем придерживаться
следующих обозначений: цифры на стрелках—состояния выходов
173
Fj и Y2 кодера; в кружочке два последних состояния из трех возмож-
ных хранимых в памяти кодера (третье, «старое», нас не интересует,
так как появление нуля или единицы на входе «вытолкнет» его из па-
мяти), т. е. в кружочке обозначены состояния, которые совместно с
сигналом на входе определяет состояние на выходе кодера; последо-
вательность символов па входе кодера на схеме взята в прямоугольную
рамку.
Итак, начальное состояние — нули на входе X и на выходах YT
и Y2. При поступлении па вход нуля — ничего не изменится (верхняя
стрелка). При поступлении единицы (нижняя стрелка) на выходе
должно быть состояние 11 (табл. 19, строка 2). На следующем такте
на входе может быть одна из четырех ситуаций: 00, 01, 10 и 11. Соот-
ветственно память кодера будет содержать ООО, 001, 010 и 011, а на
выходах будут 00, 11, 10 и 01 (табл. 19, строки /, 2, 3 и 4). Возможные
варианты состояний выходов кодера в зависимости от характера вход-
ного сигнала представлены на рис. 43. Нетрудно заметить, что состоя-
ния в кружочках повторяются.
Если будем продолжать построение в том же духе, то мы построим
дерево сверточного кода. Если же мы замкнем подобные состояния,
то получим решетку декодера сверточною кода (рис. 44). Длина ре-
шетки определяется длиной условною кодовою блока (условного,
так как сверточные коды имеют неблоковую структуру). В конце
условного кодового блока может быть выдана серия ресинхронизи-
рующих импульсов для «очистки» декодера. В зависимости от того,
являются ресинхронизирующие импульсы пулями или единицами,
решетка вырождается в нули и сходится вверху (рис. 44, пунктирные
линии) или вырождается в единицы и сходится внизу.
Исправление ошибок в описываемом декодере происходит по
принципу наименьшего расстояния Хэмминга Нх, т. е. наименьшего
числа несовпадений в сравниваемых двоичных последовательностях.
Для простоты понимания принципа исправления ошибок пред-
положим, что передавалась некоторая однородная, например нуле-
174
вая, последовательность и в ней под действием помех в канале связи
один символ изменился на обратный, т. е. передавалось 00J00 00 00...,
а принялось 01 00 00 00. Выбор правильного пути происходит по-
средством сравнения состояний выходов кодера (на которые раз и на-
всегда запрограммирована решетка декодера) с реальными поступив-
шими сигналами. Чем больше различие между сравниваемыми комби-
нациями, тем больше вес этапа. Чем больше значение^весов этапов
пути, тем пути «тяжелее». Чем тяжелее путь, тем у него меньше воз-
можность «выживания».
Рис. 44. Решетка декодера несистематического сверточного кода.
Рис. 45. Выбор «кратчайшего» пути по весовому критерию (цифры в кру-
жочках - вес этапа, цифры возле кружочков — суммарный вес этапа в
учетом предыдущих этапов):
а — первый они; 6 — второй этап; в — конечный этап, при котором неверный
путь «отмирает».
17В
00 ф 01 =01; Г=1. И ф 01 = 10; W = 1,
Для нашего примера на первом этапе:
т. е. верхняя и нижняя ветви — равноценные. Оба пути выжили.
На решетчатой диаграмме в кружочках обозначим вес этапа, а над
ними — суммарный вес с учетом предыдущих этапов (рис. 45, а).
На втором этапе происходит четыре сравнения:
00 ф 00 = 00; W = 0. 00 ф 11 = 11; W = 2. 00 ф 10; W = 1
00 ф 01 = 01; W = 1.
Для верхней ветви выбор очевиден, а для нижней — равновероятен.
Если бы на этом этапе было прекращено дальнейшее сравнение, то
правильным был бы выбран верхний путь, как имеющий меньший сум-
марный вес этапов, и ошибка уже была бы исправлена (рис. 45, б).
Если бы процедура сравнения продолжалась и дальше, то нетрудно
вычислить, что на пятом этапе создалась бы ситуация, представленная
на рис. 45, в, т. е. ложный путь (нижний) после четвертого этапа пе-
рестал бы анализироваться — не выжил.
Сверточный код можно также описать с помощью порождающей
матрицы
11 01 00 01 00 01
11 01 00 01 00
11 01 00 01
Н== 11 01 00
11 01
11
Матрица Н порождает систематический сверточный код (161 в
расстоянием Хэмминга d0 = 5.
Матрица Н', полученная в результате сложения строк с номерами i
ni + 2, I = 1, 2, 3, 4,
11 01 11 00 00 00
11 01 11 00 00
• 11 01 11 00
Н'= 11 01 11
11 01
11
порождает эквивалентный несистематический код с таким же кодовым
ограничением.
176
Код, порожденный матрицей
11 10 11 00 00 00
11 10 11 00 00
И 10 11 00
тзп _
11 10 11
11 10
12
эквивалентен коду, порожденному матрицей Н'.
При длине кодового слов» п 12 эти коды исправляют все ком-
бинации веса 2.
15.3. Многопороговые декодеры
В настоящее время появился ряд интересных работ
советских ученых, в которых успешно используются сочетания различ-
ных методов декодирования сверточных кодов. Используя работы
[21, 22], рассмотрим работу многопороговых декодеров сверточных
кодов.
Многопороговые декодеры (МПД) сверточных кодов в настоящее
время являются одним из тех алгоритмов декодирования в каналах
с независимыми ошибками, которые при очень простой реализации обла-
дают весьма значительной эффективностью.
Рассмотрим классический двоичный симметричный канал (ДСК)
без памяти. Для этого канала МПД для кодовой скорости 7?1/2
и с кодовым расстоянием dQ = 5 представлен на рис. 46.
Код однозначно определяется порождающим полиномом
G(X) = 1 +Х + Х* + Х\
или, что то же самое, проверочной матрицей (проверочные матрицы
подробно рассматриваются в п. 15. 5) следующего вида:
f
г
1 1 1 1 0 1 1 0 0 1 1 0 0 . . . 0 1 0 1 0 1 ' °,
Код имеет длину кодового ограничения пА = 14.
? Как видно из рис. 46, МПД состоит из нескольких пороговых деко-
j деров (11Д), которые соединяются друг с другом последовательно.
177
Первый ПД, входящий в состав многопорогового декодера, не отли-
чается от мажоритарного алгоритма Месси [29]. Он работает следую-
щим образом. На вход информационного регистра декодера поступают
информационные символы из канала связи, а на вход регистра синд-
рома (проверочного регистра) поступают проверочные символы кода.
В регистр синдрома S поступает вектор S = Н • Q, где Н — прове-
рочная матрица кода; Q — принятое из канала сообщение. Значение
; Рис. 46. Многопороговый декодер для двоичного кода, скорость которого R
= х/2, а кодовое расстояние d0 - 5.
вероятности искажения каждого двоичного символа сообщения при-
мем pQ < 0,5.
В тех случаях, когда в сообщении нет ошибок, вектор S равен ну-
лю. На пороговом элементе ПЭ1 обычная арифметическая сумма четы-
рех проверок будет всегда меньше трех. Если же в сообщении есть одна
или две ошибки, то вследствие выбора свя <ей в декодере, когда оши-
бочный символ канал®, продвигаясь слева направо по регистру /,
достигнет ячейки 6, сумма проверок на пороговом элементе Т будет
больше двух. Пороговый элемент устроен так, что при сумме проверок
на входе менее 2,5 иа его выходе формируется нуль, а при больших
значениях — единица. Эта единица является сигналом коррекции,
посылаемых с выхода порогового элемента (ПЭ) на полусумматор М
(сумматор по модулю 2), стоящий после ячейки 6 регистра /. При
этом неправильно принятые из канала символы будут инвертированы.
Максимальное число всегда исправляемых символов в данном слу-
178
чае равно 2, потому что должно удовлетворяться условие 2/ + 1
а в рассматриваемом примере d0 — 5. Следует указать, что первый
декодер исправит и некоторые сочетания ошибок веса более 2, но их
число невелико.
В обычном ПД процедура декодирования на этом шаге заканчива-
лась. Следующий пороговый декодер, входящий в МИД, отличается
от обычного тем, что во втором каскаде МИД хранятся решения пер-
вого порогового элемента, которые поступают на вход второго порого-
вого элемента ПЭ2, чем и учитываются решения декодера па предыду-
щем шаге.
Отметим, что если с выхода первого ПЭ1 сигнал инверсии подавал-
ся на выход декодера (полусумматор М) и на те ячейки регистра синд-
рома, с которых поступали проверки, то с выхода ПЭ2 сигнал инвер-
сии поступает в соответствующий полусумматор Р регистра D. Число
каскадов в МИД может быть увеличено до четырех — восьми.
Теоретические исследования характеристик МПД показали, что
при каждом изменении значения декодируемых символов решение
МПД приближается к решению оптимального декодера для данного
кода, а при достижении этого решения МПД уже никогда не изменит
его. Это важнейшее свойство алгоритма можно назвать устойчивостью
МПД относительно оптимального решения.
Экспериментальные исследования алгоритма показали, что, на-
пример, при объеме памяти декодера М « 2200 бит, в случае МПД
для кода с R = 1/2 и d0 = 11 при вероятности ошибки в ДСК р0 —
= 0,045 обеспечивается средняя вероятность ошибки декодирования
на двоичный символ pQ = 10~Л При улучшении качества канала ве-
роятность рп быстро уменьшается.
Хорошие характеристики получены также и в случае использова-
ния МПД при кодовых скоростях R = 1/4, 1/3, 4/5, 1/8.
15.4. Неразделимые блочные коды
Блочные коды представляют собой обширную груп-
пу двоичных кодов, в которых каждое сообщение передается строга
определенным набором символов, и в зависимости от способа разделе-
ния проверочных символов делятся на разделимые и неразделимые.
В разделимых кодах информационные разряды и проверочные позиции
всегда расположены на одних и тех же местах. В неразделимых кодах
определение правильности принятого сообщения производится по ко-
личественному сопоставлению определенных качественных признаков
в переданных и принятых сообщениях.
К пера «делимым относятся коды с постоянным весом, стохасти-
ческие колы, год Плоткина. К этой группе может быть отнесен и код
Грея, который сам по себе не обладает корректирующей избыто шостью,
но при соогвегс|вующих ограничениях может обнаруживать одиноч-
ные ошибки
Код Г рея представляет собой рефлексный код с двумя качественны-
ми признаками (табл. 20). В этом коде каждая последующая комбина-
ция отличается от предыдущей одним символом. Такой код удобен
179
Таблица 20. Код Грея и его эквиваленты в двоичной и десятичной системах
счисления
Число Двоичный код Код Грея Число Двоичный код Код Грея
0 0000 0000 8 1000 1100
1 0001 0001 9 1001 1101
2 0010 ООН 10 1010 1111
3 ООН 0010 11 1011 1110
4 0100 оно 12 1100 1010
5 0101 0111 13 1101 1011
6 оно 0101 14 1110 1001
7 0111 0100 15 1111 1000
Рис. 47. Маска рефлексного кода.
при передаче телемеханической информации о медленно изменяющих-
ся процессах. Как известно, подавляющее большинство телемехани-
ческих объектов имеет плавные характеристики, и для передаваемой
телемеханической информации характерен плавный переход от одного
значения к другому. Если при использовании кода Грея в принятом
сообщении одновременно изменяются
несколько символов, то это говорит
либо о помехах в канале связи, ли-
бо о нарушении режима работы кон-
тролируемого объекта. В этом слу-
чае простой двоичный код использо-
вать неудобно, так как в нем имеются
комбинации, в которых символы пре-
дыдущей комбинации отличаются от
кодовых символов последующей ком-
бинации всеми символами (например,
3 — 011; 4 — 100; 7 — 0111; 9 — 1000;
15 — 01111; 16 — 10 000 и т. д.).
Примером кодирования информа- 4
ции рефлексным кодом может слу-
жить кодирование показаний датчи-
ков угла поворота. На специальной маске (рис. 47) прозрачные и не-
прозрачные места чередуются таким образом, что при плавном враще-
нии считывающие фотодиоды ос веща юте я так, что количество осве-
щенных и неосвещенных фотодиодов изменяется одновременно не
больше чем на единицу. Если на фотодиод падает свет, его сопро-
тивление намного уменьшается. В этот момент ток резко возрастает,
что равносильно передаче единицы кода. На рис. 47 младшие разряды
расположены дальше от центра. Если идти по часовой стрелке, то
сначала все семь диодов будут затемнены (код 0000000), затем ос-
вещается один диод в младшем разряде (код 0000001), далее один
диод в следующем разряде (код 0000010) и т. д.
Коды с постоянным весом — равномерные блочные коды с посто-
янным количеством единиц в каждой кодовой комбинации. К таким
кодам относятся широко используемые в телеграфии коды с постоян-
ным соотношением разнополярных импульсов, например, междуна-
180
родный'телеграфный код № 3 содержит три токовых и четыре бестоко-
вых импульса. Увеличение или уменьшение количества токовых посы-
лок в коде говорит о наличии ошибки
Для двоичных кодов число кодовых комбинаций в кодах с постоян-
ным весом длиной в п символов
дг __ с1 * *_
“ " /I (П — /)! ’
где I — число единиц в кодовом слове.
Если бы не существовало условия «постоянного» веса, то число
комбинаций кода могло бы быть гораздо большим, а именно 2П
Коды с квазипосточнным 1 несом (ККПВ) представляют собой такую
разновидность кодов с постоянным весом, которая допускает кодовые
слова с несколькими значениями весов.
Различают симплексные коды — коды с одним значением веса ко-
довых слов, ортогональные — с двумя и биортогональные — с тремя
значениями весов.
Симплексный код
п = 7 1) 1 1 0 1 0 0 0 11 1 2,
Г = 3 | 1 2) 0 1 1 0 1 0 0 11
2 =4 3) 0 0 1 1 0 1 0 1 ортогональ: ный код
4) 0 0 0 1 1 0 1 1 /? - 8
5) 1 0 0 0 1 1 0 1
6) 0 1 0 0 0 1 1 1 W 4,8 биортогональный код
72 1 0 1 0 0 0 1 12 = 4 |
«) 1 1 1 1 1 1 1 1 1 । ।
9) 0 0 1 0 1 1 1 0
Ю) 1 0 0 1 0 1 1 0 п -=~- 8
Н) 1 1 0 0 1 0 1 0 <г
12) 1 1 1 0 0 1 0 0 W = 0, 4, 8,
13) 0 1 1 1 0 0 1 0 2 = 4, 8
14) 1 0 1 1 1 0 0 0
15) 0 1 0 1 1 1 0 0
Ю) 0 0 0 0 0 0 0 0
В общем случае КПВ и ККПВ являются нелинейными кодами,
исследование которых традиционными (для линейных кодов) алгеб-
раическими Mei одами весьма затруднительно. Недостаточная иссле-
дованность КПВ и ККПВ обусловила отсутствие регулярных (нетаб-
личных) методов кодопреобразования и, как следствие,— невозмож-
1 Приставка «квази» означает «условно», «псевдо». Если говорят «квазилинейная
функция», то подразумевают, что она условно принимается линейной для определен-
ных условий либо на определенном участке.
181
ность применения мощных кодов с большим числом слов. Этим и объяс-
няется повсеместное применение КПВ и ККПВ с числом слов, не пре-
вышающим 70 (КПВ с /г 8, W = 4). Вместе с тем коды большой
мощности обеспечивают меньшие потери скорости передачи, более
высокую исправляющую способность, лучшую энергетическую эффек-
тивность.
Стохастическим называется код, операции кодирования и декоди-
рования’которого выполняются в следующей последовательности: фор-
мирование исходного блока (и, &)-кода путем введения избыточности;
стохастическое преобразование Т исходного блока длиной п на пере-
даче под воздействием квазислучайной последовательности | Дли-
ной п\ обратное стохастическое преобразование Т~х кодового блока на
приеме под воздействием синхронно вырабатываемой последователь-
ности обнаружение или исправление ошибки в преобразованном
блоке.
Стохастические (квазпелучайные, с имитацией случайных процессов, например
датчиком случайных чисел) преобразования (прямое и обратное), используемые в ко-
дере и декодере стохастического кода можно определить следующим образом.
Прямое стохастическое преобразование выполняется в кодере над исходной дво-
ичной последовательностью U длиной п, результат преобразования V, также длиной
п передается по каналу связи.
Необходимым свойством прямого и обратного стохастических преобразований для
построения стохастических кодов является следующее. Если передаваемая по каналу
связи последовательность V искажается вектором ошибки е, то после обратного сто-
хастического преоора ювапия последовательности V = Vе получаем Ur = U +
+ е, где е' с равной вероятностью принимает одно из 2П—1 своих возможных нену-
левых значений, пе<авпсимо от вида исходного вектора е.
Для реализации пары стохастических преобразований можно воспользоваться
операциями умножения и деления по модулю неприводимого полинома Q (х) полино-
мов U (х) и V (х), каждый < тепенн п — 1, на полином, коэффициенты которого полу-
чают от датчиков случайных чисел, работающих синхронно в кодере и декодере, т. е.
V (х) U (х) £ (х) mod Q (х);
U' (х) = IHO.I Q (X) = и (х) Ч- й'.
' G (Xf
Пара преобразований Т и Т' 1 должна обладать таким свойством,
чтобы в случае неискаженной передачи преобразуемой последователь-
ности после Т~х имело место неискаженное значение исходного блока.
А при любом искажении в канале этой носледои.нелыюсти результат
обратного преобразования с равной верош поп ыо был равен одной
из 2п — 1 ненулевой комбинации длиной //, исключая переданное зна-
чение исходного блвка В [311 описаны методы технической реализа-
ции стохастического преобразования.
При использовании стохастического кодирования для описания
свойства ДСК достаточно задания одного параметра — вероятности
неискаженного приема из канала последовательности длиной п —
— Q (/г). Вероятность необнаруженной ошибки
Рош = Н - У(Л)] «11 -Q(n)]2*-«. (148)
182
Для передачи информации с высокой скоростью при произвольно
малой вероятности необнаруженной ошибки может применяться ме-
t тод корреляционного кодирования в системах с РОС 131].
Корреляционными (блочно-непрерывными или рекуррентными блоч-
ными) (n, k, х)-кодами называются блочные (п, &)-коды с зависимостью
' между блоками, обеспечивающие обнаружение ошибки в искаженном
блоке (и, /г)-кода и дообнаружепие ошибки в (х— 1) следующих за
ним блоках, т. е. обнаружение ошибок (и, k, х)-кодом выполняется
за х шагов с вероятностью необнаруженной ошибки на i-шаге Рош-
Используя стохастическое кодирование для каждого блока можно
обеспечить быстрое уменьшение pQU1 с ростом i в соответствии с выра-
жением
(149)
Если повторение блока с обнаруженными ошибками выполнять
с помощью итеративных алгоритмов, то вероятность повторения двух
блоков во второй итерации р\2\ трех блоков в третьей р{^ и т. д. бы-
стро падает с увеличением номера итерации i:
Рп = Рош ° — Рои. « ° при /?ош ЯЙ 1.
Метод передачи корреляционными кодами с итеративным повто-
рением обладает важным теоретическим свойством, которым не обла-
дают методы передачи блочными кодами, обнаруживающими ошибки
[55]. Это свойство состоит в том, что существует возможность переда-
вать информацию с вероятностью ошибки, стремящейся к нулю при
ненулевой скорости передачи, достаточно близкой к пропускной спо-
собности дискретного канала.
Учитывая значительный вклад С. А. Осмоловского в разработку
и исследование метода передачи информации стохастическими корре-
ляционными кодами в системах РОС с итеративным повторением бу-
дем называть этот метод «методом Осмоловского».
При практической реализации метода Осмоловского можно обес-
печить произвольно малую вероятность необнаруженной ошибки. На-
пример, рош < 10~9 при малой избыточности в кодовом блоке г =
5... 10 и высокой скорости передачи, в том числе в каналах низко-
го качества при рош ~ 10“2.
Код Плоткина — равномерный блочный код, позволяющий эффек-
тивно корректировать симметричные и независимые ошибки. Широкого
применения он не нашел, так как требует для своей реализации слож-
ные декодирующие и кодирующие устройства.
Разделимые коды делятся на систематические и несистематиче-
ские. Примером несистематических разделимых кодов могут служить
коды Персера. В этих кодах передаваемые сообщения разбиваются
на подблоки. Обычно подблоком бывает стандартная шестиразрядная
комбинация телеграфного кода. Проверочные символы определяются
в результате суммирования подблоков и представляют собой запись их
суммы. Коды Вергера, подобно циклическим кодам, распространены
в технике передачи данных по телеграфным каналам и позволяют обна-
183
ружить пакеты ошибок с длиной пакета, не превышающей длины от-
дельною подблока. Коды Бергера особенно эффективны для двоичных
каналов с асимметричными ошибками [1, 4, 6].
15.5. Линейные групповые коды
Линейные коды всегда можно представить в система-
тической форме, чего нельзя сказать о нелинейных.
Систематическими называют такие коды, в которых информацион-
ные и корректируй щие символы расположены по строго определенной
системе и всегда занимают строго определенные места в кодовых ком-
бинациях. Они являются равномерными кодами, т. е. все комбинации
кода с заданными корректирующими способностями имеют одинако-
вую длину.
Систематические коды отличаются от сверточных тем, что в них
формирование проверочных элементов происходит по пи информаци-
онным э/ементам кодовой комбинации. В канал связи идет п-элемент-
ная комбинация, (остоящая из ли информационных и и — пи провероч-
ных разрядов, тогда как в сверточных кодах проверочные элементы
фс р ир)кшя путем сложения двух или нескольких информационных
элекевтов, сдвинутых друг от друга на расстояние, равное шагу сло-
жения. Кроме того, в систематических кодах проверочные символы
могут образовываться путем различных линейных комбинаций инфор-
мационных символов. Декодирование систематических кодов также
основано на проверке линейных соотношений между символами,
стоящими на определенных проверочных позициях. В случае двоич-
ных кодов этот процесс сводится к проверке на четность. Если число
единиц четное, то линейная комбинация символов дает нуль, в против-
ном случае — единицу.
Линейными называются коды, в которых проверочные символы
представляют собой линейные комбинации информационных сим-
волов.
Для двоичных кодов в качестве линейной операции используют
сложение по модулю 2. Напомним его.
Правило сложения по модулю 2:
О ©0 = 0; 0© 1 = 1; 1®0 1; 1 © 1 - 0. I
Последовательность нулей и единиц, принадлежащих данному
коду, будем называть кодовым вектором.
Свойство линейных кодов: сумма (разность) кодовых векторов ли-
нейного кода дает вектор, принадлежащий данному коду.
Линейные коды образуют алгебраическую группу по отношению
к операции сложения по модулю 2. В этом смысле они являются груп-
повыми кодами х.
1 Группа G — это некоторое множество О, где каждой паре элементов а, b сопостав-
лен некоторый однозначно определенный элемент с (также принадлежащий данному
множеству), называемый произведением элементов а и Ь. При этом (ab) с = а (be).
184
Свойство групповых кодов: минимальное кодовое расстояние между
кодовыми векторами группового кода равно минимальному весу не-
нулевых кодовых векторов.
Вес кодового вектора (кодовой комбинации) равен числу его нену-
левых компонентов.
Расстояние между двумя кодовыми векторами равно весу векто-
ра, полученного в результате сложения исходных векторов по
модулю 2.
Например, кодовое расстояние между двоичными векторами:
1100011 и 1001111 равно
110 0 0 11
® 1 0 0 1 1 1 1
0 10 1 10 0 d-3.
Таким образом,
№мин - d.
Код Хэмминга представляет собой один из важнейших классов
линейных кодов, нашедших широкое применение на практике и имею-
щих простой и удобный для технической реализации алгоритм обна-
ружения и исправления одиночной ошибки.
Предположим, необходимо исправить одиночную ошибку бинар-
ного кода. Такой код состоит из ли символов, несущих информацию,
и пк контрольных (избыточных) символов. Всего символов в коде
п — пи 4- пк. (150)
При передаче кода может быть искажен любой информационный
символ. Однако может быть и такой вариант, что ни один из символов \
не будет искажен, т. е. если всего п символов, то с помощью контроль-
ных символов, входящих в это число, должно быть создано такое чис-
ло комбинаций 2Г1к, чтобы свободно различить п 4- 1 вариант.
Поэтому ик должно удовлетворять неравенству
2Пк>п+ 1 (151)
Тогда, согласно (150)
2" = 2”и+”к = 2Пя2Пк. (152)
Используя (151), запишем
2п>(и+ 1) 2%,
где 2Л — полное число комбинаций кода.
Отсюда число информационных символов кода, обнаруживающего и
корректирующего одиночную ошибку,
п
<»>
Критерием оптимальности таких кодов может быть принята бли-
вость к нижней границе Хэмминга, которая достигнута в самом коде
185
Хэмминга, и имеет вид
(154)
при г = 1 (т. е. для одиночных ошибок) выражение (154) принима-
ет вид:
_ 1 _ п
(155)
Выражение (154) является нижней границей кода в том смысле,
что она устанавливает то минимальное соотношение корректирующих
и информационных разрядов, ниже которого код не может сохранять
заданные корректирующие способности. Коды, оптимальные по этому
условию, называются плотноу пакованными. Код Хэмминга сохраняет
свои корректирующие способности при числе корректирующих раз-
рядов, лежащем на нижней границе, и является плотноупакованным.
Кроме пон я ги я «нижняя граница кода», существует верхняя гра-
ница кода, которая гарантирует возможность выполнения заданных
корректирующих свойств кодам, в которых выдерживаются соотноше-
ния для пи и пк, указанные в выражении для верхней границы. Под-
робнее о границах кодов см. [3, 4, 6].
Для вычисления основных параметров кода Хэмминга задается
количество либо информационных символов, либо информационных
комбинаций N 2'4 При помощи формул (151) и (152) вычисляют
п и пк. Соотношения между п, пи и пк для кода Хэмминга представлены
в табл. 21.
Зная основные параметры корректирующего кода, определяют,
какие позиции сигналов будут рабочими, а какие — контрольными.
Практика показала, что номера контрольных символов удобно выби-
рать по закону 21, где i -- 0, 1, 2, 3, ...— натуральный ряд чисел.
Номера контрольных символов в этом случае равны 1, 2, 4, 16, 32...
Затем определяют значения контрольных коэффициентов (0 или 1),
руководствуясь следующим правилом: сумма единиц на проверочных
позициях должна быть четной. Если эта сумма четная - значение кон-
трольного коэффициента нуль, в противном случае — единица.
Таблица 21. Соотношение между количеством информационных и контрольных
символов в коде Хэмминга ____________________
п •% пк // % "к
1 0 1 9 5 4
2 0 2 10 6 4
3 1 2 11 7 4
4 1 3 12 8 4
5 2 3 13 9 4
6 3 3 14 10 4
7 4 3 15 И 4
8 4 4 16 И 5
186
Проверочные позиции выбирают следующим образом. Составляют
табличку для ряда натуральных чисел в двоичном коде. Число ее строк
п — пи + пк. Первой строке соответствует проверочный коэффициент
а1У второй — а2 и т. д.:
0001а!
0010а2
0011а3
0100а4
0101щ
0110а„
0111а7
1000а,
1001а9
1010а, „
ini ыи.
Затем выявляют проверочные позиции, выписывая коэффициенты по
следующему принципу: в первую проверку входят коэффициенты,
Таблица 22. Номера проверочных позиций кода Хэмминга
Лз про-
верки
Проверочные позиции (II}
|№ конт-
рольного
। симво; <
1 1, 3, 5, 7, 9, 11, ... !
2 2, 3, 6, 7, 10, 11, 14, 15, 18, Г), 22, 24, ... 2
3 4, 5, 6, 7, 12, 13, 14, 15, 20, 21, 22, 23, ... 4
4 8, 9, 10, 11, 12, 13, 14, 15, 24, 25, 26, 27, 28, 29, 30, 31, 40, 41, 8
42, ...
которые содержат единицу в младшем разряде (аь я7, я9, ап
и т. д.); во вторую — во втором разряде (а2, а^, аб, о7, aUh и т. д.);
в третью — в третьем разряде и т. д. Номера проверочных коэффици-
ентов соответствуют номерам проверочных позиций, что позволяет
составить общую таблицу проверок (табл. 22). Рассмотрим конкретный
пример.
Пример 30. Исправить любую одиночную ошибку при передаче комбинации
0101, I о. ли = 4.
I’ciiKHiHe: Согласно габл. 21, минимальное число контрольных символов
пк - 1, при этом п = 7. Контрольные коэффициенты будут расположены на позици-
ях 1, 2, I ('оставим макет корректирующего кода и запишем его во вторую колонку
табт. 23 11оль ivясь табл. 22, определим значения коэффициентов и
Первая проверка: сумма /7г 4- /73 4- ПГ) |- П7 должна быть четной, а сумма
ф- 0 - | I I I будет четной при = 0.
Вторая проверка: сумма /72 4- П3 4- /7(i I /1, должна быть четной, а сумма
/(2 4" 0 -|- 0 1 I будс! четной при К2 — 1
Третья проверка: сумма /74 4- П5 4- /Л> -Н /7? должна быть четной, а сумма
А3 4- 1 4- 0 I 1 бу /км четной при = 0.
Окончи ноишое iiianeniic искомой комбинации, корректирующего кода записыва-
ем в третью комочку гиб/i 23.
Предположим, в канале связи под действием помех произошло искажение и
вместо 0100101 было принят 0100111. Для обнаружения ошибки производят уже
187
знакомые нам проверки на четность. Первая проверка: сумма П1 + П3 + +
+ Пч = 0 + 0 + 14-1 четная. В младший разряд номера ошибочной позиции запи-
шем 0. Вторая проверка: сумма П2 + /73 + /7в + П1 = 1 + 0 + 1 + 1 нечетная. Во
второй разряд номера ошибочной позиции запишем 1 Третья проверка: сумма /74 +
+ Пь + /7в + П1 = 0 + 1 + 1 + 1 нечетна. В третий разряд номера ошибочной
позиции запишем 1. Номер ошибочной позиции ПО = 6. Следовательно, символ ше-
Таблица 23. Построение кода Хэмминга
Позиция сим- волов коррек- тирующего кода Кодовое слово
без значений контрольных коэффициен- тов со значениями контрольных коэффициен- тов
стой позиции следует изменить на об-
ратный, и получим правильную кодо-
вую комбинацию.
Если по изложенным выше
правилам строить корректирую-
щий код с обнаружением и ис-
правлением одиночной ошибки
1 Xi 0 для равномерного двоичного ко-
2 1 да, то первые 16 кодовых ком-
3 0 0 бинаций будут иметь вид, пока-
4 к Кз 0 занный в табл. 24. Такой код
О 6 1 о 1 о может быть использован для по-
7 1 г строения кода с исправлением
одиночной ошибки и обнаруже-
нием двойной. Для этого, кроме указанных выше проверок по контроль-
ным позициям, следует провести еще одну проверку на четность для всей
строки в целом. Чтобы осуществить такую проверку, следует к каждой
строке кода добавить контрольные символы, записанные в дополни-
Таблица 24. Код, исправляющий одиночную и обнаруживающий двойную ошибки
Десятичное предста в- ление чисел ь на пози- циях 3, 5, 6 и 7 Позиция
1 2 4 5 ь 7 8
0 0 0 0 0 0 0 0 0
1 1 1 0 1 0 0 1 0
2 0 1 0 1 0 1 0 1
3 1 0 0 0 0 1 1 1
4 1 0 0 1 1 0 0 1
5 0 1 0 0 1 0 1 1
6 1 1 0 0 1 1 0 0
7 0 0 0 1 1 1 1 0
8 1 1 1 0 0 0 0 1
9 0 0 1 1 0 0 1 1
10 1 0 1 1 0 1 0 0
11 0 1 1 0 0 1 1 0
12 0 •1 1 1 1 0 0 0
13 1 0 1 0 1 0 1 0
14 0 0 1 0 1 1 0 1
15 1 1 1 1 1 1 1 1
тельной колонке (табл. 24, колонка 8). Тогда в случае одной ошибки
проверки по позициям укажут номер ошибочной позиции, а проверка
на четность — на наличие ошибки. Если проверки позиций укажут на
наличие ошибки, а проверка на четность не фиксирует ее, значит в ко-
довой комбинации две ошибки.
188
Групповые коды удобно задавать при помощи матриц, размерность
которых определяется параметрами кода пн и пк. Число строк матрицы
равно «в, число столбцов пя + пк = п:
|Оц й12 . . . Й1пи Рц Рц ... Р>пк
ац а22 • • • °2nu P^l Р&2 • • •
a«Bl Опи2 ... апипк Рпи1 Рпи2 • • Рпипк
(156>
Коды, порождаемые этими матрицами, известны как (п, £)-коды,
где k = пя, а соответствующие им матрицы называют производящими,
порождающими, образующими.
Производящая матрица С может быть представлена при помощи
двух матриц И и П (информационной и проверочной). Число столбцов
матрицы П равно пк, число столбцов матрицы И — пи.
При соблюдении всех этих условий любую производящую матрицу
группового кода можно привести к следующему виду:
й2 Оз ... а„и Л Pt...
11 0 0 ... 0 Ри Р12 . . . ли)
0 1 0 ... 0 Р%Ъ * • ' • ^2(П—ли)
с = 0 0 1 ... 0 Ли Р32 • • ' • Рз(п—пк) = 0пиц,
0 0 0 ... 1 PkX Pk2 • • Pk(n—nn)
называемому левой канонической или приведенной ступенчатой фор-
мой производящей матрицы.
Для кодов с d0 = 2 производящая матрица С имеет вид
1 0 0 ... О
о ... о
1 ... о
О 0 0 ... 1 1
и п
1 о о ... о Т
о 1 О ... О 1
О 0 1 ... О 1
О О О ... 1 1
о 1
о о
1
1
1
1 Во всех комбинациях кода, построенного при помощи такой мат-
рицы, четное число единиц.
Для кодов с d„ 3 параметры производящей матрицы определяют-
ся исходя из количества информационных разрядов и заданных кор-
ректирующих способностей кода. Порядок построения и выбор па-
раметров производящей матрицы для d0 = 3 иллюстрируется приме-
ром 31.
18»
Пример 31. Построить матрицу для группового кода, способного исправлять
©диночную ошибку при передаче 16 символов первичного алфавита.
Решение: 1. Так как число информационных разрядов кода ли = 4 (16 =
= 21 = 2/ги), то число строк производящей матрицы С должно быть равно 4.
2. Число столбцов матрицы С равно л; п — длина кода, в свою очередь, равна
ли + лк, а число корректирующих разрядов для кодов с = 3, согласно (113),
пк = 1оя2 (5 + [log2 5]} = log2 8 = 3.
Следовательно, число столбцов, содержащих контрольные разряды, должно быть рав-
но 3, а общее число столбцов матрицы С равно ли + лк = 4+ 3= 7.
3. Так как вес каждой строки проверочной матрицы П должен быть
то в качестве строк проверочной матрицы могут быть выбраны трехзначные двоичные
комбинации с числом единиц, большим или равным двум (dQ = 3, а = 1, потому
что матрицу информационных разрядов удобно выбирать единичную): 111; 110;
101; 011
4. Окончательный вид производящей матрицы:
1 0 0 0 1 1 1 1 0 0 0 1 1 1 1 0 0 0 0 1 1
0 1 0 0 1 1 0 0 1 0 0 0 1 1 0 1 0 0 1 0 1
Cjj — или С 2 = или С3 =
0 0 1 0 1 0 1 0 0 1 0 1 1 0 0 0 1 0 1 1 0
0 0 0 1 0 1 1 0 0 0 1 1 0 1 0 0 0 1 1 1 1
Как видно из примера 31, основным требованиям могут удовлетво-
рять несколько матриц. Выбор той или иной матрицы из числа матриц,
возможных для данных /ги, пк и d0, определяется по дополнительным
требованиям: минимум корректирующих разрядов или максимальная
простота аппаратуры.
Корректирующие коды с минимальным количеством избыточных
разрядов называют плотно упакованными, или совершенными, кодами.
С одним из лучших, известных в настоящее время, совершенных ко-
дов — кодом Голлея можно подробнее ознакомиться в [3, 4, 6].
Для плотно упакованных кодов cdQ = 3 условие (155) выполняется
при п = 3, 7, 15, 31, 63, 127 и т. д., что дает следующие соотношения
п и пк : (3, 1); (7, 4); (15, 11); (31, 26); (63, 57) и т. д.
Пример 32. Определить вид производящей матрицы группового кода, оптималь-
ного с точки зрения минимума корректирующих разрядов при максимуме информа-
ционных разрядов, для использования его в системе телемеханики, проектируемой
для передачи не менее 2000 различных сообщений.
Решение: 1. 2ли 2000, ли = 11, согласно (113), при па = 11 и d0 = 3
[1о& {(11 + 1)+ [log2(ll + 1)|)1 = 4.
2. Проверим условие оттмальности кода (154); для г = 1 условие оптимальности
принимает вид
Чп~п" — 1 = п; 215-11 — I 15; 15 = 15.
3, Вес каждой комбинации проверочной матрицы Г1
U7n>d0-l, UZn>2.
4. Так как число строк производящей матрицы С равно'Лл, то в качестве провероч-
ных используются все четырехзначные двоичные комбинации весом W 2.
190
б. Окончательный вид матрицы С:
1 0 0 0 0 0 0 0 0 0 0 0 0 1
0 1 0 0 0 0 0 0 0 0 0 0 1 0
0 0 1 0 0 0 0 0 0 9 0 0 1 1
0 0 0 1 0 0 0 0 0 0 0 0 1 1
0 0 0 0 1 0 0 0 0 0 0 0 0 0
0 0 0 0 0 1 0 0 0 0 0 1 0 1
0 0 0 0 0 0 1 0 0 0 0 1 0 1
0 0 0 0 0 0 0 1 0 0 0 1 1 0
0 0 0 0 0 0 0 0 1 0 0 1 1 0
0 0 0 0 0 0 0 0 0 1 0 1 1 1
0 0 0 0 0 0 0 0 0 0 1 1 1 1
1
1
О
1
1
о
1
о
1
о
1
При четырех избыточных разрядах невозможно построить код, исправляющий
одиночную ошибку, если у него будет число информационных разрядов больше 11,
так как не существует больше 11 четырехзначных двоичных комбинаций, удовлетво-
ряющих условию
/ rn>d0-i.
I Коды, оптимальные с точки зрения минимума избыточных символов,
обнаруживающие максимально возможное количество вариантов оши-
бок кратностью г + 1; г + 2 и имеющие dQ 6 и п 40, были иссле-
дованы Д. Слепяном. Для получения этих кодов матрица П должна
иметь комбинации с максимальным весом. Для этого при построении
кодов с d0 3 последовательно используются векторы длиной п — пи,
весом = пк, пк — 1, -- I.
Были исследованы неплотно упакованные коды Р. Галлагера с
малой плотностью проверок на четность. Эти коды экономны с точки
зрения простоты аппаратуры и содержат минимальное число единиц
в корректирующих разрядах порождающей матрицы. При построений
кодов с максимально простыми шифраторами и дешифраторами для
обеспечения условия dQ = 3 последовательно выбираются векторы ве-
сом Ц7П = 2, 3, ...» /гк.
Пример 33. Источник сообщений рассчитан на передачу 120 различных 11-раз-
рядных комбинаций. Одним из главных требований технического задания (ТЗ) на
ра сработку приемного устройства является максимальная простота дешифратора
и возможность коррекции одиночных ошибок в каждой передаваемой комбинации.
Построй и. образующую матрицу группового кода, удовлетворяющего требовани-
ям ТЗ.
Р е in е п и е: 1. Задана длина кода п =-= 11 и максимальное расстояние между
кодами 3. Согласно (112),
= [log2 О 1 I ОН 4.
2. Минимальная простота дешифратора достигается при минимальном количестве
сумматоров по модулю 2 в декодере, что возможно при минимальном весе комбинаций
избыточной матрицы II Для этого в качестве векторов, составляющих строки матрицы
П, выбираем четырех тачные двоичные комбинации, весом,Wп =2, 3, 4, и используем
те комбинации, в которых содержится меньшее число единиц, т. е. (ООП, 0100,
ОНО, 1010, 1100, 0111).
191
3 Искомая матрица имеет вид
1000000001 1
01000000101
0 0 1 0 0 0 0 0 1 10
с== 00010001001
00001001010
00000101 100
0 0 0 0 0 0 1 0 1 1 1
Метод кодирования при помощи образующих матриц может быть
представлен следующим образом.
Строки образующей матрицы С представляют собой пп комбина-
ций искомого кода. Остальные комбинации кода строятся при помощи
образующей матрицы по следующему правилу; корректирующие сим-
волы, предназначенные для обнаружения или исправления ошибки в
информационной части кода, находятся путем суммирования по мо-
дулю 2 тех строк матрицы П, номера которых совпадают с номерами
разрядов, содержащих единицы в кодовом векторе, представляющем
информационную часть кода. Полученную комбинацию приписывают
справа к информационной части кода и получают вектор полного кор-
ректирующего кода. Аналогичную процедуру проделывают с каждой
последующей информационной кодовой комбинацией, пока не будет
построен корректирующий код для передачи всех символов первичного
алфавита.
Алгоритм образования проверочных символов по известной инфор-
мационной части кода может быть записан следующим образом:
Pi = P\\av © ^21^2 © * * * © ^14;
Р2 == P12^i Ф />22^2 © ФР«А; (157)
© * * * Ф ^nHnKanR9
или
%
Рц = Рц<4 ф Р21 аг ф ... ф Рп^йп* = 2 Рцаь (158)
Пример 34. Построить групповой код по заданной производящей матрице;
матрицы па = 4. Следовательно, число возможная
Р е ш е н и е: 1. Число строк
информационных комбинаций
N = 2"и = 24 = 16.
192
1) 0 0 0 0
2) 1 000
3) 0 1 0 0
4) 1 1 О О
5) О О 1 О
6) 1 0 1 О
7) О 1 1 О
8) 1 1 1 О
9) О О О 1
10) 1 0 0 1
11) 0 1 0 1
12) 1 1 О 1
13) 0 0 1 1
14) 1 О 1 1
15) О 1 1 1
16) 1111
2. Находим последовательно корректирующие разряды всех информационных
комбинаций путем суммирования по модулю 2 тех строк матрицы П, номера которых
совпадают с номерами разрядов» содержащих единицы в информационной части кода.
1) 0 0 0 2) 1 1 1 3) 1 1 0
4)
5) 10 1
6) ^111
® 1 0 1
0 1 о
7) 1 1 0 8) 1 1 1
® 0 1 1 ® 1 1 О
О 1 1 Ш.
I О О
9) 0 1 1
Ю)
фо! j
1 о о
Ф1 1 1
®1 1 0
о о
11) 110 12) 111 ® 0 1 1 ® 1 1 0 m 2_L_L 0 1 0
13) 1 о 1 ® 0 1 1 14) ®} о i
1 1 0 0 1 1
О о 1
15) 1 10 ш 1 0 1 16) ®1 1 1 ® 1 1 0
0 1 1 1 0 1
0 0 0 0 1 1
1 1 1
3. Окончательно комбинации корректирующего кода имеют в ид:
1) 0 0 0 0 0 0 0 9) 0 0 0 1 0 1 1
2) 1 0 0 0 1 1 1 10) 10 0 1 1 0 0
3) 0 1 0 О 1 1 0 11) 0 0 0 1 1 1 0
4) 1 1 0 0 0 0 1 12) 10 0 1 1 0 0
5) 0 0 1 0 1 0 1 13) 0 0 11 1 1 0
6) 1 0 1 0 0 1 0 14) 10 11 0 0 1
7) 0 1 1 0 0 1 1 15) 0 111 0 0 0
8) 1 1 1 0 1 0 0 16) 1111 1 1 1
Декодирование и коррекция ошибок в линейных кодах связаны с вы-
полнением проверок, идея которых в общем виде может быть представ-
лена следующим образом:
%
/ = 1, 2, ..., п„. (159)
1=1
Для каждой конкретной матрицы существует своя, одна един-
ственная сне гема проверок. Проверки производятся по следующе-
му правилу в первую проверку вместе с проверочным разрядом pt
входят информационные разряды, соответствующие единицам первого
столбца проверочной матрицы П, во вторую — второй проверочный
разряд р2 и информационные разряды, соответствующие единицам
второго столбца проверочной матрицы, и т. д. Число проверок равно
числу проверочных разрядов корректирующего кода /гк.
7'1/2 2-1032 193
В результате проверок образуется проверочный вектор Sb S2, ...
...» Sn — синдром. Если число единиц проверяемых разрядов — чет-
ное, то значение соответствующего разряда синдрома равно нулю.
Если вес синдрома равен нулю, то принятая комбинация считается
безошибочной. Если хотя бы один разряд проверочного вектора содер-
жит единицу, то принятая комбинация содержит ошибку. Исправле-
ние ошибки производится по виду синдрома, так как каждому ошибоч-
ному разряду соответствует один единственный проверочный вектор.
Вид синдрома для каждой конкретной матрицы может быть опреде-
лен при помощи контрольной матрицы Н, которая представляет собой
транспонированную матрицу П, дополненную единичной матрицей
Z, число столбцов которой равно числу проверочных разрядов кода.
Первый столбец матрицы становится первой строкой транспонирован-
ной матрицы, второй столбец — второй строкой и т. д.
H = ||nT7nJ. (160)
Столбцы такой матрицы представляют собой значение синдрома для
разряда, соответствующего номеру столбца матрицы Н.
Пример 35. Групповой код построен по матрице
1 0 0 0 0 1 1
0
0
10 0 1
0 10 1
0 0 11
0 1
1 о
1 1
Показать процесс исправления ошибки в произвольном разряде корректирующего
кода, информационная часть которого представляет собой четырехразрядные ком-
бинации натурального двоичного кода.
Решение: 1. Производящая матрица С в виде информационной матрицы И
и проверочной матрицы П может быть представлена следующим образом:
1 0 0 0 0 11
О 1 0
0 0 1
0 0 0
0
0
1
1 0 1
1 1 о
1 1 1
10 0 0
0 10 0
0 0 10
0 0 0 1
и
0 1 I
1 0 1
1 1 0
1 1 1
п
Согласно принципу построения системы проверки (159), система проверок для кодов,
построенных по матрицёРС, будет иметь вид
Pj ф О-2 Ф «3 Ф ^4 I»
Р2 ф ф #3 Ф ^4 S<2»
Рз ф ® (?2 Ф (/1
2. Чтобы знать, какая комбинация значений разрядов синдрома S2, S3 будет
соответствовать ошибке в определенном разряде принятой комбинации, строим конт-
рольную матрицу Н, строками которой являются столбцы матрицы П, дополненные
единичной транспонированной матрицей Z, размерность которой определяется числом
194
збыточных разрядов кода, т. е. в нашем случае равна 3. Таким образом,
Если разряды синдрома соответствуют первому столбцу матрицы Я, т. е. » 0.
S2 = 1, == 1, то ошибки в первом разряде принятой комбинации, если синдром
имеет вид ioi, что соответствует второму столбцу матрицы Н, то ошибка во втором раз-
ряде, синдром 001 соответствует ошибке в третьем проверочном разряде кода и т. д.
3. Так как информационная часть кода обычно представляет собой натуральный
двоичный код разрядности пи, то в качестве примера проверки корректирующих
свойств кода используем информационные комбинации, соответствующие цифрам
3, 4 и 5 в четырехзначном двоичном коде х: 1100, 0010 и 1010. Значение корректирую-
щих разрядов находим путем суммирования строк, матрицы П, соответствующих
единицам в информационных комбинациях:
Р' = 0 1 1 ф 1 0 1 = 1 1 0з
Р" = 1 1 0;
P" = 0 1 1 ф1 1 0=1 0 1.
Полные комбинации кода имеют вид соответственно:
110 0 110; 0010110; 1010101.
4. Пусть сбои произошли в первом разряде первой комбинации, в четвертом раз-
ряде второй и в последнем разряде третьей, т. е. приняты они в таком виде:
0 10 0 110; 0011110; 10 10 10 0.
Находим проверочные векторы согласно системе проверок.
Для первой комбинации Р' = 110, т. е. = 1; Р2 “ U =
Pi О а2 Ф Ф а* 1 ® 1 ® 0 Ф о == 0;
Ра ф ф ф а4 = 1 ф 0 ф 0 ф0 = 1;
РЯФ Qi Ф а2 ф й4 = 0ф 0 ф 1 ф0= 1.
Синдром 0 1 1 показывает, что в первом разряде символ следует заменить на
обратный.
Для второй комбинации
1 ф 0 ф 1 ф 1 = 1?
1 ф 0 ф 1 ф 1 = 1;
0 ф 0 ф 0 ф 1 = 1.
Синдром 111 — ошибка в четвертом разряде.
Для третьей комбинации
1 ф 0 ф 1 ф 0 — 0;
0 ф 1 ф 1 ф 0 = 0?
Оф 1 ф 0 ф 0=1.
Синдром 0 0 I — ошибка в седьмом разряде.
Устройства, предназначенные для декодирования произвольных
групповых кодон, обычно строятся на основе кодовых таблиц. В пер-
вой строке таблицы располагаются все кодовые векторы Ah В первом
1 Старшинство разрядов в данном случае считается слева направо, согласно по-
рядку поступления двоичных сигналов на вход декодера.
столбце второй строки размещается вектор еъ вес которого равен еди-
нице.
Остальные позиции второй строки заполняются векторами, полу-
ченными в результате суммирования по модулю 2 вектора ех с векто-
ром Ai, расположенным в соответствующем столбце первой строки.
В первом столбце третьей строки записывается вектор е2, вес которого
также равен единице, однако, если вектор ег содержит единицу в пер-
вом разряде, то е2 — во втором и т. д., пока не будут просуммированы
с векторами At все векторы в/ весом 1, с единицами в каждом из п раз-
рядов. Затем суммируются по модулю 2 векторы весом 2, с последо-
вательным «перекрытием» всех возможных разрядов. Вес вектора q
определяет число исправляемых ошибок. Число векторов е, определя-
ется возможным числом неповторяющихся синдромов и равно 2П« —
— 1 (нулевая комбинация свидетельствует об отсутствии ошибки).
Условие неповторяемое™ синдрома позволяет по его виду определить
единственный соответствующий ему вектор ef. Векторы в/ — это
векторы ошибок, которые могут быть исправлены данным групповым
кодом.
По виду синдрома принятая комбинация может быть отнесена к то-
му или иному смежному классу, образованному сложением по модулю
2 кодовой комбинации At с вектором ошибки е/, т. е. к определенной
строке кодовой таблицы.
Векторы любой из строк (кроме первой) табл. 25 относятся к смеж-
ному классу по подгруппе, образованной из элементов первой строки,
являющихся групповыми кодами, построенными по матрице С.
Таблица 25. К определению синдрома ошибки 1
е Л • а2 ... л2пи_1
*1 Л1 фЛ2 е,©Л
2 И->
*2 с2ф 41 е2ф42 мм
2 “-1
е пк 1 2 К-1 е пк ® А1 2 е п Ф Ла 2"К-1 е„ фЛ„ 2^-1 2ПИ_(
Принятая кодовая комбинация А” сравнивается с векторами, за-
писанными в строке, соответствующей полученному в результате
проверок синдрому. Истинный код будет расположен в первой строке
той же колонки таблицы. Процесс исправления ошибки заключается
в замене на обратное значение разрядов, соответствующих единицам
в векторе ошибок е^.
Векторы elf е2, ...» не должны быть равны ни одному из век-
торов Alt Л2, ..., в противном случае в таблице появились
бы нулевые векторы.
196
Пример 36. Построить кодовую таблицу, при помощи которой обнаруживаются
и исправляются все одиночные г = 1 и некоторые ошибки кратностью г + 1 в ин-
формационной части кода (11,7), построенного по матрице 1
10 0 0 111
С =
0 10 0 0 1 1
0 0 10 110
0 0 0 1 1 0 1
Решение: 1. Используя табл. 25, строим таблицу для кодов, построенных по
данной матрице С (кодовые комбинации строятся путем добавления к четырехразряд-
ным комбинациям натурального двоичного кода корректирующих разрядов по прави-
лу, изложенному на с. 193).
2. Определим систему проверок, исходя из вида матрицы П:
Рг ф at ф а3 ф а4 = Sf,
Р2 Ф ф а2 ф а3 = S2;
Р3 Ф Ф ^2 ® ^4 “ $3-
3. Находим вид синдрома для каждой строки таблицы. Для этого достаточно про-
верить кодовые комбинации любого столбца таблицы. Для примера возьмем стол-
бец Аъ;
1. 0 1 0 0 1 0 0
II. 1 0 0 0 1 0 0
III. 1110 10 0
IV. 1 1 0 1 1 0 0
V. 0 0 0 0 1 0 0
VI. 0 1 0 1 1 0 0
VII. 0 110 10 0
I) 1 ф 0 ф 0 ф 0 = 1; 11) 1 ф 1 ф 0 ф 0 = 0;
0 ф 0 ф 1 ф 0 = 1; 0 ф 1 ф 0 ф 0 = 6;|
0 ф 0 ф 1 ф 0 = 1. 0 ф 1 ф 0 ф 0=1.
III) 1 ф 1 ф 1 ф 0 = 1; IV) 1 ф 1 ф 0 ф 1 = 1;
0 ф 1 ф 1 ф 1 = 1; 0 ф 1 ф 1 ф 0 = 0;
0 ф 1 ф 1 ф 0 = 0. 0 ф 1 ф 1 ф 1 = 1.
V) 1 ф 0 ф 0 ф 0 = 1; VI 1 ф 0 ф 0 ф 1 =0;
0 ф 0 ф 0 ф 0 = 0; 0 ф 0 ф 1 ф 0=1;
0 ф 0 ф 0 ф 0 = 0. 0 ф 0 ф 1 ф 1 =0.
VII) 1 ф О ф 1 ф 0 = 0;
0 ф 0 ф 1 ф 1 =0;
О ф 0 ф I ф 0=1.
Искомая кодовая таблица представлена в табл. 26.
1 1 акая 1И/П1ЧЛ пе представляет практического интереса, так как ошибка в любом
из корректирующих разрядов не позволила бы обнаружить ни одной ошибки в приня-
той комбинации Однако эта задача хорошо иллюстрирует идею кодовой таблицы
и возможное!। ж правления групповым кодом ошибок кратностью г > 1. Реальные
задачи, в которых ш правлялись бы ошибки кратностью г + 1, г + 2 и т. д., возмож-
ны при числе коррек । прующих разрядов > 3. Соответствующие кодовые таблицы
получаются слишком i ромоздкими для учебного пособия.
197
Таблица 26. Кодовые комбинации (к примеру 36)
с Ai 1000111 0100011 Да 1100100 а4 0010110 ^6 1010001 л Л10101 д7 1110010
1000000 0000111 1100011 0100100 1010110 0010001 1110101 0110010
0100000 1100111 0000011 1000100 0110110 1110001 0010101 1010010
0010000 1010111 0110011 1110100 0000110 1000001 0100101 1100010
0001000 1001111 0101011 1101100 0011110 1011001 0111101 иною
1100000 0100111 1000011 0000100 1110110 0110001 1010101 0010010
1001000 0001111 1101011 0101100 1011110 0011001 1111101 0111010
1010000 0010111 1110011 0110100 1000110 0000001 1100101 0100010
Таким образом, вектору ошибки соответствует синдром » е2 » « еа » * е4 » » е6 » « ев > » е7 » 111; 011; ПО; 101; 100; 010; 001.
4, Предположим, приняты комбинации 1 0 110 0 1,10 0 0 10 1,
0001 1 0 0, 0 0 0 0 0 0 1 и 1010001. Производим проверки
1) 0 0 1 ф ф ф 1 ф 1 ф 1 ф 1 ф 1 = 1; 2) 1 ф 1 ф 0 ф 0 = 0; 0=1; 0 = 0.
0 ф 1 1 = 0; = 1. 0 ф 1 ф 1 ф 0 ф
0 ф 1 ф 0 ф
3) 1 ф О ф 0 ф 1 = 0; 4) 0 ф 0 ф 0 ф 0 = 0;
0 ф 0 Ф 0 ф 0 = 0; 0 ф 0 ф 0 ф 0 = 0;
0 ф 0 ф 0 ф 1 = 1. 1 ф 1 ф 0 ф 0 = 0.
5) 0 ф 1 ф 1 ф 0 = 0;
О ф 1 ф 0 ф 1 =0;
1 ф 1 ф Оф 0 = 0.
5. Синдром первой принятой комбинации — 10 1, значит вектор ошибки —
0 0 0 1 0 0 0, исправление ошибки производится заменой символа в четвертом раз-
ряде принятой комбинации на обратный. Истинная комбинация — Л5, гак как при-
нятая комбинация находится в шестом столбце таблицы в строке, соответствующей
синдрому 101.
6. Синдром второй принятой комбинации — 0 10, находим ее в шестой
строке (0 1 0 соответствует еб) и в девятом столбце. Истинная комбинация Л8 —
0 0 0 1 1 0 1, т. е. исправлена двойная ошибка.
7. Синдром третьей принятой комбинации — 0 0 1 соответствует е7, истинная
комбинация Л13.
8. Синдром четвеотой из принятых комбинации 0 0 1 также соответствует
е7, но принятую комбтЖацию мы находим в шестом столбце таблицы, следовательно,
истинная комбинация — Л5.
9. Синдром шестой принятой комбинации — 0 0 0. Ошибка отсутствует.
15.6. Циклические коды
Циклические коды получили такое название потому,
что в них часть или все комбинации могут быть получены путем цикли-
ческого сдвига одной или нескольких комбинаций кода. Циклический
’98
_ ^8 <001101 л» 1001010 Д.0 0101110 Ли 1101001 Л12 0011011 313 0011100 0111000 Л is 1111111
1001101 0001010 1101110 0101001 1011011 0011100 1111000 0011111
0101101 1101010 0001110 1001001 0111011 1111100 0011000 1011111
0011101 юною 01 11110 1111001 0001011 1001100 0101000 1101111
0000101 1000010 0100110 1100001 0010011 1010100 0110000 1110111
1101101 0101010 1001110 0001001 1111011 0111100 1011000 0011111
1000101 0000010 1100110 0100001 1010011 0010100 1110000 0110111
1011101 0011010 1111110 0111001 1001011 0001000 1101000 0101111
сдвиг осуществляется справа палево, причем крайний левый символ
каждый раз переносится в конец комбинации. Все циклические коды
относятся к линейным кодам. Кроме того, циклические коды относятся
к числу блочных кодов. Каждый блок кодируется самостоятельно.
Идея построения циклических кодов базируется на использовании
неприводимых в поле двоичных чисел 1 многочленов. Неприводимыми
называются многочлены, которые могут быть представлены в виде
произведения многочленов низших степеней с коэффициентами из
того же поля. Они так же, как простые числа, не могут быть представ-
лены произведением других чисел. Иными словами, неприводимые
многочлены делятся без остатка только на себя или на единицу.
Идея коррекции ошибок в циклических кодах базируется на том,
что разрешенные комбинации кода делятся без остатка на некоторый
образующий многочлен, который выбирается из числа неприводимых
многочленов (приложение 4). Для обнаружения ошибки при делении
на выбранный (или построенный по специальным правилам) многочлен
надо, чтобы все комбинации кода не делились ни на какой другой мно-
гочлен, а для этого необходимо, чтобы выбранный многочлен не раз-
лагался на другие многочлены (как, например, простые числа нату-
рального ряда не разлагаются на сомножители), т. е. был простым не-
приводимым многочленом. С другой стороны, такие многочлены следует
искать среди нечетных многочленов, т. е. среди многочленов, содержа-
щих нечетное число единиц, так как из всех четных многочленов легко
выделить двучлен (X + 1), т. е. четные многочлены состоят минимум
из двух сомножителей и не могут служить однозначным критерием
при определении ошибочной комбинации.
Неприводимые многочлены в теории циклических кодов играют
роль образующих (генераторных, производящих) многочленов, так как,
если lajianiibie кодовые комбинации умножить на выбранный непри-
водимый многочлен, то получим циклический код, корректирующие
способности которого определяются неприводимым многочленом.
Пусн» требуется закодировать одну из комбинаций четырехзнач-
ного двоичного кола. Предположим также, что эта комбинация —
1 Множен ин» нлгмептов принадлежит к одному полю, если над ними можно про-
изводить операции сложения и умножения по правилам данного поля, при этом
сложение и умножение должны подчиняться дистрибутивному закону: (а + Ь) с =»
ас + Ьс для всех о, b и с,
199
И-(Х) = X* 1 * 3 4- X2 4- 1 — 1101. Пока, не обосновывая свой выбор,
берем из таблицы неприводимых многочленов (приложение 4) в каче-
стве образующего многочлена К (X) = Х3 + Х + 1 — 1011. Затем
умножаем И (X) на одночлен той же степени, что и образующий много-
член. От умножения многочлена на одночлен степени п степень каж-
дого члена многочлена повысится на /г, что эквивалентно приписыва-
нию п нулей со стороны младших разрядов многочлена. Так как сте-
пень выбранного неприводимого многочлена равна трем, то исходная
информационная комбинация умножается на одночлен третьей степени
И(Х)Хп = (Х3 + X2 + 1)Х3 = X6 * В 4-Хб + X3 = 1101 000.
Осуществляется эта процедура для того, чтобы впоследствии вмес-
то этих нулей можно было записать корректирующие разряды.
Значение корректирующих разрядов находят в результате деления
И (X) Хп на К (X):
х* + х6 + о + X3 +о 4-0 4-
Х« 4- о 4- X4 4 X3
X5 4- х4 + 0 +0
Хб 4 о 4-Х3 4-х2
X4 + X3 4- х2 + о
X4 + 0 + X2 4- х
№4-0 +Х4-0
X3 4- 0 4- X 4- о
или 1 1 0 1 0 0 01 1011
1 9J-! 1111 + ?° 1
1100 ^10 11
10 11
1110
10 11
10 10
10 11
В результате деления = № 4- № -J- X | 1 + f,
Л (Л) Ли -f- Л -f’ I
в общем виде
И (X) Хп _Q(X\ 4- (К) Н6П
~ Q(А) + ~кт ’ (1б1)
где Q (X) — частное, a R (X) остаток от деления И (X) на К (X).
Так как в двоичной арифметике 1 ф 1 0, а значит и —1 — 1,
то можно при сложении двоичных чисел переносить слагаемые из
одной части равенства в другую без изменения знака (если это удоб-
но), поэтому равенство вида а ф b = 0 можно записать и как а = Ь,
и как а — b — 0. Все три равенства в данном случае означают, что
либо и а, и b равны 0, либо и а, и b равны 1, т. е. имеют одинаковую чет-
ность.
01 X3 4- X 4- 1
№4-№4-Х+1 + ж4Т1
200
На основании изложенного выражение (161) можно записать как
F (X) = И (X) Хп = Q (X) К (X) + R (X), (162)
после переноса К (X) в левую часть равенства (162)
F (X) = Q (X) К (X) - И (X) Хп + R (X), (163)
что для нашего примера даст
F (X) (X8 + X2 + X + 1) (X3 + X + 1) - (X3 + X2 + 1) X3 + 1,
или
F(X)= 1111 • 1011 - 1101000 + 001 = 1101001
Многочлен 1101001 и есть искомая комбинация, где 1101 —ин-
формационная часть, а 001 — контрольные символы. Заметим, что
искомую комбинацию мы получили бы как в результате умножения
одной из комбинаций четырехзначного двоичного кода на все сочета-
ния (в данном случае 1111) на образующий многочлен, так и умноже-
нием за, анной комбинации на одночлен, имеющий ту же степень, что
и выбранный образующий многочлен (в нашем случае таким образом
была получена комбинация 1101000) с последующим добавлением к
полученному произведению остатка от деления этого произведения на
образующий многочлен (остаток имел вид 001).
|Шифраторы циклических кодов, в том или ином виде, построены
по принципу умножения двоичных многочленов, так как даже если
кодовые комбинации получаются в результате сложения соседних ком-
бинаций по модулю 2, то это, как мы увидим ниже, эквивалентно ум-
ножению первой комбинации на двучлен X + 1.
|Итак, комбинации циклических кодов можно представлять в виде
многочленов, у которых показатели степени X соответствуют номерам
разрядов, коэффициенты при X равны нулю или единице в зависимости
от того, стоит ли нуль или единица в разряде кодовой комбинации, ко-
торую представляет данный многочлен. Например,
000101 ->-0 . Х6 + 0 - х4 + о . Х3+ 1 . х2 + о .X1 + 1 . Х° = х2+ 1;
0010100 . X5 + 0 • X4 + 1 • X3 + 0 • X2 + 1 -X’ + 0 • Х° = Х3+ X;
01()100->0 . X6 + 1 .Х4 + 0.Х3+0.Х2 + 0. X' 4-0-X0 = х4 +X2;
1()1000-> 1 . Хб + о . х4 + 1 .Х3 + 0-Х2 + о . X1 + 0-Х° - хб + X3.
Циклический сдвиг кодовой комбинации аналогичен умножению
соответствующего многочлена на X:
(Х2+ 1) • X = X3 + Х-> 001010;
(X3 + X) • X - X4 + Х2-> 010100;
(X4 + X2) • X - ХБ ь Х3-> 101000.
Если степень многочлена достигает разрядности кода, то проис-
ходит «перенос» в пулевую степень при X и цикл повторяется. В шиф-
раторах циклических кодов эта операция осуществляется путем
соединения выхода ячейки старшего разряда со входом ячейки нуле-
вого разряда.
201
Сложение по модулю 2 любых двух соседних комбинаций цикли-
ческого кода эквивалентно операции умножения многочлена, соответ-
ствующего комбинации первого слагаемого, на многочлен X + 1, если
приведение подобных членов осуществляется по модулю 2:
000101 у2+0 + 1
w 001010 Х + 1
001111 Х2 + 0+ 1 -000101
х3 + о + X —001010
х3 + х2 + X + 1 — 001111.
Таким образом, существует принципиальная возможность полу-
чения любой кодовой комбинации циклического кода путем умноже-
ния соответствующим образом подобранного образующего многочле-
на на некоторый другой многочлен.
Однако мало построить циклический код. Надо уметь выделить
из него возможные ошибочные разряды, т. е. ввести некоторые опо-
знаватели ошибок, которые выделяли бы ошибочный блок из всех дру-
гих. Так как циклические коды — блочные, то каждый блок должен
иметь свой опознаватель. И тут решающую роль играют свойства об-
разующего многочлена К (X). Методика построения циклического ко-
да такова, что образующий многочлен принимает участие в образова-
нии каждой кодовой комбинации, поэтому любой многочлен цикли-
ческого кода делится на образующий без остатка. Но без остатка
делятся только те многочлены, которые принадлежат данному коду,
т. е. образующий многочлен позволяет выбрать разрешенные комбина-
ции из всех возможных! Если же при делении циклического кода на
образующий многочлен будет получен остаток, то это значит, что в
коде произошла ошибка или эта комбинация какого-то другого кода
(запрещенная комбинация), что для декодирующего устройства не
имеет принципиальной разницы. По остатку и обнаруживается наличие
запрещенной комбинации, т. е. обнаруживается ошибка. Остатки
от деления многочленов являются опознавателями ошибок цикаических
кодов.
С другой стороны, остатки от деления единицы с нулями на обра-
зующий многочлен используют для построения циклических кодов —
возможность этого видна из выражения (163).
При делении единицы с нулями на образующий многочлен следу-
ет помнить, что длина остатка должна быть не меныие числа контроль-
ных разрядов, поэтому в случае нехватки разрядов в остатке к ос-
татку приписывают с^эава необходимое число нулей, как это показано
в примере 37.
Остатки от деления используют для построения образующих мат-
риц, которые, благодаря наглядности и удобству получения произ-
водных комбинаций, получили широкое распространение для построе-
ния циклических кодов. Построение образующей матрицы сводится
к составлению единичной транспонированной и дополнительной мат-
рицы, элементы которой^ представляют собой остатки от деления еди-
ницы с нулями на образующий многочлен К (X). Элементы дополни-
202
Пример 37. Получить остатки от деления единицы на образующий многочлен
1011.
Решение: 1 0 0 0 0 0 0 0 000(1011
Остатки: 1 0 1 1 . 1 . 1 1 , _LL
1) 011 1 1 0 0 11 1 1 1 н 10И
2) НО £ 0 1 1
3) 111 1 1 1 0
4) 101 0 1 1
5) 001 10 10
6) 010 10 11
7) 100 1 0 0 0
8) 011 1_ 0 1 1
9) 110 и т. д., 1 1
начиная с восьмого, остатки будут повторяться.
тельной матрицы приписываются справа от единичной транспонирован-
ной матрицы.
Однако не все остатки от деления единицы с нулями на образую-
щий многочлен могут быть использованы в качестве элементов допол-
нительной матрицы, а лишь те из них, вес которых W dQ — 1, где
d0 — минимальное кодовое расстояние. Длина остатков должна быть
не менее количества контрольных разрядов, а число остатков должно
равняться числу информационных разрядов.
Строки образующей матрицы представляют собой первые комбина-
ции искомого кода. Остальные комбинации кода получаются в резуль-
тате суммирования по модулю 2 всевозможных сочетаний строк обра-
зующей матрицы.
Пример 38. Используя метод образующих матриц, построить циклический код,
исправляющий одинарные ошибки при передаче комбинаций четырехзначного двоич-
ного кода на все сочетания (кроме нулевой комбинации).
Решение 1. Код, обнаруживающий двойные или исправляющий одинарные
ошибки, должен обеспечивать между комбинациями минимальное кодовое расстоя-
ние dQ = 3, следовательно, число разрядов дополнительной матрицы должно быть
/z(< — 3, а каждый остаток должен содержать три разряда.
2. Из приложения 4 выбираем многочлен, степень которого больше или равна 3,
число ненулевых членов также должно быть больше или равно 3. Выбираем многочлен
А:’ I X2 + 1.
3. Число строк, столбцов транспонированной матрицы равно пи = 4, так как
исходный код четырехразрядный.
4. Число единиц в каждом остатке (весостатка) от деления единицы с нулями
на обра тощий многочлен должно быть
№>d0— 1>3— 1>2.
5. ('.оолюман условия 1 и 4, находим остатки от деления единицы с нулями на
образующий многочлен:
0 0 0 0 0 1 110 1 Остатки: 1 0 1
10 1 1 1 1
> ! 1
10 10 0 1 1
110 1 1 1 0
1 I I 0
110 1
0 1 1
203
5. Строим образующую матрицу
0 0 0 1 1 0 1
0 0 10 111
С7А =
7’4 0 1 0 0 0 1 1
1 0 0 0 1 1 0
Х1 = 0 0 0 1 1 0 1
Х2 = 0 0 1 0 1 1 1
Х8 = О 1 О О О 1 1
Х4 = 1 О О О О 1 О
6. Путем суммирования по модулю 2 всевозможных сочетаний строк образую-
щей матрицы находим остальные комбинации искомого кода ^первые четыре комбина-
ции — строки образующей матрицы):
Х6 = ф Х2
-0001101
^00101 1 1
* 0011010
Х8 = Х2 ф х3
-0010111
® 0 10 0 0 1 1
0 1 10 10 0
хв = Хх ф Х8
-О О О 1 10 1
^0 1 0 0 0 1 1
0 10 1110
Х9 — Х2 ф х4
-0010111
ш 1 0 0 0 1 1 0
, 1 0 1 0 0 0 1
X, = X} ф Х4
- 0 0 01 10 1
^1010110
10 0 10 11
Х10 == Х8 ф Х4
-0100011
® 10 0 0 1 1 0
1 10 0 10 1
Хц — Xj ф Х2 ф Х8
0 0 0 1 1 0 1
Ф 0 0 1 0 1 1 1
0 1 0 0 0 1 1
0 1110 0 1
^18 = Хг ф Х3 ф Х4
1 0 0 0 1 1 0
ФО 0 0 1 10 1
0100011
110 10 0 0
^12 — Ф Х% ф Х4
1 0 0 0 1 1 0
Ф О О 0 1 10 1
0 0 10 111
10 1110 0
Х14 = Х2 ф Хд ф Х4
0 1 0 0 0 1 1
Ф 0 0 1 0 1 1 1
1 0 0 0 110
1110 0 10
15 = Xt Ф Х2 ф Х8 ф Х(
0 0 0 110 1
0 0 10 111
ф 0 10 0 0 1 1
1 0 о 0 1 10
1111111
Описанный выше метод построения образующих матриц не явля-
ется единственным. Образующая матрица может быть построена в ре-
зультате непосредственного умножения элементов единичной матрицы
на образующий многочлен. Это часто бывает удобнее, чем нахождение
остатков от деления. Полученные коды ничем не отличаются от кодов,
построенных по обязующим матрицам, в которых дополнительная
матрица состоит из остатков от деления единицы с нулями на обра-
зующий многочлен.
Пример 39. При помощи образующей матрицы, полученной в результате умноже-
ния единичной матрицы на образующий многочлен X8 + X + 1, построить цикличе-
ский код, исправляющий одиночную ошибку в любом из четырех информационных
разрядов.
Решение: 1. Так как в искомом коде пл == 4, то единичная матрица содержит
4 строки.
204
2. Строим образующую матрицу
0001X101 1=000101 1
0010x1011=0010110
0100X1011=0101100
1000x101 1 = 101 1000
Строки образующей матрицы являются первыми четырьмя комбинациями иско-
мого кода.
3. Находим остальные комбинации кода путем суммирования по модулю 2 строк
, образующей матрицы | 5) «000101 ® 0 0 1 0 1 1 1 0 6) ^000101 1 0 7) -0 0 0 w 1 0 1 1 0 1 1 0 0 1 0
0 1 0 1 1 0
! 001110 1 0 1 0 0 1 1 1 1 0 1 0 0 1 1
* 8) Л 0 0 1 0 1 1 0 9) Л° 0 1 0 1 1 0 Ю) 10 1 1 0 0
f ®0 1 0 1 1 0 0 ф 1 0 1 1 0 0 0 ^10 1 1 0 0 0
0 1110 1 0 1 0 0 1 1 1 0 1 1 1 0 1 0 0
t 11) 0 0 0 1 0 1 1 12) 0 0 1 0 1 1 0 13) 0 0 0 1 0 1 1
е о о 1 о 1 1 0 ф 0 1 0 1 1 0 0 ф 0 0 1 0 1 1 0
к 0 10 11 0 0 1 0 110 0 0 1 0 1 1 0 0 0
' 0110001 1 1 0 0 0 1 0 100010 1
14) 0 0 0 1 0 1 1 15) 0 0 0 1 0 1 1
ф0 1 0 1 1 0 0 ф 0 0 1 0 1 1 0
1 0 1 1 0 0 0 0 1 0 1 1 1 0
1 1 1 1 1 1 1 1 0 1 1 0 0 0
1 1 0 1 0 0 1
Сгруппируем полученные коды
1) 0 0 0 1 0 1 1 9) 0 1 1 1 0 1 0
1) 0 0 1 0 1 1 0 ‘ Ю) 1 1 1 0 1 0 0|
3) 0 1 0 1 1 0 0 1 И) 1 1 0 1 0 0 1
4) 1 0 1 1 0 0 0 , 12) 1 0 1 0 0 1 1
б) 0 1 1 0 0 0 1 * 13) 0 1 0 0 1 1 1
6) 1 1 0 0 0 1 0 ♦ 14) 1 0 0 1 1 1 0
7) 1 0 0 0 1 0 1 г 15) 1 1 1 1 1 1 1
8) 0 0 1 1 1 0 1
Циклический код может быть также получен путем непосредствен-
ного умножения информационных комбинаций на образующий много-
член.
Пример 40. Методом умножения образующего многочлена на многочлены четы-
рехзначного двоичного кода на все сочетания построить циклический код.
Реше и и с:
1) .10 0 1 4 ° ° ° 1 2) v 1 0 1 1 3> v 1 0 1 ‘ х 0 0 1 0 х 0 0 11
0 0 0 10 1 1 0010110 1011 10 11
0011101
205
4) X 1 0 1 0_ 1 0 1 1 1 0 0 1 0 0
0
7) X 1 0_ 0 1 1 1 1 1
1 0 1 1
1 0 1 1
1 0 1 J
0 1 1 0 0 0 1
10) х[ 0 0 1 1 1 0
1 0 1 1 0
£ 0 1 1
1 0 0 1 1 1 0
13) х! 0 1 1 1 0 1
1 0 1 1
1 0 1 1
|_ 0 1 1
1 1 1 1 1 1 1
5) *0 1 1 0 1 0 1 1 0 0 1 1 1 1
8) 0 1
1 0 0 х1_ 0 1 1 1 1 0 1 0 0 0 0 1 1 0 0
Н) X 1 £ 0 0 1 1 1 _1
1 0 1 1
1 0 1 1
1_ 0 1 1
1 0 0 0 1 0 1
14) X 1 1 0 1 1 1 1 0
1 0 1 1 0
1 0 1 1
1_ 0 1 1
1 1 0 0 0 1 0
6) v 1 0 1 1 х 0 110
1 0 1 0 1 1 1 0
1
0 1 1 1 0 1 0
9) х 1 0 х 1 0 1 1 0 1
1 0 1 0 1 1 1 1
1 0 1 0 0 1 1
12) х1_ 0 1 1 1 0 0
1 1 0 1 0 1 1 1 0 0
1 1 1 0 1 0 0
15) X 1 0 1 1 1 1 1
£ 1 1 0 1 0 1 0 1 1 0 1 1 1 1 1
1 1 0 1 0 0 1
Сгруппировав 14 из 15 полученных комбинаций в
циклический сдвиг комбинации:
колонки I и II, легко заметить
1) 0 0 1
2) 0 1 1
3) 1 1 1
4) 1 1 О
5) 1 0 1
6) 0 1 О
7) 1 О О
110 1
10 10
0 10 0
1 0 0 1 11
0 0 11
0 111
1110
8) О О О
9) О О 1
10) 0 1 О
11) 1 0 1
12) О 1 1
13) 1 1 О
14) 1 О О
1 О 1 1 15)
0 110
110 0
10 0 0
0 0 0 1
0 0 10
0 10 1
„ООО 1011
1110 10 0
1111111
Как видим, кодовые комбинации
ций, полученных в примере 39.
1...15 ничем не отличаются oi кодовых комбяна-
В конце концов, образующая матрица может быть построена путем
циклического сдвига комбинации, полученной в результате умноже-
ния строки единичной матрицы ранга пи на образующий многочлен.
Ошибки в циклических кодах обнаруживаются и исправляются
при помощи остатков от деления полученной комбинации на образую-
щий многочлен. Остатки от деления являются опознавателями ошибок,
но не указывают непосредственно на место ошибки в циклическом
коде.
Идея исправления ошибок базируется на том, что ошибочная ком-
бинация после определенного числа циклических сдвигов «подгоня-
ется» под остаток таким образом, что в сумме с отстатком она дает ис-
206
правленпую комбинацию. Остаток при этом представляет собой не что
иное, как разницу между искаженными и правильными символами,
единицы в остатке стоят на местах искаженных разрядов в «подогнан-
ной» циклическими сдвигами комбинации. Подгоняют же искаженную
комбинацию до тех пор, пока число единиц в остатке не будет равно
числу ошибок, которое еще способен исправить данный код. При этом,
естественно, число единиц может быть равно числу ошибок S, исправ-
ляемых данным кодом (код исправляет три ошибки и в искаженной
комбинации три ошибки), или меньше S (код исправляет три ошибки,
а в принятой комбинации — одна ошибка).
Место ошибки в кодовой комбинации не имеет значения. Если
пк -у, то после определенного количества сдвигов все ошибки ока-
жутся в зоне «разового» действия образующего многочлена, т. е. до-
статочно получить один остаток, вес которого W S, и этого доста-
точно для исправления искаженной комбинации. В этом смысле цик-
лические коды могут исправлять пачки ошибок, лишь бы длина пачки
не превышала S.
Подробно процедура исправления ошибок рассматривается далее
на?гпримерах построения конкретных кодов.
Построение и декодирование конкретных циклических кодов сво-
дится к следующим стандартным процедурам.
I. Коды, исправляющие одиночную ошибку, rf0 = 3.
1. Расчет соотношения между контрольными и информационными
символами кода производится на основании выражений (112—1201
Если задано число информационных разрядов пи, то число кок
трольпых разрядов пк находится из выражения
«к = [log2 {(п„ + 1) + [log2 (пи + 1)]}], (164k
общее число символов кода
п = п„ + пк.
Если задана длина кода и, то число контрольных разрядов
= [log2 (и + 1)]. (165>
Соотношение числа контрольных и информационных символов
для кодов с d0 == 3 приведены в табл. 1 (приложение 3).
2. Выбор образующего многочлена производится по таблицам не-
приводимых двоичных многочленов (приложение 4).
Образующий многочлен К (X) следует выбирать как можно более
коротким, по, с одной стороны, степень его должна быть не меньше
числа контрольных разрядов лк, с другой — число ненулевых членов
К (X) должно быть не меньше минимального кодового расстоя-
ния г/()
3. Выбор параметров единичной транспонированной матрицы про-
исходит из условия, что число столбцов (строк) матрицы определяется
числом информационных разрядов, т. е. ранг единичной матрицы ра-
вен пи.
4. Определение элементов дополнительной матрицы производится
по остаткам от деления последней строки транспонированной матрицы
20"
^единицы с нулями) на образующий многочлен. Полученные остатки
должны удовлетворять следующим требованиям:
а) число разрядов каждого остатка должно быть равно числу
контрольных символов пк, следовательно, число разрядов дополнитель-
ной матрицы должно быть равно степени образующего многочлена;
б) число остатков должно быть не меньше числа строк единичной
транспонированной матрицы, т. е. должно быть равно числу информа-
ционных разрядов пи;
в) число единиц каждого остатка, т. е. его вес, должно быть не ме-
нее величины W = dQ — 1, dQ — минимальное кодовое расстояние,
т. е. не меньше числа обнаруживаемых ошибок;
г) количество нулей, приписываемых к единице с нулями при де-
лении ее на выбранный неприводимый многочлен, должно быть таким,
чтобы соблюдались условия а — в,
5. Образующая матрица составляется путем дописывания элемен-
тов дополнительной матрицы справа от единичной матрицы или путем
умножения элементов единичной матрицы на образующий многочлен.
6. Комбинациями искомого кода являются строки образующей мат-
рицы и всевозможные суммы по модулю 2 различных сочетаний строк
образующей матрицы.
Коды, полученные при использовании неприводимых многочленов
вида X3 I- X2 4- 1 и X3 + X + 1, подобны друг другу и обладают
равноценными корректирующими способностями. Сами же много-
члены 1101 и 1011 называют обратными, или двойственными, много-
членами. Если данный многочлен неприводимый, то неприводимым
будет и двойственный ему многочлен.
7. Обнаружение и исправление ошибок происходит по остаткам от
деления принятой комбинации F (X) на образующий многочлен К (X).
Если принятая комбинация делится на образующий многочлен без ос-
татка, то код принят безошибочно. Остаток от деления свидетельст-
вует об ошибке, но не указывает, какой именно. Чтобы найти ошибоч-
ный разряд и исправить его в циклических кодах, принято осуществ-
лять следующие процедуры:
а) принятая комбинация делится на образующий многочлен;
б) подсчитывается количество единиц в остатке (вес остатка). Если
№ < S, где S — допустимое число исправляемых данным кодом оши-
бок, то принятая комбинация складывается по модулю 2 с полученным
остатком. Сумма даст исправленную комбинацию. Если W > S, то
в) делим полученную в результате циклического сдвига комбина-
цию на образующ^ многочлен К (X). Если в остатке W S, то скла-
дываем делимое с остатком. Затем производим циклический сдвиг
вправо от комбинации, полученной в результате суммирования послед-
него делимого с остатком. Полученная комбинация уже не содержит
ошибок. Если после первого циклического сдвига и последующего
деления остаток получается таким, что его вес W > S, то
г) повторяется процедура в) до тех пор, пока не будет W S.
В этом случае комбинация, полученная в результате последнего цикли-
ческого сдвига, суммируется с остатком от деления этой комбинации
на образующий многочлен, а затем
208
д) ирон пюднгся циклический сдвиг вправо на столько разрядов,
на сколько пыла сдвинута суммируемая с последним остатком комби-
нация «иши пгсльно принятой. В результате получим исправленную
комби II.III НК ),
Пример II. Показать процесс исправления одиночной ошибки в принятой кодо-
вой компннипии на примере кода, полученного в примере 39.
Р < in »♦ и и е: 1. Предположим, передавалась комбинация № 14 и в ней исказил-
ся ipciiirt рп«ряд. Таким образом, принятая комбинация имеет вид 1 0 0 0 1 1 0.
2. /1«*лим принятую комбинацию на образующий многочлен
100011011011
10 11 1------
1111
10 11
10 0 0
10 11
1 1
3. Сравниваем вес полученного остатка W с возможным для данного кода числом
исправляемых ошибок S. Вес остатка U7 = 2. Число исправляемых ошибок S »= 1.
4. Производим циклический сдвиг принятой комбинации F (X) на один разряд
влево с последующим делением полученной в результате циклического сдвига ком-
бинации на К (X):
000110111011
1011 IT>S.
0 110
5. Повторяем процедуру п. 3 до тех пор, пока не будет W S
0 0 11 0 1 0 | 1 0 1 1 0 110 10 0 110 11 1 1 0 1 0 0 0 I 1 0 1 1
1 0 1 1 1 0 1 2 1 0 1 1
1 1 0 0 1 1 0 0 1 1 0 0
1_ 0 1 j 1 0 1 1 №>S; 1_ 0 1 2 w
1 1 1 1 1 1 0 1 1 1 0
1_ 0 1 1 1 0 2J
1 0 1 1 0 1 0
1_ 0 1 1
1
6. Складываем по модулю 2 последнее делимое с последним остатком
1 10 10 0 0
Ф 1
1101001
7. Производим циклический сдвиг комбинации, полученной в результате сумми-
рования последнего делимого с последним остатком, вправо на 4 разряда (так как
перед ним мы четырежды сдвигали принятую комбинацию влево) 1110 10 0,
0 1 1 I О I 0, 0 0 1 1 101,100 1 1 10, как видим, последняя комбинация
соответс iiiyrr переданной, т. е. уже нс содержит ошибки.
II. Коды, обнаруживающие трехкратные ошибки d0 — 4.
1. Выбор числа корректирующих разрядов производится из соот-
ношения
Пк > 1 + 10g, (П -J- 1),
ИЛИ
> 1 + /0g, [(Ли + 1) + log, (пв + 1)J.
8 W.+1/» 9-Ю.-1Я ЗОЙ
2. Выбор образующего многочлена производят исходя из следую-
щих соображений: для обнаружения трехкратной ошибки
dQ = r+l~3+l=4,
поэтому степень образующего многочлена не может быть меньше 4;
многочлен третьей степени, имеющий число ненулевых членов боль-
ше или равное трем, позволяет обнаруживать все двойные ошибки
(примеры 14—15), многочлен первой степени (X + 1) обнаруживает
любое количество нечетных ошибок.
Полученный код во всех комбинациях содержит четное число еди-
ниц. Нарушение условия четности обнаруживается при делении при-
нятой комбинации F (X) на образующий двучлен (X + 1). Остаток
будет во всех случаях, когда число ошибок будет нечетным. Анало-
гично обнаруживаются ошибки и в кодах, имеющих более высокую
разрядность.
Таким образом, многочлен четвертой степени, получаемый в ре-
зультате умножения этих многочленов третьей и первой степени, об-
ладает их корректирующими свойствами: может обнаруживать две
ошибки, а также одну и три, т. е. все трехкратные ошибки.
Построение образующей матрицы по данным образующим много-
членам осуществляют или с помощью нахождения остатков от деле-
ния единицы с нулями на образующий многочлен, или умножением
строк единичной матрицы на образующий многочлен. Остальные
комбинации корректирующего кода находят путем суммирования по
модулю 2 всевозможных сочетаний строк образующей матрицы.
Обнаружение ошибок производится по остаткам от деления при-
нятой комбинации F (X) на образующий многочлен К (X). Если остат-
ка нет, то контрольные разряды отбрасываются и информационная
часть кода используется по назначению. Если в результате деления
получается остаток, то комбинация бракуется. Заметим, что такие ко-
ды могут обнаруживать 75 % любого количества ошибок, так как,
кроме двойной ошибки, обнаруживаются все нечетные ошибки, но га-
рантированное количество ошибок, которое код никогда не пропустит,
равно трем.
1П. Циклические коды, исправляющие две и большее количество
ошибок d0 5.
Методика построения циклических кодов с d0 > 5 отличается от
методики построения циклических кодов с d{} < 5 только в части вы-
бора образующего многочлена. В литературе эти коды известны как
коды БЧХ (первые буквы фамилий Боуз, Чоудхури, Хоквинхем —
авторов методики построения циклических кодов с dQ 5).
Построение образующего многочлена в основном зависит от двух
параметров: длины кодового слова п и числа исправляемых ошибок S.
Остальные параметры, участвующие в построении образующего
многочлена, в зависимости от заданного п и S могут быть определены
при помощи таблиц и вспомогательных соотношений, о которых будет
сказано ниже.
Для исправления числа ошибок 5^2 еще недостаточно условия,
что между комбинациями кода минимальное кодовое расстояние dQ =»
210
= 2S + 1, необходимо также, чтобы длина кода п удовлетворяла
условию
/г = 2й —1, (166)
при этом п всегда будет нечетным числом.
Величина h определяет выбор числа контрольных символов пк и
связана с пк и S следующим соотношением
nK<AS = [loga(n+ 1)] S.
(167)
С другой стороны, число контрольных символов определяется об-
разующим многочленом и равно его степени (к этому вопросу мы еще
вернемся ниже). При больших значениях h длина кода п становится
очень большой, что вызывает вполне
нической реализации кодирующих
и декодирующих устройств. При
этом часть информационных разря-
дов порой остается неиспользован-
ной. В таких случаях для опреде-
ления Л удобно пользоваться выра-
жением
2й—1 = пс, (168)
где с — один из сомножителей, на
которые разлагается число п.
Соотношения п, с и h сведены в
табл. 27.
Например, при h = 10 длина
кодовой комбинации может быть
равна и 1023 (с = 1), и 341 (с = 3),
и 33 (с = 31), и 31 (с = 33), понятно,
меньше пк hS. Величина с влияв!
определенные трудности при тех-
Таблица 27. Соотношение п, с, Л для
некоторых цикличных кодов с da 5
№ п/п h п = 2Л — 1 с
1 3 7 1
2 4 15 5; 3
3 5 31 1
4 6 63 7; 3; 3
5 7 127 1
6 8 255 17; 5; 3
7 9 511 7; 3; 7
8 10 1023 31; 11; 3
9 И 2047 89; 23
10 12 4095 3; 3; 5; 7;
13
что при этом п не может быть
на выбор порядковых номеров
минимальных многочленов, так как индексы первоначально выбранных
многочленов умножаются на с (примеры 48—51).
11остроение образующего многочлена К (X) производится при
...к>|ци минимальных многочленов М (X), которые являются просты-
ми п< приводимыми многочленами. Образующий многочлен представ-
ч " । собой произведение нечетных минимальных многочленов и яв-
..... их наименьшим общим кратным (НОК). Максимальный поря-
н«»| минимальных многочленов
p = 2S — 1. (169)
Иоримок многочлена используется при определении числа сом-
ШМ1И1Н ц< и Для построения К (X) используются только нечетные
миокгрн П1.1, при 5 = 6 ими будут: Л4Х (X); Л43 (X); ТИ5 (X); М7 (X);
Л/„ ( S >. Л1ц ( V). Старший из них имеет порядок р = 2S — 1 = 11.
Число пч p.Himi <;, т. е. равно числу исправляемых ошибок. Таким
tibpa.ioM, чиою минимальных многочленов, участвующих в построе-
нии obpii.iviHHicio многочлена,
L =.- 5, (170)
н'А I '/н
211
а старшая степень
l = h
(171)
указывает колонку в таблице минимальных многочленов, из которой
обычно выбирается многочлен для построения К (X).
Для построения образующего многочлена используются только
нечетные многочлены степени I (приложение 4). Иногда допускается
использование многочленов и меньшей степени 16].
Степень образующего многочлена, полученного в результате пере-
множения выбранных минимальных многочленов,
(172)
В общем виде
/С(Х) - НОК[М1(Х)Л43(Х) ... Л4р(Х)]. (173)
Пример 42. Построить циклический код длиной в 15 символов, исправляющий
одну или две ошибки.
Решение: 1. Согласно (166), п « 2^ — 1, отсюда
h = log2 (п + 1) = log2 16 = 4.
2. Число контрольных символов пк, согласно (167),
пк < hS < 4 - 2 = 8.
3. Порядок старшего из минимальных многочленов, согласно (169),
p = 2S—1 = 2- 2—1=3.
4. Количество минимальных многочленов, участвующих в построении образую-
щего многочлена, согласно (170), L = S = 2, старшая степень, согласно (171),
/=Ь=4.
5. Степень образующего многочлена, согласно (172),
6. Из колонки 4 (табл, приложения 4), где расположены минимальные многочле-
ны степени I = 4, выбираем два (L = 2) минимальных многочлена, порядок старшего
из которых равен 3 (р = 3), т. е. выбираем минимальные многочлены 1 и 3.
7. К (X) = *МГ (X) Л43 (X) = 10 011 X 11 111 = >11 010 001; Xм 4- X7+
4* X4 4~ 1.
8. Число информационных разрядов =--= п — п* = 15 — 8-7.
9. Первая строка образующей матрицы получается путем добавления слева от
Д (X) такого числа нулей, чтобы общая длина кодовой комбинации была равна п.
Образующая матрица получается в результате лн кратного циклического сдвига
кодовой комбинации, соответствующей первой строке образующей матрицы:
0 0 0 0 0 0 1 1 1 0 1 0 0 0 1
ОфО 0 0 0 1 1 1 0 1 0 0 0 1 0
0 0 0 0 1 1 1 0 1 0 0 0 1 0 0
^15,7 == 0 0 0 1 1 1 0 1 0 0 0 1 0 0 0
0 0 1 1 1 0 1 0 0 0 1 0 0 0 0
0 1 1 1 0 1 0 0 0 1 0 0 0 0 0
1 1 1 0 1 0 0 0 1 0 0 0 0 0 0
Остальные комбинации кода получаются суммированием всевозможных сочета-
ний строк образующей матрицы.
Для кода Хемминга с пи = 7 число корректирующих разрядов
равнялось бы 4, т. е. в два раза меньше. Но построенный в примере 42
циклический код обладает более высокими корректирующими способ-
ностями. Каким бы методом ни строились коды, повышение корректи-
рующих способностей ведет к увеличению избыточности.
Декодирование кодов БЧХ представляет трудную задачу и произ-
водится чаще всего на основе алгоритма Бэрлекэмпа [11 или различных
его модификаций, описанных, например, в работе «Вопросы повыше-
ния достоверности передачи и обработки информации».— М. :
ВНИИОНЭГ, 1974. Но декодирование некоторых, в частности, БЧХ-
кодов (15,7) может производиться по той же методике, что и декодиро-
вание циклических кодов с <5. Однако в связи с тем, что БЧХ»
коды представлены комбинациями с п 15, могут возникнуть слож-
ные варианты, когда для обнаружения и исправления ошибок необ-
ходимо производить большое число циклических сдвигов. В этом
случае некоторое облегчение может быть, если комбинацию, получен-
ную после /(-кратного сдвига и суммирования с остатком, сдвигать
не вправо, а влево на и — К циклических сдвигов. Это целесообразно
делать только при д > у.
Теоретически БЧХ-коды могут исправлять произвольное коли-
чество ошибок, однако с ростом кратности ошибки значительно воз-
растает сложность декодеров, что неизбежно ведет к уменьшению ско-
рости передачи и усложнению приемно-передающей аппаратуры.
Пример 43. Построить циклический код, способный исправлять 6-кратную
ошибку при общей длине кода п — 63. Показать процесс исправления шестикратной
ошибки.
Р е ш е н и е: 1. Определим h Так как п= 2й — 1, то 63 = 2h — 1; h Ion., 64 =
== 6.
2. Порядок старшего из выбираемых минимальных многочленов
р = 2j— I = 11.
3. Количество минимальных многочленов, участвующих в построении образую-
щего многочлена,
L = 3 = 6,
а старшая степень
/=Л = 6.
4. Из шестой колонки таблицы приложения 4 выписываем шесть минимальных
miioi очлгиов, порядок старшего из которых р= 11 : Alt — 1000011, Л43— 1010111,
Л4л 1 НИИ II, М7 — 1001001, — 1101, Мп — 1101101.
Ь. < 1роим образующий многочлен
Ю10111 X 1100111 X 1001001 X 1000011 X Н01 X 1101101 =
< I 101111100110100001110101101100111 -> X33 + X32 + X30 + Х2У +
ч I Л“7 рХаб + Х23 + Х22Н-Хао +Xlb + X1*+X13 + Xu + X^ +
+ х8 + Х6 + Ль _|_ Х2 + х + 1;
0 * 1 / • б; пк 33; пи = п — пк =□» 63 — 33 = 30 код (63, 30).
6. Так как с умма ио модулю 2 двух любых комбинаций циклического кода также
является комбинацией тою же кода, то в качестве проверочной возьмем комбинацию,
Н1/, 2—1032
213
полученную путем суммирования первых двух строк образующей матрицы,
28 нулей
_ ОТТГОО!101111100110100001110101101100111
. . . 011011111001101000011101011011001110
28 нулей
0 ... 0101100001010111000100111101 юююоГ
28 нулей
7. Предположим, искаженными оказались 2, 3, 5, 6, 8 и 10-й символы, для
исправления ошибки делим искаженную комбинацию на К (X)
28 нулей | (7\/Х)
oTTToi 0110000101011100010011111100011111 W = S
1101111100110100001110101101100111
1101111100110100001110100111010001
1101111100110100001110101101100111
1010110110
Складываем делимое с остатком и получаем исправленную комбинацию
28 нулей
^0 ... 010110000101011100010011111100011111
_________________________________1010110110
0 ... 010110000101011100010011110110101001
15.7. Анализ современных методов
кодирования
Пути развития техники кодирования могут быть
сведены к двум основным направлениям.
1. Выбор лучших из коротких (длина кода п = 10...30 символов)
кодов и реализация для них переборных алгоритмов, таких, которые
одновременно наиболее полно реализуют и корректирующие свойства
кода, и другие возможности, обеспечиваемые полным перебором. На-
пример, полный перебор позволяет применять более простую синхро-
низацию и возможность «мягкого» (поэлементного) приема - приема с
постепенной оценкой квантованного сигнала (сообщения), что обеспе-
чивает упрощение аппаратуры по сравнению с «жестки м» приемом —
приемом с разовой оценкой сигнала (сообщения) в целом. 11ростота ап-
паратуры определяется обычно сложностью декодирования. Малая
сложность декодирования —объем занимаемой памяти Q 4/г, чис-
ло тактов декодера на каждый декодированный символ / 3. Боль-
шая сложность — Q 10n; t 10.
> 2. Отказ от полное декодирования ио максимуму правдоподобия
и поиск специальных кодов, допускающих простое декодирование.
При этом можно использовать коды, в которых неполное использова-
ние их корректирующих возможностей компенсируется за счет длины
самого кода (п 200). При этом для некоторых кодовых конструкций
оказывается возможным обеспечить значительно меньшие вероятности
ошибки, чем при реализации переборных алгоритмов одинаковой слож-
ности, если при этом шум канала не очень высок.
Проанализируем наиболее распространенные коды.
214
Коды Боуза — Чоудхури — Хоквингема стали одним из самых
первых классов кодов, теория которых доведена до высокого уровня
совершенства. Разработанный для них весьма эффективный при малом
шуме канала алгоритм декодирования Берлекэмпа 11 ] и его основные
модификации обеспечивают исправление всех ошибок веса W IF0,
где Ц70 + 1 = d0. Сложность этого алгоритма составляет порядка
/г2 log2 п операций и примерно (5...20) п бит памяти. Можно считать
достаточно правдоподобным, что дальнейшее существенное увеличение
эффективности и уменьшение сложности декодирования этих кодов
уже невозможно. Поэтому из анализа их характеристик можно за-
ключить, что коды БЧХ могут обеспечить малые вероятности ошибок
только в случае, когда R /?кр, т. е. в каналах типа ДСК высокого
качества с вероятностью ошибки на двоичный символ /?() <; 10~4.
Однако для таких каналов весьма эффективны и многие другие мето-
ды, например, пороговые.
Недвоичные коды Рида-Соломона (PC) составляют второй основной
тип блоковых кодов. Недвоичными их называют в том смысле, что
один символ кода PC это набор символов, например нулей и единиц.
Длина набора определяется исходным полем. За исходное поле берет-
ся, как правило, 2Z, где I определяет длину набора (для двоичного
основания наборы состоят из двух, четырех, восьми и т. д. символов).
Практически используются только двоичные основания кода PC. Де-
кодирование этих кодов производится па основе алгоритма Бэрле-
кэмпа [1].
Коды PC относятся к совершенным кодам, т. е. имеют максималь-
но возможные значения d0 при заданных величинах п и R. Хотя уси-
лиями многих исследователей сложность реализации декодеров PC
доведена при больших п до величин порядка nk In п (где k — неболь-
шое целое число), абсолютная сложность в числе операций, выполня-
емых декодером, остается еще очень большой. Так, при реализации
декодера PC для кода (31, 15) необходимо выполнение порядка 17 опе-
раций на каждый бит декодируемого сообщения, даже если часть опе-
раций проводить параллельно, а умножение в недвоичных полях вы-
полнять табличными методами.
Каскадные коды также являются в настоящее время разделом
теории кодирования, близким к завершению [4, 201.
11оявление и успешная разработка методов каскадного кодирова-
ния связаны с насущной необходимостью значительно упростить ал-
горитмы декодирования и одновременно существенно повысить их
Э([х|)СК тивность.
Основная идея применения каскадных кодов заключается в том,
что кодирование сообщений для передачи по каналу осуществляется
не одним, а двумя отдельными кодерами различных кодов, например
БЧХ или PC. В принципе можно рассматривать и большее число кас-
кадов, но и для практических целей и при теоретических оценках впол-
не достаточно двух ступеней кодирования.
Информационная последовательность первоначально поступает
на кодер первого каскада, с выхода которого кодовая последователь-
ность поступает как информационная на вход второго кодера, и только
Ь7а* 215
результирующая кодовая комбинация с выхода второго кодера направ-
ляется в канал. На приемном конце происходит декодирование в об-
ратном порядке: сначала на внутреннем втором декодере, а затем на
внешнем первом.
Достоинства каскадной схемы наиболее полно можно пояснить
следующим образом. Пусть на основе алгоритма декодирования с ис-
ходной сложностью А() и кодовой скоростью /?0 можно получить в не-
котором диапазоне входных вероятностей ошибки в принятом сигнале
pQ = 3 • 10-2...10“3 вероятности ошибок декодирования рд = 10-2...
10-7 (численные значения вероятностей взяты условно; малой ве-
роятностью ошибки декодирования считается р,х 1 • 10~6, боль-
шой — рд 3 • Сложность характеризует размеры и быстро-
действие аппаратуры, а указанные величины вероятностей и соотно-
шения между ними соответствуют реальным параметрам алгоритмов,
типичных для каскадных кодов.
Пусть далее взя ты коэффициенты а и р (0 < а < /?0, 0 < р < 1)
и выбран некоторый другой алгоритм того же канала, что и исходный,
с = Rq/ol и Л} = рЛ0. Вследствие выбора более высокоскоростно-
го кода и меньшей допустимой сложности реализации его декодера
новый код уже не сможет реализовать столь же хорошие характеристи-
ки в рассма триваемой области входных шумов. В том же диапазоне ве-
роятностей /?0 он сможет обеспечить несколько худшие достоверности:
Рп = 2 • 10 КГ'1.
Но если теперь ввести второй каскад кодирования такой, что его
D
кодовая скорость будет R2 = = а, а сложность соответствующего
Ki
ему декодера Л2 -^ (1 — (3) Ло, то результирующая аппаратура для
декодирования каскадного кода будет иметь общие кодовую скорость
/?0 и сложность Ао такие же, как и исходный код. Но в тбм же диапазо-
не значений при правильном выборе кодов вероятности ошибки на вы-
ходе декодера будут лежать в пределах рд = 3 • 10~2...10~4. Как
легко заметить, в крайней точке каскадный код не уменьшает вероят-
ности ошибки декодирования но сравнению с pQ и даже оказывается
хуже, чем исходный алгоритм. Однако, если уменьшить исходную
вероятность pQ от 3 • 10“2 до 2,7 • 10~~, то рц каскадного кода уже бу-
дет меньше, чем у исходного, а если /;0 уменьшить еще немного, то ве-
роятность ошибки каскадного кода будет уже столь мала, что для
достижения тех же вероятностей ошибки на основе однокаскадных
схем с помощью кодов исходного типа пришлось бы так увеличить
длину кода, что сложность соответствую цего ему декодера достигла
бы (10... 100) Ло. Бол>е того, возможно и такое сочетание параметров
канала и кодов, что для некоторых их зпачений однокаскадная схема
ни при какой сложности декодера не сможет обеспечить те достовер-
ности, которые достижимы при каскадном кодировании.
Таким образом, применение каскадных схем кодирования позво-
ляет обеспечить высокие достоверности при весьма большом уровне
шума и умеренной сложности декодирования. Столь хорошие характе-
ристики каскадных кодов объясняются тем, что минимальное расстоя-
216
ние каскадного кода dk не меньше, чем произведение расстояний со-
ставляющих его кодов dk = dAd2. Именно это обстоятельство и позво-
ляет каскадным кодам при улучшении качества двоичного симметрич-
ного канала (ДСК) обеспечивать очень быстрое уменьшение вероят-
ности ошибки декодирования.
Три перечисленных класса кодов составляют наиболее хорошо и
полно разработанную область теории блоковых кодов. Их общая осо-
бенность состоит в том, что при возможной в настоящее время слож-
ности реализации декодеров они оказываются наиболее э(|к|)екгивными
при вероятности ошибки в канале 10-2.
Продвижение области эффективной работы блоковых кодов в сто-
рону более высоких шумов осуществимо при более высокой аппаратур-
ной сложности реализации.
Алгоритм Витерби положил начало широкому использованию коди-
рования в технике передачи данных сверточными кодами 1161. Хотя
сложность реализации этого алгоритма растет с длиной кода экспонен-
циально, однако он обеспечил более высокие качественные характери-
стики сверточных кодов по сравнению с блоковыми. Если после пере-
дачи по гауссовскому каналу (гауссовскими называют каналы связи,
в которых распространение помех описывается гауссовским законом
«гауссовская» — наиболее распространенная теоретическая модель
канала связи) сигнал на выходе демодулятора квантуется не на два
уровня, 0 или 1, т. е. осуществляется не «жесткий», а «мягкий» прием
с квантованием на восемь уровней, когда с выхода демодулятора в де-
кодер поступают не только значения принятого двоичного символа,
но и два дополнительных двоичных разряда, характеризующих меру
его достоверности, то алгоритм Витерби допускает очень простой
учет получаемой таким образом дополнительной информации о состоя-
нии канала. Это позволяет на 1,8...2,0 дБ уменьшить энергию сигнала
в гауссовском канале при сохранении того же уровня достоверности,
что и в ДСК, при «жестком» решении демодулятора.
Алгоритмы последовательного декодирования имеют наибольшую
историю среди методов декодирования сверточных кодов. После того
как Возенкрафт в 1957 г. предложил самый первый вариант декодера
такого типа [2], были разработаны алгоритмы Фано, Зигангирова
[201 и стек-алгоритмы нескольких модификаций, в которых характери-
стики первоначального алгоритма были существенно улучшены
Однако все последовательные алгоритмы могут быть реализованы толь-
ко при объеме памяти декодеров порядка 105 бит, что существенно
больше, чем требуется при использовании алгоритма Витерби для до-
стижения сопоставимых характеристик в области больших шумов.
Но даже при таком значительном объеме памяти все основные
модификации последовательных алгоритмов с большой вероятностью
(порядка К) ’...К)-3) отказываются от принятия какого-либо решения
относительно декодируемой последовательности, что приводит к час-
тым стираниям, т. е. отказам от декодирования, даже если вероятность
ошибки декодера лежит в области менее 10~5 на информационный
символ. Появление стираний связано с тем, что объем вычислительной
21 /
нагрузки последовательных декодеров всех типов, от символа к сим-
волу, очень неравномерен, в силу чего приходится вводить ограниче-
ние на максимально допустимый объем вычислений или размер ис-
пользуемого буфера. Превышение установленного предела и приво-
дит к стираниям.
Наличие стираний, большая неравномерность вычислительной на-
грузки, значительный объем памяти последовательных декодеров и
более слабые результаты по сравнению с другими алгоритмами в ка-
налах с большим шумом позволяют считать, что в настоящее время не
существует области предпочтительного использования последователь-
ных процедур по сравнению с алгоритмом Витерби или многопорого-
выми оптимизированными декодерами.
Хотя при малом шуме канала декодер, построенный на принципе
алгоритма Витерби, обеспечивает меньшую достоверность, чем по-
следовательные процедуры, при реализации каскадных схем на его
основе в первом каскаде оказывается, что при существенно мень-
шей сложности реализации каскадной схемы по сравнению с по-
следовательными методами такой каскадный декодер будет лучше
при всех значениях уровня шума канала.
Значительным шагом на пути упрощения алгоритмов декодирова-
ния было появление пороговых процедур декодирования сверточных
и блоковых кодов, которые позволили крайне простыми методами ре-
ализовать корректирующие возможности помехоустойчивых кодов
[23]. Хотя их характеристики оказались удовлетворительными только
при небольшом уровне шума канала, возможность обеспечения на
их основе предельно высокого быстродействия декодеров оказалась
решающей для каналов высокоскоростной передачи данных. В этом
плане пороговые алгоритмы обеспечивают уникальные возможности
осуществления для кодов быстродействия, равного kQ декодированных
символов за каждый такт работы декодера, имеющего к тому же очень
простую и удобную для наладки схему. Отметим, что все другие рас-
смотренные алгоритмы позволяют декодировать один символ только
за десятки и сотни тактов работы устройства.
Многопороговое декодирование (МПД) — метод, обусловивший
дальнейшее развитие порогового алгоритма [22], возник как следствие
возможности реализации высокого быстродействия па основе порого-
вых декодеров и необходимости обеспечения более1 эффективной рабо-
ты декодеров этого типа.
Многопороговый декодер обеспечивает последовательное при-
ближение принимаемых им решений о пришедшем из каналов сообще-
нии к решению оптимального декодера при существенно более вы-
соком, чем в обычном пороговом декодере, уровне шума, сохраняя при
этом высокое быстродействие последнего.
Результаты сопоставления МПД с другими алгоритмами декоди-
рования сверточных кодов показали, что в тех случаях, когда уровень
шума канала достаточно высок и нет ограничений на задержку приня-
тия решения в декодере, для всех случаев реализации кодов в диапазо-
не R = 1/з***^5 МПД при равной сложности реализации оказывается
на 1...2 дБ по уровню входного сигнала более эффективным, чем деко-
218
деры, построенные на основе алгоритма Витерби. При этом следует
отметить, что и при «жестком», и при «мягком» варианте реализации
МПД остается возможным построение декодера в виде простых одно-
тактных схем, тогда как декодеры на основе алгоритма Витерби тре-
буют 5...20 тактов работы декодера на декодирование каждого ин-
формационного символа. Отсюда следует, что для высокоскоростных
каналов связи (скорость передачи сигналов более 105 бод), в которых
допустимы задержки в 1О4...1()г> и более бит, не существует других кон-
курирующих с МПД методов, которые имели бы сопоставимые с ним
характеристики.
Наиболее критический параметр МПД — задержка -- составляет
при этом 500...5000 символов, точное значение которой будет в значи-
тельной мере определяеться теми конкретными техническими условия-
ми, которым должна удовлетворись система кодирования.
В тех случаях, когда требования к задержке принятия решения
становятся более жесткими, что возможно при использовании низко-
скоростных каналов связи (порядка 50...10 000 бод), удовлетворение
ограничений такого типа возможно только за счет увеличения размеров
аппаратуры и увеличения числа тактов работы декодера.
При умеренно жестких ограничениях на задержку возможен от-
каз от сверточных вариантов МИД и переход к его блоковым модифи-
кациям или применение укороченных кодов. При очень жестких вре-
менных ограничениях необходимо применять только специальные
компактные коды или переходить к использованию декодеров на ос-
нове алгоритмов Витерби. В тех случаях, когда задержки, обеспечи-
ваемые при использовании таких декодеров, также оказываются не-
приемлемыми, применение и всех других методов также будет невоз-
можно по этой же причине.
Особенно эффективная работа МПД возможна в каскадных схема,х
кодирования. Хотя в настоящее время при теоретическом анализе
каскадных схем во внешнем коде предполагается применение кодов
PC, возможно столь же эффективное, но существенно более простое
декодирования, если при использовании простейших двоичных кодов
во втором каскаде осуществляется перемежение.
Перемежение — процедура, применяемая для избавления от па-
чек ошибок путем дробления пачки. При перемежении работа одного
декодера эквивалентна параллельной работе нескольких одинаковых
декодеров более коротких кодов, таких, что все ошибки в пределах
группы (пачки) попадают в разные декодеры и могут считаться неза-
висимыми. При анализе структуры ошибок МПД оказывается, что в
связи с выбором для этого алгоритма (как и для всех других) специаль-
ных кодов, наиболее полно соответствующих именно такому методу
декодирования, ошибки на выходе МИД оказываются в основном оди-
ночными. Поэтому при использовании МПД и во внешнем каскаде
декодирования нс требуется осуществления предварительного пере-
межепия, а если оно все-таки выполняется, то коэффициент перемеже-
ния может быть выбран небольшим, порядка 3...8. Эта возможность
сокращения общего объема памяти декодера является существенным
преимуществом МПД, которое приводит к полному исключению из
219
обсуждения любых вариантов каскадных схем на алгебраической ос-
нове с внутренними кодами БЧХ и внешними кодами PC. Отме-
тим, что положительное решение вопроса о применении каскадных
схем того или иного типа возможно только в том случае, если пред-
полагается использование длинных кодов. Но такой постановкой
задачи снимаются ограничения на задержку принятия решения —
критический параметр, который следует учитывать при анализе воз-
можностей применения МПД как в одно-, так и в двухкаскадных
схемах.
Направления дальнейших исследований, относящихся к построению
эффективных систем связи, можно сформулировать следующим об-
разом:
а) совершенствование систем с решающей обратной связью в пла-
не сочетания обратной связи с коррекцией ошибок;
б) дальнейшее совершенствование методов многопорогового деко-
дирования;
в) разработка систем связи со сверточными кодами для каналов с
межсимвольной интерференцией и каналов со случайными парамет-
рами;
г) дальнейшая разработка методов кодирования и декодирования с
неравной защитой информационных символов, в том числе и на непре-
рывном уровне;
д) разработка и расчет основных характеристик систем связи с кас-
кадными кодами при использовании на внутренних ступенях алго-
ритмов максимального правдоподобия или близких к ним аналоговых
алгоритмов;
е) разработка и исследование непереборных аналоговых алгорит-
мов декодирования, обладающих чувствительностью к изменению па-
раметров в некотором классе непрерывных каналов;
ж) исследование характеристик, пригодных для оценки эффектив-
ности аналогового декодирования при проведении трассовых испы-
таний;
з) исследование совместной оптимизации модемов и кодеров для
каналов со сложной структурой;
и) разработка эффективных методов сжатия избыточных сообще-
ний с учетом последующего использования помехоустойчивого коди-
рования и оптимальной демодуляции;
к) дальнейшее упрощение дискретных и аналоговых алгоритмов
декодирования блочных и непрерывных кодов;
л) разработка цифровых методов аналогового декодирования, в том
числе с использованиемЛшкропроцессоров 1261.
Выводы: 1. При механизации и автоматизации процессов обра-
ботки информации, в частности при использовании вычислительных
машин, достоверность передаваемой и обрабатываемой информации
может быть значительно увеличена за счет применения корректирую-
щих кодов, но это может быть осуществлено за счет усложнения ап-
паратуры.
2. /(оды без избыточности не могут обнаруживать или исправлять
ошибки в принятых сообщениях.
220
3. Развитие техники связи предъявляет столь высокие требования
к алгоритмам коррекции ошибок, что стандартные классические
методы алгебраической теории кодирования не всегда выдерживают
конкуренцию с методами случайного кодирования и специальными ал-
горитмами типа Витерби или многопороговых декодеров.
4. Среди методов декодирования сверточных кодов при жестких
ограничениях на задержку принятия решения (порядка нескольких
десятков бит) безусловного предпочтения заслуживает алгоритм Ви-
терби. Если эти ограничения отсутствуют, можно использовать
быстродействующие и ^простые многопороговые декодеры.
5. Анализ характеристик последовательных процедур и неустра-
нимые недостатки этих алгоритмов приводят к заключению, что &
настоящее время и в ближайшем будущем не будет существовать об-
ластей предпочтительного использования этих методов в гауссовских
каналах.
6. Для получения малых вероятностей ошибок декодирования мож-
но использовать каскадирование на основе алгоритма Витерби. Малой
вероятностью ошибки декодирования считается РД 1 • 10~1), боль-
шой — Рд > 3 . 10“4.
7. Обеспечение эффективной работы аппаратуры связи умеренной
сложности вблизи предела Шеннона для отношения энергии на бит
передаваемой информации к мощности шума канала, равного 1,6 дБ,
возможно только на основе низкоскоростных каскадных схем. Достиг-
нутый в настоящее время уровень развития микроэлектроники и тех-
ники кодирования позволяет обеспечить нормальную работу систем свя-
зи при отношении сигнал!шум порядка 2...2,5 дБ.
8. Раздельное усовершенствование средств передачи и обработки
информации, в частности модемов, декодеров и кодеров, может привес-
ти к недоиспользованию потенциальных возможностей каналов связи.
9. Помехоустойчивое кодирование следует использовать широко,
и даже в примитивных системах передачи дискретных сообщений реше-
ние об отказе от кодирования помехоустойчивыми кодами должно при-
ниматься только после всестороннего изучения эффекта, полученного
в результате их использования.
Глава
КОДИРОВАНИЕ И СЖАТИЕ
ИНФОРМАЦИИ В
ИНФОРМАЦИОННО-
ВЫЧИСЛИТЕЛЬНЫХ
КОМПЛЕКСАХ И СЕТЯХ
16.1. Общие сведения об информационно-
вычислительных сетях
/ / нформационно-вычислительные сети представ-
ляют собой пространственно рассредоточенные кибернетические си-
стемы, состоящие из вычислительных комплексов, каналов связи,
221
программного обеспечения организационно объединенных в единую
систему с целью обработки и передачи данных [38].
Вычислительный комплекс (ВК) состоит из одной или группы
локально связанных ЭВМ и периферийного оборудования: устройств
ввода — вывода информации (консоль, дисплеи, алфавитно-цифровые
печатающие устройства...); устройства хранения /информации (нако-
пители на магнитных лентах — НМЛ, накопители на магнитных
дисках — НМД...); средства передачи данных (модемы, мультиплек-
соры передачи данных, процессоры телеобработки).
Взаимодействие между элементами сети осуществляется при помо-
щи протоколов и интерфейсов.
Протокол — совокупность процедур информационного обмена меж-
ду пространственно-удаленными элементами системы однотипных про-
граммных уровней.
Протокол регламентирует состав, форму и содержание управляю-
щей информации, форматы и коды, алгоритмы обмена, способы кор-
рекции ошибок, методы коммутации, маршрутизации, буфферизации,
управление очередями сообщений. Протоколы реализуются компонен-
тами программных средств, составляющих операционную систему
сети [151.
Интерфейс — правила и физическая реализация взаимодействия
между смежными функциональными компонентами как своего, так и
соседних уровней. Интерфейс может быть как физический так и про-
граммный.
Физический интерфейс — совокупность унифицированных шин,
разъемов, электронных схем, управляющих прохождением каналов.
В этом плане интерфейс — соединение, стык.
Например, стандартизованный интерфейс между аппаратурой пе-
редачи данных и каналом связи известен как С1. Стандартный стык
С2 описывает шины интерфейса между модемом и устройством защи-
ты от'ошибок или другим устройством, выходящим на модем, например
коммутатором.
Примером программного интерфейса могут быть конверторы,
которые преобразуют форматы баз данных таким образом, чтобы они
могли читаться на разных типах ЭВМ либо преобразуют форматы
баз данных различных банкодержателей в единый внутрисистемный
формат для обработки одним пакетом программ.
Гомогенными называются сети из взаимосвязанных однородных
вычислительных машин и сопрягаемого (совместимого) с ними мате-
матического обеспечения.
Гетерогенными наВяваются сети, содержащие различные типы
вычислительных средств, в том числе и программно не стыкуемых.
Например, сеть состоящая из ЕС ЭВМ — гомогенная. Сеть со-
стоящая из СМ ЭВМ — тоже гомогенная. А сеть, состоящая из СМ
и ЕС ЭВМ — гетерогенная, так как требует разработки специальных
программных интерфейсов для осуществления взаимодействия всех
элементов сети (программы, разработанные для ЕС ЭВМ, не могут
быть непосредственно использованы при эксплуатации СМ ЭВМ и на-
оборот).
222
В реально существующих условиях трудно найти организацию,
использующую только один тип вычислительных средств. Еще труднее
найти несколько сетей, в которых все средства обработки и переда-
чи информации были бы однотипными. Естественно, возникает проб-
лема разработки такого набора протоколов и интерфейсов, который
позволил бы любым системам взаимодействовать между собой.
Открытой называется такая система, которая может взаимодейст-
вовать с любой другой открытой системой.
Для разработки международных стандартов, обеспечивающих взаи-
модействие открытых систем, международная организация по стандар-
тизации (МОС) в 1978 г. разработала эталонную модель взаимосвязи
открытых систем (ВОС), которая определила принципы взаимодейст-
вия между отдельными стандартами. Эти стандарты используются при
разработке протоколов и интерфейсов, которые рекомендовал между-
народный консультативный комитет по телефонии и телеграфии
(МККТ) для обеспечения открытости систем. Таким образом, использо-
вание одних и тех же протоколов и интерфейсов является необходимым
условием взаимодействия различных сетей друг с другом, то есть дела-
ет их открытыми системами.
Стандартизованный интерфейс называют «СТЫК». Например, С1 —
стык между аппаратурой передачи данных (АПД) и каналом связи,
стык С2 — описывает шины интерфейса между модемом и сопрягаемы-
ми с ним устройствами (мультиплексором передачи данных, процес-
сором телеобработки...), стык СЗ — описывает стандартный интер-
фейс между устройством защиты от ошибок (УЗО) и АПД. Стык между
ЕС и СМ ЭВМ — К2 и т. д.
Эталонная модель ВОС требует, чтобы каждая открытая система
содержала семь уровней. За каждым уровнем закреплена группа функ-
ций, осуществление которых происходит с помощью рекомендованных
МККТТ протоколов.
Прикладной уровень обеспечивает единую интерпретацию пере-
даваемых данных и реализует прикладные процессы: вычислительные
работы, информационный поиск, логическое преобразование инфор-
мации пользователей, управление взаимодействием прикладных про-
цессов, управление работой ИВС.
//редставительный уровень осуществляет интерпретацию переда-
ваемой информации, определяет набор знаков, способы их представ-
ления, синтаксис передаваемой информации, выполняет генерацию
и толкование команд; обеспечивает стандартные процедуры обмена
и взаимодействия систем.
Сеансовый уровень осуществляет инициализацию, проведение и под-
держание сеансов связи, обеспечение диалогового взаимодействия при-
кладных процессов, восстановление сеансов связи после сбоев и поломок.
Транспортный уровень обеспечивает передачу сообщений между
элементами сечи или другими сетями; управление потоками данных;
организацию и обрамление блоков данных необходимыми служебны-
ми символами; обнаружение и исправление ошибок.
Сетевой уровень осуществляет адресацию и маршрутизацию бло-
ков данных; коммутацию передаваемых сообщений; управление интен-
223
сивностью передаваемого потока; управление ресурсами для переда-
чи данных.
Канальный уровень устанавливает физическое соединение каналов;
проверяет их состояние; осуществляет контроль ошибок и восстанов-
ление данных, управление передачей данных, обеспечение прозрач-
ности (кодонезависимое™) передачи данных, соединение между взаи-
модействующими элементами сети.
Физический уровень обеспечивает взаимосвязь с физической средой
передачи (сопряжение с физическим каналом, осуществляет преобра-
зование сигналов в соответствии с требованиями стандартов, соединя-
ет, поддерживает и расторгает соединение с физическим каналом).
Начало Длина кадра ДАННЫЕ Проверочная комбинация Конец
Рис. 48. Обобщенная структура кадра.
По способу передачи данных в ИВС различают асинхронную и
синхронную передачу данных.
Асинхронной называется передача, при которой данные передают-
ся отдельными знаками, обрамленными стартовой и стоповой посыл-
кой. Знак состоит из пяти или восьми двоичных элементов. В зависи-
мости от этого используется пяти- или восьмиэлементный код.
Достоинством асинхронной передачи является простота приемно-
передающей аппаратуры. Кроме того, при старт-стопной передаче
канал связи занят только на время непосредственной передачи дан-
ных, тогда как при установлении связи, например, по телефонной
сети общего пользования (ТФ—ОП) канал связи занят на все время
диалога с машиной.
Недостатком асинхронной передачи являются большие затраты
на передачу служебной информации. Стартовые и стоповые посылки
длиннее одного двоичного символа и время их передачи составляет
50 % времени передачи информационных сигналов при нятисимволь-
ных кодах и 37 % — при восьмисимвольных кодах.
С целью повышения эффективности использования канала связи
используют синхронную передачу данных.
Синхронным называется способ передачи данных, при котором
информация группируется в блоки, которые передаются как единое
целое. •
Длина блока может содержать тысячи би г, однако и при синхрон-
ной передаче должны быть признаки начала и конца блока, поэтому
данные при синхронной передаче группируются в кадры (рис. 48).
Различают знак-ориентированную и бит-ориентированную про-
зрачную (используются произвольные последовательности двоичных
символов) передачу.
Знак-ориентированная прозрачная передача представляет собой
такой способ передачи, при котором данные сгруппированы в после-
довательности фиксированной длины (обычно один знак, буква, цифра
/
224
занимает 1 байт = 8 бит, поэтому этот способ еще называют байт-
ориентированной передачей).
Б ит-ор агитированная прозрачная передача позволяет передавать
информационные поля переменной длины, обрамляемые флажками,
означающими начало и конец поля.
Бит-ориентированная структура кадров нашла более широкое при*
менение, так как она обеспечивает прозрачность передачи и эффек-
тивна с точки зрения соотношения служебной информации и переда
ваемых данных
Для осуществления синхронной передачи данных в ИВС открыто-
го типа МОС разработал протокол HDLC (High-level Data Linok Cont-
rol), который лег в основу рекомендации МККТТ X. 25.
Различают две основные концепции построения глобальных ИВС:
с коммутацией каналов связи и с коммутацией передаваемых сообщений.
Цифровые сети с коммутацией каналов обладают тем достоинством,
что в них после организации соединения передача ведется в реальном
масштабе времени и с высокой скоростью. Кроме того, при передаче
речи доля пауз составляет 60 %, а при диалоге человека с ЭВМ —
90...95 %. И только непрерывная передача больших информационных
массивов обеспечивает полную загрузку, но такая передача, как пра-
вило, явление эпизодическое.
Перечисленные выше обстоятельства заставили искать другие
способы организации передачи данных в ИВС. Одним из таких спосо-
бов является коммутация сообщений, в частном случае — коммута-
ция пакетов.
Коммутация сообщений представляет собой такую форму органи-
зации передачи данных, при которой передаваемые данные группи-
руются в блоки с указан; ел адреса доставки блока. В случае занятос-
ти канала связи сообщения накапливаются в промежуточных концен-
траторах с соблюдением очередноеги поступления. То есть вместо того,
чтобы прокладывать N каналов связи между абонентами, можно про-
ложить по одному каналу к коммутационному узлу, расположенному
на равном расстоянии от всех N абонентов. Выигрыш при этом тем
более ощутим, чем больше расстояние между коммутационными
узлами. Например, абоненты одного города связаны только с город-
ским коммутационным узлом, а междугородные связи с элементами
с- гп в других городах осуществляются по единому каналу, который
связывает между собой концентраторы Суть коммутации сообщений
легко уловить, если провести аналогию с телеграфной сетью, где мож-
но собрать п телеграмм и все п передать подряд в удобный момент,
когда капал свободен. Аналогично в сети с коммутацией сообщений
передаваемые данные заносятся в буфер в узле коммутации, а затем
после проверки и коррекции отправляются по наименее загруженному
пути.
Концентр.поры сообщений в узлах коммутации создаются на базе
ЭВМ и требуют, как правило, значительных объемов памяти прямого
доступа. Кроме того, при обнаружении ошибки в сообщениях большой
длины (а чем длиннее сообщение, тем больше вероятность его пораже-
ния помехой) сбой приводит к повторной передаче всего сообщения.
225
F Упомянутые обстоятельства вынудили продолжить поиски путей
повышения эффективности использования канала связи и дальнейше-
го совершенствования этого метода. Результатом явился способ орга-
низации передачи данных, получивший название «коммутации па-
кетов».
Коммутация пакетов представляет собой такую форму передачи
данных, при которой сообщения разбиваются на пакеты, составляющие
информационную часть кадра, передаваемого между абонентскими
пунктами и сетью (рис. 49).
Так как пакет сам может содержать служебную информацию, в
состав которой входит адресная информация, позволяющая собирать
в правильную последовательность пакеты из разных диалогов, то, в
Флаг Служебная Пакет Контроль Флаг
(начало) информация Заголовок Данные ошибок (конец)
Рис. 49. Место пакета в кадре HDLC протокола Х.25.
смысле эффективности соотношения служебной информации и переда-
ваемых данных, этот метод выигрыша не дает. Но разбиение сообще-
ния на короткие пакеты дает другие преимущества. Прежде всего,
упрощает процесс обнаружения и исправления ошибок, так как спо-
собов обнаружения ошибок в непрерывном потоке, то есть бесконеч-
ном сообщении, не существует. Обнаруживать, тем более исправлять,
ошибки в блоках, содержащих сотни тысяч двоичных символов трудно:
контроль на четность теряет смысл (в такой длинной последователь-
ности могут происходить кратные сбои), а использование более слож-
ных методов при таких длинных сообщениях заставит вводить в коды
большую избыточность, что снизит эффективность и усложнит прием-
нопередающую аппаратуру. Чем выше уровень помех, тем короче
должны быть блоки, чтобы уменьшить число перепроверок и повтор-
ных передач сообщений.
Кроме того, короткие пакеты требуют меньшего объема памяти и
занимают ее более короткое время, что позволяет строить сети без
промежуточных концентраторов, отправлять датограммы (адресован-
ные пакеты) различными маршрутами, а сборку пакетов осуществ-
лять непосредственно в пунктах приема при iiomoiцн миниЭВМ.
Малые размеры пакета (1000 2000 биг) резко снижают задержку
длинных сообщений и могут передаваться независимо Друг от друга.
Малые размеры пакета 9 высокие скорости передачи резко снижают
требования к буфферной памяти и позволяют ограничиться неболь-
шим объемом оперативной памяти, а это означает возможность отказа
от дорогой и относительно медленной дисковой памяти, отказа от
самих центров коммутации сообщений и вообще строить сети на базе
мини- и микроЭВМ.
Коммутация пакетов позволяет осуществлять виды сервиса, недо-
ступные при коммутации каналов: рассылка многоадресных сообще-
226
ний, временное хранение корреспонденции, приоритетная передача
срочной информации... .
Таким образом, коммутация пакетов способна обеспечить высокую
загрузку каналов связи и возможность динамической маршрутизации
с выбором оптимального маршрута.
Но и коммутация пакетов имеет свои недостатки: сложное мате-
матическое обеспечение; высокий процент служебной информации;
переменная задержка передачи пакетов и зависимость задержки от
загрузки сети; сеть с коммутацией пакетов чувствительна к перегруз-
кам, требует либо резервирования каналов или сложных методов
защиты от перегрузок и может эффективно функционировать толькр
при условии жесткого контроля загрузки сети.
JB настоящее время ведутся поиски совершенствования и этого
прогрессивного метода организации передачи данных. В частности,
создаются сети с использованием преимуществ сетей с коммутацией
каналов и коммутацией сообщений. Такие сети называют сетями адап-
тивной коммутации. Они создаются путем дополнения сети с комму-
тацией каналов режимом коммутации пакегов или путем ввода в сеть
с коммутацией пакетов режима, эквивалентного коммутации каналов
(например, на период передачи больших информационных массивов).
Положительный эффект в сети с коммутацией каналрв достигается за
счет загрузки трактов во время всех видов пауз.
В глобальных сетях с адаптивной коммутацией могут с достаточной
степенью эффективности использоваться и выделенные каналы. Такие
сети должны быть интегрированными, то есть включать в себя различ-
ные виды трафика (речь, текстовые сообщения, результаты измерений).
При этом, например, речь может передаваться в режиме коммутации
каналов, а остальные виды трафика в режиме коммутации сообщений.
Следующим этапом развития компьютеризации процессов обработ-
ки и передачи информации будет объединение энергетических и ин-
формационных сетей па базе информационной технологии.
Информационная технология представляет собой такой способ
организации производственных и информационных процессов, при
котором вычислительные машины и системы связи осуществляют
управление посредством манипулирования информацией вне человече-
ского мозга. Информационная технология базируется на компьютерах,
алгоритмическом, лингвистическом и программном обеспечении, сред-
ствах коммуникации, включая оптические каналы и спутниковую
свя и».
В этих условиях надежность передаваемой информации, с одной
стороны, п компактность кодов, не перегружающих линии связи слу-
жебной информацией, с другой стороны, приобретают особое значе-
ние.
16.2. Кодирование информации в ЭВМ
Так как практически все современные ЭВМ по-
строены на дискретных элементах, имеющих два устойчивых состояния,
то наиболее удобными кодами для представления информации в ЭВМ
явились коды с основанием 2.
227
г В свое время перед разработчиками ЭВМ встал вопрос: каким дол-
жен быть минимально адресуемый участок памяти ЭВМ и, соответст-
венно, какой должна быть единица представления информации для
того, чтобы в ней можно было бы записать любую букву, цифру, слу-
жебный символ, используемый при обработке информации в ЭВМ.
Рассуждения были, приблизительно, такие: на 32 буквы русского
Таблица 28. Семизначный двоичный код обмена информацией (КОИ-7) по линиям
связи
Русский алфавит
б7 0 0 0 0 1 1 11
— >- бб 0 0 1 10 0 11
- —> б5 0 1 0 10 10 1
67 бр б5 б4 б3 б2 6, № 0 1 2 3 4 5 6 7
0 0 0 0 0 ПУС API Про 0 ю п ю п
бел
0 0 0 1 1 НЗ СУ1 1 1 а я А Я
0 0 10 2 НТ СУ2 » 2 б р Б Р
0 0 1 1 3 КТ СУЗ # 3 ц с Ц С
0 1 0 0 4 КП СТП П 4 д т Д Т
0 1,0 1 5 КТМ НЕТ % 5 е у Е У
0 110 6 ДА СИН & 6 ф ж Ф Ж
0 111 7 ЗВ КЬ / 7 г в Г В
10 0 0 Bin АН ( 8 х ь X Ь
10 0 1 Ч ГТ ХН ) 9 и ЫН Ы
10 10 10 НС ЗМ * : й з ИЗ
10 11 II Bl АР2 4-т ; к л К Ш
110 0 12 ПФ РФ л > /I Э
110 1 13 ВК РГ — м in М Щ
1110 14 ВЫХ РЗ п ч Н Ч
1111 15 ВХ РЭ / ? <» ь 1 ЗБ
алфавита необходимо 25 црмбинаций, на 26 букв латинского алфавита
и 10 цифр — еще 36 комбинаций, то есть 68 > 2°, а если учесть необ-
ходимость представлять служебные символы ; / (— +, ?! § ...),
то станет ясно, что необходимо использовать семизначные комбина-
ции, числа которых (27 = 128) с избытком хватает на передачу всех
символов, отображенных на клавиатурах дисплеев, телетайпов, пишу-
щих машинок и т. д.
Кодирование символов русского алфавита представлено
табл. 28. Значение клеток таблицы передаются путем указания но-
228
мера столбца (трехзначный двоичный код, дающий 23 ~ 8 комбинац й,
см. кодовые комбинации вверху табл. 28) и указанием номера строки
(четырехзначный двоичный код, дающий 24 = 16 комбинаций, см.
кодовые комбинации слева табл. 28).
При записи значения клетки таблицы в числителе пишут помер
столбца, а в знаменателе номер строки. Например, буква Л переда-
ется кодом 1100001, где первые три двоичных символа означают
1102 = 6t0, а следующие четыре означают 00012 = 1ю- Это означает,
что значение передаваемого символа следует искать в шестом столб-
це первой строки таблицы. А записывается это так: А — 6/1.
о 7 8 15 16 23 24 31 32 39 40 47 46 55 56 63
байт байт Байт байт байт байт байт байт
Полуслово Полуслово Полуслово Полуслово
Слово Слово
Двойное слово
а
О 7
байт байт Байт байт । байт
О 1 2 3 4 ... 255
5
Рис. 50. Форматы данных:
а — фиксированной длины; б — ...ой длины
Однако в ЭВМ минимально адресуемым элементом является
байт — 8 бит.
Вайт является основной образующей форматов данных в ЭВМ.
Каждый байт в ЭВМ пронумерован. Номер байта называется абсолют-
ным адресом байга.
Логически связанная последовательность данных при наличии
свободного участка памяти записывается в виде последовательности
смежных байтов, которые образуют поле данных. Длина поля равна
количеству образующих его байтов, а адресом поля является адрес
первого (слева) байта.
Формат представления данных в ЭВМ дан на рис. 50.
Ра «личают поля фиксированной длины и переменной длины.
Минимальным полем фиксированной длины является полуслово
Но н* нер<*м(‘иной длины может содержать любое количество байтов
си H/HIOIM 'ю 256.
I .и- । .«г <н ионным структурным элементов формата данных ЭВМ
являем и кии, иклоящий из 8 бит, то естественным является ш но ч>
зов.нни п<н । Miir.Hiiii.ix кодов для представления и обрабоил данных
в ЭВМ >ih I..UI нреиназиачены для представления алфавнiно Н1к|)ро
вон iiihpopM.Hiiiii в । н< 1емах программного обеспечения, на входах и
hi.ixo'i । HIM ч-iH him iiiejiefi информации и устройств ввода вывода,
Гм и 11 р В 1111! । । н м I < i. L HIM I Milfui I III.IH код.
H H '• " IM. Ним мире программно l.l < I p( \1Я|ГЯ К iom<
»• ..... (• I. । .!•«.« mi) о Ai,11 ического обеспечения на всех vpor-
нях вычислительных систем и сетей, а машины стараются строить так,
чтобы они были сопрягаемы с широким спектром стандартных и при-
кладных пакетов программ.
Целесообразность использования шестнадцатиричной системы
в ЭВМ обосновывается тем, что в полубайте располагается 4 двоичных
знака, что может представить 24 = 16 цифр. Если полубайт исполь-
зовать только для отображения десятичных цифр, то он будет недогру-
жен на 6 цифр.
Взаимный перевод чисел из двоичной системы в шестнадцатирич-
ную систему осуществляется при помощи следующей таблицы:
0000—0 1001—9
0001—1 1010—А
0010—2 1011—В
0011—3 1100—С
0100—4 1101—D
0101—5 1110—Е
0110—6 1111—F
0111—7
1000—8
16.3. Сжатие информации в ЭВМ
Сжатие информации представляет собой операцию,
в результате которой данному коду или сообщению ставится в соот-
ветствие более короткий код или сообщение. *
Сжатие информации имеет целью — ускорение и удешевление
процессов механизированной обработки, хранения и поиска информа-
ции, экономию памяти ЭВМ.
Машинное сжатие текстовой информации широко используется
для экономии памяти прямого доступа ЭВМ и сокращения времени
поисковых процедур.
Сжатию, как правило, подвергается текст предварительно «очищен-
ный» от неинформативной лексики при помощи закрытого словаря
запретов. Словарь содержит все слова длиной от 1 до 3 букв, представ-
ляющих собой предлоги, частицы, наречия, деепричастия, служебные
слова (например, типа, скажем...). Объем таких словарей достигает
2, 5...3 тысячи слов. «Очищение» происходит путем сравнения слов
текста со словарем зачета. При совпадении слово отбрасывается и не
включается в поисковый образ документа.
Сжатию подвергаются оставшиеся слова.
Процедура сжатия сводится к отбрасыванию гласных букв, а за-
тем и согласных, начиная с конца слова до’тех пор, пока длина слова
не достигнет длины 6 символов.
Например, слово КИБЕРНЕТИКА имеет свертху КБРНТК.
Обоснованием применения такого алгоритма сжатия могут служить
те факты, что доля слов длиной от 3 до 9 букв составляет 84 % всей
лексики; информативность каждой из первых трех букв слова, взято-
230
го вне контекста, значительно выше информативности остальных
букв; информативность согласных в русском языке в 6 раз больше
информативности гласных.
Использование словаря запретов и указанных методов сжатия в
автоматизированной системе по обработке научно-технической инфор-
мации Украины (АСНТИ УССР) привело к экономии памяти на 40 %.
Сжатие без восстановления исходного состояния представляет
собой наиболее примитивные методы сжатия.
1. Образование слов, длина которых не превышает некоторую на-
перед заданную величину «а».
2. Деление кодового слова на части меньше «а» (хотя бы на один
разряд) и сложение их по правилам двоичной арифметики.
Например, исходное слово 1000111010111101111011, а = 9. Раз-
бивается исходное слово на следующие части:
1000111 0101110 1111011,
а затем складывают по правилам двоичной арифметики
1000111
ф 0101110
1111011
И101 Юл —сжатое кодовое слово.
3. Сложение по модулю 2 (аналогично п. 2). Например, для
предыдущего исходного слова сжатое кодовое слово будет иметь вид
1000111
ф 0101110
1111011
0010010 — сжатое кодовое слово.
При рассмотренных способах сжатия возможны варианты, когда
для различных исходных слов может быть получено одно и то же сжа-
тое кодовое слово, но вероятность этого мала.
Так, для словаря, в котором N = 1100 слов и а = 30 двоичных
разрядов, вероятность неоднозначного кодирования составляет около
0,0005.
11рнменение операции сжатия путем сложения частей кода по моду-
лю 2 позволяет почти в два раза сократить объем машинного словаря
исхочпых слов и разместить сжатый код исходного слова вместе со
своим номером по машинному словарю в одной ячейке.
Особый интерес представляет собой способ пословного сжатия,
предложенный К. И. Курбаковым и Р. В. Смирновым.
В эюм случае кодирование слова осуществляется преобразованием
букв исходною слова в двоичное кодовое слово. Например, слово
ГАЗЕТА нрин 8 записывается так:
Г — 010001 11; Л — 11110000; 3 — 01100011; Е — 000101111|
Т — 11011000;
ГАЗЕТА - 010001111111000001100011000101001101100011110000.
231
Осуществлять сжатие такого слова К. И. Курбаков и Р. В. Смир-
нов предлагают сложением по модулю 2 двоичных эквивалентов букв
«сжимаемого» слова с побуквенным сдвигом в каждом разряде;
11110000 А
11011000 Т
ф 00010111 Е
01100011 3
11110000 А
01000111 Г
1001100010011 —сжатое кодовое слово.
Допустимое количество разрядов сжатого кодового слова являет-
а — в каждом разряде; б — в младших разрядах.
и емкости ЗУ. Количество адресов, а соответственно и допустимое ко-
личество слов в словаре автоматизированной информационно-поиско-
вой системы, определяется из соотношения
2"max<W, (174)
где nmax — максимально допустимая длина (количество двоичных раз-
рядов) сжатого кодового слова; N — возможное количество адресов
в ЗУ.
Если представить процесс побуквепного сдвига в общем виде
(рис. 51, а), то длина сжатого кодового слова
® п = k + пг, (175)
где k — число побуквенных сдвигов; т — длина кодовой комбинации
буквы.
Так как сдвигаются все буквы, кроме первой, то число сдвигов
А = lt (176)
где L — число букв в исходном слове.
2ЭЯ
С учетом (176) выражение (175) может быть записано так
п = т + (L — 1). (177)
В русском языке наиболее длинные слова имеют 23...25 букв.
Если принять Lmax = 23, то с условием осуществления побуквенного
сдвига с каждым шагом равно на один разряд и с учетом (177) для п и
т могут быть получены следующие соотношения:
при т = 6 двоичных разрядов nmax = 28 двоичных разрядов
7 » >29
8 » >30
9 » >31
Если значение птах не удовлетворяет (174), то конечные буквы
слова можно складывать по модулю 2 без сдвига относительно преды-
дущей (рис. 51, б).
Например, если для предыдущего случая со словом ГАЗЕТА
Лшах = 11, то сжатый код примет вид
11110000
11011000
ф 00010111
01100011
11110000
01000111
00111010011
Хранение атрибута в виде битовой матрицы — способ физическо-
го хранения данных, при котором значение конечного числа атрибутов
выносят в шапку матрицы, тело которой представляет набор двоичных
разрядов, обозначающих с помощью «I» наличие, а с помощью «0» —
отсутствие атрибута (рис. 52). Шапка и тело битовой матрицы могут
храниться в разных участках памяти.
Метод сжатия информации на основе исключения повторения в
старших разрядах последующих кодов одинаковых элементов старших
разрядов предыдущих кодов основан на том, что в свернутых кодах пов-
торяющиеся элементы старших разрядов заменяются некоторым услов-
ным символом.
При обработке технико-экономической информации практически
невозможно рассчитать элементы массивов по заранее составленным
алгоритмам и программам. Поэтому приходиться хранить массивы
целиком. Технико-экономическая информация может быть представле-
на в виде набора однородных массивов, в которых элементы столбцов
или строк расположены в возрастающем порядке. Если считать стар-
шими разряды, расположенные левее данного элемента, а младшие —
расположенные' правее, то можно заметить, что во многих случаях
строки матриц отличаются друг от друга в младших разрядах. Если
при записи каждого последующего элемента массива отбрасывать пов-
торяющиеся в предыдущем элементе (например, в строке стоящие под-
ряд элементы старших разрядов), то массив может быть сокращен
в 2... 10 и более раз.
g 2—1032
233
Для учета выброшенных разрядов вводится знак раздела р, поз-
воляющий отделить элементы в свернутом массиве. При развертыва-
нии вместо знака р восстанавливаются все пропущенные разряды, ко-
торые были до элемента, стоящего непосредственно за р в сжатом
тексте. При этом все знаки, стоящие после р, должны записываться
е конца строки.
Номер завода Тип комплектующего изделия
2301 1101 2000 2001 1235
0012 1235 0317 0008 2000 2001
те 1101 1235 0317
1150 1235 1101 2000 0317 0008 2001
2181 1101 0317 0008 2001 1235 2000 0601
а
Номер завода 0008 Тип комлекгпующего изделия 2235
0317 0601 1101 1235 2000 2001
2301 0 0 0 1 1 1 1 0
0012 1 1 0 0 1 1 1 0
1738 1 1 0 0 1 0 0 0
1150 1 1 0 1 1 1 1 О
2181 1 1 1 1 1 1 1 0
Рис. 52. Физическое хранение набора атрибутов в виде:
а — списка переменной длины; б - битовой матрицы.
Для примера рассмотрим массив:
9570124
9570125
9570386
9570390
1234567
f 1234591
1234693
Свернутый массив будет иметь вид:
9570124
р5р386р
9012345
67р31р3
234
Расшифровка (развертывание) осуществляется с конца массива*
Перевод на следующую строку происходит либо по заполнению строки,
при встрече р. В случае полного построения строк записывается соот-
ветствующее количество р:
9570124
7....5
.... 386
.....90
1234567
.....91
Пропущенные цифры заполняются автоматически по аналогичным
разрядам предыдущей строки.
При хранении большого числа массивов долговременной памяти
целесообразно свертывать их до записи на магнитный носитель. После
считывания в оперативную память массивы разворачиваются и обра-
батываются как обычные. Таким образом, при использовании про
грамм сворачивания и разворачивания заметно экономятся долговре-
менная память-и время обращения к ней.
Если же обрабатывать на ЭВМ свернутые массивы, то экономится
и оперативная память. Передача сжатой информации из одной ЭВМ в
другую позволит сэкономить каналы связи и сократить время передачи.
Преимущество данного метода сжатия перед рассмотренным выше
состоит в том, что в нем полностью исключена неоднозначность. Не-
достаток его тот, что этот метод применим для сжатия только тех
предварительно упорядоченных массивов, в которых повторяющиеся
разряды встречаются в начале.
Идею данного метода можно применить и для свертывания массивов,
в которых повторяющиеся разряды встречаются не только в начале
строки. Если в строке один повторяющийся участок, то, кроме р, до-
бавляется еще один дополнительный символ /(, означающий конец
строки. Расшифровка ведется от К до Л. Длина строки известна.
Оставшиеся между К цифры вместе с пропущенными разрядами должны
составлять полную строку. Например:
1234567
1234586
2134524
3134529
4294529
4294529
5294529
1234567
Яр86К21
р24КЗр9
/<429р/Ср
Л5рК
9*
235
Если в строке массива имеется несколько повторяющихся участков,
то можно вместо р вставлять специальные символы, указывающие на
необходимое число пропусков. В этом случае отпадает необходи-
мость в символе, обозначающем конец строки. Например, если обозна-
чить количество пропусков соответственно X — 2, Y — 3, Z — 5, то
исходный и свернутый массив будет иметь вид
123456798765
123458698761
213452498761
313452938761
429452938760
429452938760
529452138760
631812738462
71181212345
123456798765
Z86XX121K24Z
3Z93XX429ZK0
ZZX5Z1Z63181
27X46271Z123
45
Разворачивание массивов, сжатых таким образом, также произво-
дится с их конца. Вместо вспомогательных символов X, Г, Z оставля-
ется соответствующее количество пропусков, которые впоследствии
заполняются цифрами, стоящими в предыдущей строке по месту
пропущенного разряда.
Сжатие путем исключения повторяющихся данных в различных
файлах осуществляется такой индексацией (адресацией данных), при
которой достигается логическая и физическая независимость данных.
При этом повторяющиеся данные могут воссоздаваться путем много-
кратного обращения к одному и тому же полю (записи).
Сжатие за счет ликвидации пустых мест в записи осуществляется
путем размещения в заголовочной части записи совокупности бит, рав-
ных числу возможных элементов записи, которые показывают, какой
элемент данных отсутствует (0), в какой присутствует (1). Такая форма
сжатия удобна при организации файлов из элементов перемены длины.
Сжатие путем устранения повторяющихся символов осуществля-
ется при помощи введения двух символов, один из которых служит
обозначением повторяемости, а другой — числом повторений. В этом
случае любое число повторяющихся символов может быть сведено к
двум упакованным десятичным символам.
Например, фрагк^нт ведомости изделий завода «Реле»
1. Электронное дистанционное реле времени ВЛ-10
2. Электронное дистанционное реле времени ВЛ-10А
3. Электронное дистанционное реле времени ВЛ-11
4. Электронное дистанционное реле времени ВЛ-12
5. Механическое дистанционное реле времени ДМ-100
6. Реле времени РВ-7
7. Реле времени РВ-9
8. Реле времени РВ-9Т (тропическое исполнение)
может быть представлен следующим списком:
236
1. Электронное дистанционное реле времени ВЛ-10
* 39 — А
*38 — 1
*38-2
Механическое *24 — ДМ-100
* 11 — РВ — 7
* 13—9
*14 — Т,
где* — знак повторяемости.
Разворачивание производится сверху вниз, справа налево.
Метод Г. В. Ливанского основан патом, что в памяти машины хра-
нятся «сжатые» числа, разрядность которых меньше разрядности реаль-
ных чисел. Эффект сжатия достигается за счет того, что последо-
вательности предварительно упорядоченных чисел разбиваются на ряд
равных отрезков, внутри которых отсчет ведется не по их абсолютной
величине, а от границы предыдущего отрезка. Разрядность чисел,
получаемых таким образом, естественно, меньше разрядности соответ-
ствующих им реальных чисел.
Для размещения в памяти ЭВМ М кодов, в которых наибольшее
из кодируемых чисел равно N, необходим объем памяти (двоичных
разрядов)
Q = M log2/V.
С ростом N длина кодовой комбинации будет расти log2 Af. Для
экономии объема памяти Q число 2,,off27V] (где [log2 /VI — округлен-
ное до ближайшего целого числа значение log2/V) разбивают на L
равных частей. Максимальное число в полученном интервале чисел
будет не больше log2 Величина log2 определяет разрядность
хранимых чисел; объем памяти для их храпения будет М log2
Г<лп в памяти ЭВМ хранить адреса границ отрезков и порядковые
номера хранимых чисел, отсчитываемых от очередной границы, то
loga (Л/ - 1) определит разрядность чисел для выражения номера
। рви и ны; объем памяти для хранения номеров границ будет (L — 1)
b’P.j, (Al О» где L — 1 — число границ между отрезками (оно всег-
да на единицу меньше, чем число отрезков М — 1, так как в последнем
ни ।грналг должно быть хотя бы одно число). Количество границ не
можг1 оы1ь больше, чем М — 1. Общий объем памяти при этом будет
нс болынг
Q’ Mloga4 + (£- l)log2(M-l). (178)
Чюбы H.iHiii шачения L, при которых (178) принимает минималь
ног пы’1сннг, достаточно продифференцировать его по L и приравнять
пронлюдную к нулю. Нетрудно убедиться, что Qmin будет при LOpt --
237
м
=- 1пЛ4 ‘ ^сли подставить значение LOpt в (178), то получим зна-
чение объема памяти при оптимальном количестве зон, на которые
разбиваются хранимые в памяти ЭВМ числа:
Q" = м ioga - iog2 (М -1).
При поиске информации в памяти ИПС прежде всего определяют
значение Lopt, затем находят величину интервалов между двумя гра-
ницами
2[i°g2 W]
С== L ’
где [log2 N] — округленное до ближайшего целого числа значение
log2 N, Дальше определяют интервал, в котором находится искомое
число X
к- х
Адрес искомого числа находят как разность между его абсолютным
значением и числом, которое является граничным для данного интер-
вала.
Например, при N = 1000, X = 700 и М = 26 поиск числа 700
ведется следующим образом:
1.=.^» “ „8; С _ = -1™ _ 128!
In 26 3,25 L 8
X 700 .
K = ~C “ IM" ; 6>/C>5'
Значит искомое число лежит в шестом интервале, где расположены
числа от 640 = 128 • 5 до 767 = 640 + 127 (прибавляем 127, а не
128, так как в интервале находится всего 128 чисел, включая ноль).
Порядковый номер искомого числа определяется как разность между
искомым числом и границей интервалов.
700 — 640 = 60.
Выигрыш в объеме памяти
AQ = Q- Q" =>М log2N — M loga - log2(Af - 1).
Для нашего примера
Q = М logaiV « 26 • 10 = 260 двоичных разрядов;
О’ = Л1 log2 —-----« 26 log2 -----г.....«219
двоичных разрядов;
Q — Q' = 260 — 219 = 41 двоичный разряд.
238
Характер зависимости изменения AQ определяется из выражений
= 0 при М = О
AQ
Следовательно,
<0 » М = е In М (М < 3)
= 0 » М — е\пМ
>0 » М>е1пМ (Л1>3).
rf(AQ) _ 1no М 1пЛ1—1
dM ~ ё2 е In М ’г In 2 In М ‘
При М 3 зависимость AQ (М) монотонно возрастает.
Таблица 29
N 27 2Ю 21ь 913 900
0,467 0,576 0,678 0,717 0,736
эффективность этого метода сжатия, опреде-
ли лл
, монотонно возрастает по М, то макси-
Если относительная
ляемая из соотношения
мальный эффект кодирования соответствует М N, поэтому в пре-
деле
I ~ N •— log2 elnM __ ।__________ log2 (In N) e
\ Q /max log2 JV log2 jV
Зависимость = f W приведена в табл. 29.
Метод зонного сжатия информации. При записи данных в памяти
ЭВМ каждой букве или цифровому аналогу обычно отводится 8 двоич-
ных разрядов — байт, ибо последний является наименьшей адресуе-
мой структурной единицей памяти. Если учесть, что одна страница
текста (вместе с интервалами) содержит 1800 букв, то можно себе пред-
ставить, какой огромный объем памяти требуется для записи тексто-
вой информации. Отсюда следует важность постановки задачи сжатия
текстовой информации при обработке ее в ЭВМ.
Необходимость сжатия буквенной информации напрашивается уже
исходя m того, что 8 двоичных разрядов, составляющих байт, позволя-
ют закодировать двоичным кодом алфавит из 256 букв, тогда как ре-
альные алфавиты, вместе с цифрами и вспомогательными символами
обычно не превышают 50...60 знаков. Однако и 50...60 знаков требуют
21 - ; А/- . 2° двоичных комбинаций или 5...6 битовую структуру
ячейки. Такая структура не решает проблем, так как в оставшихся
двух 'грех Ginax можно записать лишь 4...8 букв (не говоря уже
о проблеме считывания).
I (опробуем теперь использовать 1/2 байта для представления
24 16 букв некоторого абстрактного алфавита, затем кодировать
23S
информацию в этом т = 16-буквенном алфавите по п = 2 буквы
в кодовом слове. Тогда, используя один байт, можно будет передавать
те же N = тп = 162 = 256 символов.
ели этот 16-буквенный алфавит построить таким образом, чтобы
13 качественных признаков использовать как основные символы,
а 3 как вспомогательные, то можно построить следующий алфавит:
0 0000 5 0101 9 1001 D 1101
1 0001 6 ОНО А 1010 Е 1110
2 0010 7 0111 В 1011 F 1111
3 ООП 8 1000 С 1100
4 0100
Первые 13 символов будем условно называть ЦИФРА, а остальные —
3 — ЗОНА (соотношение «цифр» и «зон» обуславливается количеством
кодовых слов во вторичном алфавите и может меняться от 8 : 8 до
15 : 1).
Кодовые слова во вторичном алфавите будем в дальнейшем строить
таким образом, что первые 4 разряда всегда будут представлять зону,
а вторые — цифры. Число возможных комбинаций вторичного алфа-
вита в этом случае уменьшится и будет равно N = 3 • 13 = 39 (четы-
ре зоны дали бы 12 • 4 = 48; пять — 11 • 5 = 55; шесть — 10 • 6 =
= 60; семь — 9 • 7 = 63; восемь — 8 • 8 == 64), но зато такой первич-
ный алфавит дает принципиальную возможность построения 4-битовой
структуры памяти и позволяет применять зонный метод сжатия инфор-
мации.
Идея зонного метода сжатия базируется на том, что буквы вторич-
ного алфавита разбивают по зонам, и если в тексте рядом встречаются
буквы, принадлежащие одной зоне, то номер ее указывают только пе-
ред первой буквой, а запись последующих букв ограничивается за-
писью их цифровой части.
Для того чтобы буквы, имеющие одинаковые зоны, создавали бо-
лее длинные последовательности при составлении кодовых слов, во
вторичном алфавите необходимо использовать статистические характе-
ристики алфавита, из которого составлены обрабатываемые тексты.
Если кроме частоты появления отдельных букв текста учесть еще
и вероятность различных буквенных сочетаний, то кодовые слова во
вторичном алфавите будут иметь вид табл. 30 (вероятности указывают
только частоту появления буквы в русских текстах).
Для построения кода на 31 букву и 8 знаков пунктуации доста-
точно 39 кодовых слов. Если необходимо еще и 10 цифр, то достаточ-
но сделать 4 зоны (совпадает ноль и буква 0, а также цифра три и бук-
ва 3).
Степень эффективности разбивки па зоны можно определить, вы-
числив потенциальный коэффициент сжатия.
Коэффициент сжатия определяется как отношение количества
байтов в исходном тексте nr к числу байтов в сжатом тексте п2
240
Вероятности, что очередная буква относится к первой, второй или
третьей зоне, обозначим соответственно через а, Ь, с. При этом воз-
можны ситуации, указанные в табл. 31.
Таблица 30
Зона D Е Е
TZ с Вероят- Код Буква ность , Вероят- Код Буква ность TZ . BvpOHI- Код Буква |)('и (Ь
1 Про- 0,175 Е0 3 0,16 Ц 0,001 бел 2 О 0,09 Е1 У 0,021 Ж 0,007 3 Е 0,072 Е2 Д 0,025 X 0,000 4 А 0,062 ЕЗ Я 0,9018 Ч 0,012 5 Р 0,040 Е4 Ь 0,014 Э 0,003 6 П 0,023 Е5 Ф 0,002 Ю 0,006 7 Т 0,053 Е6 Ы 0,016 8 Н 0,053 Е7 Щ 0,003 9 В 0,038 Е8 Щ 0,006 10 И 0,062 Е9 В 0,014 : 11 С 0,045 ЕА Г 0,013 ! 12 М 0,026 ЕВ К 0,028 ? 13 Л 0,035 ЕС И 0,010 —
Таблица 31
Событие 1 2 3 4 5 6 1 8 9
Зона нахождения пеРв°й 1 1 1 2 2 2 3 3 3
буквы второй 1 2 3 1 2 3 1 2 3
Вероятность события и2 ab ас Ьа Ь2 Ьс са cb с2
Полная вероятность событий
Sa2 + ab + ас + ba 4- ba 4- b2 + be 4- са -|- cb 4- с2 -- 1.
Сжатие будет только в случае 1, 5 или 9, т. о. вероятность возмож-
ного сжатия
pt = а2 4- b2 4- с2,
а вероятность отсутствия сжатия
р,- 1-Л.
При сжатии на каждую букву расходуется 1!2 байта, в случае
его отсутствия — полный байт.
Таким образом,
«2 = 4П1'Р1 ' "1(1 ~Р1>;
1г ___ Т1\ _ 1
Лсж — — ,— ------------------- =
Р, I /(, (1 — Р) .+ с + ] - а2 - — с*
2 2
2 4“ я2 4“ 4“ 6’2 ~ 2^2 — — 2с2 ~ 2 — (а2 Ь2 4- с2) '
24 Г
Сравним эффективность построения кодов, разбитых по зонам
по вероятностному признаку (табл. 30) и просто по алфавитному по-
рядку букв первичного алфавита (табл. 32).
Для табл. 32 а — 0,772, b = 0,187, с = 0,042
т^' _ 2 __ 2 । г
Леж— 2 —(а24-Ьа + с«) ~ 2— 10,772» + 0,1872 + 0,042» ~ '
Для табл. 32 а = 0,408, Ь = 0,360, с = 0,232
iz2 __ ________2_________ _ 2____________________________. о 1
Лсж— 2 —(а2 + 62-[-с2) 2 — (0,4082 + 0.3602 + 0,2322) ~ ’
В том и другом случае не учтены вероятности появления в текстах
знаков пунктуации.
Таблица 32
Зона
№ п/п Код Буква Вероят- ность Код Буква Вероят- ность Код Буква Вероят- ность
1 D0 A 0,062 Е0 Н 0,053 F1 Ь 0,014
2 DI Б 0,014 Е1 О 0,09 F0 Ы 0,016
3 D2 В 0,038 Е2 п 0,023 F2 3 0,003
4 D3 Г 0,013 ЕЗ р 0,040 F3 ю 0,006
5 £>4 Д 0,025 Е4 с 0,045 F4 я 0,018
6 DO E 0,072 Е5 т 0,053 F5 —. 0,175
7 DO Ж 0,007 Е6 ц 0,021 F0
8 D7 3 0,016 Е7 ф 0,002 F7
9 t)8 И 0,062 Е8 X 0,009 F8
10 DO I 0,010 Е9 щ 0,004 F9
11 DA к 0,028 ЕА ч 0,012 FA 1
12 DB л 0,035 ЕВ ш 0,006 FB ?
13 DC м 0,026 ВС щ 0,003 FC /
При определении КСж текста, закодированного по выбранному
коду, подсчитывают количество байтов, которые потребовались бы для
размещения в памяти ЭВМ данного текста без применения метода сжа-
тия, и количество байтов, в которых размещен сжатый текст.
Рассмотрим в качестве примера следующий текст.
«Конкретный состав операционной системы задается при ее гене-
рации, причем выбор делается из довольно большого числа различных
вариантов». В кодированной форме этот текст имеет вид:
Е 3 D 1 7 Е В D 4 2 6 7 Е 6 С DO A M63801524 3 F0D
91771BCD0 49 4623E60D3£2D3264E3D05490
220£427243F0D99F6D0549F3D2308E69D14
E2D2C326AE3D09E0D0E2D181CE4710E 8 D 1
CE48D\EAD\QF3\9AC3A3E9DC9 F 3 D 7 E 6 F 2
D0834937618F7
Коэффициент сжатия Ксж = 1,43.
В реальных текстах возможны два предельных случая: 1) при
кодировании буквы, следующие одна за другой в тексте, попадают
каждый раз в разные зоны, в этом случае сжатие отсутствует Ксж =»
== 1; 2) все буквы текста находятся в одной зоне, с увеличением длины
242
текста коэффициент сжатия будет стремиться к двум, но никогда его
не достигнет, так как номер зоны не несет смысловой информации
и представляет собой избыточность, которую при данном методе уже
нельзя устранить.
В заключение можно предложить метод сжатия безотносительно
привязки к конкретному виду информации.
Пусть равномерный код построен по правилу:
1) рост значения разрядов соответствует /п?, где п = 0, 1, 2, 3... —
натуральный ряд чисел, т2 — основание кода;
2) код строится по колонкам, число которых I обусловлено общим
ЧИСЛОМ КОДОВЫХ СЛОВ N и равно I I \ogm2 N]\
3) в каждой колонке качественные признаки алфавита т2 распола-
гаются последовательно группами, состоящими из одинаковых ка-
чественных признаков;
4) число одинаковых, следующих подряд качественных признаков
в группе равно значению разряда, соответствующего данной колонке.
Например, для двоичного кода в первой колонке 0 и 1 череду-
ются через 1, во второй через 2, в третьей — 4..., в десятой через
1024. Для троичного кода в первой колонке 0, 1, 2 идет по одному
признаку подряд, во второй — по три, в третьей по девять и т. д.
Тогда в случае десятиразрядных двоичных кодов весь массив чисел
можно разбить на 8 групп по 128 чисел в каждой:
1-я содержит числа, которые начинаются с ООО,
2-я » » » » с 001,
8-я » » » » с 111.
Общее для каждой группы число записывается один раз, и все
1024 числа представляют семи-, а не десятиразрядными числами.
При декодировании программно можно учитывать и по необходимости
полностью восстанавливать сжатое число. Экономия объема памяти
при хранении массива в 1024 числа ориентировочно равна AQ =
= Nr — rk = 1024 -3 — 3 • 8 == 3000 дв. разр., где г — число сокра-
щенных разрядов; k —число групп.
Метод Гершгорина Е. И. заключается в том, что наиболее часто
встречающиеся комбинации букв заменяются одиночными символами,
которые представляются двоичными кодами, не используемыми для
представления символов при заданном способе кодирования как в
ЭВМ, так и при обмене данными с использованием линий связи.
При Эксплуатации ЕС ЭВМ для представления алфавитно-цифровой
и служебной информации из 256 возможных символов (длина байта —
8 символов, 28 " 256) не используется 167 (см. выше коды КОИ-8
и ДКОИ). Эти 167 символов не имеют графических эквивалентов
(табл. 33).
243
г Гершгорин E. И. предлагает использовать этот резерв для кодиро-
вания наиболееучасто встречающихся в тексте биграмм. Для этого им
был проведен анализ текста массива «Научно-исследовательские и
опытно-конструкторские работы» объемом 75993 символа и определена
абсолютная частота встречаемости всех возможных биграмм русского
языка, которая изменялась от 1283 до 0. Биграммы были выстроены в
порядке убывания частоты, а затем отобраны первые 167 (табл. 34).
Таблица 33. Представление символов, не имеющих графических эквивалентов,
в шестнадцатеричной системе счисления
0 1 2 3 4 5 6 7 8 9 А в с I Е
0 01 02 03 04 05 06 07 08 09 0А ОВ ОС 01 0Е V OF
1 10 11 12 13 14 15 16 17 18 19 1А — 1С —1— — —.
2 20 21 22 23 24 25 26 27 28 29 2А 2В 2С 21 2Е 2F
3 30 31 32 33 34 35 36 37 38 39 ЗА — ЗС 31 ЗЕ 3F
4 — 41 42 43 44 45 46 47 48 49 —— — — — —
5 — 51 52 53 54 55 56 57 58 59 — — — — — —
6 — 62 63 64 65 66 67 68 69 — — — — — —
7 70 71 72 73 74 75 76 77 78 79 — — — — —
8 80 81 82 83 84 85 86 87 88 89 8А 8В 8С 81 8Е 8F
9 90 91 92 93 94 95 96 97 98 99 9А 9В 9С 91 9Е 9F
А АО Al А2 АЗ А4 А5 А6 А7 А8 А9 АА АВ АС AI АЕ AF
В ВО Bl В2 ВЗ В4 В5 В6 В7 — В9 — — — BI — —
С СО — — — — — — — СА — CI — CF
I ю IA IB — — IE IF
Е ЕО Е1 — — — — — — — — ЕА — — EI —
F FF
Таблица 34. Биграммы, полученные на научно-техническом тексте
А АН А АБ АЗ АТ АП АР АС АВ АК АМ АЦ АЯ
Б БО Б БЛ
В ВА ВО В BE ВН ВЫ ВЛ
Г ГО ГА Г ГИ
Д ДЕ ДО ДА ДИ ДН ДР ДЫ
Е ЕН Е ЕС ЕД ЕК ЕЛ ЕР ЕТ ЕМ ЕО ЕХ
Ж ЖЕ ЖИ
3 ЗА ЗВ 30 ЗР
И И ИЯ ИС ИЕ ИЧ ИЗ ИИ ИК ИМ ИН ИВ ИО ИР ИТ ИХ
К КО ки КА КТ КС КР
Л ЛЕ ЛЬ ЛО ЛИ ЛА ЛЯ
М ME МИ МА МО МЫ М
Н НИ НО НЫ НА НЕ НН НТ
О ОВ ОС ОТ ОБ ОГ ОД ОЛ ОР О ОМ ОН ОЕ ОЖ 03 ОК ОП 04
П ПР ПО ПА ПЕ ПЛ
Р РА РО Р РЕ РИ РУ PH
С СТ С СК С(*СЛ СО СП СИ сн
Т ТО ТЕ ТИ ТА ТР ТВ ТК TH
У УД УР УС
Ф ФЕ ФФ
X X хн
Ч ЧЕ
Ы ЫХ Ы ЫЕ
Ь ЬН
Э ЭФ
Я я
ПИОВКМНГДТУЭАБЗЦ
244
В УкрНИИНТИ Госплана УССР на научно-техническом тексте
объемом 26643 символа при использовании биграмм по результатам
анализа текстов художественной литературы было достигнуто сжатие
до 15620 символов, т. е. на 41,4 %, а при использовании биграмм
табл. 2 — 42,5 %. Время перекодировки одного слова длиной 8...
10 букв на самой «медленной» из ЕС ЭВМ (ЕС-1022) составляет
0,02 с, а время восстановления 0,03 с.
16.4. Адресация и кодирование данных
при организации сетевого взаимодействия
между вычислительными комплексами
при передаче данных в режиме коммутации
пакетов
Для обмена сообщениями между пространственно
разнесенными элементами вычислительных комплексов или сети ВК
используются рекомендованные МККТТ протоколы и интерфейсы.
Функциями протокола является защита передаваемых сообщений от
ошибок, управление потоком сообщений, защита канала связи от пе-
регрузки, частотная синхронизация сообщений на выходе ВК с харак-
теристиками канала связи, выполнение операций маршрутизации.
Протоколы, в свою очередь, реализуются при помощи набора
процедур, называемых процессами. Например, процесс принимает
одиночное сообщение, обрабатывает его и выдает сообщение в об-
ратном направлении в виде ответа, т. е. существуют процессы-генера-
торы и процессы-получатели сообщений.
Для обмена сообщениями между процессами-получателями и
процессами-генераторами сообщений у них должны быть адреса. Эти
адреса представляют собой коды, которые являются составной частью
сообщения.
Сообщения бывают различной длины, в том числе, с точки зрения
передачи по каналам связи практически непрерывные.
Так как управлять непрерывным потоком сообщений, а тем более
обнаруживать в нем ошибки, очень трудно, то в современных сетях
передачи данных сообщение разбивают на кадры. Содержащиеся в
служебной информации кадров адреса позволяют восстанавливать
сообщения, если кадры от процесса-генератора к процессу-получа-
телю направлялись по разным каналам связи.
Структура кадра представлена на рис. 53.
Между собой кадры разделяются флажками, которые представля-
ют последовательность двоичных символов, начинающуюся и оканчи-
вающуюся нулем и содержащую между нулями шесть подряд идущих
единиц (01111110).
В канале связи практически при любых способах обмена данны-
ми передаются двоичные качественные признаки. Чтобы расшифро-
вать непрерывную последовательность двоичных символов, необ-
ходимо соблюдать форматы как кадров, так и баз данных, из которых
эти сообщения поступают. Прежде всего очень важно установить
границы кадра. Для этого необходимо исключить возможность ложного
24Ь
выделения флаговой комбинации в середине кадра, т. е. любая
комбинация, состоящая из пяти подряд идущих единиц, обрамленных
нулями, не должна встречаться в передаваемом информационном по-
токе. Но такие комбинации реально существуют. Поэтому решили
к каждой комбинации, содержащей пять подряд идущих единиц,
12345678 12345678 12345678 16-1 12345678
Флаг Адрес Управление Информация Проверочная последова- тельность кадра Флаг
F А С I FC5 F
01111110 8 бит 8 бит Бит 16 Бит 01111110
Рис. 53. Структура кадра:
FCS — проверочная последовательность кадра, буквы F, Л, С,
/ — начальные буквы английских слов флаг, адрес, команда#
информация
автоматически добавлять 0. На приемном конце ноль, следующий
после пяти единиц, автоматически отбрасывается. Эта мера содей-
ствует прозрачности системы передачи данных.
Идущая после флага последовательность из восьми двоичных
символов интерпретируется как адрес кадра. Кадры, содержащие
биты управляющего поля 1 2 8 4 5 6 7 8
I-кадра 0 N(S) P/F N(K)
6- кадра 1 0 6 6 P/F N(R)
U-кадра 1 1 м м P/F МММ
Рис. 54. Формат управляющего поля:
N (S) — порядковый номер передачи, посылается передат-
чиком (возрастание разрядов от второго бита к четвертому);
N (R) — порядковый номер приема, посылается передатчи-
ком (возрастание разрядов от шестого бита к восьмому);
S — бит супервизорной функции; М — бит модифицирую-
щей функции; P/F — бит опроса (Р), если передаемся в
составе команды, или бит концовки (F), если передается
в составе ответа на команду (1 = Опрос/Концовка)
команды, передаваемые из оконечного оборудования цепи данных
(ОЦД) абонентов, и ответы на них из оконечного оборудования данных
(ООД) в ОПД, икфют код адреса 11000000, а кадры, содержащие
команды, передаваемые из ООД в ОЦД и ответы на них из ОЦД в
ООД, имеют код адреса 10000000. После адреса идет управляющее
поле (поле команды).
Формат управляющего поля представлен на рис. 54.
Команды кодируются в соответствии с таблицей рис. 55.
Информационное поле кадра при наиболее распространенном
способе передачи данных — с пакетной коммутацией — занято па-
246
кетами, которые представляют собой последовательности байтов
(байт содержит 8 бит).
Кодирование служебной информации в пакете рассмотрим на при-
мере формата пакета передачи данных, прерывания и подтверждения
прерывания.
Формат пакета представлен на рис. 56. Этот пакет служит для пе-
редачи данных по виртуальному каналу. Для организации виртуаль-
ного канала передается пакет запроса соединения. При наличии сво-
бодных номеров логических каналов этот запрос доходит до адреса,
который принимает решение о целесообразности установления связи
1 2 3 4 5 S 7 в
Формат Команды Ответы Кодирование
Перенос информации I (информация) 0 Р
Сурерви- зорный RR (Клриему готово) RHR (К приему не готово) REJ (Переспрос) RR(Kприему готово) RNR(K приему не готово) REJ (Переспрос) у 0 0 0 Р 1 0 1 0 Р 1 0 0 1 Р
Нумеро- ванный SARM (Установить режим асинхронного ответа) ПМ(Режим разъединения) 1 1 1 1 Р 0 0 0
8АЕМ(Установить асин- хронный сбалансиро- ванный режим) 11 1 1 Р 0 0 0
0I5C (Разъединить) 1 1 0 0 Р 0 1 0
UА (ненумерованное подтверждение) 110 0 110
СМи^Отказ от коичнви) 1 1 1 0 0 0 1
ГРМР(0тказ от кадра)
Рис. 55. Кодирование команд и ответов.
и передает в обратном направлении пакет на согласие соединения,
после чего виртуальный канал установлен.
Рассмотрим подробнее формат рис. 56. Бит 0 служит для характе-
ристики данных. Категорий данных можез быть только две, поэтому
в поле Q может стоять 0 для первой категории или I — для второй.
Бит D равен 1, если необходимо подтверждение доставки на локаль-
ном уровне, и 0, если необходимо подтверждение получения пакетов
удаленным абонентом. Бит М равен I всегда, когда за данным пакетом
следует еще один пакет, который относится к одному и тому же сообще-
нию. В последнем пакете сообщения бит М равен нулю. Биты Р (7?) и
Р (S) служат для управления потоком.
Суть управления: администратор сети договаривается с абонентами
о максимальном числе пакетов, которое может быть послано без полу-
чения подтверждения об их приеме. Это число определяет размер ок-
на, свободного от подтверждений передачи. Так, Р (S) = Р (Р) +
247
4- W, a P (7?), P (7?) + 1, ...» P (7?) + W — 1 — разрешенные для
передачи номера пакетов. То есть биты Р (7?) указывают разрешенные
номера, а Р (S) — запрещенный номер.
Протокол уровня канала с упорядоченной передачей, рекомендо-
ванный МККТТ и получивший обозначение Х.25, называется процеду-
рой высокого уровня управления каналом передачи данных (HDLC)
от английского high degree level control. В этой процедуре использова-
на структура кадра, ориентированного на побитовую передачу. В поле
кадра «Проверочная последовательность» (FCS) формируется 16-би-
товая кодовая комбинация, с помощью которой происходит обнару-
Разряды жение ошибок. Взаимодействие
Ваити 123 45 6 7 8 междУ устройством передачи дан-
ных и модемом определяются про-
токолом физического уровня Х.21.
Для обнаружения ошибок в ИВС
может быть использован любой кор-
ректирующий код. Однако наиболь*
шее распространение нашли цикли-
Рис. 56. Формат пакета передачи дан- чсские коды. Более ТОГО, В настоя-
ных, прерывания и подтверждения пре- шее время разраоотаны стандартные
О» 1
Идентификатор логического канала
p(R) м P(S) о
Данные
рывания. интегральные схемы, «зашитые» в
серийно выпускаемые аппаратные
средства. Поэтому целесообразно рассмотреть сйособ определения оши-
бок именно циклическими кодами.
В произвольной последовательности двоичные символы могут
рассматриваться как коэффициенты полинома степени k, где k — дли-
на последовательности. Например, ЮНООН отображает полином
I + х2 + х3 + х7 + Xs (отсутствуют члены полинома с нулевым
коэффициентом).
Корректирующий код строится с помощью некоторого порождаю-
щего полинома Р (х). При помощи Р (х) методами, описанными в [37]
строится циклическая кодовая последовательность, длина которой
равна длине FCS (проверочной последовательности кадра). Биты стар-
ших разрядов — информационные, биты младших — проверочные.
Если G (х) — сообщение, Р (х) — порождающий полином степени
n, Q W — частное, a R (х) остаток от деления xnG (х) на Р (х), то для
построения проверочной последовательности необходимо выполнение
условия
xnG (х) = Q(x) Р (х) + 7? (х).
Кодовый полином F (х) == Q (х) Р (х) = xnG (х) — 7? (х), но по-
скольку сложение подмодулю два и вычитание по модулю два суть
эквивалентные операции, то можно записать
F (х) = xnG (х) 4- 7? (х).
Обнаружение ошибок производится путем деления принятого сооб-
щения на Р (х). В правильном сообщении результат не дает остатка.
Проверочная последовательность состоит из k информационных
и п проверочных символов. Выберем в качестве пророждающего поли-
248
ном Р (х)I » 1 4~ х® + х4 + х6. Ему соответствует двоичная последо-
вательность 101011.
Предположим, передаваемое сообщение имёет вид 1010010001,
что соответствует полиному 1 + х2 + хб + х9. Делим x6G (х) на Р (х).
Деление осуществляем по алгоритму:
Бит делителя наибольшего порядка, определяющий степень поли-
нома Р (х), записывается под нулевым битом наибольшего порядка
делимого и вычитается из него (вычитание равносильно сложению).
а) Вместо делимого записывается результат вычитания и повторя-
ется п. 1.
б) Шаг «а» повторяется до тех пор, пока степень разности станет
меньше степени делителя. Последняя разность представляет собой
остаток.
Пример (б — двоичный эквивалент а):
а) 1х2 + Ох + 1 рх3 + I*2 + 0х -|- 1
1х5 4- 1х4 + 1х3 -|- Ох2 + 1х + 0
1хб + 0х4 + 1х3
’ 1х4 4- Ох3 + Ох2 + 1х + 0
1%4+0хЗ+ 1Х2__________
0х3 4- 1х2 4- 1х 4- 0
1х2 4- Ох 4- 1
1х 4- 1
б) 1 ° ! [110 1
1110 10
1 0 1
1 0 О 1 о
1 0 1____
0 110
i_o 1
В случае выбранного выше порождающего полинома Р (х) = 1 +
4- х2 Н- х4 + х5 и сообщения 1010010001, получим
x6G (х) (1 4- х 4- х2 4- х3 4- х7 4- х8 4- х9) Р (х) 4- (1 4- х),
где (14-х) — /? (х) — остаток.
Проверочную последовательность F (х) получаем путем сложения
х5 G (х) и остатка R (х)
Г (х) = (1 4- х) 4- (х5 4- %7 + х10 * + х14),
что эквивалентно двоичной последовательности 110001010010001, в
которой 11000 ~ проверочная часть, а 1010010001 —информаци-
онная.
Порождающий полином, ориентированный на использование в
линиях связи, определен рекомендацией V.41 МККТТ:
Р (х) - 1 4- х5 + х12 * 4- х14.
249
Реализация алгоритма деления осуществляется при помощи регист-
ра сдвига с числом разрядов, равным степени порождающего поли-
нома. В качестве сумматора по модулю 2 используется схема отрицания
дизъюнкции.
Аппаратура, описанная в [28], работает следующим образом.
В исходном состоянии все разряды регистра сдвига установлены
«в нуль». Деление осуществляется путем продвижения делимого через
регистр слева направо, начиная со старших разрядов.
Так продолжается до появления на выходе регистра сдвига пер-
вой единицы, после чего выполняется вычитание делителя при помощи
следующей процедуры:
1. Старший разряд делителя при осуществлении процедур вычи-
тания всегда вычеркивает первую единицу делимого. После появления
Рис. 57. Регистр сдвига для получения кодовой последователь-
ности в результате деления на полином 1 + х2 + х4 + х5, где
□ — сдвиг на один разряд, Щ — исключающее ИЛИ.
первой единицы на выходе регистра, дальнейший процесс вычитания
осуществляется автоматически.
2. Сумматоры по модулю 2 осуществляют вычитание делителя
из содержимого регистра сдвига. Исключение составляет бит самого
старшего разряда, который к этому моменту уже учтен (см. п. 1).
Оставшаяся в регистре разность сдвигается до тех пор, пока следую-
щая единица не появится на выходе регистра. Процедура повторя-
ется, пока все делимое не будет введено в регистр, после чего в регистре
остается только остаток от деления.
Пример реализации регистра сдвига для полинома 1 + х2 + х4 +
+ х5 представлен на рис. 57.
Умножение полинома G (х) на хп практически выражается в при-
соединении п за младшим битом G (х). Остаток формируется в резуль-
тате прохождения через регистр как k информационных разрядов,
так и п нулей. Кодовый полином получается после того, как, в конце
концов все п нулей замещаются содержимым сдвигающего регистра.
Итак, МККТТ рекомендует в качестве порождающего использо-
вать полином 1 + xL + х12 + х16. Он синтезируется для деления
многочлена xleG (x)4h xkL (х), где k — степень G (х), a L (х) ==
п=15
~ 5 » & — дополнительный член, который при выполнении ариф-
метических операций по модулю 2 инвертирует 16 старших битов по-
следовательности xleG (х), что эквивалентно установке всех разрядов
регистра сдвига в единицу. Процесс инвертирования в данном случае
необходим для того, чтобы можно было различать начальную и конеч-
ную кодовые комбинации в регистре сдвига. А это, в свою очередь,
160
необходимо/чтобы различать начальный и конечный флажок кадра
и не воспринимать два кадра как один в случае пропадания флажка
между ними.
В форме полинома это записывается так:
FR = x16G (х) + R (х) + L (х).
Остаток R (х) определяется из выражения
Q (х) Р (х) = x16G (х) + xkL (х) + R (х).
При приеме сообщения выполняются операции деления
x1GFR + х/г+16/. (х)
Р(х)
что можно записать как
х16 [x16G (х) + xkL (х) -Р R (X)] . x16L (х) __
Р (х) Р (х) ~~
== *16 1Q (х) Р (х)1 x™L (х)
Р (х) ' Р (х)
В случае отсутствия ошибок в принимаемой последовательности
остаток от деления получается равным остатку от деления постоянно-
го второго слагаемого и составляет
1 + х + х2 + х3 -Ь х8 + х10 + х12.
Так как мы используем процедуру инвертирования для того, чтобы
различить начало и конец кадра, то как приемник, так и передатчик
инвертируют 16 старших битов (путем установки в единицу всех раз-
рядов сдвигающих регистров). Остаток имеет вид 11110000111000.
При этом контрольная сумма кадра HDLC гарантирует, что два со-
седних кадра с правильными FCS не будут восприняты как один кадр.
Пропадание флажка между кадрами всегда обнаруживается.
Глава 171
О ЦЕННОСТИ
ИНФОРМАЦИИ
Проблемой ценности информации занимались мно-
гие ученые [7, 19, 25, 37, 43, 71, 821.И проблема давно была бы
решена, если бы ценность информации подчинялась точным зако-
номерностям. Однако при определении ценности информации при-
сутствует субъективный фактор. А там, где кончаются строгие одно-
значные зависимости, кончается точная наука(если не кончается
наука вообще).
Единого критерия ценности информации нет и быть не может хотя
бы потому, что невозможно найти единую единицу измерения ценнос-
ти информации, которая однозначно удовлетворяла бы всевозможные
варианты определения ценности полученных данных. Могут быть част-
ные критерии ценности информации. Например/материальный ущерб
от неполучения информации. Единицей измерения мог бы быть, ска-
251
жем, рубль/ч. Если удобно (или хотя бы возможно) использовать ве-
роятностные характеристики поступающей информации, критерием
ценности информации может быть вероятность достижения цели
и т. д.
Частные критерии будут определяться конкретными задачами,
решение которых потребует определения ценности информации. Та-
кие задачи могут отличаться как характером, так и масштабом. На-
пример, распределение дневной загрузки служащего. С утра, когда
работоспособность выше, надо решать более важные вопросы, а для
этого надо определить относительную ценность принятия того или
иного решения.
Ценность информации придется определять, когда мы столкнемся
с проблемой информационной перегрузки высококвалифицированных
работников (например, главных инженеров). Нужно будет научить-
ся разделять информацию по рангам: кому что решать.
На вычислительном центре должен быть паритетный принцип выбора
задач для решеия на ЭВМ. Более важные задачи должны более тщатель-
но контролироваться и обрабатываться в первую очередь. Такого же
принципа следует придерживаться при обработке данных в АСУ. В пер-
вую очередь следует обрабатывать те данные, изменение которых при-
водит к изменению других данных. В этом случае критерием ценности
может быть количество параметров системы, зависящих о изменения
данного параметра.
Определение ценности информации в системе высщего образования
позволит определить, что читать, в как последовательности, сколько
часов выделять на курс. При переписи населения цель — определение
возрастного, национального, количественного состава населения. С
поступлением информации увеличивается вероятность достижения цели.
В этом случае, с некоторыми оговорками, можно утверждать, что коли-
чество информации прямо пропорционально ее ценности.
Как видно даже из этих немногочисленных примеров, от правильного
выбора критерия ценности информации зависит успех решения задачи.
Нет сомнения, что умелое обращение с информацией—такой же
ресурс, как стандартизация, унификация, автоматизация. Вкладывать
деньги в системы управления оказывается в три раза эффективнее, чем
в расширение производства. Поэтому и уделяется столько внимания ав-
томатизированным системам управления, которые, по сути, являются
информационно-управляющими системами, предназначенными, прежде
всего, для автоматизации информационных процессов.
При изучении процессов, связанных с обработкой экономической
информации, следует *®тко различать три информационные характерис-
тики — объем, количество и ценность.
Определение объема информации, которое в основном сводится к
подсчету числа символов, знаков, документо-строк, в настоящее время
не представляет сложности Мера Шеннона для определения количе-
ства информации хороша тем, что может быть применена не только к сиг-
налам, буквам, словам, блокам слов, но и к совокупностям предметов,
событий, эмоций и т. д., если количество информации оценивается с
точки зрения статистической частоты их появления. Она хороша еще и
152
тем, что, в какой бы форме не передавались сообщения, всегда более
вероятным событиям соответствует меньшее количество информации и
наоборот. Что касается качественной оценки информации, то на данном
этапе развития семантики и прагматики трудно рекомендовать какой-
либо один из способов определения ценности информации, да и вряд ли
стоит к этому стремиться. В зависимости от поставленной задачи пригод-
ными могут быть различные способы. Поэтому рассмотрим, по нашему
мнению, наиболее интересные из них. |
Метод Харкевича предусматривает ценность информации для систем
с ясноопределенной целью выражать через приращения вероятности ее
достижения [71]. Если число возможных равновероятных исходов ап-
риорно составляет Л/о, а после получения информации сократилось до
то количество полученной информации
I = log, Уо - logs N. = log, . (179)
Если полученная информация должна способствавать достижению опре-
деленной цели, то ценность информации можно было бы определить,
узнав, насколько к поставленной цели приблизило нас полученное со-
общение.
В качестве иллюстрации этого положения А. А. Харкевич приво-
дит несколько примеров. Цель, стоящая перед следователем,— раскры-
тие преступления. Информация, поступающая от свидетелей, умень-
шает число версий и первоначальную неопределенность. Цель, стоящая
перед игроком в карты,— выигрыш. Вначале о картах партнера можно
судить только по своим картам. Зачем, по мере выхода карт из игры,
возрастает информация о том, какие карты на руках у партнера. Цель,
стоящая перед разработчиком вакцины,— получение безопасного
лечащего средства. Информация после каждого опыта на животных
способствует решению задач. Цель, стоящая перед стрелком из ору-
дия с корректировкой,— попадание. Информация поступает в виде дан-
ных о предыдущих попаданиях и увеличивает вероятность достижения
цели, так как позволяет вносить поправки, увеличивающие точность
стрельбы.
Таким образом, в случае ясноопределепной цели ценность информа-
ции может быть выражена через вероятность достижения цели. Если до
получения сообщения эта вероятность была р0, а после получения —
ръ то ценность
7 = log, р, — log, р„ = log, . (180)
Ро
Выражения (174) и (175) не противоречат друг другу, если считать, что
__ 1 _ 1
” Л'о ’ Р' ~ Nx ’
а это очевидно из следующих рассуждений. Вероятность рх достижения
цели после получения сообщения будет тем больше, чем меньше осталось
равновероятных исходов после получения информации, т. е. чем мень-
ше Nx.
253
Метод Бонгарда [19]. Если задача at с вероятностью имеет отве^
bi, а для его достижения следует произвести какое-то количество экспе-
риментов и qt — вероятность удачного их осуществления, то среднее
число опытов равно 1/^-, а неопределенность задачи
log l/qt = — log qt.
Если вероятность такой ситуации равно pit то для множества задач
А — {аг} (i = 1, 2, п) неопределенность
И (Л) = —2 pt log<7f.
X’+I
Полезность информации определяется уменьшением неопределенности
задачи. При этом значение qt приближается к значению pt.
Изменение неопределенности задачи с приходом сигнала выражается
как процесс запаса полезной информации в виде распределения вероят-
ностей q. За нулевой уровень часто удобно принимать запас полезной
информации при qt = (I = 1,2, ..., п) и от него отсчитывать полезную
информацию. Количество полезной информации
1П —Н9(А)~ Н1(А),
где Но и следует понимать как неопределенности, существовавшие
до и после прихода сообщения.
В этом случае запас полезной информации, содержащейся в гипотезе
q относительно задачи с распределением вероятностей ответа р, может
быть определен как
4 = logn — H{plq),
где Н (plq) следует понимать как условную энтропию события р отно-
сительно события q.
Статистический метод оценки содержательности текста предусмат-
ривает использование показателя количества информации на одно вы-
сказывание со. Если обозначить через 1 (v) количество информации в
тексте, а через v — количество высказываний в том же тексте, то
/ (и)
О) ~ .
V
В обычных текстах количество высказываний не всегда совпадает
с количеством предложений. Поэтому определение значения v сопря-
жено с некоторыми трудностями. Однако для весьма распространенного
в технико-экономической информации случая, когда высказывание
является количественной характеристикой свойств отображаемого
предмета, т. е. когда мы А1еем дело с показателями, определение зна-
чения v не представляет труда, так как показа гели имеют легко разли-
чимые признаки — количественные значения (основания).
Более детальная характеристика содержательности может быть дана
в результате подсчета количества символов на одно высказывание. Так
как одно и то же высказывание может быть выражено предложениями
различной длины, то из группы разнозначных по смыслу высказываний
большая содержательность (информативность) будет у высказываний,
254
выраженных меньшим количеством символов. Показатель количества
символов народно высказывание
V
н = —’
где I — количество символов в тексте.
Статистическими исследованиями установлено, что для самостоятель-
ного выражения показателя (вне текста) необходимо предложение из
60...70 символов. Выражение того же показателя в таблице с 10 графо-
клетками требует 25...30 символов, а в таблице с 1000 графоклетками —
четыре-пять символов на показатель. Такой рост информативности
достигается за счет того, что в название таблицы выносится подлежа-
щее и сказуемое реквизитов, общих для всего текста, а также за счет
того, что в таблице может быть отражена взаимосвязь между по-
казателями.
В качестве примера текстов с аналогичным содержанием и различ-
ной информативностью могут служить табл. 28 и 29. Как видим, в
табл. 29 то же содержание удалось выразить более компактно, меныпим
количеством символов, т. е. повысить информативность текста. В этой
таблице информационная нагрузка на символ больше, чем в табл. 28,
т. е. каждый символ табл. 29 несет большее количество информации.
В этом смысле величина ц может служить качественной характеристикой
информации различных текстов, т. е. характеризовать степень их содер-
жательности.
Рассмотрим еще два подхода к оценке информации. Е. С. Вентцель
предлагает рассматривать ценность информации относительно тезауруса
приемника информации 1251, т. е. сравнивать полученную информацию
со сведениями, уже имеющимися у приемника информации.
Тезаурус — сокровищница (греч.) употребляется в значении толко-
вого словаря энциклопедии. Запас знаний человека составляет его
Таблица 35. Вертикальная запись смешанных шифров
Предмет Шифр предмета Единица измерения массы Шифр единицы измерения Полный шифр
Фреза 1 Килограмм 0 10
Пуд 1 11
Фунт 2 12
Лот 3 13
Станок 2 Килограмм 0 20
Пуд 1 21
Фунт 2 22
Лот 3 23
Кран 3 Килограмм 0 30
Пуд 1 31
Фунт 2 32
Лот 3 33
255
Таблица 36. Шахматная запись смешанных шифров тезаурус знаний. Чтобы понять информацию, содержащуюся в со- общении, в тезаурус приемника должны входить сведения, позво- ляющие освоить сообщение. По- просту говоря, чтобы понять со-
Предмет Полный шифр
Кило- грамм Пуд Фунт Лот
Фреза Станок 1Л 11 21 12 22 13 23 общение, необходимо иметь оп-
1U 20 ределенный минимум знаний по
Кран 30 31 32 33 вопросу, содержащемуся в сооб- щении. Если сообщения полезны,
то тезаурус приемника обогащает-
ся, как обогащаются знаниями школьники, усваивая то, что им
говорит учитель. Если же сообщение не имеет ничего общего с те-
заурусом приемника информации и никоим образом не обогащает
его, то принимаемая информация будет для такого приемника равняться
нулю. Нулю же будет равна и ее ценность. Действие такой информации
является тезаурусным шумом и эквивалентно действию шумов при пе-
редаче информации по каналу связи с шумами. В этом смысле ценность
информации будет максимальной в том смысле, если потери от тезаурус-
ного шума будут минимальными (Яш = 0). Количество информации
определяется как разность энтропии источника сообщений Нп и энтро-
пии шумов //ш, умноженная на количество символов в сообщении
1 = п(На~ Нш).
В случае передачи информации по реальному каналу связи из выра-
жения (176) следует вычесть величину неопределенности Нп, вносимую
помехами в канале связи,
1^п(На-Нш-Нп).
Как видим, при таком подходе к оценке информации значение / на-
ходится в прямо пропорциональной зависимости от содержания и смысла
принимаемых сообщений.
Ф. Махлуп предлагает рассматривать информацию как продукт че-
ловеческого труда, производимый с применением все возрастающей
массы ресурсов, в число которых входят такие дорогостоящие орудия
производства, как ЭВМ. Так в современных АСУ совершенно определен-
но разграничивают подсистему технического обеспечения, куда входят
ЭВМ и устройства передачи информации, и систему информационного и
математического обеспечения, содержащую программы, таблицы, сло-
вари, которые, не являясь непосредственно орудиями труда, являются
средствами труда, информационными средствами. Эти информацион-
ные средства имеют вполне определенную потребительскую стои-
мость и обладают всеми свойствами продукта. Таким образом, инфор-
мацию можно рассматривать как специфический продукт определен-
ной сферы общественного производства, а стоимость информации и оп-
ределяет ее экономическую ценность.
Существуют и другие нестатистические методы определения ценности
информации: по актуальности и современности данных, по достовер-
ности и полноте информации. Связь информации Шеннона с ценностью
информации можно проследить в теории статистических решений.
256
Основным понятием теории статистических решений является поня-
тие средних потерь или риска, понятие, которое характеризует качество
принимаемых решений. Чем больше потери, тем больше величина
штрафов. В задачах теории статистических решений обычно заранее ука-
зывается функция штрафов, которая предусматривает наказание (штраф)
за неудачные решения и поощрения за удачные. Решения принимаются
на основе текущей информации. Польза от полученной информации бу-
дет в том случае, если основываясь на ней, принимаются решения, поз-
воляющие уменьшить потери, связанные со средними штрафами (подроб-
нее с этим вопросом можно ознакомиться в работе [7]). Обычно качество
управления связано с уменьшением энтропии в управляемой системе.
Системы, в которых наблюдается уменьшение энтропии, считаются
прогрессирующими, а системы, в которых наблюдается постоянный рост
энтропии,— деградирующими.
Что касается ценности информации, циркулирующей в данной систе-
ме, то, по мнению автора, она должна определяться по реакции системы
на данное сообщение. Если реакция такова, что в результате получения
информации выходной показатель функционирования системы прибли-
жается к оптимальному значению, то информация имеет положительную
ценность и наоборот. Реакцию системы на различного рода сообщения
следует обыгрывать на ЭВМ. При этом также может быть выявлено
влияние точности и своевременности информации на выходные харак-
теристики системы.
ПРИЛОЖЕНИЯ
ffl. Таблица двоичных логарифмов целых чисел
X log X X log X X log X
1 0,00000 38 5,24793 75 6,22882
3 1,00000 39 5,28540 76 6,24793
3 1,58496 40 5,32193 77 6,26679
4 2,00000 41 5,35755 78 6,28540
5 2,32193 42 5,39232 79 6,30378
6 2,58496 43 5,42626 80 6,32193
7 2,80735 44 5,45943 81 6,33985
8 3,00000 45 5,49185 82 6,35755
9 3,16993 46 5,52356 83 6,37504
10 3,32193 47 5,55459 84 6,39232
11 3,45943 48 5,58496 85 6,40939
12 3,58496 49 5,61471 86 6,42626
13 3,70044 50 5,64386 87 6,44294
14 3,80735 51 5,67242 88 6,45943
15 3,90689 52 5,70044 89 6,47573
16 4,00000 53 5,72792 90 6,49185
17 4,08746 54 5,75489 91 6,50779
18 , 4,16993 55 5,78136 92 6,52356
19 4,24793 56 5,80735 93 6,53916
20 4,32193 57 5,83289 94 6,55459
21 4,39232 58 5,85798 95 6,56986
22 4,45943 59 5,88264 96 6,58496
23 4,52356 60 5,90689 97 6,59991
24 4,58496 61 5,93074 98 6,61471
25 4,64386 62 5,95420 99 6,62936
26 4,70044 63 5,97728 100 6,64386
27 4,75489 64 6,00000 200 7,644
28 4,80735 65 6,02237 300 8,229
29 4,85798 • 66 6,04439 400 8,614
30 4,90689 67 6,06609 500 8,966
31 4,95420 68 6,08746 600 9,229
32 5,00000 69 6,10852 700 9,451
33 5,04439 70 6,12928 800 9,644
34 5,08746 71 6,14975 900 9,814
35 5,12928 72 6,16992 1000 9,965
36 5,16993 73 6,18982 10 000 13,288
37 5,20945 74 6,20945
258
П2. Фрагмент таблицы значений р- — р- log2 р^ и Н для бинарного канала
*4 —Pi Pt /у 1 Р‘ —Pi 1о;{? р, и
0,0010 0,009966 0,011408 0,0620 0,248718 0,335334
0,0020 0,017932 0,020814 0,0720 0,273302 0,373343
0,0030 0,025142 0,029464 0,0750 0,280272 0,384312
0,0040 0,031864 0,037622 0,0870 0,306487 0,426376
0,0050 0,038219 0,045415 0,0900 0,312654 0,436)470
0,0060 0,044285 0,052915 0,0980 0,328405 0,462662
0,0070 0,050109 0,060127 0,1000 0,332193 0,468996
0,0080 0,055726 0,067222 0,1100 0,350287 0,499916
0,0090 0,061163 0,074088 0,1250 0,375000 0,543564
0,0100 0,066439 0,080973 0,1350 0,390011 0,570993
0,0110 0,071570 0,087352 0,1500 0,410545 0,609848
0,0120 0,076570 0,093778 0,1670 0,431207 0,650796
0,0130 0,081449 0,100082 0,1700 0,434587 0,657705
0,0140 0,086218 0,106274 0,1750 0,440050 0,669016
0,0150 0,090883 0,112361 0,1900 0,455226 0,701471
0,0160 0,095453 0,118350 0,2000 0,464386 0,721928
0,0170 0,099931 0,124248 0,2250 0,484201 0,769193
0,0180 0,104325 0,130059 0,2500 0,500000 0,811278
0,0190 0,108639 0,135788 0,300(У 0,521090 0,881291
0,0200 0,112877 0,141441 0,3330 0,528273 0,917962
0,0210 0,117043 0,147019 0,4000 0,528771 0,970951
0,0220 0,121140 0,152527 0,4100 0,527385 0,976500
0,0230 0,125171 0,157969 0,5000 0,500000 1,000000
0,0240 0,129141 0,163346 0,6000 0,442179 0,970951
0,0250 0,133048 0,168661 0,7000 0,360201 0,881291
0,0260 0,136899 0,173917 0,7050 0,355535 0,875093
0,0270 0,140694 0,179116 0,7500 0,311287 0,811278
0,0280 0,144436 0,184261 0,7750 0,284992 0,769193
0,0290 0,148126 0,189352 0,7920 0,266451 0,737642
0,0300 0,151767 0,194392 0,8000 0,257542 0,721928
0,0350 0,169278 0,218878 0,9000 0,136803 0,468996
0,0380 0,179279 0,233046 0,9400 0,083911 0,377445
0,0400 0,185754 0,242292 0,9700 0,042625 0,194392
0,0450 0,201327 0,264765 0,9800 0,028563 0,141441
0,0500 0,216096 0,286397 0,9900 0,014355 0,080793
0,0520 0,221798 0,294833 0,9950 0,007195 0,045415
0,0530 0,224607 0,290007 0,9999 0,000141 0,001473<
ПЗ. Таблицы соотношений информационных пп и корректирующих пк разрядов,
а также относительной скорости передачи информаций Ли для кодов с кодовым
расстоянием dn =* 3 (табл. 1) и d0 = 5 (табл. 2)
Таблица 1 Таблица 2
п % % «и L 1и «и
1 0 1 5 1 4 0,2
6 1 5 0,166
7 2 5 0,285
2 0 2 — 8 2 6 0,250
259
Продолжение табл. 1
Продолжение табл. 2
п, "и "к «и L %
3 1 2 0,333 9 3 6 0,333
10 4 6 0,4
4 1 3 0,25 11 4 7 0,363
12 5 7 0,416
5 2 3 0,4 13 14 6 7 7 3 7 0,46 0,5
15 7 j 8 о,4б:
6 3 3 0,5 16 8 8 0,5
17 9 8 0,535
7 4 3 0,53 18 10 8 0,555
19 11 8 0,58
8 4 4 0,5 20 12 8 0,62
21 13 8 0,62
9 5 4 0,55 22 14 8 0,637
23 14 9 0,61
10 6 4 ? 0,6 24 15 9 0,625
25 16 9 0,64
11 7 4 0,636 26 17 9 0,655
27 18 9 0,663
12 8 4 0,666 28 19 9 0,68
П4. Таблица минимальных неприводимых в поле Галуа GF (2) многочленов
Степень
№ 11 2 1 3 1 4 1 5 6 | 7 | 8 | 9
1 1 111 1011 10011 100101 1000011 10001001 100011101 1000010001
3 5 7 9 И 13 15 17 19 21 23 25 27 29 1101 11111 111101 111 110111 11001 101111 110111 111011 1010111 10001111 101110111 1001011001 1100111 10011101 111110011 1100110001 1001001 11110111 101101001 1010011001 1101 10111111 110111101 1100010011 1101101 11010101 111100111 1000101101 10000011 100101011 1001110111 111010111 1101100001 010011 1011011001 11001011 101100101 111Q000101 11100101 110001011 1000010111 101100011 1111101001 100011011 1111100011 100111111 1110001111 1101101011
СПИСОК РЕКОМЕНДУЕМОЙ ЛИТЕРАТУРЫ
Основная
1. Бэрлекэмп Э. Алгебраическая теория кодирования.— М. : Мир, 1971.— 478 с.
2. Возенкрафт Дж. Джекобс И. Теоретические основы техники связи.— М. : Мир,
1969.— 640 с.
3. Галлагер Р. Теория информации и надежная связь.— М. : Сов. радио, 1974.—
720 с.
4. Дасами Т., Токура Н., Ивадари Е., Инагаки Я. Теория кодирования.— М. :
Мир, 1978.— 576 с.
5. Мешковский Д. А., Дириллов Н. Е. Кодирование в технике связи.— М. : Связь,
1966.— 324 с.
6. Питерсон У., Уэлдон Э. Коды, исправляющие ошибки.— М. : Мир, 1976.— 590 с.
7. Стратанович Р. Л. Теория информации.— М. : Сов. радио, 1975.— 420 с.
8. Фано Р. Передача информации. Статистическая теория связи.— М. : Мир, 1965.—
483 с.
9. Файнстейн А. Основы теории информации.— М. : Изд-во иностр, лит., 1960.—
140 с.
10. Фикн Л. М. Теория передачи дискретных сообщений.—М. : Сов. радио, 1970.—
728 с.
11. Цымбал В. П. Задачник по теории информации и кодирования.—К. : Вища шк.
Головное изд-во, 1976.— 276 с.
12. Шеннон Д.— Э. Работы по теории информации и кибернетики.— М. : Изд-во
иностр, лит., 1963.— 830 с.
Дополнительная
13. Андронов И. С., Финк Л. М. Передача дискретных сообщений по параллельным
каналам.— М. : Сов. радио, 1971.— 360 с.
14. Аппаратура передачи дискретной информации «МС — 5»/Подред. Ю. Б. Окуне-
ва. - М. Связь, 1970.— 240 с.
15. Бонгард М. М. О понятии «полезная информация» // Пробл. кибернетики.—
М. : Физматгиз, 1963.— Вып. 9.— 25 с. к
16. Витерби А. Г. Границы ошибок для сверочных кодов и асимптотический опти-
мальный алгоритм декодирования И Некоторые вопросы теории кодирования.—
М. : Мир, 1976.— 360 с.
17. Грекова И. К вопросу об информации /7 Наука и жизнь.— 1967.— № 3.— 47 с.
18. Гуров В. С., Емельянов Г. А., Етрухин Н. Й. Передача дискретной информации
и телеграфия.-* М. : Связь, 1974.— 560 с
19. Зайцев С. С. Описание и реализация протоколов сетей ЭВМ.— М. : Наука.,
1989.— 271 с.
20. Зигансиров Д. Ш. Последовательное декодирование.— М. : Связь, 1974.— 280 с.
21. Золотарев В. В. Использование устойчивости пороговых декодеров для уменьше-
ния вероятности ошибки декодирования И IV Междунар. симпоз. по теории
информ.: Тез. докл.— М.; JL, 1976.— Ч. 2.— С. 45—47.
22. Золотарев В. В. О субоптимальном декодировании сверточных кодов И VI сим-
поз. по проблеме избыточности в информ, системах : Тез. докл.— М., 1974.—
Ч. 1.- С. 34—36.
23. Деннеди Р. Каналы связи с замиранием и рассеянием.— М. : Сов. радио, 1973.—
320 с.
24. Долесник В. Д., Мирончиков Е. Т. Декодирование циклических кодов.— М. :
Связь, 1968.— 252 с.
261
25. Колмогоров А.Н.Ури подхода к определению понятия «количество информации» 7/
Пробл. передачи информ.— 1965.— Т. 1, вып. L— С. 46—49.
26. Коржик В. И. Взаимосвязь и тенденции совместного практического использова-
ния теории кодирования и теории потенциальной помехоустойчивости.— К.:
Респ. дом экон.-техн, пром-сти, 1981.— 48 с.
27. Коржик В. И., Финк Л. А4. Помехоустойчивое кодирование дискретных сообще-
ний в каналах со случайной структурой.— М. : Связь, 1975.— 272 с.
28. Котельников В. А. Теория потенциальной помехоустойчивости.— М. : Госэнер-
гоиздат, 1956.— 152 с.
29. Месси Дж. Пороговое декодирование.— М. : Мир, 1966.— 208 с.
30. Новик А. А. Эффективное кодирование.— М. .-Энергия, 1965.— 274 с.
31. Осмоловский С. А. Об условиях выполнения теоремы кодирования для кодов с
обнаружением ошибок в системе с обратной связью // Вопр. радиоэлектроники.
Сер. ОТ.— 1979.— № 12.— С. 17—19.
32. Пирс Дж. Символы, сигналы, шумы. М. : Мир, 1967.— 320 с.
33. Таубин В. А. Компенсация межсимвольной интерференции с задержкой решений //
V междунар. симпоз. по теории информ.— М. : Тбилиси, 1979.— С. 72—79.
34. Форни Д. Каскадные коды.— М. : Мир, 1970.— 208 с.
35. Харкевич А. А. О ценности информации// Пробл. кибернетики.— М. : Физмат-
гиз, 1960.— Вып. 4.— С. 15—18.
36—37. Цымбал В. П. Устройства дискретной техники на логических тиратро-
нах.— К. : Техника, 1969.— 128 с.
38. Цымбал В. П. Информатика и индустрия информации.— К. : Вища шк, Голов-
ное изд-во, 1989.— 157 с.
39. Энциклопедия кибернетики : В 2 т.— К- : УСЭ, 1974.— Т. 1—2.
40. Делом А, М.» Делом И. М. Вероятность и информация,— М. : Наука, 1973.—
512 с,
ОГЛАВЛЕНИЕ
Предисловие 3
глава 1 Основные понятия
и определения 6
глава 2 Модель системы передачи
информации.
Каналы связи 12
глава 8 Количественная оценка
информации. Единицы количества
информации 22
глава 4 Безусловная энтропия
и ее свойства 34
глава s Условная энтропия 41
глава 6 Энтропия объединения 50
глава 7 Вычисление количества
информации при передаче
сообщений
по дискретному каналу связи
с шумами 58
глава 8 Взаимная информация
между произвольным числом
дискретных
и непрерывных ансамблей 67
глава 9 Коды. Представление кодов.
Понятие о кодировании 79
глава ю Избыточность информации 102
глава п Основные теоремы кодирования
для канала связи без шумов 109
глава 12 Оптимальное кодирование 116
глава 13 Помехоустойчивость,
эффективность и надежность
систем передачи информации.
Методы повышения надежности 135
глава 14 Пропускная способность
дискретного канала связи.
Теоремы Шеннона о кодировании
в присутствии шумов 149
ГЛАВА 15 Корректирующие коды 166
глава 16 Кодирование и сжатие
информации в информационно-
вычислительных комплексах
и сетях 221
Приложения 258
Список рекомендуемой литературы 261
Учебное издание
Цымбал Владимир Петрович
ТЕОРИЯ ИНФОРМАЦИИ
И КОДИРОВАНИЕ
Переплет художника Г. М. Балюна
Художественный редактор С. П, Духленко
Технический редактор О. В. Козлитина
Корректор О. В. Труш
ИБ № 13544
Сдано в набор 10.07.90. Подписана
в печать 01.11.91. Формат 60X90Vie.
Бум. тип. № 2. Гарнитура литера-
турная. Высокая печать. Усл. печ. л.
16,5. Усл. кр.-оть 16,5. Уч.-изд. л.
21,26. Тираж 1900 экз. Изд. X» 8513.
Зак. Хе 2—4032, г-
Издательство «Вшца школа»,
252054, Киев-54, ул. Гоголевская, 7.
Отпечатано с матриц Головного
предприятия республиканского про-
изводственного объединения «Поли-
графкнига» на Киевской фабрике
печатной рекламы, 252067, Киев-67,
ул. Выборгская, 84.